JPH05165931A - イメージデータ処理方式 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、イメージデータを違和感なく、時間
的に正確に再生し、性能の低い計算機システムでも再生
可能とすることを目的とする。 【構成】分割処理手段２１は、イメージデータの各々の
処理を、イメージデータの処理内容に応じてスケジュー
ル時刻に対して許容される時間内に処理が終了するよう
に分割して処理単位とし、再生部２２は、各処理単位の
処理を終了する毎に、時刻制御手段３１を呼び出し、時
刻制御手段３１は、再生部２２からの呼び出しにより予
定した順序で処理を行ない、再生部２２による再生時刻
がスケジュール時刻より遅れるとき、遅れ時間に応じて
処理単位で処理を省略し、再生時刻がスケジュール時刻
より進むとき、処理待ちを行なうように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音楽や動画像などのイ
メージデータを実時間処理する計算機システムにおい
て、イメージデータを聴感的または視覚的に違和感な
く、時間的に正確に再生することのできるイメージデー
タ処理方式に関し、処理性能が異なるような計算機シス
テムでも、同一のイメージデータを該システムで実現可
能な品質で再生可能とするイメージデータ処理方式に関
する。

【０００２】

【従来の技術】通常のリアルタイム処理ないしは実時間
処理とは、ある処理が要求され、この要求に対する処理
が開始するまでの時間が非常に短いことをいう。

【０００３】一方、音楽や動画像で扱われるイメージデ
ータの再生に許容できる時間遅れ（以下、要求される時
間精度という。）は、音に対して最大で１〜２ミリ秒、
画像に対して最大で５０ミリ秒程度である。

【０００４】ところが、従来の汎用の計算機システム
は、音楽や動画像の再生に要求されるような時間精度を
保証できるシステムになっていなかった。このため、従
来の計算機システムを用いて前記時間精度を満たすため
には、かなりのシステム性能が要求される。

【０００５】一方、電子交換機は、以上のような要求並
の時間精度で処理している。これは電子交換機が、個々
の処理が比較的単純で、かつ処理に要する時間が安定し
ていることが前提となっているからである。

【０００６】これに対して、イメージデータの再生処理
に要する時間は、様々であるから、この処理方式をその
まま適用することはできない。以上の理由により、従来
のイメージデータを再生・処理するためには、ゲーム機
器のようにそれに適したハードウェア・アーキテクチャ
にするか、汎用の計算機システムに専用のハードウェア
を付加するか、あるいは最悪時でも必要な性能が出せる
ように高性能のシステムを用いるといった対策が採られ
ていた。

【０００７】

【発明が解決しようとする課題】しかしながら、専用の
ハードウェア・アーキテクチャによる処理方式では、コ
ストアップになる他、システム全体の性能が向上して
も、鍵となる専用ハードウェアの性能が向上しないと、
イメージデータを再生した時に得られる品質は向上しな
い。

【０００８】また、最悪時でも必要な性能が出せるよう
なシステムは、一般には高価になってしまう。結果とし
て、安価なゲーム機器や専用プレーヤで実現できている
品質を得るためにも、それより遥かに高価なシステムと
なってしまうという問題があった。

【０００９】また、従来のシステムにおけるプログラム
のスケジュール方式では、そのシステムで処理するデー
タや処理内容とは独立に設定したある一定時間間隔（タ
イムスライス）で、実行中の処理を割り込み中断（以
下、プリエンプトという。）し、その時点で要求される
処理を行なう場合が多かった。この場合、一定のタイム
スライスが人間が知覚する時間単位となっていないた
め、再生されるイメージデータが不自然に感じられた。

【００１０】本発明の目的は、イメージデータを聴感的
または視覚的に違和感なく、時間的に正確に再生でき、
処理性能が異なるようなシステムでも、同一のイメージ
データをそのシステムで実現可能な品質で再生可能とす
るイメージデータ処理方式を提供することにある。

【００１１】

【課題を解決するための手段】本発明は、上記課題を解
決し目的を達成するために、第１の発明として図１に示
す構成とした。本発明は、画像データ，音データとこれ
らのデータの再生順序及び再生すべきスケジュール時刻
のためのデータとを含むイメージデータ１を再生する計
算機システムであって、イメージデータの各々の処理
を、イメージデータの処理内容に応じて前記スケジュー
ル時刻に対して許容される時間内に処理が終了するよう
に分割し、分割された各部分を処理単位としてマークす
る分割処理手段２１と、この分割処理手段２１で分割さ
れた処理単位毎のイメージデータを再生する再生部２２
と、イメージデータ中の再生順序及びスケジュール時刻
データと分割処理手段２１からの処理単位毎に付された
マークとに基づき予定した順序で処理を行なう時刻制御
手段３１とを有している。

【００１２】再生部２２は、各処理単位の処理を終了す
る毎に、時刻制御手段３１を呼び出し、時刻制御手段３
１は、再生部２２からの呼び出しにより予定した順序で
処理を行ない、再生部２２による再生時刻がスケジュー
ル時刻より遅れるとき、遅れ時間に応じて処理単位で処
理を省略し、再生時刻がスケジュール時刻より進むと
き、処理待ちを行なうように構成する。

【００１３】

【作用】本発明によれば、分割処理手段でイメージデー
タの各々の処理を、イメージデータの処理内容に応じ
て、処理単位に分割し、再生部で処理単位の処理を終了
する毎に、時刻制御手段を呼び出し、時刻制御手段で再
生順序及びスケジュール時刻データを用いて予定した順
序で処理を行ない、再生時刻がスケジュール時刻より遅
れるとき、遅れ時間に応じて処理単位で処理を省略し、
再生時刻がスケジュール時刻より進むとき、処理待ちを
行なうので、再生速度を調整できる。

【００１４】よって、再生されたイメージデータは、比
較的自然に感じられ、また性能の低い計算機システムで
も再生できないようなイメージデータも処理できる。イ
メージデータは、アニメーションや映画などのような動
画像とそれに付随する音、音楽などである。本発明が対
象とするイメージデータは、 （ａ）２つの同種のイメージデータを同時に見せるため
の時間精度は、音には１〜２ミリ秒、画像には２０〜５
０ミリ秒程度の時間差まで許容される。 （ｂ）一方で、意味を持つ単位として実際に知覚される
時間間隔はもっと長い。 （ｃ）ある一塊のイメージデータが省かれても後の処理
には影響しない。 という特性を持っている。

【００１５】本発明が想定する状態では、このような要
求が引続いて多数発生し、次の要求までに先の要求を処
理しきれないことがあり得る。実際に（ａ）で述べた時
間精度が許容されるのは、イメージデータの切れ目にお
いてであり、任意に分割した時点で許容される訳ではな
い。

【００１６】さらに、イメージデータによっては上手く
分割すると、途中の一単位を省いても全体の感じに影響
しないという性質があり、例えばビデオなどの倍速再生
はこの性質を利用している。

【００１７】また、画像データは、複数のフレームから
なるデータであってもよい。さらに、各処理が終了した
時点とは、例えばある人塊の効果音の途切れ、音楽の息
継ぎや休止記号の所、画像であれば、水平・垂直同期信
号に相当する時点である。

【００１８】さらに、処理単位毎に、画像の座標変更、
色変更の指定、音の大きさや高さの変更を指定できる。

【００１９】

【実施例】以下、本発明の具体的な実施例を説明する。
図２は本発明の実施例で処理するイメージデータの格納
形態を示す図である。ここで、イメージデータは、アニ
メーションや映画などのような動画像とそれに付随する
音、音楽などである。まず、このイメージデータの特性
について以下、説明する。

【００２０】音について、簡単な計算によりＰＣＭサン
プリングした音を再生するときの時間精度（時間的な誤
差）は、ほぼそのままの比率でＳ／Ｎ比に影響する。す
なわち、例えば０．１％程度の歪に押さえるとすると、
時間精度もそれだけのものが要求される。例えば１ＫＨ
ｚの信号を再生する時（サンプリングレートは２Ｋ／秒
以上）０．５マイクロ秒の時間精度が要求される。この
ように信号の品質を議論する時、高精度が要求される。

【００２１】また、心理学的な実験により、人間に２つ
の視覚（光）刺激をある時間差で与えた時に、ある時間
差以内であれば、それを同時と感じるが、それを越える
と、１つの刺激源が移動したと感じるような域値がある
ことが見い出されている。

【００２２】この域値は、１つの刺激を認識するには、
十分長いが、意味のある動きを認識するには短い時間で
ある。刺激の与え方に依存するが、５０ミリ秒程度と考
えられる。

【００２３】音についても同様のことが言える。つま
り、２つの同種の音を刺激として与えるとき、１〜数ミ
リ秒程度の時間間隔の音素というべき時間単位があり、
この時間間隔以内の遅れは時間差を感じないが、これよ
りも遅れが大きくなると、音が変化したないし２つの音
源があるように感じる。なお、この時間間隔は、人の音
声周波数が百〜３ＫＨｚ程度であり、その一波長程度の
時間に相当する。

【００２４】光の場合と同様に、音についてもそれを意
味のある単位（例えば和音）として再編成するために
は、数十ミリ秒程度のもっと長い時間が必要である。ま
た、日常経験するように、ある音を聴き逃したり、ある
画像を見落としたからといって、それ以後の音、画像を
理解できなくなる訳ではない。

【００２５】よって、本実施例が対象とするイメージデ
ータは、 （１）個々のイメージの品質（Ｓ／Ｎ）を問題とすると
き、高い時間精度が要求される。 （２）２つの同種のイメージデータを同時に見せるため
の時間精度は、音には１〜２ミリ秒、画像には２０〜５
０ミリ秒程度の時間差まで許容される。 （３）一方で、意味を持つ単位として実際に知覚される
時間間隔はもっと長い。 （４）ある一塊のイメージデータが省かれても後の処理
には影響しない。 という特性を持っている。

【００２６】（１）のレベルで要求される時間精度は極
めて高いものであり、現状では専用の回路・ハードウェ
アによるのがよい。また（２）が要求する精度は、時間
精度としては、従来の計算機システムでは、対象とする
ことができるが、本実施例が想定する状態では、このよ
うな要求が引続いて多数発生し、次の要求までに先の要
求を処理しきれないことがあり得る。

【００２７】実際に（２）で述べた時間精度が許容され
るのは、イメージデータの切れ目においてであり、任意
に分割した時点で許容される訳ではない。ということを
留意する必要がある。

【００２８】さらに、イメージデータによっては上手く
分割すると、途中の一単位を省いても全体の感じに影響
しないという性質がある。ビデオなどの倍速再生はこの
性質を利用している。

【００２９】次に図２に示すように、イメージデータ
は、１フレームの画像データ、効果音データ、音楽（例
えばＢＧＭデータ）からなるブロックＢＫを複数有して
なり、各ブロックＢＫ毎にブロック内のデータについて
再生順序を記述したコントロール・ブロックＣＢを適宜
付加している。

【００３０】画像データは、表示画面の形式（ラスタス
キャン）に応じて、図２に示すように予め行単位（１ラ
スタ単位）に処理できるような形式でイメージデータ格
納部（図示しない）に格納されている。すなわち、イメ
ージデータ格納部は、画像データ，音データとこれらの
データの再生順序及び再生すべきスケジュール時刻デー
タとを含むイメージデータ１の各々の処理を、イメージ
データ１の処理内容に応じて、スケジュール時刻に対し
て許容される時間内に処理が終了するように小部分に分
割し、各小部分を処理単位（１ラスタ単位）で画像デー
タを格納している。

【００３１】コントロール・ブロックＣＢには、次のよ
うな指定が記述されている。画像データの再生時刻は、
全体の再生開始からの絶対時刻ないし以前の画像からの
相対時刻で示されている。

【００３２】ある効果音データを再生する時刻は、これ
に対応する画像データないし絶対時刻で示されている。
ＢＧＭデータの再生開始時刻、終了時刻は、これに対応
する画像データないし絶対時刻で示されている。

【００３３】また、画像データ、ＢＧＭデータの再生順
序を指定したり、飛び越しや繰り返しも記述できる。コ
ントロールブロックＣＢに特別な指定がなければ、イメ
ージデータが時系列に並んでいるものとする。

【００３４】図３はイメージデータを再生するイメージ
データ再生部の構成ブロック図である。なお、実施例で
は、アニメーション再生を行なうものとする。イメージ
データ再生部２は、前処理部２１、画像再生部２２、Ｂ
ＧＭ再生部２３、効果音再生部２４、スケジューラ３１
を有している。

【００３５】前処理部２１は、イメージデータ１から各
再生部へ出力するデータを作成するとともに、イメージ
データ１に基づき処理単位毎にマークを付け、コントロ
ールブロックＣＢの再生時刻指示と音楽・効果音データ
中に記述されたマークとによって、これらを細分し、ス
ケジューラ３１への指示として出力する。

【００３６】ここで、マークとは、ある一定時間間隔で
実行中の処理を割り込み等により中断可能な時点、すな
わちプリエンプト可能な時点に付されたものである。プ
リエンプト可能な時点とは、例えばある人塊の効果音の
途切れ、音楽の息継ぎや休止記号の所、画像であれば、
水平・垂直同期信号に相当する時点である。

【００３７】画像再生部２２は、前処理部２１で処理さ
れた画像データを再生するものである。ＢＧＭ再生部２
３は、ＢＧＭデータを再生するものであり、効果音再生
部２４は、効果音データを再生するものである。

【００３８】スケジューラ３１は、前記コントロール・
ブロックＣＢからの再生順序及びスケジュール時刻デー
タと処理単位毎のマークとを登録した制御表２６と、タ
イマー２７とを有し、制御表２６に基づき予定した順序
で各処理（再生）を行うとともに、画像再生部２２から
の画像データの再生時刻が、制御表２６から読み出され
たスケジュール時刻より遅れたとき、タイマー２７によ
る遅れ時間に応じて処理単位で処理を省略するものであ
る。

【００３９】図４はパーソナルコンピュータ上で圧縮し
て保存した画像データを再生したときの所要時間を示す
図である。図４は２００行ないし４００行のデータを再
生した時の所要時間を示している。これにより、１行の
再生に必要な時間は、１ミリ秒以下である。

【００４０】図５は１画面を表示している間の処理の流
れを示す図である。画像再生部２２は、１フレーム分
（１画面）の画像データを一行（１ラスタ）毎に処理
し、一行分の処理が終了する毎に、スケジューラ３１を
呼び出す。一行分の処理終了時点の前後１ミリ秒の間
に、再生すべき音・ＢＧＭデータがあるときには、ＢＧ
Ｍ再生部２３で一塊の音・ＢＧＭデータを再生し、音源
ブロック２５にＢＧＭデータを送り、ＢＧＭを出力す
る。ここでは、１行の画像データ再生に伴うＢＧＭデー
タの再生が１ミリ以下単位で行われるから、音が自然に
感じられる。また、再生すべき音・ＢＧＭデータがない
ときは、次の画像データを再生する。

【００４１】なお、一行分の処理終了時点の前後１ミリ
秒の間に、再生すべき効果音データがあるときには、効
果音再生部２４で再生できるのはもちろんである。次
に、次のフレームの画像データの再生が行われると、画
像再生部２２からの画像データの再生時刻とスケジュー
ラ３１内の制御表２６からのスケジュール時刻とがスケ
ジューラ３１によって比較され、スケジュール時刻より
も画像データの再生時刻が遅れるとき、遅れの度合に応
じて、スケジューラ３１は、遅れの度合に応じた処理を
行なう（図４に示す場合には、フレーム間の時間差は１
０〜２００ミリ秒または５０〜４５０ミリ秒であり、５
０ミリ秒以下でないと、画像が不自然に感じられ
る。）。 （１）例えば遅れが１コマ（１フレーム）以内であると
きには、画像再生部２２は、スケジューラ３１からの制
御信号によって、元の画像にかかわらず、奇数番目の画
像では奇数番目の行を再生し、偶数番目の画像では偶数
番目の画像を再生する。 （２）また、遅れが１コマ以上であるときには、画像再
生部２２は、制御信号によって、１コマを飛び越して画
像を再生する。

【００４２】このように遅れの度合に応じた画像の間引
き（省略）を行なうことで、再生速度を調整することが
でき、これによって各再生部による再生時刻をスケジュ
ール時刻に同期させることができる。

【００４３】一方、スケジュール時刻よりも画像データ
の再生時刻が進むときには、スケジュール時刻まで処理
待ちを行なう。その結果、以下のような効果が得られ
る。 （１）人間の感覚特性に合ったイメージデータの再生を
行なうので、再生した結果が、比較的自然に感じられ
る。機械的に測定したＳ／Ｎ比、歪率などの数字に比較
してより自然な再生となる。 （２）性能の低い計算機システムにおいても、従来の方
式では再生不可能なイメージデータでも再生処理するこ
とができる。例えば比較的性能の低い計算機システムに
対して、その２割程度高い性能を要求するようなイメー
ジデータを再生する場合を考える。

【００４４】従来の方式であれば、全体が均一に２０％
程度遅れるか、音（画像）は要求通りに処理されるが、
画像（音）は本来の時刻よりも２０％〜３０％遅れて再
生される。いずれの場合にも、そのイメージデータが本
来表現する内容とは異なったものになる。

【００４５】一方、本実施例の方式によれば、音、画像
などのそれぞれが小さな単位に分割されて、それぞれが
本来の時刻に再生される。このとき、全体の２割程度の
イメージデータが欠落する。しかし、通常ではイメージ
データが２割程度欠落しても、本来表示すべき内容は表
示できるから、特に問題はない。 （３）スケジュールに伴うオーバヘッドが少ない。処理
がプリエンプトされる時点は予想できるから、割り込み
等による従来の方式に比較して、レジスタの退避や資源
の競合回避に要するオーバヘッドが発生しない。このオ
ーバヘッドは１〜２ミリ秒といった短時間に処理を行な
う場合には無視できない。

【００４６】以上のように本実施例によれば、プログラ
ムのスケジュール単位を人間が知覚する時間単位に対し
て適合するような処理単位とすることによって、従来の
方式で得られるよりも自然で、柔軟なイメージ再生を行
える。

【００４７】

【発明の効果】本発明によれば、プログラムのスケジュ
ール単位を人間が知覚する時間単位に対して適合するよ
うな処理単位とすることによって、人間の感覚特性に合
ったイメージデータの再生を行なうので、再生した結果
が、比較的自然に感じられる。また、性能の低い計算機
システムにおいても、従来の方式では再生不可能なイメ
ージデータでも再生処理することができる。さらにはス
ケジュールに伴うオーバヘッドが少ない。

【図面の簡単な説明】

【図１】本発明の原理図である。

【図２】実施例で用いるイメージデータの格納の様子を
示す図である。

【図３】イメージデータ再生部の構成ブロック図であ
る。

【図４】画像データの再生に要する所要時間を示す図で
ある。

【図５】１画面を表示している間の処理の流れを示す図
である。

【符号の説明】

１・・イメージデータ ２・・イメージデータ再生部 ２１・・前処理部 ２２・・画像再生部 ２３・・ＢＧＭ再生部 ２４・・効果音再生部 ２５・・スケジューラ ＢＫ・・ブロック ＣＢ・・コントロール・ブロック

Claims (1)

【特許請求の範囲】
1. 【請求項１】 画像データ，音データとこれらのデータ
   の再生順序及び再生すべきスケジュール時刻のためのデ
   ータとを含むイメージデータ（１）を再生する計算機シ
   ステムであって、 前記イメージデータの各々の処理を、イメージデータの
   処理内容に応じて前記スケジュール時刻に対して許容さ
   れる時間内に処理が終了するように分割し、分割された
   各部分を処理単位としてマークする分割処理手段（２
   １）と、この分割処理手段（２１）で分割された処理単
   位毎のイメージデータを再生する再生部（２２）と、前
   記イメージデータ中の再生順序及びスケジュール時刻デ
   ータと前記分割処理手段（２１）からの処理単位毎に付
   されたマークとに基づき予定した順序で処理を行なう時
   刻制御手段（３１）とを有し、 前記再生部（２２）は、各処理単位の処理を終了する毎
   に、前記時刻制御手段（３１）を呼び出し、前記時刻制
   御手段（３１）は、前記再生部（２２）からの呼び出し
   により前記予定した順序で処理を行ない、前記再生部
   （２２）による再生時刻が前記スケジュール時刻より遅
   れるとき、遅れ時間に応じて前記処理単位で処理を省略
   し、再生時刻がスケジュール時刻より進むとき、処理待
   ちを行なうことを特徴とするイメージデータ処理方式。