JPH0965291A - 動画像処理装置 - Google Patents

動画像処理装置

Info

Publication number
JPH0965291A
JPH0965291A JP7215843A JP21584395A JPH0965291A JP H0965291 A JPH0965291 A JP H0965291A JP 7215843 A JP7215843 A JP 7215843A JP 21584395 A JP21584395 A JP 21584395A JP H0965291 A JPH0965291 A JP H0965291A
Authority
JP
Japan
Prior art keywords
moving image
data
image data
image processing
temporary storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7215843A
Other languages
English (en)
Other versions
JP3833732B2 (ja
Inventor
Atsushi Minemura
淳 峰村
Kazuo Sakushima
和夫 佐久嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP21584395A priority Critical patent/JP3833732B2/ja
Publication of JPH0965291A publication Critical patent/JPH0965291A/ja
Application granted granted Critical
Publication of JP3833732B2 publication Critical patent/JP3833732B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 【目的】 動画像再生の要求時にすぐに動画再生が行な
え、再生中に動画が途切れずに最後までスムーズに再生
できる動画像処理装置を実現する。 【構成】 動画像処理手段12が動画像データ蓄積装置
11から動画像データを読みだすときに、蓄積制御手段
13が動画像データの容量が値kLを越えるかどうかを
検査し、こえたものを一時蓄積手段14に蓄積すること
で、次回の読みだし時には、この一時蓄積手段14から
データを読みだすことで、動画の再生をすぐに行なえ、
また動画が途切れずに最後までスムーズに再生できる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は回線を介して動画像情報
のサービスを行なう動画像処理装置に関する。
【0002】
【従来の技術】近年、情報サービスが注目を浴びるよう
になり、それに伴いサービスを実現するシステムの必要
性が重要視されてきている。現在の情報サービスシステ
ムとしては、電話回線を用いてセンターと結び主に文字
情報をやり取りするキャプテンシステム、街角や公共施
設に端末を設置し地域に関連のある情報などを提供する
街角端末などがある。
【0003】これら従来の情報サービスシステムの構成
や動作の一般的なものを説明する。各端末は、サーバの
あるセンターに、一般に通信路として高々数十kビット
毎秒の比較的低速な電話回線・LANなどにより接続さ
れている。通信回線上には、文字データ、制御データ、
数値データが主に流れる。静止画や音声データなども稀
に流れるが、比較的大きなデータを扱うときは、あらか
じめ、端末側に蓄積することで通信路の細さを補ってい
る。これは端末の内部に蓄積装置をもうけ、ここにデー
タを蓄積しておく方法である。
【0004】蓄積装置としては磁気記憶装置、CD-R
OMがある。これら従来の端末が主に、文字情報のみを
扱うのに対し、近年はマルチメディア化が求められ文字
情報と共により多くの情報が提供できる動画情報の提供
も要求されてきている。その背景には計算機、記憶装置
などの情報処理装置の価格対性能比が格段に向上したこ
とにより、計算機において動画像を容易に扱うことが可
能になってきていることがある。最近では、ビデオオン
デマンド(VOD)など計算機を用いて動画像情報を提
供するサーバの充実が図られている。
【0005】
【発明が解決しようとする課題】しかし、このサーバを
街角端末に接続しても動画像情報のサービスを行なうの
は困難である。それは、一般に端末とサーバを結ぶ通信
路の伝送速度が遅く、情報量の多い動画像データを通信
しても、端末で単位時間あたりに得られるデータが不十
分で、動画がスムースに再生されないからである。
【0006】既存の情報サービスシステムに、動画情報
を満足に伝送できる通信路を新たに設けるのは大がかり
な配線工事等を必要とし、経済的な面から有効的な手段
とは言えない。むしろサーバと端末を、動画像データを
無理なく再生できる仕組みを設けることで対応させたほ
うが有効である。
【0007】そこで、通信路の伝送速度、動画サーバの
アクセス遅延を補うために、端末と伝送速度の速い通信
路で結んだ一時的な蓄積装置を、端末側に設け、ここに
動画像データをあらかじめ蓄積しておく方法が考えられ
る。上記対処で、端末とサーバを結ぶ通信路の伝送速度
が遅くても、まず一時蓄積装置に蓄積された動画像から
再生を始めることで、スムースな再生の実現が可能とな
る。
【0008】またCD-ROMなどと違い、サーバ側で
登録されている動画像データの変更への動的な対処が可
能となる。ところが、一時蓄積装置のメモリには物理的
な容量の制限、コストの制限があり、すべての動画像デ
ータを蓄積することはできない。そこで、あらかじめ蓄
積しておく動画像データを一部分とし、動画像データの
蓄積する部分の選択を効果的に行なうことで、一時蓄積
装置の利用効率を上げることが考えられる。ここに、本
発明が解決しようする、動画像データの一部分を決定し
蓄積する手段を実現する課題がある。
【0009】さらに、この課題は、マルチメディアタイ
トルなどで、シナリオ、またはある選択枝に従い任意の
動画像データの任意の部分にランダムにアクセスし、動
画像を再生するような場合においても発生する課題であ
る。
【0010】
【課題を解決するための手段】本発明は、上記従来の問
題点を解決するもので、第一に、動画像処理装置と一時
蓄積装置の間の通信路の伝送速度と、一時蓄積装置と動
画像データ蓄積装置の間の通信路の伝送速度と、一時蓄
積装置が動画データの伝送要求を動画像データ蓄積装置
に出してからデータが一時蓄積装置に届くまでにかかる
時間から、再生中に動画が途切れずに最後までスムーズ
に再生するのに必要な容量を決め、この容量に基づいた
一時蓄積装置を設け、動画データの最初の部分を一時蓄
積することで、動画像処理装置が再生の要求をした時、
動画の再生をすぐに始められ、かつ再生中に動画が途切
れずに最後までスムーズに再生するという課題を解決す
る。
【0011】第二に、第一の方法でも、一時蓄積装置の
メモリに容量の制限があり、すべての一時データを蓄積
することは出来ないという場合においては、さらに、動
画像処理装置による動画再生中に、動画像データを最後
まで再生せずにユーザが再生中止をした箇所から平均的
な動画像データ再生中止場所を求め、これを実質的な動
画像データの全体長とみなすことで一時蓄積装置のメモ
リ利用効率を上げ、一時蓄積装置のメモリに容量に制限
があるという課題を解決する。
【0012】第三に、単に動画像データを最後まで再生
せずにユーザが再生中止をした箇所から平均的な動画像
データ再生中止場所を求めるだけではなく、さらに再生
中止をしたユーザ数が極小値となるところをしきい値と
してこれを越える中止箇所の平均をとることで、再生を
始めてすぐに中止をしてしまう再生形態を省き、より現
実的な実質的動画像データの全体長を求めることで、動
画像データの再生形態の統計的な違いから一時蓄積装置
のデータを利用しても、動画像データの再生が最後まで
スムースにできないという状況の発生確率を軽減するこ
とで課題を解決する。
【0013】第四に、動画像データ内のシーンの変わり
目を、自動的に割り出し、このシーンの変わり目と変わ
り目の間を1つの動画像データと見なし、第一の解決方
法を適用することで、動画をスムースに再生できなくな
るという課題を解決する。
【0014】第五に、複数の動画像データの、任意の区
間から構成されるマルチメディアタイトルの場合、シナ
リオを解釈し、使用される動画像データの区間を1つの
動画像データと見なし、それぞれの区間に第一の解決方
法を適用する。それによりシナリオにしたがった、また
はどの選択枝を選んでもそれにリンクされた動画をすぐ
に再生でき、複数の動画の任意の部分にランダムにアク
セスするような場合においても動画をスムースに再生す
るという課題を解決する。
【0015】
【作用】動画像処理手段から動画像データの要求があっ
たとき、蓄積制御手段は、一時蓄積手段内の蓄積データ
管理テーブルを調べ、蓄積されている最初の部分の動画
像データを読みだし動画像処理手段に送出する。一方
で、蓄積されていない残りのデータは動画像データ蓄積
装置に読みだし要求を出す。取得したデータの残りは、
取得した順にFIFOメモリに入れ、一時蓄積手段内に
あったデータを動画像処理手段に送出し終わる時に、そ
のデータの最後部に、FIFOメモリから取り出したデ
ータを連結し、動画像処理手段に送出する。これで、動
画像データは途切れずに動画像処理手段に送出されたこ
とになる。
【0016】また、動画像処理手段からの動画再生要求
と共にすぐに動画を再生し始め、しかも動画の再生が最
後まで止らずにスムースに再生が可能となるには、それ
に充分なデータを蓄積しなければならず、またそれ以上
のデータ蓄積は無駄になる。本発明は、動画の再生を最
後まで途切れずにスムースに再生することを可能としな
がら、このメモリを必要十分に確保することで、メモリ
の利用効率を上げることをができる。
【0017】
【実施例】
(実施例1)以下、第一の発明の実施例について図面を
参照しながら説明する。
【0018】図1は、第一の発明の一実施例に於ける構
成図である。図1において、11は動画像データを蓄積
しておく動画像データ蓄積装置、12は動画像の表示等
の動画像データ処理を行なう動画像処理装置、13はデ
ータの一時蓄積をするに際して、一時蓄積を行なうデー
タの選別を行ったり、一時蓄積手段に蓄積されていたデ
ータと動画像蓄積装置から新たに読みだしたデータを構
成する蓄積制御手段、14は動画像データを一時的に蓄
積する一時蓄積手段、17は動画像データ蓄積装置に蓄
積されている動画像データの全体長を蓄積制御手段に伝
送する動画像データ全体長伝送手段である。
【0019】図2は、図1における蓄積制御手段13内
の構成図である。図2において、201はデータ容量を
計測するデータ量計測手段、202は一時蓄積条件の条
件判断手段、203は一時蓄積条件を格納する一時蓄積
条件格納手段、204は一時蓄積手段内に蓄積するデー
タを管理する蓄積データ管理手段である。
【0020】上記のように構成された動画像処理装置に
おいて、以下その動作を説明する。まず初めに、動画像
データ蓄積装置11に新しく動画像データが蓄積、登録
された場合、そのデータの全体長をデータの固有識別番
号と共に、動画像データ全体長伝送手段17が、各蓄積
制御手段13に伝送する。各蓄積制御手段13では、伝
送された全体長の情報を動画像データ全体長格納手段2
05に格納する。
【0021】次に、動画像処理手段12は、必要とする
動画像データを動画像データ蓄積装置11から読みだす
時、動画像データの要求を蓄積制御手段13に出す。
【0022】蓄積制御手段13では、一時蓄積手段14
内の蓄積データ管理テーブルを調べ、要求の動画像デー
タが全く蓄積されていなかったときは、動画像データ蓄
積装置11に動画像データのすべての読みだし要求を出
す。この要求の動画像データが全く蓄積されていなかっ
た場合とは、新たに、動画像データ蓄積装置11に蓄積
された動画像データを読もうとした場合、以前に読みだ
したことがあるが、もう一時蓄積手段に蓄積されていな
かった場合がある。
【0023】読みだされた動画像データは伝送路1(1
5)を通り、蓄積手段13、伝送路2(16)を通り動
画像データ処理手段12に達する。このとき、動画像デ
ータ蓄積装置11から伝送された動画像データは、あら
かじめ一時蓄積条件格納手段に格納された条件に従って
データを蓄積する。この条件を、本発明では動画像デー
タの全体長Lに比例定数kを掛けた長さのデータを動画
像データの頭から蓄積するとする。つまり、動画像デー
タの最初の部分の容量kLのデータを一時蓄積手段14
にコピーし、蓄積する。
【0024】ここで、kは0≦k≦1の比例定数、Lは動
画像データによって異なる全体長とする。最後に、コピ
ーしたデータの最後の位置を動画像データの固有番号と
共に一時蓄積手段14内の蓄積データ管理テーブルに書
き込む。
【0025】ここで、一時蓄積手段のメモリが一杯であ
る時は一時蓄積手段に蓄積されているデータのうち、参
照された時刻の最も古いものから消去し、そこに新たな
データを蓄積する。以降、動画像処理手段12が次に動
画像データを読みだそうしたときは、まず動画像処理手
段12は蓄積制御手段13にデータ読みだしの要求を出
す。蓄積制御手段13は、一時蓄積手段14内の蓄積デ
ータ管理テーブルを調べ、蓄積されている最初の部分の
動画像データを読みだし動画像処理手段12に送出す
る。
【0026】また一方で、蓄積されていない残りのデー
タは動画像データ蓄積装置に読みだし要求を出す。取得
したデータの残りは、取得した順にFIFOメモリに入
れ、一時蓄積手段内にあったデータを動画像処理手段に
送出し終わる時に、そのデータの最後部に、FIFOメ
モリから取り出したデータを連結し、動画像処理手段に
送出する。これで、動画像データは途切れずに動画像処
理手段に送出されたことになる。
【0027】以下に、本発明の比例定数kの決め方を説
明する。比例定数kは、動画像処理手段12と蓄積制御
手段13をむすぶ伝送路2におけるデータ伝送速度をv
1、動画像データ蓄積手段11と蓄積制御手段13をむ
すぶ伝送路1におけるデータ伝送速度をv2、蓄積制御手
段が動画像データ蓄積装置にデータの伝送要求を出し要
求したデータが蓄積制御手段に届くまでにかかる時間T
s、動画像データの全容量をL、v1とv2が相互に依存せ
ず独立だとすると、読みだす動画像データの最後の部分
が動画像データ蓄積装置から読みだされた時間と蓄積制
御手段から全データが送出される時間を同時になると考
えて、 Ts+(L- kL)/v2 = L/v1 と表され、よって、 k = 1- v2/v1+TsV2/L となる。上記動作の動画像処理手段12が動画像データ
蓄積装置11からデータを読みだすときの処理手順を示
すフロチャートは図3のようになる。
【0028】図3は、上記動作の動画像処理手段12が
動画像データ蓄積装置11からデータを読みだすときの
蓄積制御手段13での一時蓄積手段14へのデータ蓄積
手順を示すフロチャートである。ここで、蓄積制御手段
でデータの検査(ステップ309)とは、動画像データ
の先頭からのデータ容量がkLを越えるかどうかを検査
することを示す。また、データの一部を一時蓄積手段に
蓄積(ステップ310)とは、データの検査(ステップ
309)の後、先頭からのデータ量がkLを越えるデー
タを一時蓄積手段14にコピーすることを示す。
【0029】動画像処理装置と一時蓄積装置の間の通信
路の伝送速度が、一時蓄積装置と動画像データ蓄積装置
の間の通信路の伝送速度に比べて、速い場合において、
一時蓄積手段14に蓄積されていたデータを動画像処理
装置12に送出している間に、動画像データ蓄積装置1
1から残りのデータを取得できれば、動画像処理手段の
動画像データ蓄積装置からのデータ読み出し速度は一時
蓄積手段にデータを蓄積しないときに比べ相対的に速く
なる。
【0030】動画像処理手段からの動画再生要求と共に
すぐに動画を再生し始め、しかも動画の再生が最後まで
止らずにスムースに再生が可能となるには、それに充分
なデータを蓄積しなければならず、またそれ以上のデー
タ蓄積は無駄になる。
【0031】本発明は、動画の再生を最後まで途切れず
にスムースに再生することを可能としながら、このメモ
リを必要十分に確保することで、メモリの利用効率を上
げることを実現する。
【0032】以上この構成から明らかなように、本実施
例による動画処理装置は、動画像処理手段12が動画像
データ蓄積装置11から動画像データを読みだすときに
データの容量が動画像データの最初の部分からデータ容
量kLを越えたかどうかを検査する一時蓄積手段14
と、動画像データを蓄積するかどうかを検査する蓄積制
御手段13を、動画像処理手段12と動画像データ蓄積
装置11間に設け、1動画像データあたりkLのデータ
を蓄積するメモリを一時蓄積手段に用意することによ
り、動画像データ処理手段12における動画再生を最後
までスムースに行なうことができる。
【0033】以上のように、本発明は、動画像処理装置
と一時蓄積装置の間の通信路の伝送速度が、一時蓄積装
置と動画像データ蓄積装置の間の通信路の伝送速度に比
べて、速い場合において一時蓄積装置にはできるだけ沢
山のデータを蓄積したいが、各動画像データは、再生中
に動画が途切れずに最後までスムーズに再生できるデー
タを蓄積しなければならいという課題を解決するもので
ある。
【0034】(実施例2)以下、第二の発明の実施例に
ついて図面を参照しながら説明する。
【0035】第二の発明の一実施例に於ける構成図は図
1と同じである。図4は、図1における蓄積制御手段1
3内の構成図である。図4で図2と違うのは、図2の2
05の動画像データ全体長格納手段が405の動画像デ
ータ再生全体長格納手段となっていることと、再生全体
長算出手段407が設けられているだけである。
【0036】上記のように構成された動画像処理装置に
おいて、その動作は第一の発明と同様である。ただし、
第一の発明では動画像データの全体長を、動画像データ
全体長格納手段に格納していたが、第二の発明では、ユ
ーザが動画像処理手段において動画像データを再生中に
途中で再生中止をしたところの、データの頭からの長さ
をその動画像データの全体長とみなし、再生全体長算出
手段で毎回、過去のすべての事象の算術平均を算出し、
これを動画像データ別に動画像データ再生全体長格納手
段に格納する。
【0037】更新された動画像データ再生全体長は次回
のデータ読みだし時に参照される。動画像データ再生全
体長の初期値は、動画像データ全体長とし第一の発明と
同様にあらかじめ設定しておけばよい。よって、第一の
発明と違い、この動画像データ再生全体長は動的に変化
する。
【0038】人気のない動画やマルチメディアタイトル
の場合、そのデータすべてを再生することはなく、ユー
ザは途中で再生を中止することが多い。また、動画やマ
ルチメディアタイトルは時間と共に情報としての価値が
薄れ、ユーザが再生する時間が少なくなっていくことが
多い。
【0039】この場合、動画像データの全体長を基準
に、一時蓄積手段にデータを蓄積することは無駄が多く
なる。そこで、ユーザが実際に再生する長さを、その動
画像データの実際の全体長と見なすことで、一時蓄積手
段のメモリを効率よく使うことができる。特に、情報サ
ービスにおいてはオンラインショッピングにおける電子
カタログ等での動画像の参照などでは、ユーザは最後ま
で見るひとは少なくまた、すぐに見るのを辞める人も少
ない。ユーザの動画像再生形態は一般に正規分布に似た
形となる。よって、第二の発明では、この動画像の再生
形態の統計的な性質は、正規分布になると仮定する。
【0040】図5は、動画像データの再生中に再生を中
止したユーザ数と動画像データの再生開始からの経過時
間の関係グラフである。ここでMは動画像データ再生全
体長を示す。なお、この動画像データ再生全体長は、ユ
ーザが再生途中で再生中止をする回数が増えるに連れ統
計的に正確なものとなる。
【0041】また、動画像データを一時蓄積手段に格納
する条件は、第一の発明では動画像データの全体長Lに
比例定数kを掛けた長さのデータを動画像データの頭か
ら蓄積するという条件であったが、第二の発明では、動
画像データによって異なる動画像データ再生全体長Mに
比例定数kを掛けた長さのデータを動画像データの頭か
ら蓄積するという条件となる。なお、比例定数kの決め
方は発明第一と同様である。
【0042】図6は、上記動作の動画像処理手段12が
動画像データ蓄積装置11からデータを読みだすときの
蓄積制御手段13での一時蓄積手段14へのデータ蓄積
手順を示すフロチャートである。ここで、蓄積制御手段
でデータの検査(ステップ609)とは、動画像データ
の先頭からのデータ容量がkMを越えるかどうかを検査
することを示す。また、データの一部を一時蓄積手段に
蓄積(ステップ610)とは、データの検査(ステップ
609)の後、先頭からのデータ量がkMを越えるデー
タを一時蓄積手段14にコピーすることを示す。動画像
再生中に、再生中止要求があるかまたは再生が終了した
場合(ステップ613)に、再生していた動画像データ
の動画像データ再生全体長を算出し(ステップ61
4)、これを動画像データ再生全体長格納手段に格納
(ステップ615)する。
【0043】動画像処理装置と一時蓄積装置の間の通信
路の伝送速度が、一時蓄積装置と動画像データ蓄積装置
の間の通信路の伝送速度に比べて、速い場合において、
一時蓄積手段14に蓄積されていたデータを動画像処理
装置12に送出している間に、動画像データ蓄積装置1
1から残りのデータを取得できれば、動画像処理手段の
動画像データ蓄積装置からのデータ読み出し速度は一時
蓄積手段にデータを蓄積しないときに比べ相対的に速く
なる。
【0044】動画像処理手段からの動画再生要求と共に
すぐに動画を再生し始め、しかも動画の再生が最後まで
止らずにスムースに再生が可能となるには、それに充分
なデータを蓄積しなければならず、またそれ以上のデー
タ蓄積は無駄になる。しかし、動画像データの全体長が
長い場合、もしくは一時蓄積手段において物理的にメモ
リの確保が十分にできない場合、発明第一のような理想
的な一時蓄積手段におけるメモリ確保はできない。
【0045】本発明は、ユーザの動画像再生形態を統計
的に利用して、動画像データの実際の再生長を基に必要
な一時蓄積メモリ量を算出し、このメモリを確保するこ
とで動画の再生を最後まで途切れずにスムースに再生す
ることを可能としながら、かつメモリの利用効率をさら
に上げることを実現するものである。
【0046】以上この構成から明らかなように、本実施
例による動画処理装置は、動画像処理手段12が動画像
データ蓄積装置11から動画像データを読みだすときに
データの容量が動画像データの最初の部分からデータ容
量kMを越えたかどうかを検査する一時蓄積手段14
と、動画像データを蓄積するかどうかを検査する蓄積制
御手段13を、動画像処理手段12と動画像データ蓄積
装置11間に設け、1動画像データあたりkMのデータ
を蓄積するメモリを一時蓄積手段に用意することによ
り、動画像データ処理手段12における動画再生を最後
までスムースに行なうことができる。
【0047】以上のように、本発明は、動画像処理装置
と一時蓄積装置の間の通信路の伝送速度が、一時蓄積装
置と動画像データ蓄積装置の間の通信路の伝送速度に比
べて、速い場合において、一時蓄積装置のメモリが充分
になく容量に制限がある場合、理想的なデータ蓄積方法
はできず、より効率のよい蓄積方法が必要とされるとい
う課題を解決するものである。
【0048】(実施例3)以下、第三の発明の実施例に
ついて図面を参照しながら説明する。第三の発明の一実
施例に於ける構成図は図1と同じである。蓄積制御手段
13内の構成図も図4とおなじである。図4で図2と違
うのは、図2の205の動画像データ全体長格納手段が
405の動画像データ再生全体長格納手段となっている
ことと、再生全体長算出手段407が設けられているだ
けである。上記のように構成された動画像処理装置にお
いて、その動作は第二の発明と同様である。第二の発明
とは、想定している、ユーザの統計的な動画像再生形態
が異なる。
【0049】図7は、発明第三で想定する、動画像デー
タの再生中に再生を中止したユーザ数と動画像データの
再生開始からの経過時間の関係グラフである。ある動画
像データに関してはこの様なグラフになることが考えれ
られる。これは、再生して間もなく再生中止をするユー
ザが多い場合である。動画像データまたはマルチメディ
アタイトルの内容が期待に沿わなかったり、以前に見た
ものであった場合にこの様な事が起きる。ここでも、第
二の発明と同様にこの統計的な性質は正規分布グラフの
組み合わせとなると仮定する。
【0050】ここで、第二の発明のように再生中止箇所
のすべての平均をとるとN’が動画像データ再生全体長
となる。しかし、実際には再生し続けているユーザも多
く、N’を動画像データ再生長とすると不都合が起き
る。そこで、再生を中止したユーザ数が極小値となった
ところをHとし、これをしきい値とし、これを越えた再
生中止箇所で過去すべての事象の算術平均を取り、発明
第三ではこれを動画像データ再生全体長Nとする。
【0051】しきい値Hの初期値は0、Nの初期値は動
画像データ全体長Lとする。なお、この動画像データ再
生全体長は、ユーザが再生途中で再生中止をする回数が
増えるに連れ統計的に正確なものとなるのは第二の発明
と同様である。動画像データを一時蓄積手段に格納する
条件は、第一の発明では動画像データの全体長Lに比例
定数kを掛けた長さのデータを動画像データの頭から蓄
積するという条件であった。第三の発明では、再生中止
ユーザが最大となる時間Hをしきい値とし、これを越え
た再生長を平均して得る、動画像データによって異なる
動画像データ再生全体長Nに比例定数kを掛けた長さの
データを動画像データの頭から蓄積するという条件とな
る。なお、比例定数kの決め方は発明第一と同様であ
る。
【0052】図6は、上記動作の動画像処理手段12が
動画像データ蓄積装置11からデータを読みだすときの
蓄積制御手段13での一時蓄積手段14へのデータ蓄積
手順を示すフロチャートで、第二の発明と同様となる。
【0053】動画像処理装置と一時蓄積装置の間の通信
路の伝送速度が、一時蓄積装置と動画像データ蓄積装置
の間の通信路の伝送速度に比べて、速い場合において、
一時蓄積手段14に蓄積されていたデータを動画像処理
装置12に送出している間に、動画像データ蓄積装置1
1から残りのデータを取得できれば、動画像処理手段の
動画像データ蓄積装置からのデータ読み出し速度は一時
蓄積手段にデータを蓄積しないときに比べ相対的に速く
なる。動画像処理手段からの動画再生要求と共にすぐに
動画を再生し始め、しかも動画の再生が最後まで止らず
にスムースに再生が可能となるには、それに充分なデー
タを蓄積しなければならず、またそれ以上のデータ蓄積
は無駄になる。しかし、動画像データの全体長が長い場
合、もしくは一時蓄積手段において物理的にメモリの確
保が十分にできない場合、発明第一のような理想的な一
時蓄積手段におけるメモリ確保はできない。そこで、第
二の発明では、ユーザの動画像再生形態を統計的に利用
して、動画像データの実際の再生長を基に必要な一時蓄
積メモリ量を算出し、このメモリを確保することで動画
の再生を最後まで途切れずにスムースに再生することを
可能とした。
【0054】しかし、ユーザの動画像再生形態によって
は、この方法では動画像の再生時にデータの供給が途切
れ、スムースに再生されない動画を見るユーザが増え
る。発明第三ではこれを補いながら、かつメモリの利用
効率をさらに上げることを実現するものである。
【0055】以上この構成から明らかなように、本実施
例による動画処理装置は、動画像処理手段12が動画像
データ蓄積装置11から動画像データを読みだすときに
データの容量が動画像データの最初の部分からデータ容
量kNを越えたかどうかを検査する一時蓄積手段14
と、動画像データを蓄積するかどうかを検査する蓄積制
御手段13を、動画像処理手段12と動画像データ蓄積
装置11間に設け、1動画像データあたりkNのデータ
を蓄積するメモリを一時蓄積手段に用意することによ
り、動画像データ処理手段12における動画再生を最後
までスムースに行なうことができる。
【0056】以上のように、本発明は、動画像処理装置
と一時蓄積装置の間の通信路の伝送速度が、一時蓄積装
置と動画像データ蓄積装置の間の通信路の伝送速度に比
べて、速い場合において、一時蓄積装置のメモリが充分
になく容量に制限があり、理想的なデータ蓄積方法はで
きず、かつ動画像データの再生形態により単に再生長の
平均を取ればよいというわけではないという場合には、
一時蓄積装置へのデータの、より効率の良い蓄積方法が
必要となるという課題を解決するものである。
【0057】(実施例4)以下、第四の発明の実施例に
ついて図面を参照しながら説明する。第四の発明の一実
施例に於ける構成図は図1と同じである。蓄積制御手段
13内の構成図は図8である。図8で図2と違うのは、
図2の205の動画像データ全体長格納手段が805の
動画像データシーン別データ長格納手段となっているこ
とと、シーン切り替え判別手段807が設けられている
ことである。
【0058】動画像は一般的に複数のシーンから構成さ
れており、マルチメディアタイトルなどでは、動画内の
あるシーンへランダムにアクセスしこれを再生するよう
な場合がある。このような場合、第一の発明のようにそ
の動画像データの最初の部分を一時蓄積手段に蓄積して
おくだけでは蓄積されていない部分のシーンへのアクセ
スをしたときに動画像がスムースに再生されないという
不都合が起きる。そこで、発明第四では、動画像データ
内のシーンの変わり目を、各フレームの前フレームとの
差分がしきい値を越えたらシーンが替わったと見なすな
ど従来からある一般的な方法で自動的に割り出し、この
シーンの変わり目と変わり目の間を1つの動画像データ
と見なし、第一の解決方法を適用することで、動画をス
ムースに再生できなくなるという課題を解決する。ま
た、シーン別にどのくらいのデータを一時蓄積するかと
いう課題に対しては、第一の発明、第二の発明、第三の
発明のいずれを適用してもよいが、ここでは例として、
第一の発明を適用し比例定数kをもちいて説明する。
【0059】上記のように構成された動画像処理装置に
おいて、以下その動作を説明する。まず、動画像処理手
段12は、必要とする動画像データを動画像データ蓄積
装置11から読みだす時、動画像データの要求を蓄積制
御手段13に出す。蓄積制御手段13では、蓄積データ
管理テーブルを調べ、要求の動画像データが全く蓄積さ
れていなかったときは、動画像データ蓄積装置11に動
画像データのすべての読みだし要求を出す。読みだした
動画像データは伝送路1(15)を通り、蓄積手段1
3、伝送路2(16)を通り動画像データ処理手段12
に達する。
【0060】この時、蓄積制御手段13では、動画像デ
ータに付随したシーン別データ長情報を動画像データシ
ーン別データ長格納手段805に格納する。全体長情報
を付随できないまたはされていない動画像データに関し
ては、そのシーン別データ長情報をあらかじめ動画像デ
ータシーン別データ長格納手段805に格納しておく。
【0061】動画像データ蓄積装置11から伝送された
動画像データは、あらかじめ一時蓄積条件格納手段に格
納された条件、つまりそのシーンのデータ長に比例定数
kを掛けた長さのデータをそのシーンの頭から蓄積する
という条件から、動画像データの最初の部分の容量kP
1のデータを一時蓄積手段14にコピーし、蓄積する。
このとき、シーンの切り替わり目はシーン切り替え判別
手段を用いて検知し、シーンが切り替わればデータ量計
測手段で計測しているシーン別のデータ量を初期化す
る。ここで、kは0<=k<=1の比例定数、P1はシー
ン1のシーン別データ長とする。
【0062】なお、比例定数kの決め方は発明第一と同
様である。さらに、コピーしたデータの最後の位置を動
画像データとそのシーンの固有番号と共に一時蓄積手段
14内の蓄積データ管理テーブルに書き込む。
【0063】図9に、この動画像データとシーンとその
一時蓄積する部分の関係を示す。動画像処理手段12が
次に動画像データを読みだそうしたときは、まず動画像
処理手段12は蓄積制御手段13にデータ読みだしの要
求を出す。蓄積制御手段13は、一時蓄積手段14内の
蓄積データ管理テーブルを調べ、蓄積されている最初の
部分の動画像データを読みだし動画像処理手段12に送
出する。
【0064】一方で、蓄積されていない残りのデータは
動画像データ蓄積装置に読みだし要求を出す。取得した
データの残りは、取得した順にFIFOメモリに入れ、
一時蓄積手段内にあったデータを動画像処理手段に送出
し終わる時に、そのデータの最後部に、FIFOメモリ
から取り出したデータを連結し、動画像処理手段に送出
する。これで、動画像データは途切れずに動画像処理手
段に送出されたことになる。
【0065】上記動作の動画像処理手段12が動画像デ
ータ蓄積装置11からデータを読みだすときの蓄積制御
手段13での一時蓄積手段14へのデータ蓄積手順を示
すフロチャートは、第一の発明と同様となる。
【0066】以上この構成から明らかなように、第四の
発明による動画処理装置は、マルチメディアタイトルな
どでは、動画内のあるシーンへランダムにアクセスしこ
れを再生するような場合において、動画像処理手段12
が動画像データ蓄積装置11から動画像データの内シー
ン1を読みだすときにシーン1のデータの容量がシーン
1のデータの最初の部分からデータ容量kP1を越えた
かどうかを検査する一時蓄積手段14と、動画像データ
を蓄積するかどうかを検査する蓄積制御手段13を、動
画像処理手段12と動画像データ蓄積装置11間に設
け、シーン別にkPn(n=1,2,3...)のデータを蓄積す
るメモリを一時蓄積手段に用意することにより、シーン
へのランダムアクセスを行なう動画像データ処理手段1
2におけるシーンPnの動画再生を最後までスムースに
行なうことができる。
【0067】また、シーン別にどのくらいのデータを一
時蓄積するかという課題に対しては、第一の発明、第二
の発明、第三の発明のいずれを適用してもよいが、ここ
では例として、第一の発明を適用し比例定数kをもちい
て説明した。
【0068】以上のように、本発明は、動画像処理装置
と一時蓄積装置の間の通信路の伝送速度が、一時蓄積装
置と動画像データ蓄積装置の間の通信路の伝送速度に比
べて、速い場合においてマルチメディアタイトルなど
で、動画内のあるシーンへランダムにアクセスするよう
な場合において一時蓄積装置に蓄積する動画データは、
その動画像データの最初の部分を蓄積するだけでは、シ
ーンをすぐに再生できないという課題を解決するもので
ある。
【0069】(実施例5)以下、第五の発明の実施例に
ついて図面を参照しながら説明する。第五の発明の一実
施例に於ける構成図は図1と同じである。蓄積制御手段
13内の構成図は図10である。図10で図8と違うの
は、図8の805の動画像データ全体長格納手段が10
05の動画像データ区間別データ長格納手段となってい
ることと、シナリオ解釈手段1006が設けられている
ことである。
【0070】マルチメディアタイトルなどでは、シナリ
オ、またはある選択枝に従い複数の動画像データの任意
の部分にランダムにアクセスするような場合が考えられ
る。これは1つのマルチメディアタイトルが複数の動画
像データの複数の区間から構成されているからである。
このような場合、この区間は任意であり、シーンの切り
替え部分とは限らず、一時蓄積手段への動画像データの
蓄積方法が課題となる。ところが、このアクセスする区
間は、マルチメディアタイトルのシナリオに明示されて
いる。
【0071】第五の発明では、このシナリオを解釈し、
それに従って、必要な区間の動画像データを一時蓄積手
段に蓄積することで、シナリオに従った動画像データの
再生や、選択枝による再生する動画像の変更を実現し、
この課題を解決する。また、区間別にどのくらいのデー
タを一時蓄積するかという課題に対しては、第一の発
明、第二の発明、第三の発明のいずれを適用してもよい
が、ここでは例として、第一の発明を適用し比例定数k
をもちいて説明する。
【0072】上記のように構成された動画像処理装置に
おいて、以下その動作を説明する。まず、動画像処理手
段12は、必要とする動画像データを動画像データ蓄積
装置11から読みだす時、動画像データの要求を蓄積制
御手段13に出す。蓄積制御手段13では、蓄積データ
管理テーブルを調べ、要求の動画像データが全く蓄積さ
れていなかったときは、動画像データ蓄積装置11に動
画像データのすべての読みだし要求を出す。読みだした
動画像データは伝送路1(15)を通り、蓄積手段1
3、伝送路2(16)を通り動画像データ処理手段12
に達する。この時、蓄積制御手段13では、マルチメデ
ィアタイトルに付随したシナリオ情報をシナリオ解釈手
段1006で解釈し、動画像データ区間別データ長格納
手段1005に格納する。
【0073】シナリオ情報を付随できないまたはされて
いない動画像データに関しては、そのシーン別データ長
情報をあらかじめ動画像データシーン別データ長格納手
段1005に格納しておく。動画像データ蓄積装置11
から伝送された動画像データは、あらかじめ一時蓄積条
件格納手段に格納された条件、つまりその区間のデータ
長に比例定数kを掛けた長さのデータをその区間の頭か
ら蓄積するという条件から、動画像データの内の区間部
分の容量kQ1のデータを一時蓄積手段14にコピー
し、蓄積する。このとき、区間Q1の切れ目はシナリオ
解釈手段から得られ、データ量計測手段で計測している
区間別のデータ量を初期化する。
【0074】ここで、kは0≦k≦1の比例定数、Q1は
動画像データの内の区間1の区間別データ長とする。な
お、比例定数kの決め方は発明第一と同様である。さら
に、コピーしたデータの最後の位置を動画像データとそ
の区間の固有番号と共に一時蓄積手段14内の蓄積デー
タ管理テーブルに書き込む。
【0075】図11に、あるシナリオが動画像データA
の区間2と動画像データBの区間1と動画像データCの
区間4と動画像データDの区間3で構成されている場合
を示した。ここでは、一時蓄積手段で蓄積される動画像
データを濃い灰色で示した。薄い灰色で示した部分は、
他のシナリオでこの区間を必要としたときに一時蓄積手
段に蓄積される部分である。
【0076】このように、シナリオに明示された、必要
な動画像の区間だけを一時蓄積手段に蓄積する。動画像
処理手段12が次に動画像データを読みだそうしたとき
は、まず動画像処理手段12は蓄積制御手段13にデー
タ読みだしの要求を出す。蓄積制御手段13は、一時蓄
積手段14内の蓄積データ管理テーブルを調べ、蓄積さ
れている最初の部分の動画像データを読みだし動画像処
理手段12に送出する。一方で、蓄積されていない残り
のデータは動画像データ蓄積装置に読みだし要求を出
す。取得したデータの残りは、取得した順にFIFOメ
モリに入れ、一時蓄積手段内にあったデータを動画像処
理手段に送出し終わる時に、そのデータの最後部に、F
IFOメモリから取り出したデータを連結し、動画像処
理手段に送出する。これで、動画像データは途切れずに
動画像処理手段に送出されたことになる。上記動作の動
画像処理手段12が動画像データ蓄積装置11からデー
タを読みだすときの蓄積制御手段13での一時蓄積手段
14へのデータ蓄積手順を示すフロチャートは、発明第
一と同様となる。
【0077】以上この構成から明らかなように、第五の
発明による動画処理装置は、マルチメディアタイトルな
どでは、複数の動画内のある区間へランダムにアクセス
しこれを再生するような場合において、動画像処理手段
12が動画像データ蓄積装置11から動画像データの内
シーン1を読みだすときに区間1のデータの容量が区間
1のデータの最初の部分からデータ容量kQ1を越えた
かどうかを検査する一時蓄積手段14と、動画像データ
を蓄積するかどうかを検査する蓄積制御手段13を、動
画像処理手段12と動画像データ蓄積装置11間に設
け、必要な動画像データの必要な区間別にデータを蓄積
するメモリを一時蓄積手段に用意することにより、任意
の区間へのランダムアクセスを行なう動画像データ処理
手段12における区間の動画再生を最後までスムースに
行なうことができる。また、区間‘別にどのくらいのデ
ータを一時蓄積するかという課題に対しては、第一の発
明、第二の発明、第三の発明のいずれを適用してもよい
が、ここでは例として、第一の発明を適用し比例定数k
をもちいて説明した。
【0078】以上のように、本発明は、シナリオを解釈
し、1つのマルチメディアタイトルの複数の動画像デー
タの任意の部分の区間を1つの動画像データと見なし、
第一の解決方法を適用することで、シナリオにしたがっ
た、またはどの選択枝を選んでもそれにリンクされた、
動画をすぐに再生でき、複数の動画の任意の部分にラン
ダムにアクセスするような場合においても動画をスムー
スに再生するという課題を解決する。
【0079】
【発明の効果】以上のように本発明は、動画像処理手段
と、動画像データ蓄積装置と、一時蓄積手段と、動画像
データ蓄積手段から読みだしたデータのうち動画像処理
手段と動画像データ蓄積装置の間の伝送路のデータの伝
送速度から求めた比例定数と動画像データの全体長に基
づいた容量のデータを、動画像データの最初から一時蓄
積手段に蓄積する蓄積制御手段を設けることにより動画
像処理手段からの動画再生要求と共にすぐに動画を再生
し始め、しかも動画の再生が最後まで止らずにスムース
に再生できることを可能とし、またそれに必要かつ充分
なメモリを確保することでメモリの利用効率を上げより
多くの動画像データに対応することができる優れた動画
像処理装置を実現することができるものである。
【図面の簡単な説明】
【図1】本発明の第1の実施例における動画像処理装置
のシステム構成図
【図2】本発明の第1の実施例における蓄積制御手段の
構成図
【図3】本発明の第1の実施例における動作説明のため
のフローチャート
【図4】本発明の第2の実施例における蓄積制御手段の
構成図
【図5】本発明の第2の実施例におけるユーザの動画再
生形態例図
【図6】本発明の第2の実施例における動作説明のため
のフローチャート
【図7】本発明の3の実施例におけるユーザの動画再生
形態例図
【図8】本発明の第4の実施例における蓄積制御手段の
構成図
【図9】本発明の第4の実施例における動画像データと
シーン構成図
【図10】本発明の第5の実施例における蓄積制御手段
の構成図
【図11】本発明の第5の実施例におけるタイトルと複
数動画像データの区間構成図
【符号の説明】
11 動画像データ蓄積装置 12 動画像処理手段 13 蓄積制御手段 14 一時蓄積手段 15 伝送路1 16 伝送路2 201 フレーム容量計測手段 202 条件判断手段 203 一時蓄積条件格納手段 204 蓄積データ管理手段 205 動画像データ全体長格納手段 206 FIFOメモリ 401 フレーム容量計測手段 402 条件判断手段 403 一時蓄積条件格納手段 404 蓄積データ管理手段 405 動画像データ全体長格納手段 406 FIFOメモリ 407 再生全体長算出手段 801 フレーム容量計測手段 802 条件判断手段 803 一時蓄積条件格納手段 804 蓄積データ管理手段 805 動画像データシーン別データ長格納手段 806 FIFOメモリ 807 シーン切り替え判別手段 1001 フレーム容量計測手段 1002 条件判断手段 1003 一時蓄積条件格納手段 1004 蓄積データ管理手段 1005 動画像データ区間別データ長格納手段 1006 シナリオ解釈手段 1007 FIFOメモリ

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 動画像処理手段と、動画像データ蓄積装
    置と、一時蓄積手段と、動画像データ蓄積手段から読み
    だしたデータのうち、動画像処理手段と動画像データ蓄
    積装置の間の伝送路のデータの伝送速度から求めた比例
    定数と動画像データの全体長に基づいた容量のデータ
    を、動画像データの最初から一時蓄積手段に蓄積する蓄
    積制御手段を備えたことを特徴とする動画像処理装置。
  2. 【請求項2】 動画像処理手段での動画再生中に、ユー
    ザからの再生中止があった所までの動画像データのデー
    タ容量を平均し、これを実質的な動画像データの全体長
    とみなす、請求項1記載の動画像処理装置。
  3. 【請求項3】 実質的な動画像全体長を求めるにあた
    り、ユーザの動画像データ再生形態の統計的な特徴を考
    慮して、動画像処理手段での動画再生中にユーザからの
    再生中止があった所までの動画像データのデータ容量を
    平均し、これを実質的な動画像データの全体長とみな
    す、請求項2記載の動画像処理装置。
  4. 【請求項4】 動画像データ内のシーンの変わり目を、
    自動的に割り出し、このシーンの変わり目と変わり目の
    間を1つの動画像データと見なす、請求項1記載の動画
    像処理装置。
  5. 【請求項5】 シナリオを解釈し、1つのマルチメディ
    アタイトルを構成する、複数の動画像データの任意の部
    分の区間を1つの動画像データと見なす、請求項1記載
    の動画像処理装置。
JP21584395A 1995-08-24 1995-08-24 動画像処理装置 Expired - Fee Related JP3833732B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21584395A JP3833732B2 (ja) 1995-08-24 1995-08-24 動画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21584395A JP3833732B2 (ja) 1995-08-24 1995-08-24 動画像処理装置

Publications (2)

Publication Number Publication Date
JPH0965291A true JPH0965291A (ja) 1997-03-07
JP3833732B2 JP3833732B2 (ja) 2006-10-18

Family

ID=16679196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21584395A Expired - Fee Related JP3833732B2 (ja) 1995-08-24 1995-08-24 動画像処理装置

Country Status (1)

Country Link
JP (1) JP3833732B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661746B2 (en) 1998-06-03 2003-12-09 Matsushita Electric Industrial Co., Ltd. Rewritable recording medium with multiple reproduction path information for common digital data
WO2004095842A1 (ja) * 2003-04-18 2004-11-04 Matsushita Electric Industrial Co., Ltd. ストリーム受信装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661746B2 (en) 1998-06-03 2003-12-09 Matsushita Electric Industrial Co., Ltd. Rewritable recording medium with multiple reproduction path information for common digital data
US6738319B2 (en) 1998-06-03 2004-05-18 Matsushita Electric Industrial Co., Ltd. Recording medium, recording apparatus and reproduction apparatus
US7400819B2 (en) 1998-06-03 2008-07-15 Matsushita Electric Industrial Co., Ltd. Recording medium, recording apparatus and reproduction apparatus
US8126311B2 (en) 1998-06-03 2012-02-28 Panasonic Corporation Recording medium, recording apparatus and reproduction apparatus
WO2004095842A1 (ja) * 2003-04-18 2004-11-04 Matsushita Electric Industrial Co., Ltd. ストリーム受信装置

Also Published As

Publication number Publication date
JP3833732B2 (ja) 2006-10-18

Similar Documents

Publication Publication Date Title
US5912866A (en) Method of reproducing multimedia data and multimedia data server system
US5610841A (en) Video server
EP0976249B1 (en) Video on demand with vcr like functions
US5629866A (en) Audio-visual presentation system
US20020161739A1 (en) Multimedia contents providing system and a method thereof
JP2908977B2 (ja) サーバ
EP1463056A1 (en) Data recording method; data deletion method; data display method; recording apparatus; recording medium; and program
WO2001082163A1 (en) A multimedia contents providing system and a method thereof
US6813438B1 (en) Method to customize the playback of compact and digital versatile disks
JPH11509951A (ja) 記憶媒体装置
JPH11187367A (ja) 映像送信装置,映像受信装置及びこれらを用いた映像伝送システム
US5950015A (en) Method and system for reading data for a number of users
EP1193965B1 (en) Apparatus and method for picture transmission and display
US6125428A (en) Apparatus for reproducing multimedia data, method for reproducing multimedia data, and record media containing multimedia data reproduction program
JP3498789B2 (ja) 放送サービスシステム及びこれを用いた放送サービスにおけるディレイ放送方法
CN101399834A (zh) 媒体点播网络、在网络的流动节点中存储媒体资产的方法
JPH0965291A (ja) 動画像処理装置
JP3860957B2 (ja) マルチメディアデータの送出装置
CN1762018B (zh) 在交互盘播放器之间交换用户消息的方法
JP2001313919A (ja) コンテンツ管理方法、コンテンツ管理システムおよび記憶媒体
JP3208034B2 (ja) 動画像モニタ方法
JP3193563B2 (ja) リアルタイムデータ読み出しシステム
JP4170422B2 (ja) 情報配信システム
JP2003163893A (ja) 映像再生制御方法、映像再生制御システム、サーバ装置、クライアント装置、並びに、映像再生制御プログラム及びその記録媒体
JP3334514B2 (ja) マルチメディアデータ視聴システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050622

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060720

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090728

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110728

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110728

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120728

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees