JP3036287B2 - 動画像シーン検出装置 - Google Patents
動画像シーン検出装置Info
- Publication number
- JP3036287B2 JP3036287B2 JP5059079A JP5907993A JP3036287B2 JP 3036287 B2 JP3036287 B2 JP 3036287B2 JP 5059079 A JP5059079 A JP 5059079A JP 5907993 A JP5907993 A JP 5907993A JP 3036287 B2 JP3036287 B2 JP 3036287B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- frame
- image
- scene
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 76
- 238000000034 method Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 14
- 238000013139 quantization Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 101000973623 Homo sapiens Neuronal growth regulator 1 Proteins 0.000 description 1
- 102100022223 Neuronal growth regulator 1 Human genes 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、ディジタル記録媒体に
圧縮記録された動画像情報から特徴的なシーンを検出
し、記録する装置に関するものである。
圧縮記録された動画像情報から特徴的なシーンを検出
し、記録する装置に関するものである。
【０００２】
【従来の技術】たとえば、映画やテレビジョンにおいて
動画像を編集する際には、素材フィルム或いは素材ビデ
オテープの中から所望の箇所を切り出してつなぎ合わせ
る。
動画像を編集する際には、素材フィルム或いは素材ビデ
オテープの中から所望の箇所を切り出してつなぎ合わせ
る。
【０００３】動画像の基本編集は、主に以下の３つの手
順から成っている。
順から成っている。
【０００４】１）複数の映像情報から所望のシーンを検
索する。
索する。
【０００５】２）検索されたシーンを切り出す。
【０００６】３）切り出されたシーンを所望のシーケン
スにつなぐ。
スにつなぐ。
【０００７】この３つの中で、編集作業の効率上最も問
題となるのは１）のシーン検索である。その理由として
は、以下の２つが挙げられる。
題となるのは１）のシーン検索である。その理由として
は、以下の２つが挙げられる。
【０００８】 従来は目視によってシーン検索を行っ
ていたため手間と時間がかかる。 シーン検索には編集者の習熟が必要とされる。
ていたため手間と時間がかかる。 シーン検索には編集者の習熟が必要とされる。
【０００９】一方、近年ディジタル動画像の符号化技術
が進歩し、蓄積系動画像符号化の国際標準として検討さ
れているＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅ
ｘｐｅｒｔ Ｇｒｏｕｐ）方式等の符号化技術を導入す
ることによって、約１時間分の動画像を１枚のＣＤ−Ｒ
ＯＭに記憶できる様になってきた。この様な状況におい
ては、記憶媒体の経済性とあいまって、大量の映像情報
を取り扱う要求が高まり、さらに１）のシーン検索の効
率が大きな問題になると考えられる。
が進歩し、蓄積系動画像符号化の国際標準として検討さ
れているＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅ
ｘｐｅｒｔ Ｇｒｏｕｐ）方式等の符号化技術を導入す
ることによって、約１時間分の動画像を１枚のＣＤ−Ｒ
ＯＭに記憶できる様になってきた。この様な状況におい
ては、記憶媒体の経済性とあいまって、大量の映像情報
を取り扱う要求が高まり、さらに１）のシーン検索の効
率が大きな問題になると考えられる。
【００１０】この様な背景の下、シーン検索を自動的に
行うための手法が従来から検討されている。
行うための手法が従来から検討されている。
【００１１】たとえば、上田：“インタラクティブな動
画編集方式の提案”，信学技報，Ｖｏｌ．ＩＥ９０−
６，１９９０には、画像の特徴量を用いてシーン検索を
行う手法の概論が開示されている。
画編集方式の提案”，信学技報，Ｖｏｌ．ＩＥ９０−
６，１９９０には、画像の特徴量を用いてシーン検索を
行う手法の概論が開示されている。
【００１２】また、長坂，田中：“ビデオ作品の場面変
わりの自動検出法”，情報処理学会第４０回（平成２年
前期）全国大会講演論文集，１Ｑ−５，ｐｐ．６４２−
６４３，１９９０には、フレーム間相関が特に低くなる
ところをシーンチェンジとして検出する手法が開示され
ている。
わりの自動検出法”，情報処理学会第４０回（平成２年
前期）全国大会講演論文集，１Ｑ−５，ｐｐ．６４２−
６４３，１９９０には、フレーム間相関が特に低くなる
ところをシーンチェンジとして検出する手法が開示され
ている。
【００１３】また、特開平０２ー４０４２７２号公報に
おいては、フレームとの差分情報の大きさからシーンチ
ェンジ検出をサポートする装置が提案されている。この
装置は、図１３の様にシーンチェンジ判定部８０１、動
画像データ部８０２、属性情報復号手段８０３、データ
伸長部８０４、表示部８０５から構成され、動画像デー
タ部８０２には図１４に示す様な、動画像情報本体と情
報量やフレーム位置等からなる属性情報がフレーム単位
で記録されている。例えば、動画像データ部８０２に、
動画像情報として前フレームとの差分情報を符号化した
情報が、属性情報としてフレーム毎の符号量とフレーム
位置が記録されている場合には、符号量の大小を閾値処
理することによってシーン・チェンジの候補が検出でき
る。すなわち符号量（前フレームとの差分情報量）が大
きいフレームは、前フレームから大きく変化しているフ
レームであることから、シーンチェンジが発生している
可能性が高いと考えられる。但し、動く物体の領域が大
きい場合等にも前フレームとの差分情報量は大きくなる
ため、符号量の閾値処理によって必ずシーンチェンジが
検出されるわけではない。
おいては、フレームとの差分情報の大きさからシーンチ
ェンジ検出をサポートする装置が提案されている。この
装置は、図１３の様にシーンチェンジ判定部８０１、動
画像データ部８０２、属性情報復号手段８０３、データ
伸長部８０４、表示部８０５から構成され、動画像デー
タ部８０２には図１４に示す様な、動画像情報本体と情
報量やフレーム位置等からなる属性情報がフレーム単位
で記録されている。例えば、動画像データ部８０２に、
動画像情報として前フレームとの差分情報を符号化した
情報が、属性情報としてフレーム毎の符号量とフレーム
位置が記録されている場合には、符号量の大小を閾値処
理することによってシーン・チェンジの候補が検出でき
る。すなわち符号量（前フレームとの差分情報量）が大
きいフレームは、前フレームから大きく変化しているフ
レームであることから、シーンチェンジが発生している
可能性が高いと考えられる。但し、動く物体の領域が大
きい場合等にも前フレームとの差分情報量は大きくなる
ため、符号量の閾値処理によって必ずシーンチェンジが
検出されるわけではない。
【００１４】また、長谷山，田中，大庭：“符号化情報
量による動画像検索の検討”，１９９２年電子情報通信
学会春季大会講演論文集，Ｄ−２９２には、フレーム間
予測ＤＣＴ符号化された符号化動画像を対象として、フ
レーム毎の符号量に基づいてシーン検索を行う手法が開
示されている。
量による動画像検索の検討”，１９９２年電子情報通信
学会春季大会講演論文集，Ｄ−２９２には、フレーム間
予測ＤＣＴ符号化された符号化動画像を対象として、フ
レーム毎の符号量に基づいてシーン検索を行う手法が開
示されている。
【００１５】
【発明が解決しようとする課題】目視確認によって編集
やシーンの検出作業を行う場合、動画像情報全体の再生
（または早送り）が必要となる。このため作業時間が長
くかかる、複数の動画像情報を用いて同時に作業を進め
ることは困難である等の効率上の問題がある。また動画
像情報を符号化しない状態で保持する場合には、記憶装
置の容量が問題となり、一方、符号化して保持する場合
には、検出のために対象動画像情報全部を復号しなけれ
ばならず復号処理時間等が問題である。
やシーンの検出作業を行う場合、動画像情報全体の再生
（または早送り）が必要となる。このため作業時間が長
くかかる、複数の動画像情報を用いて同時に作業を進め
ることは困難である等の効率上の問題がある。また動画
像情報を符号化しない状態で保持する場合には、記憶装
置の容量が問題となり、一方、符号化して保持する場合
には、検出のために対象動画像情報全部を復号しなけれ
ばならず復号処理時間等が問題である。
【００１６】前記の上田：“インタラクティブな動画編
集方式の提案”，信学技報，Ｖｏｌ．ＩＥ９０−６，１
９９０、及び、前記の長坂，田中：“ビデオ作品の場面
変わりの自動検出法”，情報処理学会第４０回（平成２
年前期）全国大会講演論文集，１Ｑ−５，ｐｐ．６４２
−６４３，１９９０に開示されている方法では、符号化
されていない動画像を対象としているため、処理システ
ムには高い処理能力と大規模な蓄積容量が要求されると
いう問題がある。
集方式の提案”，信学技報，Ｖｏｌ．ＩＥ９０−６，１
９９０、及び、前記の長坂，田中：“ビデオ作品の場面
変わりの自動検出法”，情報処理学会第４０回（平成２
年前期）全国大会講演論文集，１Ｑ−５，ｐｐ．６４２
−６４３，１９９０に開示されている方法では、符号化
されていない動画像を対象としているため、処理システ
ムには高い処理能力と大規模な蓄積容量が要求されると
いう問題がある。
【００１７】また、前記特開平０２ー４０４２７２号公
報で示されている装置では、シーンチェンジ判定部８０
１でフレーム間の差分情報の情報量（Ｄａｔａ）と閾値
（Ｔｈ）を用いてＤａｔａ＞Ｔｈの判定を行うだけなの
で、検出できるシーンはシーンチェンジ１種類だけであ
る。また、検出したシーンに関する記録が行われないた
め、利用者は編集作業の度に該シーンチェンジ検出サポ
ート装置でシーン検出処理を行う必要がある。
報で示されている装置では、シーンチェンジ判定部８０
１でフレーム間の差分情報の情報量（Ｄａｔａ）と閾値
（Ｔｈ）を用いてＤａｔａ＞Ｔｈの判定を行うだけなの
で、検出できるシーンはシーンチェンジ１種類だけであ
る。また、検出したシーンに関する記録が行われないた
め、利用者は編集作業の度に該シーンチェンジ検出サポ
ート装置でシーン検出処理を行う必要がある。
【００１８】また、前記の長谷山，田中，大庭：“符号
化情報量による動画像検索の検討”，１９９２年電子情
報通信学会春季大会講演論文集，Ｄ−２９２で示されて
いる方法のように、単純にフレーム毎の符号量のみに基
づいてシーン検索を行う場合には、発生情報量が一定と
なるよう符号量制御が行われる符号化方式においては、
精度の高いシーン検出を行うことができない。
化情報量による動画像検索の検討”，１９９２年電子情
報通信学会春季大会講演論文集，Ｄ−２９２で示されて
いる方法のように、単純にフレーム毎の符号量のみに基
づいてシーン検索を行う場合には、発生情報量が一定と
なるよう符号量制御が行われる符号化方式においては、
精度の高いシーン検出を行うことができない。
【００１９】本発明は、以上のような問題を解決するた
めになされたもので、その目的とするところは、符号化
されて記録されている動画像情報のうち属性情報のみを
復号し、この属性情報を用いて特徴的なシーンの候補を
検出することができる動画像シーン検出装置を提供する
ことにある。
めになされたもので、その目的とするところは、符号化
されて記録されている動画像情報のうち属性情報のみを
復号し、この属性情報を用いて特徴的なシーンの候補を
検出することができる動画像シーン検出装置を提供する
ことにある。
【００２０】また、本発明の他の目的は、前記属性情報
から得られる各種の統計量に基づいて精度の高いシーン
チェンジ検出を行うことができる動画像シーン検出装置
を提供することにある。
から得られる各種の統計量に基づいて精度の高いシーン
チェンジ検出を行うことができる動画像シーン検出装置
を提供することにある。
【００２１】
【課題を解決するための手段】本発明の動画像シーン検
出装置は、符号化された動画像情報である動画像情報本
体と該動画像情報本体の属性を示す属性情報とからなる
符号情報および該符号情報の編集情報を記憶する情報記
憶手段と、前記符号情報中の属性情報を復号する属性情
報復号手段と、前記属性情報復号手段から出力される属
性情報を用いて動画像中の特徴的なシーンの候補を検出
する候補シーン検出手段と、前記符号情報中の画像情報
を復号する画像情報復号手段と、前記画像情報復号手段
から出力される画像情報を表示する画像情報表示手段と
を備え、前記情報記憶手段に記憶する編集情報として前
記候補シーン検出手段により検出された候補シーンに関
する情報を記憶することを特徴とする。
出装置は、符号化された動画像情報である動画像情報本
体と該動画像情報本体の属性を示す属性情報とからなる
符号情報および該符号情報の編集情報を記憶する情報記
憶手段と、前記符号情報中の属性情報を復号する属性情
報復号手段と、前記属性情報復号手段から出力される属
性情報を用いて動画像中の特徴的なシーンの候補を検出
する候補シーン検出手段と、前記符号情報中の画像情報
を復号する画像情報復号手段と、前記画像情報復号手段
から出力される画像情報を表示する画像情報表示手段と
を備え、前記情報記憶手段に記憶する編集情報として前
記候補シーン検出手段により検出された候補シーンに関
する情報を記憶することを特徴とする。
【００２２】
【００２３】
【作用】本発明の作用を具体的に例を挙げて説明する。
【００２４】本発明の動画像シーン検出装置は、図１に
示す様に、符号化された動画像情報と属性情報からなる
符号情報と編集情報を記憶する情報記憶手段１０１と、
前記情報記憶手段１０１に記憶された符号情報中の属性
情報を復号する属性情報復号手段１０２と、前記属性情
報復号手段１０２から出力される属性情報を用いて動画
像中の特徴的なシーンの候補を検出する候補シーン検出
手段１０３と、前記符号情報記憶手段１０１に記憶され
た符号情報中の画像情報を復号する画像情報復号手段１
０４と、前記画像情報復号手段１０４から出力される復
号画像情報を表示する画像情報表示手段１０５とを有す
る。
示す様に、符号化された動画像情報と属性情報からなる
符号情報と編集情報を記憶する情報記憶手段１０１と、
前記情報記憶手段１０１に記憶された符号情報中の属性
情報を復号する属性情報復号手段１０２と、前記属性情
報復号手段１０２から出力される属性情報を用いて動画
像中の特徴的なシーンの候補を検出する候補シーン検出
手段１０３と、前記符号情報記憶手段１０１に記憶され
た符号情報中の画像情報を復号する画像情報復号手段１
０４と、前記画像情報復号手段１０４から出力される復
号画像情報を表示する画像情報表示手段１０５とを有す
る。
【００２５】以上の構成において、情報記憶手段１０１
から各フレーム毎の属性情報のみを読み出し、属性情報
復号手段１０２において復号し、前記属性情報復号手段
１０２から出力される復号属性情報を用いて動画像中の
特徴的なシーンの候補（以後、候補シーンと略記する）
を候補シーン検出手段１０３において検出する。候補シ
ーンが検出される度に、該検出された候補シーンとその
前後数フレームの画像情報を前記情報記憶手段１０１か
ら順次読み出して画像情報復号手段１０４において復号
し、該復号画像情報を画像情報表示手段１０５に並べて
表示する。利用者は前記画像情報表示手段１０５に並べ
て表示された画像情報を見て、前記検出されたシーンの
種類を判断し、シーンの種類とフレーム位置を前記符号
情報の編集情報として前記情報記憶手段１０１に記録す
る。このとき、シーンの種類の判定は利用者によって行
われるため一種類には限らない。以上の操作を動画像情
報全体に対して行うことにより、動画像中の特徴的なシ
ーンの種類および位置情報である編集情報が前記情報記
憶手段１０１に動画像情報とともに記憶される。従っ
て、利用者が編集作業等を行う場合には、あらためてシ
ーン検出を行うことなく該編集情報を利用することがで
き、効率化を図ることが可能となる。
から各フレーム毎の属性情報のみを読み出し、属性情報
復号手段１０２において復号し、前記属性情報復号手段
１０２から出力される復号属性情報を用いて動画像中の
特徴的なシーンの候補（以後、候補シーンと略記する）
を候補シーン検出手段１０３において検出する。候補シ
ーンが検出される度に、該検出された候補シーンとその
前後数フレームの画像情報を前記情報記憶手段１０１か
ら順次読み出して画像情報復号手段１０４において復号
し、該復号画像情報を画像情報表示手段１０５に並べて
表示する。利用者は前記画像情報表示手段１０５に並べ
て表示された画像情報を見て、前記検出されたシーンの
種類を判断し、シーンの種類とフレーム位置を前記符号
情報の編集情報として前記情報記憶手段１０１に記録す
る。このとき、シーンの種類の判定は利用者によって行
われるため一種類には限らない。以上の操作を動画像情
報全体に対して行うことにより、動画像中の特徴的なシ
ーンの種類および位置情報である編集情報が前記情報記
憶手段１０１に動画像情報とともに記憶される。従っ
て、利用者が編集作業等を行う場合には、あらためてシ
ーン検出を行うことなく該編集情報を利用することがで
き、効率化を図ることが可能となる。
【００２６】
【実施例】図２は、本発明の動画像シーン検出装置の実
施例の構成を、図３は本実施例における符号情報の構成
を、図５は該装置によって動画像シーン検出記録を行う
際の信号の流れを示している。
施例の構成を、図３は本実施例における符号情報の構成
を、図５は該装置によって動画像シーン検出記録を行う
際の信号の流れを示している。
【００２７】図２において、１は利用者が指示を入力す
る指示入出力部、２は情報記憶部、３は属性情報復号
部、４は候補シーン検出部、５は画像情報復号部、６は
画像情報表示部である。また、図５において、７は利用
者が検出記録開始を指示する検出記録スタート指示信
号、８は情報記憶部２から読み出される属性情報、９は
属性情報復号部３から出力される復号属性情報、１０は
情報記憶部２から属性情報の読み出しを指示する属性情
報読み出し指示信号、１１は候補シーン検出部４が検出
したフレーム位置の画像情報の表示処理を指示する指定
フレーム画像表示指示信号、１２は指定フレーム画像表
示指示信号１１により指定され情報記憶部２から読み出
された画像情報、１３は画像情報復号部５から出力され
る復号画像情報、１４は編集情報の記録と属性情報読み
出し再開を指示する記録再開指示信号、１５は検出した
候補シーンが最終フレームであったことを示す最終フレ
ーム指示信号、１６は編集情報の記録と検出処理の終了
を指示する記録検出終了指示信号、１７は検出処理の終
了のみを指示する検出終了指示信号、１８はフレームの
位置を示すフレーム位置符号、１９はフレーム間符号化
／フレーム内符号化いずれの手法により符号化されてい
るかを示すフレーム間／内符号、２０はフレームの符号
量を表す情報量符号、２１はフレーム内の非零の動き補
償ベクトルの数をあらわすベクトル数符号である。
る指示入出力部、２は情報記憶部、３は属性情報復号
部、４は候補シーン検出部、５は画像情報復号部、６は
画像情報表示部である。また、図５において、７は利用
者が検出記録開始を指示する検出記録スタート指示信
号、８は情報記憶部２から読み出される属性情報、９は
属性情報復号部３から出力される復号属性情報、１０は
情報記憶部２から属性情報の読み出しを指示する属性情
報読み出し指示信号、１１は候補シーン検出部４が検出
したフレーム位置の画像情報の表示処理を指示する指定
フレーム画像表示指示信号、１２は指定フレーム画像表
示指示信号１１により指定され情報記憶部２から読み出
された画像情報、１３は画像情報復号部５から出力され
る復号画像情報、１４は編集情報の記録と属性情報読み
出し再開を指示する記録再開指示信号、１５は検出した
候補シーンが最終フレームであったことを示す最終フレ
ーム指示信号、１６は編集情報の記録と検出処理の終了
を指示する記録検出終了指示信号、１７は検出処理の終
了のみを指示する検出終了指示信号、１８はフレームの
位置を示すフレーム位置符号、１９はフレーム間符号化
／フレーム内符号化いずれの手法により符号化されてい
るかを示すフレーム間／内符号、２０はフレームの符号
量を表す情報量符号、２１はフレーム内の非零の動き補
償ベクトルの数をあらわすベクトル数符号である。
【００２８】図３に示す符号情報は、動画像情報を動き
補償フレーム間／フレーム内適応予測符号化手法を用い
て符号化した結果得られたものである。フレーム間／フ
レーム内適応予測符号化手法とは、前フレームとの差分
情報を符号化するフレーム間符号化手法と符号化対象フ
レームの情報をそのまま符号化するフレーム内符号化手
法とを適応的に切り替えて用いる手法である。この手法
では、前フレームからの変化が大きい、すなわち、差分
情報の情報量が大きいフレームに対して、フレーム内符
号化手法が適用される。また、符号化誤差の蓄積による
画質劣化の軽減と復号の際の利便性から、一定の周期で
強制的にフレーム内符号化手法を適用する周期的リフレ
ッシュが行われる。動き補償符号化手法の原理を図４に
示す。この手法では、前フレームとの差分を算出する際
に、物体の動きを考慮して、すなわち、動きベクトルを
検出して、位置をシフトさせて前フレームとの差分を最
小となるようにする。従って、背景部や動かない物体の
領域で動きベクトルの大きさが零となり、動いている物
体の領域が大きいほど、フレーム内の非零の動きベクト
ルの数が多くなる。特にパンニングやズーム等が発生し
ている場合には、大部分の領域で動きベクトルが非零と
なると考えられる。
補償フレーム間／フレーム内適応予測符号化手法を用い
て符号化した結果得られたものである。フレーム間／フ
レーム内適応予測符号化手法とは、前フレームとの差分
情報を符号化するフレーム間符号化手法と符号化対象フ
レームの情報をそのまま符号化するフレーム内符号化手
法とを適応的に切り替えて用いる手法である。この手法
では、前フレームからの変化が大きい、すなわち、差分
情報の情報量が大きいフレームに対して、フレーム内符
号化手法が適用される。また、符号化誤差の蓄積による
画質劣化の軽減と復号の際の利便性から、一定の周期で
強制的にフレーム内符号化手法を適用する周期的リフレ
ッシュが行われる。動き補償符号化手法の原理を図４に
示す。この手法では、前フレームとの差分を算出する際
に、物体の動きを考慮して、すなわち、動きベクトルを
検出して、位置をシフトさせて前フレームとの差分を最
小となるようにする。従って、背景部や動かない物体の
領域で動きベクトルの大きさが零となり、動いている物
体の領域が大きいほど、フレーム内の非零の動きベクト
ルの数が多くなる。特にパンニングやズーム等が発生し
ている場合には、大部分の領域で動きベクトルが非零と
なると考えられる。
【００２９】次に動作について説明する。図５におい
て、利用者が指示入出力部１から検出記録開始の指示と
画像情報名を入力すると、情報記憶部２に検出記録スタ
ート指示信号７が送られ、指定された画像情報の先頭の
フレームの属性情報が情報記憶部２から読み出され属性
情報８として属性情報復号部３に送られ、属性情報復号
部３において復号された属性情報は復号属性情報９とし
て候補シーン検出部４に送られる。候補シーン検出部４
での処理の流れを図６に示す。
て、利用者が指示入出力部１から検出記録開始の指示と
画像情報名を入力すると、情報記憶部２に検出記録スタ
ート指示信号７が送られ、指定された画像情報の先頭の
フレームの属性情報が情報記憶部２から読み出され属性
情報８として属性情報復号部３に送られ、属性情報復号
部３において復号された属性情報は復号属性情報９とし
て候補シーン検出部４に送られる。候補シーン検出部４
での処理の流れを図６に示す。
【００３０】まず候補シーン検出部４では復号属性情報
９を受け取ると、フレーム間／内符号１９の復号結果を
調べる。なお、本実施例では、フレーム間／内符号１９
の復号結果をＩｎｔｅｒ＿Ｉｎｔｒａとし、Ｉｎｔｅｒ
＿Ｉｎｔｒａ＝０の場合はフレーム間符号化で、Ｉｎｔ
ｅｒ＿Ｉｎｔｒａ＝１の場合はフレーム内符号化で符号
化が行われたことを示しているとする。Ｉｎｔｅｒ＿Ｉ
ｎｔｒａ＝１は、周期的リフレッシュのフレームでなけ
れば前フレームからの変化が大きいフレームであること
を示していることから、シーンチェンジ・物体の出現等
の特徴的なシーンである可能性が高い。従って、フレー
ム位置符号の復号結果に基づく指定フレーム画像表示指
示信号１１を情報記憶部２に送る。Ｉｎｔｅｒ＿Ｉｎｔ
ｒａ＝０である場合と周期的リフレッシュのフレームで
ある場合は、次の判定処理を行う（ステップ６０１）。
９を受け取ると、フレーム間／内符号１９の復号結果を
調べる。なお、本実施例では、フレーム間／内符号１９
の復号結果をＩｎｔｅｒ＿Ｉｎｔｒａとし、Ｉｎｔｅｒ
＿Ｉｎｔｒａ＝０の場合はフレーム間符号化で、Ｉｎｔ
ｅｒ＿Ｉｎｔｒａ＝１の場合はフレーム内符号化で符号
化が行われたことを示しているとする。Ｉｎｔｅｒ＿Ｉ
ｎｔｒａ＝１は、周期的リフレッシュのフレームでなけ
れば前フレームからの変化が大きいフレームであること
を示していることから、シーンチェンジ・物体の出現等
の特徴的なシーンである可能性が高い。従って、フレー
ム位置符号の復号結果に基づく指定フレーム画像表示指
示信号１１を情報記憶部２に送る。Ｉｎｔｅｒ＿Ｉｎｔ
ｒａ＝０である場合と周期的リフレッシュのフレームで
ある場合は、次の判定処理を行う（ステップ６０１）。
【００３１】次に、属性情報９の内の情報量符号２０の
復号結果（これをａｍｏｕｎｔとする）を調べる。ａｍ
ｏｕｎｔと予め設定した閾値Ｔｈ１との間にａｍｏｕｎ
ｔ≧Ｔｈ１の関係が成立していれば、前フレームからの
変化がある程度大きいフレームであることを示している
ことから、シーンチェンジ・物体の出現等の特徴的なシ
ーンである可能性が高い。従って、フレーム位置符号の
復号結果に基づく指定フレーム画像表示指示信号１１を
情報記憶部２に送る。ａｍｏｕｎｔ＜Ｔｈ１であれば次
の判定処理を行う（ステップ６０２）。
復号結果（これをａｍｏｕｎｔとする）を調べる。ａｍ
ｏｕｎｔと予め設定した閾値Ｔｈ１との間にａｍｏｕｎ
ｔ≧Ｔｈ１の関係が成立していれば、前フレームからの
変化がある程度大きいフレームであることを示している
ことから、シーンチェンジ・物体の出現等の特徴的なシ
ーンである可能性が高い。従って、フレーム位置符号の
復号結果に基づく指定フレーム画像表示指示信号１１を
情報記憶部２に送る。ａｍｏｕｎｔ＜Ｔｈ１であれば次
の判定処理を行う（ステップ６０２）。
【００３２】その後、属性情報９の内のベクトル数符号
２１の復号結果（これをＮｕｍｂｅｒとする）を調べ、
Ｎｕｍｂｅｒと予め設定した閾値Ｔｈ２との間にＮｕｍ
ｂｅｒ≧Ｔｈ２の関係が成立していれば、パンニング等
の特徴的なシーンである可能性が高い。従って、フレー
ム位置符号の復号結果に基づく指定フレーム画像表示指
示信号１１を情報記憶部２に送る。Ｎｕｍｂｅｒ＜Ｔｈ
２であれば次の処理を行う（ステップ６０３）。
２１の復号結果（これをＮｕｍｂｅｒとする）を調べ、
Ｎｕｍｂｅｒと予め設定した閾値Ｔｈ２との間にＮｕｍ
ｂｅｒ≧Ｔｈ２の関係が成立していれば、パンニング等
の特徴的なシーンである可能性が高い。従って、フレー
ム位置符号の復号結果に基づく指定フレーム画像表示指
示信号１１を情報記憶部２に送る。Ｎｕｍｂｅｒ＜Ｔｈ
２であれば次の処理を行う（ステップ６０３）。
【００３３】最後に、処理中のフレームが最終フレーム
であるか否かを調べ、最終フレームであれば最終フレー
ム指示信号１５を指示入出力部１に送る。最終フレーム
でなければフレーム属性情報読み出し指示信号１０を情
報記憶部２に送る（ステップ６０４）。
であるか否かを調べ、最終フレームであれば最終フレー
ム指示信号１５を指示入出力部１に送る。最終フレーム
でなければフレーム属性情報読み出し指示信号１０を情
報記憶部２に送る（ステップ６０４）。
【００３４】図５において情報記憶部２に属性情報読み
出し指示信号１０が送られると、最後に属性情報を読み
出したフレームの次のフレームに対して上記と同様の処
理を行うため、属性情報８が属性情報復号部３に送ら
れ、属性情報復号部３から復号属性情報９が候補シーン
検出部４に送られてシーン検出が続けられる。
出し指示信号１０が送られると、最後に属性情報を読み
出したフレームの次のフレームに対して上記と同様の処
理を行うため、属性情報８が属性情報復号部３に送ら
れ、属性情報復号部３から復号属性情報９が候補シーン
検出部４に送られてシーン検出が続けられる。
【００３５】候補シーン検出部４から指定フレーム画像
表示指示信号１１が情報記憶部２に送られると、指定フ
レームとその前後数フレーム（この時のフレーム数は予
め設定しておく）が順次画像情報１２として画像情報復
号部５に送られ、画像情報復号部５で順次復号され復号
画像情報１３として画像情報表示部６に送られ、時間の
推移に合わせて並べて表示される。但し、フレーム間符
号化手法により符号化されたフレームは前フレームとの
差分情報のみが符号化されているため、フレーム内符号
化手法により符号化されたフレームを起点に順次復号を
行っていかなければ再生画像は得られない。
表示指示信号１１が情報記憶部２に送られると、指定フ
レームとその前後数フレーム（この時のフレーム数は予
め設定しておく）が順次画像情報１２として画像情報復
号部５に送られ、画像情報復号部５で順次復号され復号
画像情報１３として画像情報表示部６に送られ、時間の
推移に合わせて並べて表示される。但し、フレーム間符
号化手法により符号化されたフレームは前フレームとの
差分情報のみが符号化されているため、フレーム内符号
化手法により符号化されたフレームを起点に順次復号を
行っていかなければ再生画像は得られない。
【００３６】画像表示部６における表示例を図７に示
す。図７において、７０１は検出された候補シーン、７
０２は候補シーン７０１の時間的に前に位置している指
定された枚数の画像、７０３は候補シーン７０１の時間
的に後ろに位置している指定された枚数の画像、７０４
はフレーム内符号化手法により符号化されたフレームの
うち検出された候補シーン７０１の二つ前に位置してい
るものを示している。
す。図７において、７０１は検出された候補シーン、７
０２は候補シーン７０１の時間的に前に位置している指
定された枚数の画像、７０３は候補シーン７０１の時間
的に後ろに位置している指定された枚数の画像、７０４
はフレーム内符号化手法により符号化されたフレームの
うち検出された候補シーン７０１の二つ前に位置してい
るものを示している。
【００３７】利用者は、画像表示部６に示された候補シ
ーンを中心とする数フレーム分の画像からシーンの種類
を判断する。この時、表示したシーンが最終フレームに
達していなければ、指示入出力部１からシーンの種類と
フレーム位置の記録、および、検出処理の再開を指示す
ることにより、記録検出再開指示信号１４が情報記憶部
２に送られて編集情報を記録した後検出処理が再開され
る。表示したシーンが最終フレームに達していた場合に
は、指示入出力部１から編集情報の記録と処理終了を指
示することにより、記録検出終了指示信号１６が情報記
憶部２に送られファイルクローズ等の後処理が行われ
る。
ーンを中心とする数フレーム分の画像からシーンの種類
を判断する。この時、表示したシーンが最終フレームに
達していなければ、指示入出力部１からシーンの種類と
フレーム位置の記録、および、検出処理の再開を指示す
ることにより、記録検出再開指示信号１４が情報記憶部
２に送られて編集情報を記録した後検出処理が再開され
る。表示したシーンが最終フレームに達していた場合に
は、指示入出力部１から編集情報の記録と処理終了を指
示することにより、記録検出終了指示信号１６が情報記
憶部２に送られファイルクローズ等の後処理が行われ
る。
【００３８】前記ステップ６０４により最終フレーム指
示信号１５が指示入出力部１に送られると、利用者に対
して処理終了指示の入力をうながすメッセージが表示さ
れ、利用者が検出処理の終了を指示すると、検出終了指
示信号１７が情報記憶部２に送られファイルクローズ等
の後処理が行われる。
示信号１５が指示入出力部１に送られると、利用者に対
して処理終了指示の入力をうながすメッセージが表示さ
れ、利用者が検出処理の終了を指示すると、検出終了指
示信号１７が情報記憶部２に送られファイルクローズ等
の後処理が行われる。
【００３９】また、検出／判別を行った結果、情報記憶
部２に記録された編集情報を用いて図８の様に編集情報
を視覚的に理解できる様表示させ、動画像情報中の特徴
的なシーンの位置や種類が利用者に簡単に把握できるよ
うにすることが可能である。図８は、動画像情報中の特
徴的なシーンに関する情報のみを表示させた例で、０８
秒でシーンチェンジが、３０秒でパンニングが、１分２
０秒でシーンチェンジが発生していることを示してい
る。
部２に記録された編集情報を用いて図８の様に編集情報
を視覚的に理解できる様表示させ、動画像情報中の特徴
的なシーンの位置や種類が利用者に簡単に把握できるよ
うにすることが可能である。図８は、動画像情報中の特
徴的なシーンに関する情報のみを表示させた例で、０８
秒でシーンチェンジが、３０秒でパンニングが、１分２
０秒でシーンチェンジが発生していることを示してい
る。
【００４０】次に、本発明の動画像シーン検出装置の他
の実施例について説明する。
の実施例について説明する。
【００４１】先ず、本発明の動画像シーン検出装置によ
ってシーンチェンジの検出が行われる符号化画像を生成
するための動画像符号化器について、図９を参照して説
明する。図９に示す動画像符号化器では、符号化方式と
して、「フレーム間予測」と、「ＤＣＴ（離散コサイン
変換）」を組み合わせた方式を採用している。
ってシーンチェンジの検出が行われる符号化画像を生成
するための動画像符号化器について、図９を参照して説
明する。図９に示す動画像符号化器では、符号化方式と
して、「フレーム間予測」と、「ＤＣＴ（離散コサイン
変換）」を組み合わせた方式を採用している。
【００４２】ブロック抽出回路３０において、入力画像
（現フレーム画像）から一定数の画素よりなる現フレー
ムの画像ブロックが抽出され減算器３１に供給される。
減算器３１において、現フレーム画像ブロックから前フ
レーム画像ブロックが減算され、差分の画像ブロックは
離散コサイン変換（ＤＣＴ）回路３２を介して量子化回
路３３に供給され変換係数の量子化インデックス（以
後、変換係数情報と呼ぶ）が得られる。この変換係数情
報は、可変長符号化部３４に供給されて可変長符号化さ
れる。また、量子化回路３３からの変換係数情報は、逆
量子化回路３５を介して逆離散コサイン変換（ＩＤＣ
Ｔ）回路３６に供給され差分の画像ブロックが再生され
る。この差分の画像ブロックは、加算器３７を介してフ
レームメモリ３８に供給され、このフレームメモリ３８
からの出力、すなわち、前フレーム画像ブロックは減算
器３１及び加算器３７に供給される。なお、ここまでの
構成は、一般的な動画像符号化器の構成と同様である。
（現フレーム画像）から一定数の画素よりなる現フレー
ムの画像ブロックが抽出され減算器３１に供給される。
減算器３１において、現フレーム画像ブロックから前フ
レーム画像ブロックが減算され、差分の画像ブロックは
離散コサイン変換（ＤＣＴ）回路３２を介して量子化回
路３３に供給され変換係数の量子化インデックス（以
後、変換係数情報と呼ぶ）が得られる。この変換係数情
報は、可変長符号化部３４に供給されて可変長符号化さ
れる。また、量子化回路３３からの変換係数情報は、逆
量子化回路３５を介して逆離散コサイン変換（ＩＤＣ
Ｔ）回路３６に供給され差分の画像ブロックが再生され
る。この差分の画像ブロックは、加算器３７を介してフ
レームメモリ３８に供給され、このフレームメモリ３８
からの出力、すなわち、前フレーム画像ブロックは減算
器３１及び加算器３７に供給される。なお、ここまでの
構成は、一般的な動画像符号化器の構成と同様である。
【００４３】図９に示す動画像符号化器においては、符
号化モード制御部４０には減算器３１からの差分画像ブ
ロックが、有意／無意ブロック制御部３９には量子化回
路３３からの変換係数情報が供給される。
号化モード制御部４０には減算器３１からの差分画像ブ
ロックが、有意／無意ブロック制御部３９には量子化回
路３３からの変換係数情報が供給される。
【００４４】符号化モード制御部４０は、差分が特に大
きいブロックに対してはフレーム間予測が有効に機能し
ないのでフレーム内符号化を適用するべきである（フレ
ーム内符号化モード）と判定し、それ以外のブロックに
対してはフレーム間予測を適用するベきである（フレー
ム間予測モード）と判定し、この判定結果は符号化モー
ド情報として第１スイッチ回路４１，第２スイッチ回路
４２、およぴ、可変長符号化部３４に供給する。
きいブロックに対してはフレーム間予測が有効に機能し
ないのでフレーム内符号化を適用するべきである（フレ
ーム内符号化モード）と判定し、それ以外のブロックに
対してはフレーム間予測を適用するベきである（フレー
ム間予測モード）と判定し、この判定結果は符号化モー
ド情報として第１スイッチ回路４１，第２スイッチ回路
４２、およぴ、可変長符号化部３４に供給する。
【００４５】符号化モード制御部４０からの符号化モー
ド情報がフレーム内符号化モードである場合には、第１
スイッチ回路４１においてスイッチは端子４１ａに接続
され、ＤＣＴ回路３２には現フレーム画像ブロックが供
給される。符号化モード情報がフレーム間予測モードで
ある場合には、第１スイッチ回路４１においてスイッチ
は端子４１ｂに接続され、ＤＣＴ回路３２には差分画像
ブロックが供給される。
ド情報がフレーム内符号化モードである場合には、第１
スイッチ回路４１においてスイッチは端子４１ａに接続
され、ＤＣＴ回路３２には現フレーム画像ブロックが供
給される。符号化モード情報がフレーム間予測モードで
ある場合には、第１スイッチ回路４１においてスイッチ
は端子４１ｂに接続され、ＤＣＴ回路３２には差分画像
ブロックが供給される。
【００４６】また、符号化モード制御部４０からの符号
化モード情報がフレーム内符号化モードである場合に
は、第２スイッチ回路４２においてスイッチは端子４２
ａに接続され、加算器３７にはブロック内の値がすぺて
零である「零プロック」が供給される。符号化モード情
報がフレーム間予測モードである場合には、第２スイッ
チ回路４２においてスイッチは端子４２ｂに接続され、
加算器３７にはフレームメモリ３８からの出力（前フレ
ーム画像ブロック）が供給される。
化モード情報がフレーム内符号化モードである場合に
は、第２スイッチ回路４２においてスイッチは端子４２
ａに接続され、加算器３７にはブロック内の値がすぺて
零である「零プロック」が供給される。符号化モード情
報がフレーム間予測モードである場合には、第２スイッ
チ回路４２においてスイッチは端子４２ｂに接続され、
加算器３７にはフレームメモリ３８からの出力（前フレ
ーム画像ブロック）が供給される。
【００４７】有意／無意ブロック制御部３９は、符号化
モード制御部４０からの符号化モード情報がフレーム内
符号化モードである場合に、量子化回路３３からの変換
係数情報が略零となるブロックを無意ブロック、その他
のブロックを有意ブロックと判定し、その判定結果を有
意／無意ブロック情報として可変長符号化部３４に供給
する。
モード制御部４０からの符号化モード情報がフレーム内
符号化モードである場合に、量子化回路３３からの変換
係数情報が略零となるブロックを無意ブロック、その他
のブロックを有意ブロックと判定し、その判定結果を有
意／無意ブロック情報として可変長符号化部３４に供給
する。
【００４８】可変長符号化部３４は、有意／無意ブロッ
ク制御部３９からの有意／無意ブロック情報、および、
符号化モード制御部４０からの符号化モード情報、およ
び、量子化回路３３からの変換係数情報を可変長符号化
して符号化画像を生成し、この符号化画像を伝送線を介
して画像復号装置に供給するか、或いは、記憶装置に蓄
積する。ただし、有意／無意ブロック制御部３９からの
有意／無意ブロック情報が無意ブロックである場合には
量子化回路３３からの変換係数情報は可変長符号化しな
い。なお、無意ブロックである場合、復号の際には、前
フレームの当該プロックで補充する。また、ここでは有
意／無意ブロック情報と符号化モード情報が符号化動割
像情報中の属性情報である。
ク制御部３９からの有意／無意ブロック情報、および、
符号化モード制御部４０からの符号化モード情報、およ
び、量子化回路３３からの変換係数情報を可変長符号化
して符号化画像を生成し、この符号化画像を伝送線を介
して画像復号装置に供給するか、或いは、記憶装置に蓄
積する。ただし、有意／無意ブロック制御部３９からの
有意／無意ブロック情報が無意ブロックである場合には
量子化回路３３からの変換係数情報は可変長符号化しな
い。なお、無意ブロックである場合、復号の際には、前
フレームの当該プロックで補充する。また、ここでは有
意／無意ブロック情報と符号化モード情報が符号化動割
像情報中の属性情報である。
【００４９】次に、上述した動画像符号化器において使
用される属性情報を利用して、シーンチェンジ検出を行
う原理について説明する。
用される属性情報を利用して、シーンチェンジ検出を行
う原理について説明する。
【００５０】以下に説明するように、属性情報から画像
の特徴がある程度推定できる。先の説明から明らかなよ
うに、有意ブロックは、前フレームから変化があったブ
ロックである。したがって、通常、有意ブロックはフレ
ーム中の動領域である。しかし、１フレーム中の有意ブ
ロック数が特に多いフレームは、単なる動領域ではな
く、シーンチェンジが発生している可能性が高い。
の特徴がある程度推定できる。先の説明から明らかなよ
うに、有意ブロックは、前フレームから変化があったブ
ロックである。したがって、通常、有意ブロックはフレ
ーム中の動領域である。しかし、１フレーム中の有意ブ
ロック数が特に多いフレームは、単なる動領域ではな
く、シーンチェンジが発生している可能性が高い。
【００５１】また、フレーム内符号化モードが選択され
るのは、有意ブロック中でも前フレームからの変化が特
に激しいブロックである。従って、有意ブロック中のフ
レーム内符号化適用ブロックの割合が特に大きいフレー
ムは、シーンチェンジが発生している可能性が高い。
るのは、有意ブロック中でも前フレームからの変化が特
に激しいブロックである。従って、有意ブロック中のフ
レーム内符号化適用ブロックの割合が特に大きいフレー
ムは、シーンチェンジが発生している可能性が高い。
【００５２】そこで本発明においては、この属性情報と
シーンチェンジの相関に着目してシーンチェンジの検出
を行う。
シーンチェンジの相関に着目してシーンチェンジの検出
を行う。
【００５３】図１０は、本発明の動画シーン検出装置の
実施例を示すブロック図である。
実施例を示すブロック図である。
【００５４】伝送線を介して供給されるか、或いは、記
憶装置から読み出された可変長符号化された符号化画像
は、可変長復号部５１において復号され、変換係数情報
及び属性情報（有意／無意ブロック情報，符号化モード
情報）が得られる。これらの変換係数情報及び属性情報
は復号部５２に供給され復号画像が得られる。また、属
性情報は、シーンチェンジ検出フィルタ５３にも供給さ
れる。この属性情報は、図９に示される動画像符号化器
において説明した有意／無意ブロック情報及び符号化モ
ード情報そのものである。
憶装置から読み出された可変長符号化された符号化画像
は、可変長復号部５１において復号され、変換係数情報
及び属性情報（有意／無意ブロック情報，符号化モード
情報）が得られる。これらの変換係数情報及び属性情報
は復号部５２に供給され復号画像が得られる。また、属
性情報は、シーンチェンジ検出フィルタ５３にも供給さ
れる。この属性情報は、図９に示される動画像符号化器
において説明した有意／無意ブロック情報及び符号化モ
ード情報そのものである。
【００５５】シーンチェンジ検出フィルタ５３は、属性
情報が供給される二つの統計量算出回路５４ａ，５４ｂ
と、統計量算出回路５４ａ，５４ｂの出力を閾値Ｔ
Ｈ1 ，ＴＨ2 と比較する比較器５５ａ，５５ｂと、比較
器５５ａ，５５ｂの出力の論理積をとるＡＮＤゲート５
６とから構成されている。
情報が供給される二つの統計量算出回路５４ａ，５４ｂ
と、統計量算出回路５４ａ，５４ｂの出力を閾値Ｔ
Ｈ1 ，ＴＨ2 と比較する比較器５５ａ，５５ｂと、比較
器５５ａ，５５ｂの出力の論理積をとるＡＮＤゲート５
６とから構成されている。
【００５６】統計量算出回路５４は、統計量としてフレ
ーム中の有意ブロック数を求め、統計量算出回路５５
は、統計量として有意ブロック中のフレーム内符号化モ
ードの割合を求める。
ーム中の有意ブロック数を求め、統計量算出回路５５
は、統計量として有意ブロック中のフレーム内符号化モ
ードの割合を求める。
【００５７】シーンチェンジ検出フィルタ５３の特性
は、以下の式で表される。
は、以下の式で表される。
【００５８】
【数１】 但し、Ｄ：シーンチェンジ検出結果 ｄ1 ：統計量ｆi に関する判別結果 ｆi ：ｉ番目の統計量関数 ｃ（ｎ）：ｎ番目のフレームのブロック特性情報 ＴＨi ：ｉ番目の統計量に対する閾値 したがって、図１０に示されるシーンチェンジ検出フィ
ルタ５３においては、フレーム中の有意ブロック数が閾
値ＴＨ1 よりも大きく、且つ、有意ブロック中のフレー
ム内符号化モードの割合が閾値ＴＨ2 よりも大きい場合
には、シーンチェンジが検出されたことを示す検出結果
が出力される。
ルタ５３においては、フレーム中の有意ブロック数が閾
値ＴＨ1 よりも大きく、且つ、有意ブロック中のフレー
ム内符号化モードの割合が閾値ＴＨ2 よりも大きい場合
には、シーンチェンジが検出されたことを示す検出結果
が出力される。
【００５９】図１０に示す実施例においては、フレーム
中の有意ブロック数と、有意ブロック中のフレーム内符
号化モードの割合の二つの統計量からシーンチェンジ検
出結果を得ているので、誤りのないシーンチェンジ検出
を行うことができる。
中の有意ブロック数と、有意ブロック中のフレーム内符
号化モードの割合の二つの統計量からシーンチェンジ検
出結果を得ているので、誤りのないシーンチェンジ検出
を行うことができる。
【００６０】次に、本発明の動画像シーン検出装置の更
に他の実施例について図１１を参照して説明する。な
お、図１０に示す実施例と対応する部分には同一符号を
付している。図１１に示す実施例においては、統計量と
して、フレーム中の有意ブロック数と有意ブロック中の
フレーム内符号化モードの割合に加えて、フレームの符
号量を採用している。なお、フレームの符号量とは、可
変長符号化部からの出力であるブロック単位の符号量の
１フレーム分の総量を意味している。この符号量の情報
は、可変長符号化された画像の１フレーム分の符号長を
調べることで得られる。
に他の実施例について図１１を参照して説明する。な
お、図１０に示す実施例と対応する部分には同一符号を
付している。図１１に示す実施例においては、統計量と
して、フレーム中の有意ブロック数と有意ブロック中の
フレーム内符号化モードの割合に加えて、フレームの符
号量を採用している。なお、フレームの符号量とは、可
変長符号化部からの出力であるブロック単位の符号量の
１フレーム分の総量を意味している。この符号量の情報
は、可変長符号化された画像の１フレーム分の符号長を
調べることで得られる。
【００６１】シーンチェンジ検出フィルタ５３の統計量
算出回路５４ｃは、符号化画像から１フレーム分の符号
量を求める。この符号量は、比較器５５ｃで閾値ＴＨ3
と比較され、この閾値ＴＨ3 より大きい場合にはｄ3 ＝
１が出力される。比較器５５ｃの出力ｄ3 は、他の二つ
の比較器５５ａ，５５ｂの出力ｄ1 ，ｄ2 と共に、ＡＮ
Ｄゲート５６に供給されているので、シーンチェンジ検
出結果Ｄは、 Ｄ＝ｄ1 ・ｄ2 ・ｄ3 で表される。
算出回路５４ｃは、符号化画像から１フレーム分の符号
量を求める。この符号量は、比較器５５ｃで閾値ＴＨ3
と比較され、この閾値ＴＨ3 より大きい場合にはｄ3 ＝
１が出力される。比較器５５ｃの出力ｄ3 は、他の二つ
の比較器５５ａ，５５ｂの出力ｄ1 ，ｄ2 と共に、ＡＮ
Ｄゲート５６に供給されているので、シーンチェンジ検
出結果Ｄは、 Ｄ＝ｄ1 ・ｄ2 ・ｄ3 で表される。
【００６２】このように、図１１に示す実施例において
は、フレーム中の有意ブロック数と、有意ブロック中の
フレーム内符号化モードの割合と、フレームの符号量の
三つの統計量からシーンチェンジ検出結果を得ているの
で、一層誤りのないシーンチェンジ検出を行うことがで
きる。
は、フレーム中の有意ブロック数と、有意ブロック中の
フレーム内符号化モードの割合と、フレームの符号量の
三つの統計量からシーンチェンジ検出結果を得ているの
で、一層誤りのないシーンチェンジ検出を行うことがで
きる。
【００６３】上記三つの統計量に基づいたシーンチェン
ジ検出の効果を確認するために実験を行った。実験条件
を表１に示す。
ジ検出の効果を確認するために実験を行った。実験条件
を表１に示す。
【００６４】
【表１】 実験結果を図１２に示す。同図（ａ）は実験対象画像の
フレーム間差分電力、同図（ｂ），（ｃ），（ｄ）は符
号量の判別結果、有意ブロック数の判別結果、及びフレ
ーム内符号化モードの割合のそれぞれの統計量に関する
個別の判別結果ｄ3 ，ｄ1 ，ｄ2 、同図（ｅ）は、検出
フィルタの出力Ｄである。
フレーム間差分電力、同図（ｂ），（ｃ），（ｄ）は符
号量の判別結果、有意ブロック数の判別結果、及びフレ
ーム内符号化モードの割合のそれぞれの統計量に関する
個別の判別結果ｄ3 ，ｄ1 ，ｄ2 、同図（ｅ）は、検出
フィルタの出力Ｄである。
【００６５】実験対象画像シーケンスでは、シーンチェ
ンジに対応して差分電力が大きくなっている。シーンチ
ェンジの検出漏れを防ぐために、それぞれの比較器５５
ａ〜５５ｃの閾値ＴＨｉを低く設定した。このため、個
別の判別結果には、誤検出が含まれている。しかし、３
つの判別結果の論理積をとることにより、検出フィルタ
５３の出力においては、誤検出がなくなっている。
ンジに対応して差分電力が大きくなっている。シーンチ
ェンジの検出漏れを防ぐために、それぞれの比較器５５
ａ〜５５ｃの閾値ＴＨｉを低く設定した。このため、個
別の判別結果には、誤検出が含まれている。しかし、３
つの判別結果の論理積をとることにより、検出フィルタ
５３の出力においては、誤検出がなくなっている。
【００６６】図１２から判るように、属性情報から得ら
れる統計量とフレームの符号量を用いたシーンチェンジ
検出フィルタを設けることにより、実験対象画像シーケ
ンスのシーンチェンジが正確に検出できた。
れる統計量とフレームの符号量を用いたシーンチェンジ
検出フィルタを設けることにより、実験対象画像シーケ
ンスのシーンチェンジが正確に検出できた。
【００６７】これにより、従来必要とされていた目視に
よる確認が不要となり、動画像編集の作業効率を著しく
高めることができる。
よる確認が不要となり、動画像編集の作業効率を著しく
高めることができる。
【００６８】なお、図１０、図１１に示す実施例におい
ても、図２に示す実施例と同様に、シーンチェンジ検出
の結果を符号化動画像と共に情報記憶部に記録するよう
にしてもよい。
ても、図２に示す実施例と同様に、シーンチェンジ検出
の結果を符号化動画像と共に情報記憶部に記録するよう
にしてもよい。
【００６９】
【発明の効果】以上の様に本発明によれば、符号動画像
情報中の属性情報を復号し、復号した属性情報を元に動
画像中の特徴的なシーンの候補を検出することが可能に
なる。従って、目視に依らずある程度自動的なシーン検
出が可能となり、また検出のために動画像情報を全て復
号する必要もないため、作業時間が短縮できる。
情報中の属性情報を復号し、復号した属性情報を元に動
画像中の特徴的なシーンの候補を検出することが可能に
なる。従って、目視に依らずある程度自動的なシーン検
出が可能となり、また検出のために動画像情報を全て復
号する必要もないため、作業時間が短縮できる。
【００７０】更に、本発明においては、符号化パラメー
タを利用してシーンチェンジを検出しているので、正確
にシーンチェンジを検出することができる。
タを利用してシーンチェンジを検出しているので、正確
にシーンチェンジを検出することができる。
【００７１】また、検出された候補シーンについては、
この候補シーンと前後数フレームの画像情報を復号して
表示させた後、利用者がシーンの種類の判別を行うた
め、検出結果として得られるシーンの種類は一種類だけ
ではなく、複数のシーンを検出することができる。ま
た、検出／判別結果、すなわち、検出されたシーンの種
類とフレーム位置を編集情報として動画像情報とともに
記録しておくことにより、動画像編集の際の編集情報と
して再利用することが可能となる。
この候補シーンと前後数フレームの画像情報を復号して
表示させた後、利用者がシーンの種類の判別を行うた
め、検出結果として得られるシーンの種類は一種類だけ
ではなく、複数のシーンを検出することができる。ま
た、検出／判別結果、すなわち、検出されたシーンの種
類とフレーム位置を編集情報として動画像情報とともに
記録しておくことにより、動画像編集の際の編集情報と
して再利用することが可能となる。
【図１】 本発明の動画像シーン検出装置の基本構成図
である。
である。
【図２】 本発明の動画像シーン検出装置の実施例を示
す概略構成図である。
す概略構成図である。
【図３】 図２の実施例における符号情報の構成図であ
る。
る。
【図４】 動き補償の原理図である。
【図５】 図２の実施例における信号の流れを示すブロ
ック図である。
ック図である。
【図６】 図２の実施例における候補シーン検出部での
処理の流れを示す図である。
処理の流れを示す図である。
【図７】 画像表示部における表示例を示す図である。
【図８】 編集情報の利用例を示す図である。
【図９】 シーン検出が行われる符号化画像を生成する
ための動画像符号化器を示すブロック図である。
ための動画像符号化器を示すブロック図である。
【図１０】 本発明の動画シーン検出装置の他の実施例
を示すブロック図である。
を示すブロック図である。
【図１１】 本発明の動画像シーン検出装置の更に他の
実施例を示すブロック図である。
実施例を示すブロック図である。
【図１２】 シーンチェンジ検出の実験結果を示す波形
図である。
図である。
【図１３】 従来例におけるシーン検出サポート装置の
概略構成図である。
概略構成図である。
【図１４】 従来例における動画像情報を示す図であ
る。
る。
１…指示入出力部、２…情報記憶部、３…属性情報復号
部、４…候補シーン検出部、５…画像情報復号部、６…
画像情報表示部、７…検出記録スタート指示信号、８…
属性情報、９…複合属性情報、１０…属性情報読み出し
指示信号、１１…指定フレーム画像表示指示信号、１２
…画像情報、１３…復号画像情報、１４…記録検出再開
指示信号、最終フレーム指示信号、１６…記録検出終了
指示信号、１７…検出終了指示信号、フレーム位置符
号、１９…フレーム間／内符号、２０…符号量符号、２
１…ベクトル数符号、３０…ブロック抽出回路、３１…
減算器、３２…離散コサイン変換回路、３３…量子化回
路、３４…可変長符号化部、３５…逆量子化回路、３６
…逆離散コサイン変換回路、３７…加算器、３８…フレ
ームメモリ、３９…有意／無意ブロック制御部、４０…
符号化モード制御部、４１…第１スイッチ回路、４２…
第２スイッチ回路、５１…可変長復号部、５２…復号
部、５３…シーンチェンジ検出フィルタ、５４ａ，５４
ｂ，５４ｃ…統計量算出回路、５５ａ，５５ｂ，５５ｃ
…比較器、５６…ＡＮＤゲート、１０１…情報記憶手
段、１０２…属性情報復号手段、１０３…候補シーン検
出手段、１０４…画像情報復号手段、１０５…画像情報
表示手段
部、４…候補シーン検出部、５…画像情報復号部、６…
画像情報表示部、７…検出記録スタート指示信号、８…
属性情報、９…複合属性情報、１０…属性情報読み出し
指示信号、１１…指定フレーム画像表示指示信号、１２
…画像情報、１３…復号画像情報、１４…記録検出再開
指示信号、最終フレーム指示信号、１６…記録検出終了
指示信号、１７…検出終了指示信号、フレーム位置符
号、１９…フレーム間／内符号、２０…符号量符号、２
１…ベクトル数符号、３０…ブロック抽出回路、３１…
減算器、３２…離散コサイン変換回路、３３…量子化回
路、３４…可変長符号化部、３５…逆量子化回路、３６
…逆離散コサイン変換回路、３７…加算器、３８…フレ
ームメモリ、３９…有意／無意ブロック制御部、４０…
符号化モード制御部、４１…第１スイッチ回路、４２…
第２スイッチ回路、５１…可変長復号部、５２…復号
部、５３…シーンチェンジ検出フィルタ、５４ａ，５４
ｂ，５４ｃ…統計量算出回路、５５ａ，５５ｂ，５５ｃ
…比較器、５６…ＡＮＤゲート、１０１…情報記憶手
段、１０２…属性情報復号手段、１０３…候補シーン検
出手段、１０４…画像情報復号手段、１０５…画像情報
表示手段
Claims (6)
- 【請求項１】 符号化された動画像情報である動画像情
報本体と該動画像情報本体の属性を示す属性情報とから
なる符号情報および該符号情報の編集情報を記憶する情
報記憶手段と、 前記符号情報中の属性情報を復号する属性情報復号手段
と、 前記属性情報復号手段から出力される属性情報を用いて
動画像中の特徴的なシーンの候補を検出する候補シーン
検出手段と、 前記符号情報中の画像情報を復号する画像情報復号手段
と、 前記画像情報復号手段から出力される画像情報を表示す
る画像情報表示手段とを備え、 前記情報記憶手段に記憶する編集情報として前記候補シ
ーン検出手段により検出された候補シーンに関する情報
を記憶することを特徴とする動画像シーン検出装置。 - 【請求項２】 前記符号情報が、フレーム間の差分情報
が閾値を越えた場合にはフレーム内符号化が用いられ、
フレーム間の差分情報が閾値以下である場合にはフレー
ム間符号化が用いられて符号化されたものであり、 前記符号情報の属性情報が、フレーム内符号化／フレー
ム間符号化識別情報であることを特徴とする請求項１記
載の動画像シーン検出装置。 - 【請求項３】 前記符号情報が、動き補償符号化を用い
られて符号化されたものであり、 前記属性情報が、フレーム毎の非零の動きベクトル数で
あることを特徴とする請求項１記載の動画像シーン検出
装置。 - 【請求項４】 前記符号情報が、フレーム間の差分情報
を一定の画素からなる画像ブロックに細分し、当該画像
ブロック毎のフレーム間差分情報が閾値以下である場合
にはその画像ブロックは無意ブロックと判定されて符号
化されず、閾値を越えた場合にはその画像ブロックは有
意ブロックと判定されて符号化されたものであり、 前記符号情報の属性情報が、フレーム内の前記有意ブロ
ックの数であることを特徴とする請求項１記載の動画像
シーン検出装置。 - 【請求項５】 前記符号情報が、前記画像ブロック毎の
フレーム間差分情報が第１の閾値以下である場合にはそ
の画像ブロックは無意ブロックと判定されて符号化され
ず、第１の閾値を越えた場合にはその画像ブロックは有
意ブロックと判定され、該有意ブロックのフレーム間差
分情報が第２の閾値以下である場合にはその画像ブロッ
クに対してフレーム間予測符号化が用いられ、第２の閾
値を越えた場合にはその画像ブロックに対してフレーム
内符号化が用いられて符号化されたものであり、 前記符号情報の属性情報が、フレーム内の前記有意ブロ
ックの数に対するフレーム内符号化が用いられた前記画
像ブロックの数の割合であることを特徴とする請求項１
記載の動画像シーン検出装置。 - 【請求項６】 前記候補シーン検出手段が、前記請求項
２ないし５記載の前記符号情報の属性情報を複数用いて
動画像中の特徴的なシーンの候補を検出することを特徴
とする請求項１記載の動画像シーン検出装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5059079A JP3036287B2 (ja) | 1992-12-15 | 1993-03-18 | 動画像シーン検出装置 |
| US08/166,047 US5459517A (en) | 1992-12-15 | 1993-12-14 | Moving picture scene detection system |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33474692 | 1992-12-15 | ||
| JP4-334746 | 1992-12-15 | ||
| JP5059079A JP3036287B2 (ja) | 1992-12-15 | 1993-03-18 | 動画像シーン検出装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11244080A Division JP2000076462A (ja) | 1992-12-15 | 1999-08-30 | 動画像シ―ン検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06236439A JPH06236439A (ja) | 1994-08-23 |
| JP3036287B2 true JP3036287B2 (ja) | 2000-04-24 |
Family
ID=26400111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5059079A Expired - Fee Related JP3036287B2 (ja) | 1992-12-15 | 1993-03-18 | 動画像シーン検出装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5459517A (ja) |
| JP (1) | JP3036287B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8582660B2 (en) | 2006-04-13 | 2013-11-12 | Qualcomm Incorporated | Selective video frame rate upconversion |
Families Citing this family (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| US7242988B1 (en) | 1991-12-23 | 2007-07-10 | Linda Irene Hoffberg | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| US6400996B1 (en) | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
| US6850252B1 (en) | 1999-10-05 | 2005-02-01 | Steven M. Hoffberg | Intelligent electronic appliance system and method |
| US6418424B1 (en) | 1991-12-23 | 2002-07-09 | Steven M. Hoffberg | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| US10361802B1 (en) | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
| US5903454A (en) | 1991-12-23 | 1999-05-11 | Hoffberg; Linda Irene | Human-factored interface corporating adaptive pattern recognition based controller apparatus |
| US6357047B1 (en) | 1997-06-30 | 2002-03-12 | Avid Technology, Inc. | Media pipeline with multichannel video processing and playback |
| US5555193A (en) * | 1993-05-25 | 1996-09-10 | Kabushiki Kaisha Toshiba | Video compression system with editing flag |
| DE69422960T2 (de) * | 1993-12-01 | 2000-06-15 | Matsushita Electric Industrial Co., Ltd. | Verfahren und Vorrichtung zum Editieren oder zur Mischung von komprimierten Bildern |
| JP3356516B2 (ja) * | 1993-12-28 | 2002-12-16 | シャープ株式会社 | 動画像符号化装置 |
| JPH07298272A (ja) * | 1994-04-28 | 1995-11-10 | Canon Inc | 映像符号化装置 |
| US5805733A (en) * | 1994-12-12 | 1998-09-08 | Apple Computer, Inc. | Method and system for detecting scenes and summarizing video sequences |
| US5508750A (en) * | 1995-02-03 | 1996-04-16 | Texas Instruments Incorporated | Encoding data converted from film format for progressive display |
| US5841476A (en) * | 1995-03-03 | 1998-11-24 | Kokusai Denshin Denwa Co. Ltd. | Coding apparatus for encoding motion picture |
| US5940131A (en) * | 1995-12-15 | 1999-08-17 | Kokusai Denshin Denwa Co. Ltd. | Method and apparatus for coding moving pictures |
| US5835163A (en) * | 1995-12-21 | 1998-11-10 | Siemens Corporate Research, Inc. | Apparatus for detecting a cut in a video |
| US5724100A (en) * | 1996-02-26 | 1998-03-03 | David Sarnoff Research Center, Inc. | Method and apparatus for detecting scene-cuts in a block-based video coding system |
| JPH09261648A (ja) * | 1996-03-21 | 1997-10-03 | Fujitsu Ltd | シーンチェンジ検出装置 |
| US5844607A (en) * | 1996-04-03 | 1998-12-01 | International Business Machines Corporation | Method and apparatus for scene change detection in digital video compression |
| US5767922A (en) * | 1996-04-05 | 1998-06-16 | Cornell Research Foundation, Inc. | Apparatus and process for detecting scene breaks in a sequence of video frames |
| JPH09322174A (ja) * | 1996-05-30 | 1997-12-12 | Hitachi Ltd | 動画データの再生方法 |
| US8107015B1 (en) | 1996-06-07 | 2012-01-31 | Virage, Incorporated | Key frame selection |
| US5883670A (en) * | 1996-08-02 | 1999-03-16 | Avid Technology, Inc. | Motion video processing circuit for capture playback and manipulation of digital motion video information on a computer |
| GB9619117D0 (en) * | 1996-09-12 | 1996-10-23 | Pandora Int Ltd | Digital image processing |
| US6219382B1 (en) * | 1996-11-25 | 2001-04-17 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for locating a caption-added frame in a moving picture signal |
| US6167083A (en) * | 1997-04-04 | 2000-12-26 | Avid Technology, Inc. | Computer system and process for capture editing and playback of motion video compressed using interframe and intraframe techniques |
| US6105083A (en) * | 1997-06-20 | 2000-08-15 | Avid Technology, Inc. | Apparatus and method for controlling transfer of data between and processing of data by interconnected data processing elements |
| US5990980A (en) * | 1997-12-23 | 1999-11-23 | Sarnoff Corporation | Detection of transitions in video sequences |
| JP4168490B2 (ja) * | 1998-09-03 | 2008-10-22 | ソニー株式会社 | 動き判定装置、その方法および画像情報変換装置 |
| US6342904B1 (en) | 1998-12-17 | 2002-01-29 | Newstakes, Inc. | Creating a slide presentation from full motion video |
| US6892351B2 (en) * | 1998-12-17 | 2005-05-10 | Newstakes, Inc. | Creating a multimedia presentation from full motion video using significance measures |
| US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
| JP4146955B2 (ja) * | 1999-02-15 | 2008-09-10 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
| JP3960451B2 (ja) * | 2000-03-06 | 2007-08-15 | Ｋｄｄｉ株式会社 | シーン特性検出型動画像符号化装置 |
| DE10022264A1 (de) * | 2000-05-08 | 2001-11-22 | Micronas Munich Gmbh | Videosignal-Decoder und Verfahren zur Beseitigung von Bildstörungen in einem Videobild |
| US6995805B1 (en) | 2000-09-29 | 2006-02-07 | Sonic Solutions | Method and system for scene change detection |
| JP4596216B2 (ja) * | 2001-06-20 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US7330638B2 (en) * | 2001-08-02 | 2008-02-12 | Warner Bros. Home Entertainment Inc. | Apparatus generating content codes for audiovisual programs |
| US7231131B2 (en) * | 2001-08-02 | 2007-06-12 | Warner Bros. Home Entertainment Inc. | Apparatus for generating content codes for audiovisual programs by multiple viewers |
| FR2829635A1 (fr) * | 2001-09-07 | 2003-03-14 | Cit Alcatel | Procede de compression d'images d'animations |
| JP2004145482A (ja) * | 2002-10-22 | 2004-05-20 | Matsushita Electric Ind Co Ltd | 画像検索装置 |
| US20040237101A1 (en) * | 2003-05-22 | 2004-11-25 | Davis Robert L. | Interactive promotional content management system and article of manufacture thereof |
| US7761795B2 (en) * | 2003-05-22 | 2010-07-20 | Davis Robert L | Interactive promotional content management system and article of manufacture thereof |
| US7376274B2 (en) * | 2004-08-31 | 2008-05-20 | Sonic Solutions | Method and apparatus for use in video searching |
| CA2610262A1 (en) * | 2005-06-07 | 2006-12-14 | Thomson Licensing | Content-based gaussian noise reduction for still image, video and film |
| JP5080485B2 (ja) * | 2006-10-02 | 2012-11-21 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
| US8565310B2 (en) | 2008-01-08 | 2013-10-22 | Broadcom Corporation | Hybrid memory compression scheme for decoder bandwidth reduction |
| JP4846869B1 (ja) * | 2010-09-07 | 2011-12-28 | クロリンエンジニアズ株式会社 | 電解用陰極構造体およびそれを用いた電解槽 |
| US8995823B2 (en) | 2012-07-17 | 2015-03-31 | HighlightCam, Inc. | Method and system for content relevance score determination |
| US20140181668A1 (en) | 2012-12-20 | 2014-06-26 | International Business Machines Corporation | Visual summarization of video for quick understanding |
| JP6323184B2 (ja) * | 2014-06-04 | 2018-05-16 | ソニー株式会社 | 画像処理装置、画像処理方法、並びにプログラム |
| US9799376B2 (en) * | 2014-09-17 | 2017-10-24 | Xiaomi Inc. | Method and device for video browsing based on keyframe |
| CN109525627B (zh) * | 2017-09-20 | 2022-02-25 | 腾讯科技（上海）有限公司 | 数据传输方法、装置、存储介质及电子装置 |
| US11042698B2 (en) | 2019-08-22 | 2021-06-22 | Paul Bannister | System and method of contextually converting a media file into an electronic document |
| US11949965B1 (en) | 2023-06-23 | 2024-04-02 | Roku, Inc. | Media system with presentation area data analysis and segment insertion feature |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4145715A (en) * | 1976-12-22 | 1979-03-20 | Electronic Management Support, Inc. | Surveillance system |
| US4179704A (en) * | 1977-12-27 | 1979-12-18 | Cbs Inc. | Television system for displaying and recording paths of motion |
| US4168510A (en) * | 1978-01-16 | 1979-09-18 | Cbs Inc. | Television system for displaying and recording paths of motion |
| US4214263A (en) * | 1978-09-20 | 1980-07-22 | Cbs Inc. | Television system for displaying and recording paths of motion |
| GB8622613D0 (en) * | 1986-09-19 | 1986-10-22 | Questech Ltd | Processing of video image signals |
| US4893182A (en) * | 1988-03-18 | 1990-01-09 | Micronyx, Inc. | Video tracking and display system |
| JP2977829B2 (ja) * | 1989-01-11 | 1999-11-15 | 株式会社東芝 | 動画像再生装置および動画像再生方法 |
| JP2808657B2 (ja) * | 1989-04-27 | 1998-10-08 | ソニー株式会社 | 編集方法 |
| JP2861249B2 (ja) * | 1989-05-11 | 1999-02-24 | 日本電気株式会社 | 画像変化検出方法および画像変化検出装置 |
| GB2246925B (en) * | 1990-08-09 | 1994-04-27 | Sony Broadcast & Communication | Video signal processing |
| JPH04219878A (ja) * | 1990-12-20 | 1992-08-10 | Fuji Xerox Co Ltd | シーン・チェンジ検出サポート・システム |
| GB2255466B (en) * | 1991-04-30 | 1995-01-25 | Sony Broadcast & Communication | Digital video effects system for producing moving effects |
| AU657510B2 (en) * | 1991-05-24 | 1995-03-16 | Apple Inc. | Improved image encoding/decoding method and apparatus |
-
1993
- 1993-03-18 JP JP5059079A patent/JP3036287B2/ja not_active Expired - Fee Related
- 1993-12-14 US US08/166,047 patent/US5459517A/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8582660B2 (en) | 2006-04-13 | 2013-11-12 | Qualcomm Incorporated | Selective video frame rate upconversion |
Also Published As
| Publication number | Publication date |
|---|---|
| US5459517A (en) | 1995-10-17 |
| JPH06236439A (ja) | 1994-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3036287B2 (ja) | 動画像シーン検出装置 | |
| JP3244629B2 (ja) | シーン変化点検出方法 | |
| US7893968B2 (en) | Composite still-image creating device capable of creating a still image from moving images | |
| US6574274B2 (en) | Picture signal processing system, decoder, picture signal processing method, and decoding method | |
| JPH06309844A (ja) | 記録装置 | |
| JPH09322174A (ja) | 動画データの再生方法 | |
| US6040865A (en) | Image signal coding method and apparatus, image signal transmission method, and signal recording medium | |
| KR0185932B1 (ko) | 고속재생을 위한 비디오데이타 복호방법 및 그 장치 | |
| JP3221785B2 (ja) | 撮像装置 | |
| JP3191583B2 (ja) | 情報復号化装置 | |
| JPH08280029A (ja) | 画像情報復号化装置及び画像情報再生装置 | |
| JPH06350995A (ja) | 動画像処理方法 | |
| JP3227674B2 (ja) | 動画像符号化装置および方法 | |
| JP2000076462A (ja) | 動画像シ―ン検出装置 | |
| US20040179032A1 (en) | Method of intelligent video stream modification | |
| JP4154799B2 (ja) | 圧縮動画像編集装置および記憶媒体 | |
| JPH0888854A (ja) | 動画像符号化方式 | |
| JP2003087732A (ja) | 映像再生装置 | |
| JP2004180345A (ja) | 撮影画像記録装置 | |
| JP3214160B2 (ja) | 画像再生装置及び画像復号装置 | |
| JPH06339111A (ja) | 圧縮動画像再生装置 | |
| JP3188081B2 (ja) | 画像符号化方法および画像符号化装置 | |
| KR100312420B1 (ko) | 역방향재생을용이하게하기위한동영상부호화방법 | |
| JP2621341B2 (ja) | 背景予測を用いた動画像の予測符号化方式とその装置 | |
| JP3370659B1 (ja) | 再生装置および再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100225 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |