JP2005123726A - データ記録装置およびデータ表示装置 - Google Patents

Abstract

【課題】 小さなディスプレイに映像を再生表示しても見やすいキャプションを表示するデータ記録装置およびデータ表示装置を提供する。
【解決手段】 記録メディア３００から読み込んだ変換前の映像データをフレームメモリ２１に展開する。文字認識部３０は映像データ中に映像として書き込まれている映像キャプションを図形として解析し、文字認識を行なってキャプションテキストデータを得る。必要に応じてデータフォーマット変換部５０により映像データのデータフォーマットを変換し、書き込み部４０により変換後の映像データとキャプションテキストデータを記録する。携帯電話等の小型データ表示装置は記録メディアまたはネットワークメディアから映像データを入力し、ディスプレイの第１の表示エリアに映像データを、第２の表示エリアにキャプションテキストデータから当該エリアに合わせて生成したキャプションを表示する。
【選択図】 図１

Description

この発明は、映像データを取り込んで記録メディアに記録するデータ記録装置に関する。また、映像データを取り込んで表示するデータ表示装置に関する。

近年、携帯型端末が広く普及しつつある。携帯型端末は持ち運びに便利なように筐体の小型化が求められるが、筐体の小型化のみならず、多機能化、高性能化が求められている。典型例としては、携帯電話は年々小型化する一方、その機能は通話機能のみならず、ｉモード機能、カメラ機能、動画録画再生機能、ＧＰＳ利用機能など多種多様な機能を取り込みつつある。
携帯電話などの携帯型端末が取り込みつつある機能の一つに、映画やテレビドラマなどのコンテンツの映像データを読み込み、当該映像データを再生表示し、コンテンツの視聴を可能とする機能がある。
ここで、携帯電話などの携帯型端末における映像データの読み込みについて工夫が必要である。第１に、映画などのコンテンツデータは通常、ＤＶＤなどの大容量記録メディアにより提供されるが、携帯電話などの携帯型端末は筐体の大きさなどの制限からＤＶＤなど大きな記録メディアに対応したドライブの搭載ができないので、それら大型の大容量記録メディアから直接データを読み込むことができないため、小型の記録メディアに記録し直して用いる必要がある。第２に、携帯電話などの携帯型端末の動画データに採用されるデータフォーマット（ＭＰＥＧ４、Ｈ.２６４など）とＤＶＤなどで採用されるデータフォーマット（ＭＰＥＧ２など）が異なる場合は、ＤＶＤに記録された映像データのデータフォーマットを携帯型端末で利用しやすいデータフォーマットに変換する必要がある。

従来技術において、携帯電話などの携帯型端末において映像データを読み込む方法として、通信機能を介して通信回線を介してデータの配信を受ける方法（非特許文献１）、記録メディアドライブを複数備えたデータ再生録画装置を用いてＤＶＤなどの大型記録メディアから読み込んだ映像データを、ＳＤカード（ＴＭ）、メモリースティック（ＴＭ）、スマートメディア（ＴＭ）など他の小型記録メディアに記録し直し、小型記録メディア用ドライブを備えた携帯電話を用いて当該小型記録メディアから映像データを読み込む方法（非特許文献２）などが知られている。
日経産業新聞２００３年７月１１日付記事 http://panasonic.jp/dvd/recorder/e2000ｈ/spec

映像データの携帯型端末への読み込み段階においては、上記の非特許文献１および非特許文献２に示した映像データの携帯型端末への読み込み方法は有用な方法である。
一方、携帯型端末の映像コンテンツの再生の段階においては、以下に示すように、映像キャプションの表示について改善の必要がある。
携帯型端末は、持ち運びの便宜上、筐体の小型化が求められ、搭載し得るディスプレイが小さいものとなっている。映像を表示するディスプレイは本来大きい方が映像を見やすいが、利用者は携帯型端末のディスプレイを顔の近くに保持しつつ映像を見ることができ、映像の絶対的大きさが多少小さくても映像を視聴することは可能であり、携帯型端末で場所を問わず視聴するという大きな利点が魅力となり、今後もこの映像の視聴形態は増えて行くものと期待されている。しかし、映像中に映像として書き込まれている映像キャプションは小さ過ぎて即座に読み取ることが困難となる場合がある。利用者が視聴するコンテンツのうち有力なコンテンツとして外国映画、外国ドラマ、外国歌手の公演ビデオなどがあり、それらの翻訳について音声による吹き替えが提供されている場合もあるが、その多くは台詞や歌詞を示すキャプションが映像キャプションとして映像中に書き込まれて付されているものが多い。それら映像キャプションはその性質上、主となる映像に干渉しない位置、例えば、映像面の最下部に小さく付されている。映像キャプションはある程度大きなディスプレイでの再生表示を前提として付されているため、携帯型端末のような小さなディスプレイにおいて外国映画などを再生表示した場合、表示面全体の絶対的大きさが小さい上、さらに、その小さな表示面中の最下部に小さく表示される映像キャプションは見難く、その識別が困難となる場合も十分に考えられる。
外国映画などのコンテンツの多くは音声による吹き替え版ではなく映像キャプション付きのものである現状、利用者に上記不便を強いる結果となってしまうという問題が生じる。

上記問題点に鑑み、本発明は、携帯型端末の小さなディスプレイを表示面として再生表示する場合であっても、キャプションが利用者に十分に認識できるようにキャプションを加工し、表示することができるデータ記録装置およびデータ表示装置を提供することを目的とする。

上記目的を達成するため、本発明の第１のデータ記録装置は、映像データを取り込んで記録メディアに記録するデータ記録装置であって、
映像データを取り込む映像データ入力部と、
フレームメモリを備え、前記映像データ入力部から取り込んだ映像データを前記フレームメモリに展開するフレームメモリ制御部と、
前記フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータと、当該キャプションテキストデータと前記映像データとの対応情報とを生成する文字認識部と、
前記フレームメモリから前記映像データを受け、前記文字認識部から前記キャプションテキストデータと前記対応情報とを受け、それらを前記記録メディアに書き込む書き込み部を備えたものである。
上記構成により、映像データと別にキャプションテキストデータと対応情報とを得ることができ、本発明の第１のデータ記録装置で記録した記録メディアを利用するシステムにおいてキャプションテキストデータを利用することができる。キャプションテキストデータは映像データではなくテキストデータであるので、多様な形態での利用が容易となる。

本発明の第２のデータ記録装置は、映像データを取り込んで記録メディアに記録するデータ記録装置であって、
映像データを取り込む映像データ入力部と、
フレームメモリを備え、前記映像データ入力部から取り込んだ映像データを前記フレームメモリに展開するフレームメモリ制御部と、
前記フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータと、当該キャプションテキストデータと前記映像データとの対応情報とを生成する文字認識部と、
前記フレームメモリに展開された映像データを所望のデータフォーマットに変換するデータフォーマット変換部と、
前記データフォーマット変換部から前記データフォーマット変換後の映像データを受け、前記文字認識部から前記キャプションテキストデータと前記対応情報とを受け、それらを前記記録メディアに書き込む書き込み部を備えたものである。
上記構成により、映像データのデータフォーマットを変換しつつ、キャプションテキストデータと対応情報も併せて得ることができる。

上記のデータ記録装置について、前記フレームメモリに展開された映像データにおいて、前記映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、前記映像キャプションを消去する映像キャプション消去部を備えることも好ましい。
上記構成により、映像中から映像キャプションを消去できる。キャプション自体はテキストデータの形で利用できるので映像中に残存する映像キャプションは不要であるから消去しても問題なく、却って映像を毀損する形で書き込まれていた映像キャプションを消去することは好ましいからである。

次に、本発明の第１のデータ表示装置は、映像コンテンツを表示するデータ表示装置であって、
利用メディアから映像データとキャプションテキストデータとそれらの対応情報を取り込む映像データ入力部と、
映像コンテンツを表示するディスプレイと、
フレームメモリを備え、前記ディスプレイの表示エリアを少なくとも第１の表示エリアと第２の表示エリアの２つの表示エリアに分割し、各表示エリアに対応するフレームメモリの第１の領域と第２の領域へのデータ書き込みを制御して各表示エリアにおける表示を制御する表示制御部と、
前記表示制御部の表示制御に従い、前記映像データ入力部から取り込んだ前記映像データを読み込んで前記フレームメモリの第１の領域に展開する映像表示処理部と、
前記表示制御部の表示制御に従い、前記映像データ入力部から取り込んだ前記キャプションテキストデータと前記対応情報を読み込んで、前記対応情報に基づいて前記フレームメモリの第１の領域に展開されている映像データに対応するキャプションテキストデータを選択して前記フレームメモリの第２の領域に展開するキャプション表示処理部とを備え、
前記ディスプレイの第１の表示エリアにおいて前記映像が表示され、前記ディスプレイの第２の表示エリアにおいて前記キャプションが表示されるデータ表示装置である。
上記構成により、利用するメディア中にキャプションがキャプションテキストデータとして与えられている場合、映像データは第１の表示エリアに、キャプションは第２の表示エリアに表示することができる。例えば、携帯型端末のようにディスプレイが小さい機器の場合、キャプションがあまりに小さくなり過ぎないように第２の表示エリアの大きさを文字の視認が困難とならない程度の大きさに調整すれば利用者が容易にキャプションを読むことができる。

なお、映画やテレビジョンコンテンツの場合、映像面の縦横比が決まっているので、例えば、携帯型端末のディスプレイに当該縦横比の映像を表示した場合に、ディスプレイの縦方向に余裕がある場合、下側に余っているディスプレイ領域を第２の表示エリアとして当該エリアにキャプションを大きく表示すれば良い。

本発明の第２のデータ表示装置は、映像データを取り込んで映像コンテンツを表示するデータ表示装置であって、
映像データを取り込む映像データ入力部と、
映像コンテンツを表示するディスプレイと、
文字認識用フレームメモリと、映像表示用フレームメモリと、キャプション表示用フレームメモリと、
前記映像データ入力部から取り込んだ映像データストリームを、フレームごとに前記映像表示用フレームメモリに展開する機能と、所定周期でサンプリングして前記文字認識用フレームメモリに展開する機能とを備えた制御部と、
前記映像表示用フレームメモリに展開されたデータに基づいて前記ディスプレイの第１の表示エリアへの映像表示を制御する映像表示制御部と、
前記文字認識用フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータを生成する文字認識部と、
前記文字認識部が認識したキャプションテキストデータに基づいて前記ディスプレイの第２の表示エリアへのキャプションテキスト表示を制御するキャプション表示制御部とを備えたものである。
上記構成により、例えば、利用メディアとなる携帯型小型メモリへのアクセスや、地上波デジタル放送などの無線通信によるアクセスにより、映像キャプションが書き込まれたままの映像コンテンツを読み込んで自らキャプションテキストデータと対応情報を生成して利用することができる。

本発明の第３のデータ表示装置は、上記第２のデータ表示装置において、前記フレームメモリの第１の領域に展開された映像データ中の映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、前記映像キャプションを消去する映像キャプション消去部を備え、前記ディスプレイの第１の表示エリアにおいて前記映像キャプションが消去された映像が表示され、前記ディスプレイの第２の表示エリアにおいて前記キャプションが表示されるものである。
上記構成により、映像中に書き込まれた映像キャプションを消去することができる。

上記のデータ記録装置およびデータ表示装置は、映像キャプションからキャプションテキストデータを生成して、当該キャプションテキストデータを利用するものであるが、映像キャプションを映像のまま拡大して利用することも可能である。

本発明の第４のデータ表示装置は、映像データを取り込んで映像コンテンツを表示するデータ表示装置であって、
映像データを取り込む映像データ入力部と、
映像コンテンツを表示するディスプレイと、
映像表示用フレームメモリと、キャプション表示用フレームメモリと、
前記映像データ入力部から取り込んだ映像データストリームを、フレームごとに前記映像表示用フレームメモリに展開する機能を備えた制御部と、
前記映像表示用フレームメモリに展開されたデータに基づいて前記ディスプレイの第１の表示エリアへの映像表示を制御する映像表示制御部と、
前記映像表示用フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析して前記映像データ中の映像キャプション領域を認識し、前記映像キャプション領域の映像データを前記ディスプレイの第２の表示エリアの大きさに合わせた縦横倍率で拡大しつつ前記キャプション表示用フレームメモリに複製展開するキャプション表示制御部と、
前記映像表示用フレームメモリに展開された映像データ中の映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、前記映像キャプションを消去する映像キャプション消去部を備え、
前記ディスプレイの第１の表示エリアにおいて前記映像キャプションが消去された映像が表示され、前記ディスプレイの第２の表示エリアにおいて前記縦横倍率で拡大されたキャプションが表示されるものである。
上記構成により、映像中の映像キャプション部分を消去するとともに、映像キャプション部分を拡大して第２の表示エリアに表示することができ、第２の表示エリアの大きさを映像キャプションの視認が困難とならない程度の大きさに調整すれば利用者が容易にキャプションを読むことができる。
なお、本発明のデータ記録装置またはデータ表示装置において、映像データ入力部が映像データを取り込むためアクセス可能な利用メディアとして、例えば、映像データが記録されているＤＶＤ、ＣＤ、ＭＯ、ＨＤＤ、メモリなどの記録メディアが挙げられる。また、映像データの配信が可能となる地上波デジタル放送、衛星放送、ＣＡＴＶ、インターネットなどのコンピュータ通信などのネットワークメディアが挙げられる。ネットワークメディアの場合、当該ネットワークの接続先のリソースとして含まれるＨＤＤやメモリなどの記録メディアも含まれる。

本発明のデータ記録装置によれば、映像データと別にキャプションテキストデータと対応情報とを得ることができ、当該データ記録装置により書き込んだ記録メディアを利用する映像データ表示装置においてキャプションテキストデータを利用することができる。キャプションテキストデータは映像データではなくテキストデータであるので、多様な形態での利用が容易となる。
本発明のデータ表示装置によれば、映像データを第１の表示エリアに、キャプションを第２の表示エリアに表示することができる。例えば、携帯型端末のようにディスプレイが小さい機器の場合、キャプションがあまりに小さくなり過ぎないように第２の表示エリアの大きさを文字の視認が困難とならない程度の大きさに調整すれば利用者が容易にキャプションを読むことができる。

以下、図面を参照しつつ、本発明のデータ記録装置およびデータ表示装置の実施例を説明する。

本発明の実施例１にかかる第１のデータ記録装置および第１のデータ表示装置の例を示す。
第１のデータ記録装置は、読み取り対象となる記録メディアまたはネットワークメディアから映像データ（映像キャプション付き）を読み込み、映像キャプションの文字認識によるキャプションテキストデータの生成処理を実行し、映像データとキャプションテキストデータと両者の対応情報を書き込み対象となる小型の記録メディアに記録する装置である。
図１および図２は本発明の実施例１にかかる第１のデータ記録装置１００の基本構成例を模式的に示す図である。

図１の例において、映像データ入力部１０は、読み取り対象となる記録メディア３００に対応している読み取り装置を備え、記録メディア３００に対応する物理インタフェースおよび論理インタフェースを持っている。映像データ入力部１０は読み取り対象となる記録メディア３００から映像データを次々と読み取り、フレームメモリ制御部２０に渡して行く。
読み取り対象となる記録メディア３００は特に限定されない。例えば、外国映画などのコンテンツが記録されたＤＶＤ、ＣＤＲＯＭ、ＶＨＳビデオテープ、ＭＯなどの記録媒体が記録メディア３００となり得る。また、外部からテレビジョン放送を受信し、受信したテレビジョン放送を内蔵のハードディスク記憶装置に録画し、書き込み対象となる小型記録メディア４００にアップダビングする場合は、当該ハードディスク記録装置が記録メディア３００となり得る。

なお、図２の例では、映像データ入力部１０は、地上波デジタル放送や衛星放送を受信する機能やインターネットなどのネットワークメディアにアクセスする機能を備え、ネットワークメディアとの通信インタフェースを持っている。映像データ入力部１０はネットワークメディア３１０から映像データを次々とダウンロードして取り込み、フレームメモリ制御部２０に渡して行く。なお、映像データ入力部１０はチューニング機能を備え、チャンネル選択などができることが好ましい。
オンデマンドによるネットワークメディアを介したダウンロードを行なう場合、ネットワークを介して接続されている接続先の記録メディアが読み取り対象となる記録メディア３００となり得る。

次に、図１または図２において、書き込み対象となる小型記録メディア４００は特に限定されないが、携帯型の小型記録メディアが想定される。本発明のデータ記録装置が提供する小型記録メディア４００は、ＤＶＤなどの記録メディア３００を直接取り扱うことができないような携帯電話などの小型の携帯型端末で取り扱うことができる記録メディアを想定したものであって、例えば、メモリースティック（ＴＭ）、コンパクトフラッシュカード（ＴＭ）、スマートメディアカード（ＴＭ）、ＳＤカード（ＴＭ）などの携帯型小型記録メディアが記録メディア４００となり得る。

なお、３つ以上の記録メディアやネットワークメディア間で映像データを授受する場合は、次のように捉えることができる（なお、以下の説明では記録メディアの場合について代表的に述べるが、ネットワークメディアについても同様に考えることができる。）。映像データを授受する複数のネットワークメディアや記録メディアを、授受の道筋をフローチャートに見立てて並べ、映像データを他の記録メディアに授ける記録メディアが記録メディア３００、受け取る記録メディアが小型記録メディア４００となり、記録メディアＡ、記録メディアＢ、記録メディアＣが直列にこの順で映像データを授受する場合、記録メディアＡから記録メディアＢの関係に注目すると、記録メディアＡが記録メディア３００、記録メディアＢが小型記録メディア４００となり、記録メディアＢから記録メディアＣの関係に注目すると、記録メディアＢが記録メディア３００、記録メディアＣが小型記録メディア４００となる。記録メディアＡから記録メディアＢと記録メディアＣの２つの記録メディアにいわゆる並列に映像データが授受される場合、記録メディアＡが記録メディア３００、記録メディアＢと記録メディアＣのそれぞれが独立して小型記録メディア４００となる。逆に記録メディアＡと記録メディアＢのそれぞれから記録メディアＣに映像データが授受される場合、記録メディアＡと記録メディアＢのそれぞれが独立して記録メディア３００となり、記録メディアＣが小型記録メディア４００となる。
なお、ネットワークメディア３１０から映像データをダウンロードし、一時的にデータ記録装置内の内蔵ハードディスクに保存し、後にハードディスクからメモリースティック（ＴＭ）などの小型の記録メディア４００にアップダビングする場合、ネットワークメディアを読み取り対象のメディアとし、本発明のキャプションデータおよび対応情報生成処理を行なってハードディスクを書き込み対象のメディアとしても良く、ネットワークメディア３１０からハードディスクへの記録は本発明のキャプションデータおよび対応情報生成処理を行なわず、ハードディスクを読み取り対象のメディアとし、本発明のキャプションデータおよび対応情報生成処理を行なって小型の記録メディア４００を書き込み対象のメディアとしても良い。
データフォーマットに関して、この実施例１の第１のデータ記録装置は、読み取り対象となる記録メディア３００またはネットワークメディア３１０から取り込まれる映像データのデータフォーマット変換処理が不要である例として説明する。

フレームメモリ制御部２０は、フレームメモリ２１を備え、フレームメモリ２１の入出力を制御する部分である。フレームメモリ制御部２０は読み取り対象となる記録メディア３００から読み込んだ映像データをフレームメモリ２１に展開する。
文字認識部３０は、フレームメモリ２１に展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータを生成する部分である。また、生成したキャプションテキストデータと当該キャプションが映像として書き込まれていた映像データとの対応情報とを生成する部分である。
文字認識部３０は文字パターンデータベース３１を備えている。文字パターンデータベース３１は文字認識処理においてパターンマッチングに用いる文字パターンを集めたデータベースである。

図３は文字認識部３０における処理の概要を模式的に説明する図である。フレームメモリ制御部２０の処理によりＤＶＤなどの記録メディア３００から読み込まれた映像データはフレームごとにフレームメモリ２１に展開されている。図３は当該映像を模式的に示している。映像の最下部には映像キャプションが映像中に書き込まれている（焼き付けられている）。この映像キャプションは映像そのものの中に焼き付けられており、テキストデータではなく映像中に写り込んでいる図形データと捉えることができる。この例の映像フレームには「坂道を上りながら後ろを振り向いてごらん。海が見えるよ。」という映像キャプションが付されているとする。

まず、文字認識部３０はフレームメモリ２１上に展開されている映像中、映像キャプションの図形パターンが含まれている領域を探索する。文字認識部３０は当該探索について学習機能を有することが好ましい。ここで、映像キャプションが書き込まれている領域は、例えば、映像領域の最下部付近や、右端部分など一定部分に固定されていることが多く、学習効果が高く発揮されることとなる。
次に、文字認識部３０は、映像キャプション図形から文字ごとの図形パターン切り出しを行なう。そして、文字パターンデータベース３１中の文字パターンと切り出した図形パターンとのパターンマッチングを行い、映像キャプションの各文字の認識処理を行なう。この後、認識精度を向上させるために、単語認識、意味認識、構文チェックなどを行なうことも好ましい。これら単語認識や意味認識に必要なエンジン、単語データベース、意味データベース、構文データベースなどを備えているものとする。

文字認識部３０による文字認識の結果、図３に示すように、図形としての映像キャプションからテキストデータとしてのキャプションテキストデータが得られる。ここでは「坂道を上りながら後ろを振り向いてごらん。海が見えるよ。」というキャプションテキストデータが得られることとなる。
また、文字認識部３０は、得られたキャプションテキストデータがどの映像フレーム中の映像キャプションに相当するデータであるかを示すため、映像データとキャプションテキストデータとの対応を示す対応情報も生成する。例えば、「映像フレーム番号○○−キャプションテキストデータ番号○○」という対応情報が生成される。生成されたキャプションテキストデータと対応情報は書き込み部４０に渡される。

上記のフレームメモリ制御部２０によるフレームメモリ２１への映像データの書き込み処理、文字認識部３０による文字認識処理までを映像フレームごとに行なう。なお、文字認識部３０による文字認識処理については映像フレームごとには行なわず、所定周期ごとに映像フレームをサンプリングして行なっても良い。映像キャプションは人が目で読み取るという性質上、一定の時間は必要であり、長短はあるものの複数のフレームにわたり同じ映像キャプションが付されていることとなる。そのため、すべてのフレームについて文字認識処理を行なうことはリソースの浪費となる場合がある。そこで、映像キャプションが２回以上切り替わる恐れのない間隔（例えば、１秒間隔や２秒間隔）でサンプリングしたフレームについて文字認識処理を行なえば良い。

次に、図１または図２において、書き込み部４０は、フレームメモリ制御部２０から渡される映像データストリームと、文字認識部３０から渡されるキャプションテキストデータと対応情報とを、書き込み対象の記録メディア４００に書き込む部分である。書き込み対象の記録メディア４００用の書き込みドライブを備え、記録メディア４００に対応する物理フォーマット、論理フォーマットで映像データを書き込み対象の記録メディア４００に書き込む。

上記のように、本発明のデータ記録装置により、ＤＶＤなどの読み取り対象となる記録メディア３００に記録されている外国映画など映像キャプションを含む映像データを読み込み、当該映像データと映像キャプションに相当するキャプションテキストデータをＳＤカード（ＴＭ）やメモリースティック（ＴＭ）などの書き込み対象となる小型記録メディア４００に記録される。記録メディア４００にアクセスした携帯型端末において、映像データとともにテキストデータとしてのキャプションテキストデータが利用できる。
なお、図１の構成例にはバッファメモリなどは図示していないが、いずれかの処理において必要であればバッファメモリを用いても良い。

次に、本発明の第１のデータ表示装置について説明する。
第１のデータ表示装置２００は、上記の小型記録メディア４００などの記録メディアまたはネットワークメディアから映像データ、キャプションテキストデータ、それらの対応情報を読み込み、映像データをディスプレイの第１の表示エリアに表示し、キャプションをディスプレイの第２の表示エリアに表示する装置である。なお、キャプションの表示にあたり、キャプションテキストデータを利用する。
なお、第１のデータ表示装置２００は小型の携帯型端末を想定しており、ここでは、例えば、多機能型の携帯電話とする。
図４および図５は、本発明の実施例１にかかる第１のデータ表示装置２００の基本構成例を模式的に示す図である。

図４の例において、映像データ入力部２１０は、小型記録メディア４００に対応している読み取り装置を備え、小型記録メディア４００に対応する物理インタフェースおよび論理インタフェースを持っている。映像データ入力部２１０は読み取り対象となる小型記録メディア４００から映像データ、キャプションテキストデータ、対応情報を次々と読み取り、映像データを映像表示処理部２２０に、キャプションテキストデータと対応情報をキャプション表示処理部２３０に渡して行く。
読み取り対象となる小型記録メディア４００は、本発明の第１のデータ記録装置１００により映像データ、キャプションテキストデータ、対応情報が書き込まれた小型記録メディアである。

なお、図５の例では、映像データ入力部２１０は、地上波デジタル放送やインターネットなどのネットワークメディアにアクセスする機能を備え、ネットワークメディアとの通信インタフェースを持っている。ネットワークメディア３１０は、映像データ、キャプションテキストデータ、両者の対応情報が格納されたリソースを備えている。これらデータはサービス提供業者が用意して利用者に提供する。提供形態は有償、無償など多様な形態があり得る。
映像データ入力部２１０はネットワークメディア３１０から映像データ、キャプションテキストデータ、両者の対応情報を次々と読み取り、映像データを映像表示処理部２２０に、キャプションテキストデータと対応情報をキャプション表示処理部２３０に渡して行く。なお、映像データ入力部１０はチューニング機能を備え、チャンネル選択などができることが好ましい。

映像表示処理部２２０は、映像データ入力部２１０から渡された映像データを受け取り、表示制御部２４０の表示制御に従い、フレームメモリ２５０の第１の領域２５１に映像データを展開する部分である。
キャプション表示処理部２３０は、映像データ入力部２１０から渡されたキャプションテキストデータと対応情報を受け取り、対応情報を参照して、フレームメモリ２５０の第１の領域２５１に展開されている映像データに対応するキャプションテキストデータを選択し、表示制御部２４０の表示制御に従い、選択したキャプションテキストデータをフレームメモリ２５０の第２の領域２５２に展開する部分である。キャプションテキストデータのフレームメモリ２５０の第２の領域２５２への展開にあたり、当該第２の領域２５２の大きさ（ディスプレイ２６０の第２の表示エリアの大きさ）に合わせてキャプションが拡大表示できるように縦横倍率を調整して展開する。

表示制御部２４０は、フレームメモリ２５０を備え、ディスプレイ２６０の表示エリアを少なくとも第１の表示エリア２６１と第２の表示エリア２６２の２つの表示エリアに分割し、各表示エリアに対応するフレームメモリ２５０の第１の領域２５１と第２の領域２５２へのデータ書き込みを制御して各表示エリアにおける表示を制御する部分である。つまり、フレームメモリ２５０の第１の領域２５１に書き込まれたデータがディスプレイ２６０の第１の表示エリア２６１に表示され、フレームメモリ２５０の第２の領域２５２に書き込まれたデータがディスプレイ２６０の第２の表示エリア２６２に表示されることとなる。このようにフレームメモリへの書き込み領域を制御することによりディスプレイ２６０の表示画面を分割制御する。
ディスプレイ２６０の種類は特に限定されない。液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、ＣＲＴなど多様なものがある。ここでは、多機能型の携帯電話に多く採用されている小型の液晶ディスプレイとする。

上記のように、映像表示処理部２２０とキャプション表示処理部２３０と表示制御部２４０の制御により、映像データがフレームメモリ２５０の第１の領域２５１に、キャプションテキストデータがフレームメモリ２５０の第２の領域２５２に、別々に分けて書き込まれるため、ディスプレイ２６０の第１の表示エリア２６１において映像が表示され、ディスプレイ２６０の第２の表示エリア２６２においてキャプションが表示される。
ここで、キャプションを表示するフレームメモリ２５０の第２の領域２５２の大きさを調整し、ディスプレイの第２の表示エリア２６２の大きさを適度な大きさに制御することにより、表示されるキャプションの大きさを読みやすい程度に大きくすることができる。

図６は、キャプションが第２の表示エリア２６２の大きさに合わせて大きく表示される様子を模式的に示す図である。図６（ａ）は読み取り対象となる記録メディア３００に記録されている映像データをそのまま再生した場合の表示画面の様子である。映像フレーム中の映像キャプションはそのまま映像として写り込んでいる。
なお、この例ではディスプレイはほぼ正方形であり、映像フレームはその縦横比から縦方向には短いため、この例では縦方向に余っているエリアがある。
図６（ａ）の表示画面が携帯電話などの小型ディスプレイに表示された場合、映像キャプションの絶対的大きさが小さ過ぎて読み取るのは難しい場合がある。
図６（ｂ）は本発明のデータ表示装置２００によりキャプションを第２の表示エリア２６２に表示した場合の表示画面の様子である。第１の表示エリア２６１の映像フレーム中の映像キャプションは図６（ａ）の場合と同様、小さくて見難いが、第２の表示エリア２６２にはキャプションテキストデータを基に表示するキャプションが大きく表示され、読み取りやすいものとなっている。
このように、本発明のデータ表示装置２００を用いれば、携帯電話のように小型ディスプレイを搭載した携帯型端末であっても利用者が容易にキャプションを読み取ることができる。

なお、図７および図８は、本発明のデータ表示装置１００である携帯電話の小型ディスプレイ２６０において、第１の表示エリア（映像表示面）と、第２の表示エリア（キャプション表示面）の様子の一例を示した図である。映像表示面は映像コンテンツによりその縦横比が決まっている。キャプション表示面は、小型ディスプレイ２６０上に映像表示面２６１を確保した後、余った領域に確保することが好ましい。図７は小型ディスプレイ２６０を縦置きにして映像表示面２６１を確保した場合のキャプション表示面の位置の一例を示す図で、図８は小型ディスプレイ２６０を横置きにして映像表示面２６１を確保した場合のキャプション表示面の位置の一例を示す図である。なお、図中、２９１は上部筐体、２９２は下部筐体、２９３はスピーカ、２９４はマイクロフォン、２９５はキー入力部、２９６はアンテナを示している。

実施例２にかかる本発明の第２のデータ記録装置は、実施例１に示した第１のデータ記録装置の基本機能を備え、さらに、記録メディア３００またはネットワークメディア３１０から読み取った映像データのデータフォーマットから他のデータフォーマットへ変換する変換処理も行なうものである。
図９は本発明の実施例２にかかる第２のデータ記録装置１００ａの基本構成例を模式的に示す図である。
映像データ入力部１０、フレームメモリ制御部２０、文字認識部３０、書き込み部４０は実施例１の図１に示したものと同様で良い。また、読み込み対象となる記録メディア３００および書き込み対象となる記録メディア４００も実施例１の図１に示したものと同様で良い。
また、図示しないが、実施例１の図２と同様、映像データ入力部１０が通信インタフェースを備え、ネットワークメディア３１０にアクセスする機能を持ち、ネットワークメディア３１０から映像データをダウンロードするものであっても良い。

図９において、データフォーマット変換部５０は、フレームメモリ２１に展開された映像データを所望のデータフォーマットに変換しつつ映像データストリームを生成する部分である。生成された映像データストリームは書き込み部４０に渡される。例えば、ＤＶＤなどの第１の記録メディア３００にはＭＰＥＧ２のデータフォーマットにより記録され、ＳＤカード（ＴＭ）やメモリースティック（ＴＭ）などの第２の記録メディア４００にＭＰＥＧ４またはＨ.２６４などのデータフォーマットで記録する場合、データフォーマット変換部５０は映像データのデータフォーマットをＭＰＥＧ２からＭＰＥＧ４またはＨ.２６４などに変換する。

本発明の第２のデータ記録装置１００ａの処理の流れは以下のようになる。
映像データ入力部１０による記録メディア３００からの映像データの読み取り処理、フレームメモリ制御部２０によるフレームメモリ２１への映像データの書き込み処理に続き、データフォーマット変換部５０によるデータフォーマット変換処理までを映像フレームごとに行なう。例えば、データフォーマット変換部５０によりＭＰＥＧ２からＨ.２６４のデータフォーマットによるデータストリームに変換される。
文字認識部３０による文字認識処理は、実施例１と同様、映像フレームごとには行なわず、所定周期ごとに映像フレームをサンプリングして行なっても良い。
書き込み部４０は、データフォーマット変換部５０から渡されるデータフォーマット変換後の映像データストリームと、文字認識部３０から渡されるキャプションテキストデータと対応情報とを、記録メディア４００に書き込む映像データ書き込み処理を行なう。書き込み部４０は記録メディア４００用の書き込みドライブを備え、記録メディア４００に対応する物理フォーマット、論理フォーマットで映像データを記録メディア４００に書き込む。

なお、データ表示装置としては、実施例１に示したものを用いることができる。本発明の第２のデータ記録装置１００ａにより映像データが書き込まれた記録メディア４００をデータ表示装置２００により再生することができ、図４のように映像が第１の表示エリア２６１に表示され、キャプションが第２の表示エリア２６２に表示される。
上記に示した通り、本発明の第２のデータ記録装置によれば、映像データのデータフォーマットを変換しつつ、キャプションテキストデータと対応情報を併せて記録メディアに書き込むことができ、データ表示装置においてキャプションテキストデータを利用することができる。

本発明の実施例３にかかるデータ記録装置およびデータ表示装置の例を示す。
実施例３のデータ記録装置１００ｂは、実施例１または実施例２に示したデータ記録装置１００または１００ａと同様、映像キャプションの文字認識によるキャプションテキストデータの生成処理を実行するが、実施例３のデータ記録装置１００ｂは、映像中に残存している映像キャプションを消去する機能も備えたものである。実施例１または実施例２で示したように、利用者が読むキャプション自体はキャプションテキストデータを基に第２の表示エリアにおいて大きく表示されるため、映像中に残存している映像キャプションは無駄となり、却って映像を毀損するノイズとなっており、それらは消去することが好ましいからである。
以下の構成例は、実施例２に示したデータフォーマット変換部５０を備えた構成例として説明するが、実施例１に示したようにデータフォーマット変換部５０を備えていない構成も可能である。

図１０は本発明の実施例３にかかるデータ記録装置の基本構成例を模式的に示す図である。
図１０の構成例において、映像データ入力部１０、フレームメモリ制御部２０、フレームメモリ２１、文字認識部３０、文字パターンＤＢ３１、データフォーマット変換部５０、書き込み部４０の各構成要素については、図９に示したものと同様で良い。また、読み込み対象となる記録メディア３００および書き込み対象となる記録メディア４００も図９に示したものと同様で良い。
また、図示しないが、実施例１の図２と同様、映像データ入力部１０が通信インタフェースを備え、ネットワークメディア３１０にアクセスする機能を持ち、ネットワークメディア３１０から映像データをダウンロードするものであっても良い。

図１０において、映像キャプション消去部６０は、フレームメモリ２１に展開された映像データにおいて映像キャプションを探索し、映像キャプションを映像中から消去する部分である。
なお、映像キャプションの探索処理については、映像キャプション消去部６０が自ら行なっても良いし、文字認識部３０が文字認識処理の過程の探索処理において得ている映像キャプション領域情報の通知を受けても良い。後者の場合、図１０には図示しないが文字認識部３０から映像キャプション消去部６０に対して映像キャプション領域情報の通知が行なわれる。
映像中に写り込んでいる映像キャプションの消去処理とは、映像キャプションの文字輪郭の内側の画素を０値とする意味ではなく、理想的には映像キャプションが映像中に書き込まれる前の原映像に戻すことを意味する。映像キャプション消去部６０が原映像データを外部から入手することができれば当該原映像データを映像キャプション消去後の映像データとして用いれば良い。映像キャプション消去部６０が、映像キャプションが映像として写り込んでいる映像データしか利用できない場合は、当該映像データを処理して映像キャプションを消去しなければならないが、映像キャプションで覆われた部分の元の映像が分からないので、映像キャプションの周囲の映像から映像キャプションで覆われた部分の元の映像を推定するしかない。

そこで、本実施例３のデータ記録装置１００ｂでは以下の擬似消去処理を行なう。映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、映像キャプションが書かれていた部分を周囲の映像部分とシームレスにつなげて目立たないものとすることにより擬似的に消去する。もともと映像キャプションを構成する文字は細い線分より構成されているので、このような擬似消去処理でも十分な効果が得られる。
ここで、対向し合う文字輪郭エッジを選択する方法は特に限定されないが、処理時間の短縮も考慮し、例えば、水平方向にスキャンして対向し合う文字輪郭エッジを順次選択する方式、垂直方向にスキャンして対向し合う文字輪郭エッジを順次選択する方式などを採用することができる。

なお、バッファメモリなどを用いずにフレームメモリに展開された映像データのみに基づいて文字認識処理と映像キャプション消去処理とデータフォーマット変換処理を行なう場合、映像キャプション消去部６０の映像キャプション消去処理を文字認識部３０による文字認識処理後でデータフォーマット変換部５０によるデータフォーマット変換処理前に行なうことができる。文字認識部３０または映像キャプション消去部６０が図示しないバッファメモリを備えて用いる場合、フレームメモリ２１から当該バッファメモリに転送した映像データに基づいて文字認識処理または映像キャプション消去処理を行なうことができ、文字認識処理と映像キャプション消去処理を並行処理することができる。

データ表示装置としては、実施例１に示したものを用いることができる。本発明の第２のデータ記録装置１００ｂにより映像データが書き込まれた記録メディア４００をデータ表示装置２００により再生することができる。
図１１は映像キャプション消去部６０による映像キャプション消去処理の効果を示す図である。図１１（ｂ）と図６（ｂ）を比較すると分かるように、データ表示装置２００のディスプレイ２６０の表示画面の第１の表示エリア２６１に表示される映像において映像キャプションが擬似的に消去されている。キャプションはキャプションテキストデータに基づいて第２の表示エリア２６２に大きく表示される。

本発明の実施例４にかかるデータ表示装置の例を示す。
実施例４のデータ表示装置は、映像キャプションが写り込んでいる映像コンテンツの映像データを取り込み、自ら映像キャプションの文字認識によるキャプションテキストデータの生成処理を実行し、映像をディスプレイの第１の表示エリアに、キャプションを第２の表示エリアに表示する装置である。データ表示装置２００ａは小型の携帯型端末を想定しており、ここでは、例えば、多機能型の携帯電話とする。

図１２および図１３は本発明の実施例４にかかるデータ表示装置２００ａの基本構成例を模式的に示す図である。
図１２において、記録メディア５００は特に限定されないが、携帯型の小型記録メディアが想定される。例えば、メモリースティック（ＴＭ）、コンパクトフラッシュカード（ＴＭ）、スマートメディアカード（ＴＭ）、ＳＤカード（ＴＭ）などの携帯型小型記録メディアが想定される。この記録メディア５００には外国映画など映像キャプションが書き込まれている状態の映像データが記録されているものとする。この例では映像データは小型記録メディア５００に適した物理フォーマット、論理フォーマット（例えばＭＰＥＧ４やＨ.２６４）で記録されているものとする。

実施例４のデータ表示装置２００ａは、映像データ入力装置として、映像データ入力部２１０を備えている。映像データ入力部２１０は、記録メディア５００に対応している読み取り装置である。記録メディア５００に対応する物理インタフェースおよび論理インタフェースを備えている。映像データ入力部２１０は記録メディア５００から映像データを読み取り、映像表示処理部２２０に渡す。
また、図１３の例では、映像データ入力部２１０は、地上波デジタル放送や衛星放送を受信する機能やインターネットなどのネットワークメディア３１０にアクセスする機能を備え、ネットワークメディア３１０との通信インタフェースを持っている。映像データ入力部２１０はネットワークメディア３１０から映像データを次々とダウンロードして取り込み、フレームメモリ制御部２０に渡して行く。なお、映像データ入力部１０はチューニング機能を備え、チャンネル選択などができることが好ましい。このネットワークメディア３１０の接続先には外国映画など映像キャプションが書き込まれている状態の映像データが格納されており、当該映像データをダウンロードできるものとする。
例えば、利用者は映像データ入力部２１０のユーザインタフェースを介して地上波デジタル放送の受信したいチャンネルに合わせ、受信先システムのアプリケーションを介して映画やテレビ番組などの映像コンテンツの映像データを取り込む。また、例えば、無線や有線によりインターネットに接続し、インターネット経由のネットワーク通信により接続先先システムのアプリケーションを介して映画やテレビ番組などの映像コンテンツの映像データを取り込む。なお、取り込まれる映像データはＭＰＥＧ４やＨ.２６４などのデータフォーマットのものとする。

映像表示処理部２２０は、実施例１のものと同様、映像データ入力部２１０から渡された映像データを受け取り、表示制御部２４０の表示制御に従い、フレームメモリ２５０の第１の領域２５１に映像データを展開する。
データ表示装置２００ａが備える表示制御部２４０、フレームメモリ２５０、フレームメモリの第１の領域２５１、第２の領域２５２、ディスプレイ２６０、ディスプレイの第１の表示エリア２６１、第２の表示エリア２６２は、実施例１で説明したものと同様で良い。実施例１の場合と同様、表示制御部２４０がフレームメモリ２５０への書き込み領域を制御することによりディスプレイ２６０の表示画面を分割制御する。また、実施例１と同様、キャプションを表示するフレームメモリ２５０の第２の領域２５２の容量を調整し、ディスプレイの第２の表示エリアの大きさを適度な大きさに制御することにより、表示されるキャプションの大きさを読みやすい程度に大きくすることができる。

実施例４のデータ表示装置２００ａは文字認識部３０を備えている。文字認識部３０は実施例１のものと同様のもので良い。文字認識部３０によりフレームメモリの第１の領域２５１に展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータを生成する。文字認識部３０は生成したキャプションテキストデータをキャプション表示処理部２３０に渡す。
なお、図１２および図１３の構成例では、文字認識部３０はフレームメモリの第１の領域２５１から映像データを読み込む形となっているが、映像表示処理部２２０から映像データを受け取る構成としても良い。

上記の映像表示処理部２２０および表示制御部２４０によるフレームメモリ２５１への映像データの書き込み処理を映像フレームごとに行なうが、文字認識部３０による文字認識処理については映像フレームごとには行なわず、所定周期ごとに映像フレームをサンプリングして行なう。映像キャプションは人が目で読み取るという性質上、一定の時間は必要であり、長短はあるものの複数のフレームにわたり同じ映像キャプションが付されていることとなる。そのため、すべてのフレームについて文字認識処理を行なうことはリソースの浪費となる場合がある。ここでは特に、データ表示装置２００ａは携帯電話などの小型の携帯端末が想定され、リソースの節約は重要である。そこで、映像キャプションが２回以上切り替わる恐れのない間隔（例えば、１秒間隔や２秒間隔）でサンプリングしたフレームについて文字認識処理を行なえば良い。

キャプション表示処理部２３０は、実施例１のものと同様で良いが、ここでは文字認識部３０からキャプションテキストデータを受け取り、表示制御部２４０の表示制御に従い、キャプションテキストデータをフレームメモリ２５０の第２の領域２５２に展開する。キャプションテキストデータのフレームメモリ２５０の第２の領域２５２への展開にあたり、当該第２の領域２５２の容量（ディスプレイ２６０の第２の表示エリアの大きさ）に合わせてキャプションテキストデータが表示できるように文字ポイント数を調整して展開する。

上記のように、映像表示処理部２２０とキャプション表示処理部２３０と表示制御部２４０の制御により、映像データがフレームメモリ２５０の第１の領域２５１に、キャプションテキストデータがフレームメモリ２５０の第２の領域２５２に、別々に分けて書き込まれるため、ディスプレイ２６０の第１の表示エリア２６１において映像が表示され、ディスプレイ２６０の第２の表示エリア２６２においてキャプションが表示される。ここで、表示されるキャプションは第２の表示エリア２６２の大きさに合わせて大きく表示されるのでキャプションが読みやすくなる。
データ表示装置２００ａのディスプレイ２６０に表示される映像およびキャプションは図６（ｂ）に示すものと同様のものとなる。

本発明の実施例５にかかるデータ表示装置の例を示す。
実施例５のデータ表示装置は、実施例４に示したデータ表示装置と同様、映像キャプションが写り込んでいる映像コンテンツの映像データを取り込み、自ら映像キャプションの文字認識によるキャプションテキストデータの生成処理を実行し、映像をディスプレイの第１の表示エリアに、キャプションを第２の表示エリアに表示する装置であるが、実施例５のデータ表示装置は、映像中に残存している映像キャプションを消去する機能も備えたものである。実施例５のデータ表示装置も小型の携帯型端末を想定しており、ここでは、例えば、多機能型の携帯電話とする。

図１４および図１５は本発明の実施例５にかかるデータ表示装置２００ｂの基本構成例を模式的に示す図である。
図１４の構成例において、映像データ入力部２１０、映像表示処理部２２０、キャプション表示処理部２３０、文字認識部３０、表示制御部２４０、フレームメモリ２５０、ディスプレイ２６０の各構成要素については、実施例４の図１２に示したものと同様で良い。なお、図１４の構成例では、文字認識部３０はフレームメモリの第１の領域２５１から映像データを読み込む形となっているが、映像表示処理部２２０から映像データを受け取る構成としても良い。
また、図１５に示すように、実施例４の図１３と同様、映像データ入力部２１０が通信インタフェースを備え、ネットワークメディア３１０にアクセスする機能を持ち、ネットワークメディア３１０から映像データをダウンロードするものであっても良い。

映像キャプション消去部６０は、フレームメモリ２５０の第１の領域２５１に展開された映像データにおいて映像キャプションを探索し、映像キャプションを映像中から消去する部分である。
なお、映像キャプションの探索処理については、映像キャプション消去部６０が自ら行なっても良いし、文字認識部３０が文字認識処理の過程の探索処理において得ている映像キャプション領域情報の通知を受けても良い。後者の場合、図１４には図示しないが文字認識部３０から映像キャプション消去部６０に対して映像キャプション領域情報の通知が行なわれる。
映像中に写り込んでいる映像キャプションの消去処理とは、実施例３で説明したように、理想的には映像キャプションが映像中に書き込まれる前の原映像に戻すことを意味するが、この例では映像キャプションの周囲の映像から映像キャプションで覆われた部分の元の映像を推定し、擬似消去処理を行なうものとする。

なお、バッファメモリなどを用いずにフレームメモリに展開された映像データのみに基づいて文字認識処理と映像キャプション消去処理を行なう場合は、映像キャプション消去部６０の映像キャプション消去処理は、文字認識部３０による文字認識処理後に行なう必要がある。文字認識部３０または映像キャプション消去部６０が図示しないバッファメモリを備えて用いる場合、フレームメモリ２５０から当該バッファメモリに転送した映像データに基づいて文字認識処理または映像キャプション消去処理を行なうことができ、文字認識処理と映像キャプション消去処理を並行処理することができる。
データ表示装置２００ｂのディスプレイ２６０に表示される映像およびキャプションは図１１（ｂ）に示すものと同様のものとなり、ディスプレイ２６０の表示画面の第１の表示エリア２６１に表示される映像において映像キャプションが擬似的に消去されている。

本発明の実施例６にかかるデータ表示装置の例を示す。
実施例６のデータ表示装置は、映像キャプションが写り込んでいる映像コンテンツの映像データを取り込み、映像キャプション部分を第２の表示エリア２６２の大きさに合わせた縦横倍率で拡大し、映像をディスプレイの第１の表示エリアに、拡大した映像キャプションを第２の表示エリアに表示する装置である。キャプションテキストデータの生成は行なわず、映像キャプションは映像として拡大する。実施例１から実施例５のいずれかに記載のデータ表示装置とは異なり、映像キャプションの文字認識処理を行なわないので処理負荷が小さく、少ないリソースで高速処理ができる。
実施例６のデータ表示装置も小型の携帯型端末を想定しており、ここでは、例えば、多機能型の携帯電話とする。

図１６または図１７は本発明の実施例６にかかるデータ表示装置２００ｃの基本構成例を模式的に示す図である。
図１６の構成例において、映像データ入力部２１０、映像表示処理部２２０、表示制御部２４０、フレームメモリ２５０、ディスプレイ２６０、映像キャプション消去部６０の各構成要素については、実施例５の図１４に示したものと同様で良い。
また、図１７に示すように、実施例５の図１５と同様、映像データ入力部２１０が通信インタフェースを備え、ネットワークメディア３１０にアクセスする機能を持ち、ネットワークメディア３１０から映像データをダウンロードするものであっても良い。

キャプション表示処理部２３０ａは、フレームメモリの第１の領域２５１に展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、映像データ中の映像キャプション領域を認識し、表示制御部２４０の表示制御に従い、映像キャプション領域の映像データを第２の表示エリア２６２の大きさに合わせた縦横倍率で拡大しつつフレームメモリの第２の領域２５２に複製展開する部分である。

図１８はキャプション表示処理部２３０ａによる映像キャプションの拡大処理の概念を模式的に示す図である。
図１８（ａ）は記録メディア５００に記録された映像データまたはネットワークメディア３１０からダウンロードした映像データをそのまま表示した場合の映像である。映像表示処理部２２０によりこの映像データがフレームメモリ２５０の第１の領域２５１に展開されている。映像中、最下部に映像キャプションが書き込まれている。
まず、キャプション表示処理部２３０ａは、フレームメモリの第１の領域２５１上に展開されている映像中、映像キャプションの図形パターンが含まれている映像キャプション領域を探索する。なお、当該探索について学習機能を有することが好ましい。映像キャプションは映像面の下縁部分など一定の個所に書き込まれていることが通例であり、学習効果が高く得られ、映像面全面を毎回探索する必要性はないからである。

次に、キャプション表示処理部２３０ａは、映像キャプション領域の映像データを、表示制御部２４０の表示制御に従い、フレームメモリの第２の領域２５２に複製展開するが、この際に、映像キャプション領域の映像データを第２の表示エリアの大きさに合わせて縦方向、横方向に拡大して複製展開する。例えば、第２の表示エリア２６２の縦方向のドット数がＡ０、横方向のドット数がＢ０とする。これらのドット数は一定となる。記録メディアから読み込んだ映像フレーム中の映像キャプション領域のドット数は映像フレームごとに異なるが、或る映像フレームの縦方向のドット数がＡ１、横方向のドット数がＢ１である場合、縦方向の拡大率はＡ０／Ａ１となり、横方向の拡大率はＢ０／Ｂ１となる。映像キャプション領域の映像をこの縦横拡大率で拡大しつつフレームメモリの第２の領域２５２に複製展開することにより、映像キャプションをディスプレイの第２の表示エリア２６２の大きさに合わせた拡大表示を行なう。
図１８（ｂ）に映像キャプションが第２の表示エリアに拡大表示された様子を示す。映像として拡大しているので背景の映像も拡大された形で表示されている。なお、この構成例では、データ表示装置２００ｃは映像キャプション消去部６０を備えており、ディスプレイの第１の表示エリアには映像キャプションが消去された映像が表示されている。

なお、キャプション表示処理部２３０ａはフレームメモリの第１の領域２５１から映像フレームごとに取り込んで映像キャプションの拡大処理を行なっても良く、映像フレームごとには行なわず、所定周期ごとに映像フレームをサンプリングして行なっても良い。実施例１で説明したように、映像キャプションは人が目で読み取るという性質上、長短はあるものの複数のフレームにわたり同じ映像キャプションが付されていることとなる。そのため、すべてのフレームについて拡大処理を行なって第２の領域２５２に書き込み処理を行なうことはリソースの浪費となる場合がある。そこで、映像キャプションが２回以上切り替わる恐れのない間隔（例えば、１秒間隔や２秒間隔）でサンプリングしたフレームについて拡大処理および書き込み処理を行なえば良い。
また、上記説明では、キャプション表示処理部２３０ａはフレームメモリの第１の領域２５１から映像データを読み込む形となっているが、映像表示処理部２２０から映像データを受け取る構成としても良い。

なお、上記実施例の説明においては、キャプションテキストデータを基にディスプレイの第２の表示エリアに表示されるキャプションが常に表示されているが、利用者の選択により、ディスプレイの第２の表示エリアへのキャプションの表示／非表示の選択が可能とすることができる。表示／非表示の選択情報を図示しないユーザインタフェースを介してキャプション表示処理部２３０に与え、キャプション表示処理部２３０がフレームメモリの第２の領域２５２への書き込みを制御すれば良い。
また、キャプションテキストデータを基にディスプレイの第２の表示エリアに表示されるキャプションの大きさの指定や調整、字体の指定や調整、色の指定や調整を可能とすることができる。映像に書き込まれた映像キャプションではなく、キャプションテキストデータを基に表示するのでキャプション表示処理部２３０によりこれらの調整を行なった上、フレームメモリの第２の領域２５２に書き込めば良い。

本発明のデータ記録装置は、ある記録メディアの映像データを読み出して別の記録メディアに書き込む用途で用いるＡＶ機器などに適用することができる。例えば、ＤＶＤ用ドライブと、メモリースティック（ＴＭ）やＳＤカード（ＴＭ）などの小型記録メディア用ドライブの２つのドライブを備え、ＤＶＤなどの大型記録メディアに記録されている映像データを、小型記録メディアに記録するＤＶＤプレーヤーなどに適用できる。
また、本発明のデータ記録装置は、受信機能を備え、ネットワークメディアから映像データをダウンロードして記録メディアに書き込む用途で用いるＡＶ機器などに適用することができる。例えば、地上波デジタル放送や衛星放送やインターネットなどの受信機能と、受信した映像データを内蔵ハードディスクなどに一時的に録画する録画機能と、録画した映像データを小型記録メディアにアップダビングする機能を備えたＡＶ機器などに適用できる。
本発明のデータ表示装置は、小型記録メディア用ドライブと小型ディスプレイを備えた携帯型端末などに適用することができる。例えば、メモリースティック（ＴＭ）やＳＤカード（ＴＭ）などの小型記録メディア用ドライブを備えた液晶ディスプレイ付き携帯電話などへ適用できる。小型記録メディアに記録された外国映画など映像キャプションが書き込まれている映像データを読み込んで、小型ディスプレイに再生表示する携帯電話などに適用することができる。
また、本発明のデータ表示装置は、受信機能を備えてネットワークメディアから映像データをダウンロードし、小型ディスプレイに表示する機能を備えた携帯型端末などに適用することができる。例えば、地上波デジタル放送や衛星放送やインターネットなどの受信機能と、外国映画など映像キャプションが書き込まれている映像データを読み込んで小型ディスプレイに再生表示する機能を備えた携帯電話などに適用することができる。

本発明の実施例１にかかるデータ記録装置の基本構成例を模式的に示す図 本発明の実施例１にかかるデータ記録装置の基本構成の他の例を模式的に示す図 文字認識部３０における処理の概要を模式的に説明する図 本発明の実施例１にかかるデータ表示装置２００の基本構成例を模式的に示す図 本発明の実施例１にかかるデータ表示装置２００の基本構成の他の例を模式的に示す図 キャプションが第２の表示エリア２６２の大きさに合わせて大きく表示される様子を模式的に示す図 小型ディスプレイ２６０を縦置きにして映像表示面２６１を確保した場合のキャプション表示面の位置の一例を示す図 小型ディスプレイ２６０を横置きにして映像表示面２６１を確保した場合のキャプション表示面の位置の一例を示す図 本発明の実施例２にかかるデータ記録装置の基本構成例を模式的に示す図 本発明の実施例３にかかるデータ表示装置の基本構成例を模式的に示す図 映像キャプション消去部６０による映像キャプション消去処理の効果を示す図 本発明の実施例４にかかるデータ表示装置の基本構成例を模式的に示す図 本発明の実施例４にかかるデータ表示装置の基本構成の他の例を模式的に示す図 本発明の実施例５にかかるデータ表示装置の基本構成例を模式的に示す図 本発明の実施例５にかかるデータ表示装置の基本構成の他の例を模式的に示す図 本発明の実施例６にかかるデータ表示装置の基本構成例を模式的に示す図 本発明の実施例６にかかるデータ表示装置の基本構成の他の例を模式的に示す図 キャプション表示処理部２３０ａによる映像キャプションの拡大処理の概念を模式的に示す図

符号の説明

１０ 映像データ入力部
２０ フレームメモリ制御部
２１ フレームメモリ
３０ 文字認識部
３１ 文字パターンＤＢ
４０ データフォーマット変換部
５０ 書き込み部
６０ 映像キャプション消去部
１００，１００ａ，１００ｂ データ記録装置
２００，２００ａ，２００ｂ，２００ｃ データ表示装置
２１０ 映像データ入力部
２２０ 映像表示処理部
２３０，２３０ａ キャプション表示処理部
２４０ 表示制御部
２５０ フレームメモリ
２５１ 第１の領域
２５２ 第２の領域
２６０ ディスプレイ
２６１ 第１の表示エリア
２６２ 第２の表示エリア
２９１ 上部筐体
２９２ 下部筐体
２９３ スピーカ
２９４ マイクロフォン
２９５ キー入力部
２９６ アンテナ
３００ 第１の記録メディア
４００ 第２の記録メディア
５００ 記録メディア

Claims (7)

1. 映像データを取り込んで記録メディアに記録するデータ記録装置であって、
   映像データを取り込む映像データ入力部と、
   フレームメモリを備え、前記映像データ入力部から取り込んだ映像データを前記フレームメモリに展開するフレームメモリ制御部と、
   前記フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータと、当該キャプションテキストデータと前記映像データとの対応情報とを生成する文字認識部と、
   前記フレームメモリから前記映像データを受け、前記文字認識部から前記キャプションテキストデータと前記対応情報とを受け、それらを前記記録メディアに書き込む書き込み部を備えたデータ記録装置。
2. 映像データを取り込んで記録メディアに記録するデータ記録装置であって、
   映像データを取り込む映像データ入力部と、
   フレームメモリを備え、前記映像データ入力部から取り込んだ映像データを前記フレームメモリに展開するフレームメモリ制御部と、
   前記フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータと、当該キャプションテキストデータと前記映像データとの対応情報とを生成する文字認識部と、
   前記フレームメモリに展開された映像データを所望のデータフォーマットに変換するデータフォーマット変換部と、
   前記データフォーマット変換部から前記データフォーマット変換後の映像データを受け、前記文字認識部から前記キャプションテキストデータと前記対応情報とを受け、それらを前記記録メディアに書き込む書き込み部を備えたデータ記録装置。
3. 前記フレームメモリに展開された映像データにおいて、前記映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、前記映像キャプションを消去する映像キャプション消去部を備えた請求項１または２に記載のデータ記録装置。
4. 映像コンテンツを表示するデータ表示装置であって、
   映像データとキャプションテキストデータとそれらの対応情報を取り込む映像データ入力部と、
   映像コンテンツを表示するディスプレイと、
   フレームメモリを備え、前記ディスプレイの表示エリアを少なくとも第１の表示エリアと第２の表示エリアの２つの表示エリアに分割し、各表示エリアに対応するフレームメモリの第１の領域と第２の領域へのデータ書き込みを制御して各表示エリアにおける表示を制御する表示制御部と、
   前記表示制御部の表示制御に従い、前記映像データ入力部から取り込んだ前記映像データを読み込んで前記フレームメモリの第１の領域に展開する映像表示処理部と、
   前記表示制御部の表示制御に従い、前記映像データ入力部から取り込んだ前記キャプションテキストデータと前記対応情報を読み込んで、前記対応情報に基づいて前記フレームメモリの第１の領域に展開されている映像データに対応するキャプションテキストデータを選択して前記フレームメモリの第２の領域に展開するキャプション表示処理部とを備え、
   前記ディスプレイの第１の表示エリアにおいて前記映像が表示され、前記ディスプレイの第２の表示エリアにおいて前記キャプションが表示されるデータ表示装置。
5. 映像データを取り込んで映像コンテンツを表示するデータ表示装置であって、
   映像データを取り込む映像データ入力部と、
   映像コンテンツを表示するディスプレイと、
   文字認識用フレームメモリと、映像表示用フレームメモリと、キャプション表示用フレームメモリと、
   前記映像データ入力部から取り込んだ映像データストリームを、フレームごとに前記映像表示用フレームメモリに展開する機能と、所定周期でサンプリングして前記文字認識用フレームメモリに展開する機能とを備えた制御部と、
   前記映像表示用フレームメモリに展開されたデータに基づいて前記ディスプレイの第１の表示エリアへの映像表示を制御する映像表示制御部と、
   前記文字認識用フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータを生成する文字認識部と、
   前記文字認識部が認識したキャプションテキストデータに基づいて前記ディスプレイの第２の表示エリアへのキャプションテキスト表示を制御するキャプション表示制御部とを備えたデータ表示装置。
6. 前記映像表示用フレームメモリに展開された映像データ中の映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、前記映像キャプションを消去する映像キャプション消去部を備え、
   前記ディスプレイの第１の表示エリアにおいて前記映像キャプションが消去された映像が表示され、前記ディスプレイの第２の表示エリアにおいて前記キャプションが表示される請求項５に記載のデータ表示装置。
7. 映像データを取り込んで映像コンテンツを表示するデータ表示装置であって、
   映像データを取り込む映像データ入力部と、
   映像コンテンツを表示するディスプレイと、
   映像表示用フレームメモリと、キャプション表示用フレームメモリと、
   前記映像データ入力部から取り込んだ映像データストリームを、フレームごとに前記映像表示用フレームメモリに展開する機能を備えた制御部と、
   前記映像表示用フレームメモリに展開されたデータに基づいて前記ディスプレイの第１の表示エリアへの映像表示を制御する映像表示制御部と、
   前記映像表示用フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析して前記映像データ中の映像キャプション領域を認識し、前記映像キャプション領域の映像データを前記ディスプレイの第２の表示エリアの大きさに合わせた縦横倍率で拡大しつつ前記キャプション表示用フレームメモリに複製展開するキャプション表示制御部と、
   前記映像表示用フレームメモリに展開された映像データ中の映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、前記映像キャプションを消去する映像キャプション消去部を備え、
   前記ディスプレイの第１の表示エリアにおいて前記映像キャプションが消去された映像が表示され、前記ディスプレイの第２の表示エリアにおいて前記縦横倍率で拡大されたキャプションが表示されるデータ表示装置。
   

Images