JP2002247531A - 画像処理システム - Google Patents
画像処理システムInfo
- Publication number
- JP2002247531A JP2002247531A JP2001037757A JP2001037757A JP2002247531A JP 2002247531 A JP2002247531 A JP 2002247531A JP 2001037757 A JP2001037757 A JP 2001037757A JP 2001037757 A JP2001037757 A JP 2001037757A JP 2002247531 A JP2002247531 A JP 2002247531A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- character
- data
- image
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
- Studio Circuits (AREA)
- Television Systems (AREA)
Abstract
(57)【要約】
【課題】 利用者がテレビジョン番組や映画の台詞の喜
怒哀楽や臨場感を味わうことができる画像処理装置およ
び画像処理システムを提供する。 【解決手段】 センター側配信手段では、音声情報の他
に感情情報を入力して、文字情報データ等に感情コード
を加えてデータを配信する。端末側受信手段では、受信
した文字情報データを文字として表現すると共に、受信
した感情コードによって文字の大きさや文字色、書体
等、文字の形態を変換させる。
怒哀楽や臨場感を味わうことができる画像処理装置およ
び画像処理システムを提供する。 【解決手段】 センター側配信手段では、音声情報の他
に感情情報を入力して、文字情報データ等に感情コード
を加えてデータを配信する。端末側受信手段では、受信
した文字情報データを文字として表現すると共に、受信
した感情コードによって文字の大きさや文字色、書体
等、文字の形態を変換させる。
Description
【０００１】
【発明の属する技術分野】本発明は、文字放送、テレビ
ジョンの番組および映画の字幕やテロップ、電子手帳や
ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉ
ｓｔａｎｔｓ）またはページャー等に用いられ、耳の不
自由な方にも快適に感情を伝えることができる画像処理
システムに関する。
ジョンの番組および映画の字幕やテロップ、電子手帳や
ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉ
ｓｔａｎｔｓ）またはページャー等に用いられ、耳の不
自由な方にも快適に感情を伝えることができる画像処理
システムに関する。
【０００２】
【従来の技術】従来、難聴者や聴覚障害者等の方が映像
メディアを介して音声による情報を得るためには、手話
によるか、または字幕表示による助けが必要であった。
そこで、特開平１０−２７１３９２号に記載の従来技術
では、字幕重畳スーパーシステムにおいて、難聴者や聴
覚障害者等のシステム利用者に臨場感を与えるために、
利用者が接触して感触を得られる振動装置を指令する音
振動データを文字等データに付加している。これは、台
詞の喜怒哀楽や効果音の音質の情報を振動感触によって
置換表現したものであり、この振動感触によって文字伝
達を補完するものである。この振動感触は、台詞や効果
音等の音信号の強弱を振動装置を振動させる振動指令信
号に置換するか、または放映画像の音情報を利用者によ
り分かりやすく伝えるためにセンター側（配信側）で意
図的に構成した振動指令信号により実現することができ
る。
メディアを介して音声による情報を得るためには、手話
によるか、または字幕表示による助けが必要であった。
そこで、特開平１０−２７１３９２号に記載の従来技術
では、字幕重畳スーパーシステムにおいて、難聴者や聴
覚障害者等のシステム利用者に臨場感を与えるために、
利用者が接触して感触を得られる振動装置を指令する音
振動データを文字等データに付加している。これは、台
詞の喜怒哀楽や効果音の音質の情報を振動感触によって
置換表現したものであり、この振動感触によって文字伝
達を補完するものである。この振動感触は、台詞や効果
音等の音信号の強弱を振動装置を振動させる振動指令信
号に置換するか、または放映画像の音情報を利用者によ
り分かりやすく伝えるためにセンター側（配信側）で意
図的に構成した振動指令信号により実現することができ
る。
【０００３】さらに、特開平１０−２６１０９９号に記
載の従来技術では、音声入力したときの平均音量および
平均音程に基づいて、「吹き出し」の形状と「吹き出
し」の中に表示する文字色およびその大きさとを選択
し、それに従って文字表示を行っている。この方法によ
れば、極めて簡単な操作により「吹き出し」の態様を入
力することができる。
載の従来技術では、音声入力したときの平均音量および
平均音程に基づいて、「吹き出し」の形状と「吹き出
し」の中に表示する文字色およびその大きさとを選択
し、それに従って文字表示を行っている。この方法によ
れば、極めて簡単な操作により「吹き出し」の態様を入
力することができる。
【０００４】
【発明が解決しようとする課題】特開平１０−２７１３
９２号に記載の従来技術では、配信側から送られた振動
指令信号を端末側の振動装置で受けて、その振動装置に
振れることにより利用者に臨場感を与えている。このた
め、振動装置が必要であり、さらに、身体付随者の方に
は利用できないシステムであった。
９２号に記載の従来技術では、配信側から送られた振動
指令信号を端末側の振動装置で受けて、その振動装置に
振れることにより利用者に臨場感を与えている。このた
め、振動装置が必要であり、さらに、身体付随者の方に
は利用できないシステムであった。
【０００５】一方、特開平１０−２６１０９９号に記載
の従来技術では、音声入力したときの平均音量および平
均音程に基づいて「吹き出し」の形状と「吹き出し」の
中に表示する文字色およびその大きさを選択し、それに
従って文字表示を行う。このため、極めて簡単な操作に
より「吹き出し」の態様を入力することができるが、
「吹き出し」の上でのみしか文字を表現することができ
ない。また、音声入力したときの平均音量や平均音程に
基づいて「吹き出し」の形状や文字色等を変更するもの
であり、受信側で形状を決めてしまうものであるため、
配信側の意図がうまく伝わらない場合もある。
の従来技術では、音声入力したときの平均音量および平
均音程に基づいて「吹き出し」の形状と「吹き出し」の
中に表示する文字色およびその大きさを選択し、それに
従って文字表示を行う。このため、極めて簡単な操作に
より「吹き出し」の態様を入力することができるが、
「吹き出し」の上でのみしか文字を表現することができ
ない。また、音声入力したときの平均音量や平均音程に
基づいて「吹き出し」の形状や文字色等を変更するもの
であり、受信側で形状を決めてしまうものであるため、
配信側の意図がうまく伝わらない場合もある。
【０００６】本発明は、このような従来技術の課題を解
決するためになされたものであり、振動装置が無くても
文字情報だけで利用者がテレビジョンの番組や映画の台
詞の喜怒哀楽や臨場感を味わうことができ、視覚のみで
利用可能であり、配信側の意図も伝えることが可能な画
像処理システムを提供することを目的とする。
決するためになされたものであり、振動装置が無くても
文字情報だけで利用者がテレビジョンの番組や映画の台
詞の喜怒哀楽や臨場感を味わうことができ、視覚のみで
利用可能であり、配信側の意図も伝えることが可能な画
像処理システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】本発明の画像処理システ
ムは、センター側配信手段と、端末側受信手段からなる
画像処理システムにおいて、該センター側配信手段は、
音声文字情報および感情情報が入力される入力部と、入
力された音声文字情報から番組コードを判別すると共に
感情情報に適合する感情コードを判別する判別部と、音
声内容を画像スピードに合わせて処理した文字情報デー
タを多数種類記憶すると共に、該判別部で判別された番
組コードおよび感情コードを記憶する記憶媒体と、該記
憶媒体から番組コードおよび感情コードを読み取ると共
に、該番組コードに対応する文字情報データを読み取る
データ読み取り部と、該データ読み取り部で読み取った
文字情報データ、番組コードおよび感情コードを圧縮す
るデータ圧縮部と、圧縮されたデータを端末側受信手段
に送出する出力部と、該判別部、該データ読み取り部お
よび該データ圧縮部を制御する制御部とを有し、該端末
側受信手段は、該センター側配信手段から配信された圧
縮データが入力される入力部と、入力された圧縮データ
を伸張するデータ伸張部と、伸張された文字情報デー
タ、番組コードおよび感情コードを記憶すると共に、感
情コードに対応する文字種を多数種類記憶する記憶媒体
と、受信した番組コードを判別すると共に、感情コード
に対応する文字種を判別する判別部と、該記憶媒体から
文字情報データ、番組コード、感情コードおよび感情コ
ードに対応する文字種を読み出すデータ読み出し部と、
文字情報と放映画像とを合成する画像合成部と、放映画
像への文字情報の表示を始動させるための始動部と、該
記憶媒体から文字情報データを読み出すタイミングを指
令する読み出し指令部と、該読み出し指令部から指令を
出すタイミングを指示すると共に、放映画像に重畳され
た文字情報を消去させる消去部と、該消去部に指令を出
すタイミングを調節するために、文字情報が重畳される
画像のフレーム枚数をカウントするＦＣ部と、該フレー
ム枚数のカウントのために画像フレーム枚数を検出する
検出部と、文字情報の放映画像への重畳および消去のタ
イミングを調整する調整部と、該画像合成部からの信号
を表示装置に出力する出力部と、該入力部、記憶媒体、
読み出し指令部、消去部、ＦＣ部、検出部、画像合成
部、出力部および調整部を制御する制御部とを有してお
り、そのことにより上記目的が達成される。
ムは、センター側配信手段と、端末側受信手段からなる
画像処理システムにおいて、該センター側配信手段は、
音声文字情報および感情情報が入力される入力部と、入
力された音声文字情報から番組コードを判別すると共に
感情情報に適合する感情コードを判別する判別部と、音
声内容を画像スピードに合わせて処理した文字情報デー
タを多数種類記憶すると共に、該判別部で判別された番
組コードおよび感情コードを記憶する記憶媒体と、該記
憶媒体から番組コードおよび感情コードを読み取ると共
に、該番組コードに対応する文字情報データを読み取る
データ読み取り部と、該データ読み取り部で読み取った
文字情報データ、番組コードおよび感情コードを圧縮す
るデータ圧縮部と、圧縮されたデータを端末側受信手段
に送出する出力部と、該判別部、該データ読み取り部お
よび該データ圧縮部を制御する制御部とを有し、該端末
側受信手段は、該センター側配信手段から配信された圧
縮データが入力される入力部と、入力された圧縮データ
を伸張するデータ伸張部と、伸張された文字情報デー
タ、番組コードおよび感情コードを記憶すると共に、感
情コードに対応する文字種を多数種類記憶する記憶媒体
と、受信した番組コードを判別すると共に、感情コード
に対応する文字種を判別する判別部と、該記憶媒体から
文字情報データ、番組コード、感情コードおよび感情コ
ードに対応する文字種を読み出すデータ読み出し部と、
文字情報と放映画像とを合成する画像合成部と、放映画
像への文字情報の表示を始動させるための始動部と、該
記憶媒体から文字情報データを読み出すタイミングを指
令する読み出し指令部と、該読み出し指令部から指令を
出すタイミングを指示すると共に、放映画像に重畳され
た文字情報を消去させる消去部と、該消去部に指令を出
すタイミングを調節するために、文字情報が重畳される
画像のフレーム枚数をカウントするＦＣ部と、該フレー
ム枚数のカウントのために画像フレーム枚数を検出する
検出部と、文字情報の放映画像への重畳および消去のタ
イミングを調整する調整部と、該画像合成部からの信号
を表示装置に出力する出力部と、該入力部、記憶媒体、
読み出し指令部、消去部、ＦＣ部、検出部、画像合成
部、出力部および調整部を制御する制御部とを有してお
り、そのことにより上記目的が達成される。
【０００８】前記端末側受信手段は、受信した文字情報
データを文字として表現する文字形態形成手段と、受信
した感情コードによって文字の形態を変換させる文字画
像形成手段とを有している。
データを文字として表現する文字形態形成手段と、受信
した感情コードによって文字の形態を変換させる文字画
像形成手段とを有している。
【０００９】前記文字画像形成手段は、受信した感情コ
ードによって、文字画像の大きさ、文字の書体および文
字色のうちのいずれか、またはそれらの組み合わせを変
換させることができる。
ードによって、文字画像の大きさ、文字の書体および文
字色のうちのいずれか、またはそれらの組み合わせを変
換させることができる。
【００１０】前記文字画像形成手段は、感情コードに加
えて、音量および音程のいずれか一方または両方に応じ
て、一語毎の文字画像の大きさ、文字の書体および文字
色のうちのいずれか、またはそれらの組み合わせを変換
させることができる。
えて、音量および音程のいずれか一方または両方に応じ
て、一語毎の文字画像の大きさ、文字の書体および文字
色のうちのいずれか、またはそれらの組み合わせを変換
させることができる。
【００１１】上記構成によれば、文字等データに感情コ
ードを加えてデータを配信し、その感情情報コードによ
って自由に文字の大きさや文字色、書体等を変えること
が可能である。よって、難聴者や視覚障害者等のシステ
ム利用者が放映画面の臨場感を補助するだけではなく、
配信側の感情や意図を思うがままに受信側の画面上に文
字情報として表現可能である。
ードを加えてデータを配信し、その感情情報コードによ
って自由に文字の大きさや文字色、書体等を変えること
が可能である。よって、難聴者や視覚障害者等のシステ
ム利用者が放映画面の臨場感を補助するだけではなく、
配信側の感情や意図を思うがままに受信側の画面上に文
字情報として表現可能である。
【００１２】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。なお、本発明はＡＶ
機器（デジタルＢＳ端末やビデオデッキ）、ＰＤＡ等、
文字を表示可能なもの全てに適用することが可能であ
る。
て、図面を参照しながら説明する。なお、本発明はＡＶ
機器（デジタルＢＳ端末やビデオデッキ）、ＰＤＡ等、
文字を表示可能なもの全てに適用することが可能であ
る。
【００１３】図１は、本発明の一実施形態である画像処
理システムにおける、センター側配信手段の構成を説明
するためのブロック図である。このセンター側配信手段
は、入力部１、判別部２、記憶媒体３、データ読み取り
部４、データ圧縮部５、制御部６および出力部７ａを備
えている。
理システムにおける、センター側配信手段の構成を説明
するためのブロック図である。このセンター側配信手段
は、入力部１、判別部２、記憶媒体３、データ読み取り
部４、データ圧縮部５、制御部６および出力部７ａを備
えている。
【００１４】入力部１は音声入力部と感情情報入力部か
らなる。音声入力部に配信側が台詞、効果音、ナレーシ
ョン、説明文等の音声文字情報を入力し、感情情報入力
部に配信側が伝えたい感情を入力する。判別部２は音声
判別部と感情情報判別部からなる。音声判別部は入力部
１から入力された音声文字情報からテレビ番組や映画の
識別コード（番組コード）を判別し、また、入力部１か
ら入力された感情情報からそれに適合する感情コードを
判別し、記憶媒体３へ送る。
らなる。音声入力部に配信側が台詞、効果音、ナレーシ
ョン、説明文等の音声文字情報を入力し、感情情報入力
部に配信側が伝えたい感情を入力する。判別部２は音声
判別部と感情情報判別部からなる。音声判別部は入力部
１から入力された音声文字情報からテレビ番組や映画の
識別コード（番組コード）を判別し、また、入力部１か
ら入力された感情情報からそれに適合する感情コードを
判別し、記憶媒体３へ送る。
【００１５】記憶媒体３はドラマ等のテレビ番組や映画
の音声内容を画像に適合させるように処理した文字等デ
ータを多数種類記憶するためのものである。この記憶媒
体３に記憶されている文字等データは、文字情報データ
送信部、感情情報コード記憶部、番組コード記憶部およ
び読みだし指令信号データ部からなる。文字情報データ
送信部は、台詞、効果音、ナレーション、説明文等の音
声文字変換要素と文字放送のための番組表や文字情報等
を画像スピードに合わせて処理した文字情報データから
なる。また、感情情報コード記憶部は、判別部２で判別
された感情コードをデータ読み出し部４へ送信するため
に記憶しておく。番組コード記憶部は、判別部２で判別
された番組コードをデータ読み出し部４へ送信するため
に記憶しておく。読み出し指令信号データ部は、文字等
データの読み出し指令を記憶しておく。さらに、この記
憶媒体３に、文字情報の始動するタイミングをとるため
に、テレビ番組や映画の放映開始直後の音声パターンを
記憶させておくこともできる。
の音声内容を画像に適合させるように処理した文字等デ
ータを多数種類記憶するためのものである。この記憶媒
体３に記憶されている文字等データは、文字情報データ
送信部、感情情報コード記憶部、番組コード記憶部およ
び読みだし指令信号データ部からなる。文字情報データ
送信部は、台詞、効果音、ナレーション、説明文等の音
声文字変換要素と文字放送のための番組表や文字情報等
を画像スピードに合わせて処理した文字情報データから
なる。また、感情情報コード記憶部は、判別部２で判別
された感情コードをデータ読み出し部４へ送信するため
に記憶しておく。番組コード記憶部は、判別部２で判別
された番組コードをデータ読み出し部４へ送信するため
に記憶しておく。読み出し指令信号データ部は、文字等
データの読み出し指令を記憶しておく。さらに、この記
憶媒体３に、文字情報の始動するタイミングをとるため
に、テレビ番組や映画の放映開始直後の音声パターンを
記憶させておくこともできる。
【００１６】データ読み取り部４は記憶媒体３から番組
コードおよび感情コードを読み取ると共に、その番組コ
ードに対応する文字情報データを記憶媒体３から読み取
る。この読み取りは、文字などデータの読み出し指令に
従って行われ、データ読み取り部４で読み取られた文字
情報データ、番組コードおよび感情コード等は、読み出
し指令によってデータ圧縮部５により圧縮され、出力部
７ａから端末側受信手段に送出される。なお、制御部６
は上記判別部２、データ読み取り部４およびデータ圧縮
部５の各動作を制御するためのものである。
コードおよび感情コードを読み取ると共に、その番組コ
ードに対応する文字情報データを記憶媒体３から読み取
る。この読み取りは、文字などデータの読み出し指令に
従って行われ、データ読み取り部４で読み取られた文字
情報データ、番組コードおよび感情コード等は、読み出
し指令によってデータ圧縮部５により圧縮され、出力部
７ａから端末側受信手段に送出される。なお、制御部６
は上記判別部２、データ読み取り部４およびデータ圧縮
部５の各動作を制御するためのものである。
【００１７】図２は、本発明の一実施形態である画像処
理システムにおける、端末側受信手段の構成を説明する
ためのブロック図である。この端末側配信手段は、入力
部７ｂ、データ伸張部８、判別部９、記憶媒体１０、始
動部１３、消去部１４、読み出し指令部１５、ＦＣ部１
６、検出部１７、調整部１８、データ読み出し部１９、
画像合成部２０、ＣＰＵ２１および出力部２２を備えて
いる。
理システムにおける、端末側受信手段の構成を説明する
ためのブロック図である。この端末側配信手段は、入力
部７ｂ、データ伸張部８、判別部９、記憶媒体１０、始
動部１３、消去部１４、読み出し指令部１５、ＦＣ部１
６、検出部１７、調整部１８、データ読み出し部１９、
画像合成部２０、ＣＰＵ２１および出力部２２を備えて
いる。
【００１８】センター側から配信されてきた文字等デー
タを入力部７ｂに入力し、これをデータ伸張部８によっ
て伸張して記憶媒体１０に記憶させる。また、判別部９
によって、受信した番組コードを判別すると共に、感情
コードに対応する文字種を判別する。
タを入力部７ｂに入力し、これをデータ伸張部８によっ
て伸張して記憶媒体１０に記憶させる。また、判別部９
によって、受信した番組コードを判別すると共に、感情
コードに対応する文字種を判別する。
【００１９】記憶媒体１０は、ドラマ等のテレビ番組や
映画の音声を画像に適合させるように処理した文字等デ
ータを多数種類記憶蓄積するためのものである。この記
憶媒体１０に記憶されている文字等データは、読み取り
データ指令部１１、感情情報データ部１２からなる。
映画の音声を画像に適合させるように処理した文字等デ
ータを多数種類記憶蓄積するためのものである。この記
憶媒体１０に記憶されている文字等データは、読み取り
データ指令部１１、感情情報データ部１２からなる。
【００２０】読み取りデータ指令部１１は、センター側
から送られてきた台詞、効果音、ナレーション、説明文
等の音声文字変換要素と文字放送のための番組表や文字
情報等の文字情報データと、入力部７ｂから入力されて
データ伸張部８でコードデータに戻され、判別部９で判
別された番組コードとを始動部１３に送信するために記
憶しておく。感情情報データ部１２は、入力部７ｂから
入力されてデータ伸張部８でコードデータに戻され、判
別部９で判別された感情コードを始動部１３に送信する
ために記憶しておくと共に、その感情コードによって文
字画像の大きさ、文字の書体および文字色のうちのいず
れか、またはそれらの組み合わせを変換させるために多
数種類の文字種（音声文字変換要素を記憶しておく。
から送られてきた台詞、効果音、ナレーション、説明文
等の音声文字変換要素と文字放送のための番組表や文字
情報等の文字情報データと、入力部７ｂから入力されて
データ伸張部８でコードデータに戻され、判別部９で判
別された番組コードとを始動部１３に送信するために記
憶しておく。感情情報データ部１２は、入力部７ｂから
入力されてデータ伸張部８でコードデータに戻され、判
別部９で判別された感情コードを始動部１３に送信する
ために記憶しておくと共に、その感情コードによって文
字画像の大きさ、文字の書体および文字色のうちのいず
れか、またはそれらの組み合わせを変換させるために多
数種類の文字種（音声文字変換要素を記憶しておく。
【００２１】上記読み取りデータ指令部１１は、文字形
態形成手段として、台詞、効果音、ナレーション、説明
文等の音声文字変換要素と文字放送のための番組表や文
字情報等の文字情報データを選択する。また、上記感情
情報データ部１２は、文字画像形成手段として、配信側
が伝えたい感情（感情コード）に適合した文字種を選択
し、この文字種が後述する出力部２２から出力されて表
示部２３の画面に表現される。このとき、判別部９によ
って番組コードに対応する文字種を判別して番組に適合
した文字種を選択したり、文字放送として番組名を画面
に表示させることもできる。また、台詞、効果音、ナレ
ーション、説明文等の音量および音程の少なくとも一方
によって、一語毎の文字画像の大きさ、文字の書体およ
び文字色のうちのいずれか、またはそれらの組み合わせ
を変換させることもできる。この場合の文字種の判別も
判別部９によって行うことができ、音量や音程は文字情
報データから判別することができる。
態形成手段として、台詞、効果音、ナレーション、説明
文等の音声文字変換要素と文字放送のための番組表や文
字情報等の文字情報データを選択する。また、上記感情
情報データ部１２は、文字画像形成手段として、配信側
が伝えたい感情（感情コード）に適合した文字種を選択
し、この文字種が後述する出力部２２から出力されて表
示部２３の画面に表現される。このとき、判別部９によ
って番組コードに対応する文字種を判別して番組に適合
した文字種を選択したり、文字放送として番組名を画面
に表示させることもできる。また、台詞、効果音、ナレ
ーション、説明文等の音量および音程の少なくとも一方
によって、一語毎の文字画像の大きさ、文字の書体およ
び文字色のうちのいずれか、またはそれらの組み合わせ
を変換させることもできる。この場合の文字種の判別も
判別部９によって行うことができ、音量や音程は文字情
報データから判別することができる。
【００２２】始動部１３は放映画像への文字情報の表示
を始動させる。また、消去部１４は読み出し指令部１５
から指令を出すタイミングを指示すると共に、放映画像
に重畳された文字情報を消去させる。読み出し指令部１
５は記憶媒体１０から文字情報データ等を読み出すタイ
ミングを指令し、ＦＣ部１６は消去部１４に指令を出す
タイミングを調節するために、文字情報が重畳される画
像のフレーム枚数をカウントする。また、検出部１７は
フレーム枚数のカウントのために画像フレーム枚数を検
出し、調整部１８は文字情報の放映画像への重畳および
消去のタイミングを調整する。データ読み出し部１９は
記憶媒体１０から文字情報データ、番組コード、感情コ
ードおよびその感情コードに適合する文字種を読み出
す。このとき、その文字種がユーザーに合わない場合に
は、その適合された文字種を標準的な文字種に戻すこと
もできる。この処理は、例えばコントローラ２４によっ
て、記憶媒体の感情情報データ部を通すか否かをＯＮ／
ＯＦＦすることにより行うことができる。
を始動させる。また、消去部１４は読み出し指令部１５
から指令を出すタイミングを指示すると共に、放映画像
に重畳された文字情報を消去させる。読み出し指令部１
５は記憶媒体１０から文字情報データ等を読み出すタイ
ミングを指令し、ＦＣ部１６は消去部１４に指令を出す
タイミングを調節するために、文字情報が重畳される画
像のフレーム枚数をカウントする。また、検出部１７は
フレーム枚数のカウントのために画像フレーム枚数を検
出し、調整部１８は文字情報の放映画像への重畳および
消去のタイミングを調整する。データ読み出し部１９は
記憶媒体１０から文字情報データ、番組コード、感情コ
ードおよびその感情コードに適合する文字種を読み出
す。このとき、その文字種がユーザーに合わない場合に
は、その適合された文字種を標準的な文字種に戻すこと
もできる。この処理は、例えばコントローラ２４によっ
て、記憶媒体の感情情報データ部を通すか否かをＯＮ／
ＯＦＦすることにより行うことができる。
【００２３】画像合成部２０は上記文字情報と後述する
表示装置２３から与えられる放映画像とを合成し、出力
部２２は画像合成部２０からの信号を表示装置２３に出
力する。このとき、上記文字情報は感情コード等に適合
する文字種に変換されている。この変換は、判別部での
判別処理を行った後、様々な文字種が記憶されている記
憶媒体によってデータが始動部に送られる際に行われ
る。また、ＣＰＵ２１は、上記入力部７ｂ、記憶媒体１
０、読み出し指令部１５、消去部１４、ＦＣ部１６、検
出部１７、画像合成部２０、出力部２２および調整部１
８を制御する制御部である。
表示装置２３から与えられる放映画像とを合成し、出力
部２２は画像合成部２０からの信号を表示装置２３に出
力する。このとき、上記文字情報は感情コード等に適合
する文字種に変換されている。この変換は、判別部での
判別処理を行った後、様々な文字種が記憶されている記
憶媒体によってデータが始動部に送られる際に行われ
る。また、ＣＰＵ２１は、上記入力部７ｂ、記憶媒体１
０、読み出し指令部１５、消去部１４、ＦＣ部１６、検
出部１７、画像合成部２０、出力部２２および調整部１
８を制御する制御部である。
【００２４】さらに、端末側受信手段には、ＡＶ機器等
の表示装置２３およびコントローラ２４が接続されてお
り、上記各構成要素によって生成されるコンポジットビ
デオ信号Ｓｖを表示装置２３に供給する。表示装置２３
は、例えば通常のテレビジョン受像機またはＶＤＴであ
る。コントローラ２４は電源スイッチや表示モード切り
替えスイッチ等の各種操作スイッチを備えており、ユー
ザーのスイッチ操作に応じた操作信号を発生する。上記
ＣＰＵ２１は、コントローラ２４が発生する操作信号に
応じて各部を制御する。
の表示装置２３およびコントローラ２４が接続されてお
り、上記各構成要素によって生成されるコンポジットビ
デオ信号Ｓｖを表示装置２３に供給する。表示装置２３
は、例えば通常のテレビジョン受像機またはＶＤＴであ
る。コントローラ２４は電源スイッチや表示モード切り
替えスイッチ等の各種操作スイッチを備えており、ユー
ザーのスイッチ操作に応じた操作信号を発生する。上記
ＣＰＵ２１は、コントローラ２４が発生する操作信号に
応じて各部を制御する。
【００２５】本実施形態では、対応するテレビ番組や映
画の放映開始直後の音声パターンを予め端末側の記憶媒
体１０に記憶させておき、その音声パターンと一致する
音声パターンの出力が検出されたときに得られる検出信
号に基づいて、文字情報を表示し始めるタイミングを制
御する。
画の放映開始直後の音声パターンを予め端末側の記憶媒
体１０に記憶させておき、その音声パターンと一致する
音声パターンの出力が検出されたときに得られる検出信
号に基づいて、文字情報を表示し始めるタイミングを制
御する。
【００２６】次に、以上のように構成された本実施形態
の画像処理システムの動作について説明する。図３およ
び図４は、センター側配信手段の動作を説明するための
フロー図である。ステップ１において入力部１の音声入
力部から音声を入力し、次にステップ２において入力部
１の感情情報入力部から感情情報を入力する。そして、
ステップ３において判別部２にて処理を行う。
の画像処理システムの動作について説明する。図３およ
び図４は、センター側配信手段の動作を説明するための
フロー図である。ステップ１において入力部１の音声入
力部から音声を入力し、次にステップ２において入力部
１の感情情報入力部から感情情報を入力する。そして、
ステップ３において判別部２にて処理を行う。
【００２７】この判別部での処理は、ステップ３１にお
いて感情情報を判別部２に入力し、ステップ３２におい
て感情情報判別部にて感情情報に適合する感情コードを
判別する。また、ステップ３３において音声情報を判別
部に入力し、ステップ３４において音声判別部にてテレ
ビ番組等の番組コードを判別する。そして、判別された
感情コードおよび番組コードをステップ３５において記
憶媒体３に記憶させる。
いて感情情報を判別部２に入力し、ステップ３２におい
て感情情報判別部にて感情情報に適合する感情コードを
判別する。また、ステップ３３において音声情報を判別
部に入力し、ステップ３４において音声判別部にてテレ
ビ番組等の番組コードを判別する。そして、判別された
感情コードおよび番組コードをステップ３５において記
憶媒体３に記憶させる。
【００２８】次に、ステップ４において記憶媒体３にて
様々なコードデータ（感情コードおよび番組コード）を
選択し、ステップ５においてデータ読み取り部４にて記
憶媒体３からコードデータを読み取ると共に、番組コー
ドに対応する文字情報データを読み取る。次に、ステッ
プ６においてデータ圧縮部５にて上記データを圧縮し、
出力部７ａから端末側受信手段に配信する。
様々なコードデータ（感情コードおよび番組コード）を
選択し、ステップ５においてデータ読み取り部４にて記
憶媒体３からコードデータを読み取ると共に、番組コー
ドに対応する文字情報データを読み取る。次に、ステッ
プ６においてデータ圧縮部５にて上記データを圧縮し、
出力部７ａから端末側受信手段に配信する。
【００２９】図５および図６は、端末側受信手段の動作
を説明するためのフロー図である。ステップ１１におい
てセンター側配信手段から配信された圧縮データを入力
部７ｂから入力し、ステップ１２においてデータ伸張部
８にて圧縮されたデータを伸張する。そして、ステップ
１３において記憶媒体１０の読み取りデータ指令部１１
にて文字情報データと番組コードを読み取り、ステップ
１４において記憶媒体１０の感情情報データ部１２にて
感情コードを読み取る。
を説明するためのフロー図である。ステップ１１におい
てセンター側配信手段から配信された圧縮データを入力
部７ｂから入力し、ステップ１２においてデータ伸張部
８にて圧縮されたデータを伸張する。そして、ステップ
１３において記憶媒体１０の読み取りデータ指令部１１
にて文字情報データと番組コードを読み取り、ステップ
１４において記憶媒体１０の感情情報データ部１２にて
感情コードを読み取る。
【００３０】次に、ステップ１５において判別部９にて
感情コードに適合する文字種を判別する。このとき、番
組コードに適合する文字種や、音声および音量の少なく
とも一方に適合する文字種を判別することもできる。そ
して、ステップ１６において、記憶媒体１０の感情情報
データ部１２からその適合した文字種を選択し、ステッ
プ１７においてその文字種を出力する。
感情コードに適合する文字種を判別する。このとき、番
組コードに適合する文字種や、音声および音量の少なく
とも一方に適合する文字種を判別することもできる。そ
して、ステップ１６において、記憶媒体１０の感情情報
データ部１２からその適合した文字種を選択し、ステッ
プ１７においてその文字種を出力する。
【００３１】この文字種の出力処理は、ステップ２１に
おいて始動部１３にて文字情報の表示を始動し、ステッ
プ２２においてＦＣ部１６にて画像のフレームをカウン
トする。そして、ステップ２３においてカウントに合わ
せてデータ読み出し部１９にてその画像フレームに適合
した文字情報データを読み出し、消去部にて前の画像フ
レームに適合した文字情報データを消去する。そして、
ステップ２４において画像合成部２０にて画像と文字情
報を合成し、ステップ２５において出力部２２から表示
装置２３にコンポジットビデオ信号を出力する。
おいて始動部１３にて文字情報の表示を始動し、ステッ
プ２２においてＦＣ部１６にて画像のフレームをカウン
トする。そして、ステップ２３においてカウントに合わ
せてデータ読み出し部１９にてその画像フレームに適合
した文字情報データを読み出し、消去部にて前の画像フ
レームに適合した文字情報データを消去する。そして、
ステップ２４において画像合成部２０にて画像と文字情
報を合成し、ステップ２５において出力部２２から表示
装置２３にコンポジットビデオ信号を出力する。
【００３２】上記表示装置２３は、ステップ１８におい
て、供給されたコンポジットビデオ信号Ｓｖに応じた画
像を図７および図８に示すように画面表示する。
て、供給されたコンポジットビデオ信号Ｓｖに応じた画
像を図７および図８に示すように画面表示する。
【００３３】図７は、人を探している場面が表示されて
おり、配信側では人がいないので心細いという感情情報
を入力する。このとき、端末側の表示装置では、例えば
文字色が黄色、書体は人がいないので不安ということを
表すために細くて小さい文字を明朝体で表示する。一
方、図８は、人が見つかった場面を表しており、配信側
では人に会えたので安心してうれしいという感情情報を
入力する。このとき、端末側の表示装置では、例えば男
性の場合には文字色が青色、書体は会えて安心してうれ
しいということを表すためにＰＯＰ体とし、また、視聴
者から近いので大きく太い文字で表示する。また、女性
の場合には文字色が青色、書体は会えて安心してうれし
いということを表すために同様にＰＯＰ体とし、また、
視聴者から遠いので小さく細い文字で表示する。
おり、配信側では人がいないので心細いという感情情報
を入力する。このとき、端末側の表示装置では、例えば
文字色が黄色、書体は人がいないので不安ということを
表すために細くて小さい文字を明朝体で表示する。一
方、図８は、人が見つかった場面を表しており、配信側
では人に会えたので安心してうれしいという感情情報を
入力する。このとき、端末側の表示装置では、例えば男
性の場合には文字色が青色、書体は会えて安心してうれ
しいということを表すためにＰＯＰ体とし、また、視聴
者から近いので大きく太い文字で表示する。また、女性
の場合には文字色が青色、書体は会えて安心してうれし
いということを表すために同様にＰＯＰ体とし、また、
視聴者から遠いので小さく細い文字で表示する。
【００３４】
【発明の効果】以上詳述したように、本発明によれば、
文字等データに感情情報コードを加えてデータを配信
し、その感情情報コードによって自由に文字の大きさや
文字色、書体等を変えることができる。よって、難聴者
や視覚障害者等のシステム利用者が放映画面の臨場感を
得るために補助するだけではなく、配信側の感情や意図
を思うがままに受信側の画面上に文字情報として表現す
ることができる。
文字等データに感情情報コードを加えてデータを配信
し、その感情情報コードによって自由に文字の大きさや
文字色、書体等を変えることができる。よって、難聴者
や視覚障害者等のシステム利用者が放映画面の臨場感を
得るために補助するだけではなく、配信側の感情や意図
を思うがままに受信側の画面上に文字情報として表現す
ることができる。
【００３５】従来は、配信側から送られた振動指令信号
を端末側の振動装置で受けて、その振動装置に触れるこ
とで利用者に臨場感を与えていたが、本発明では振動装
置が無くても文字情報だけで、利用者がテレビジョン番
組や映画の台詞の喜怒哀楽や臨場感を味わうことができ
る。よって、従来は身体付随者の方には利用できないシ
ステムであったが、本発明は視覚のみで利用することが
できる。
を端末側の振動装置で受けて、その振動装置に触れるこ
とで利用者に臨場感を与えていたが、本発明では振動装
置が無くても文字情報だけで、利用者がテレビジョン番
組や映画の台詞の喜怒哀楽や臨場感を味わうことができ
る。よって、従来は身体付随者の方には利用できないシ
ステムであったが、本発明は視覚のみで利用することが
できる。
【図１】本発明の一実施形態である画像処理システムに
おける、センター側配信手段の構成を説明するためのブ
ロック図である。
おける、センター側配信手段の構成を説明するためのブ
ロック図である。
【図２】本発明の一実施形態である画像処理システムに
おける、端末側受信手段の構成を説明するためのブロッ
ク図である。
おける、端末側受信手段の構成を説明するためのブロッ
ク図である。
【図３】センター側配信手段の動作を説明するためのフ
ロー図である。
ロー図である。
【図４】センター側配信手段の動作を説明するためのフ
ロー図である。
ロー図である。
【図５】端末側配信手段の動作を説明するためのフロー
図である。
図である。
【図６】端末側配信手段の動作を説明するためのフロー
図である。
図である。
【図７】本発明の実施形態において、表示装置に表示さ
れた画像および文字情報の例について説明するための図
である。
れた画像および文字情報の例について説明するための図
である。
【図８】本発明の実施形態において、表示装置に表示さ
れた画像および文字情報の例について説明するための図
である。
れた画像および文字情報の例について説明するための図
である。
１ センター側の入力部 ２ 判別部 ３ 記憶媒体 ４ データ読み取り部 ５ データ圧縮部 ６ 制御部 ７ａ センター側の出力部 ７ｂ 端末側の入力部 ８ データ伸張部 ９ 判別部 １０ 記憶媒体 １１ 読み取りデータ指令部 １２ 感情情報データ部 １３ 始動部 １４ 消去部 １５ 読み出し指令部 １６ ＦＣ部 １７ 検出部 １８ 調整部 １９ データ読み出し部 ２０ 画像合成部 ２１ ＣＰＵ ２２ 端末側の出力部 ２３ 表示装置 ２４ コントローラ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｇ 5/00 ５３０ Ｇ０９Ｇ 5/40 ５５０ Ｈ０４Ｎ 5/278 5/22 ６８０ 7/08 Ａ 5/40 Ｇ１０Ｌ 3/00 ５５１Ｇ Ｇ１０Ｌ 15/00 Ｈ０４Ｎ 5/278 Ｆターム(参考） 5C023 AA02 AA08 AA18 BA11 CA01 CA04 CA05 DA04 5C063 AB07 AC01 AC05 CA11 CA12 CA20 DA03 DA05 EB37 EB49 5C082 AA02 AA04 BA02 BA34 BB34 CA18 CA55 CA82 CB01 DA32 DA86 MM02 MM05 MM08 5D015 AA01 KK02
Claims (4)
- 【請求項１】 センター側配信手段と、端末側受信手段
からなる画像処理システムにおいて、 該センター側配信手段は、音声文字情報および感情情報
が入力される入力部と、 入力された音声文字情報から番組コードを判別すると共
に感情情報に適合する感情コードを判別する判別部と、 音声内容を画像スピードに合わせて処理した文字情報デ
ータを多数種類記憶すると共に、該判別部で判別された
番組コードおよび感情コードを記憶する記憶媒体と、 該記憶媒体から番組コードおよび感情コードを読み取る
と共に、該番組コードに対応する文字情報データを読み
取るデータ読み取り部と、 該データ読み取り部で読み取った文字情報データ、番組
コードおよび感情コードを圧縮するデータ圧縮部と、 圧縮されたデータを端末側受信手段に送出する出力部
と、 該判別部、該データ読み取り部および該データ圧縮部を
制御する制御部とを有し、 該端末側受信手段は、該センター側配信手段から配信さ
れた圧縮データが入力される入力部と、 入力された圧縮データを伸張するデータ伸張部と、 伸張された文字情報データ、番組コードおよび感情コー
ドを記憶すると共に、感情コードに対応する文字種を多
数種類記憶する記憶媒体と、 受信した番組コードを判別する共に、感情コードに対応
する文字種を判別する判別部と、 該記憶媒体から文字情報データ、番組コード、感情コー
ドおよび感情コードに対応する文字種を読み出すデータ
読み出し部と、 文字情報と放映画像とを合成する画像合成部と、 放映画像への文字情報の表示を始動させるための始動部
と、 該記憶媒体から文字情報データを読み出すタイミングを
指令する読み出し指令部と、 該読み出し指令部から指令を出すタイミングを指示する
と共に、放映画像に重畳された文字情報を消去させる消
去部と、 該消去部に指令を出すタイミングを調節するために、文
字情報が重畳される画像のフレーム枚数をカウントする
ＦＣ部と、 該フレーム枚数のカウントのために画像フレーム枚数を
検出する検出部と、 文字情報の放映画像への重畳および消去のタイミングを
調整する調整部と、 該画像合成部からの信号を表示装置に出力する出力部
と、 該入力部、記憶媒体、読み出し指令部、消去部、ＦＣ
部、検出部、画像合成部、出力部および調整部を制御す
る制御部とを有している画像処理システム。 - 【請求項２】 前記端末側受信手段は、受信した文字情
報データを文字として表現する文字形態形成手段と、 受信した感情コードによって文字の形態を変換させる文
字画像形成手段とを有する請求項１に記載の画像処理シ
ステム。 - 【請求項３】 前記文字画像形成手段は、受信した感情
コードによって、文字画像の大きさ、文字の書体および
文字色のうちのいずれか、またはそれらの組み合わせを
変換させる請求項２に記載の画像処理システム。 - 【請求項４】 前記文字画像形成手段は、感情コードに
加えて、音量および音程のいずれか一方または両方に応
じて、 一語毎の文字画像の大きさ、文字の書体および文字色の
うちのいずれか、またはそれらの組み合わせを変換させ
る請求項２に記載の画像処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001037757A JP2002247531A (ja) | 2001-02-14 | 2001-02-14 | 画像処理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001037757A JP2002247531A (ja) | 2001-02-14 | 2001-02-14 | 画像処理システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002247531A true JP2002247531A (ja) | 2002-08-30 |
Family
ID=18900838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001037757A Pending JP2002247531A (ja) | 2001-02-14 | 2001-02-14 | 画像処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002247531A (ja) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09138767A (ja) * | 1995-11-14 | 1997-05-27 | Fujitsu Ten Ltd | 感情表現の通信装置 |
| JPH09251453A (ja) * | 1996-03-14 | 1997-09-22 | Matsushita Electric Ind Co Ltd | 書類作成装置および書類送信装置 |
| JPH10200882A (ja) * | 1997-01-10 | 1998-07-31 | Nippon Telegr & Teleph Corp <Ntt> | 低ビットレート画像通信装置と通信方法 |
| JPH10261099A (ja) * | 1997-03-17 | 1998-09-29 | Casio Comput Co Ltd | 画像処理装置 |
| JPH10271392A (ja) * | 1997-03-21 | 1998-10-09 | Iida Denshi Sekkei Kk | 画像への字幕スーパー重畳システム |
| JP2000207304A (ja) * | 1999-01-12 | 2000-07-28 | Fujitsu Ltd | キャラクタを用いた対話型コミュニケ―ション装置及び方法 |
-
2001
- 2001-02-14 JP JP2001037757A patent/JP2002247531A/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09138767A (ja) * | 1995-11-14 | 1997-05-27 | Fujitsu Ten Ltd | 感情表現の通信装置 |
| JPH09251453A (ja) * | 1996-03-14 | 1997-09-22 | Matsushita Electric Ind Co Ltd | 書類作成装置および書類送信装置 |
| JPH10200882A (ja) * | 1997-01-10 | 1998-07-31 | Nippon Telegr & Teleph Corp <Ntt> | 低ビットレート画像通信装置と通信方法 |
| JPH10261099A (ja) * | 1997-03-17 | 1998-09-29 | Casio Comput Co Ltd | 画像処理装置 |
| JPH10271392A (ja) * | 1997-03-21 | 1998-10-09 | Iida Denshi Sekkei Kk | 画像への字幕スーパー重畳システム |
| JP2000207304A (ja) * | 1999-01-12 | 2000-07-28 | Fujitsu Ltd | キャラクタを用いた対話型コミュニケ―ション装置及び方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5737030A (en) | Electronic program guide device | |
| US7548951B2 (en) | Minute file creation method, minute file management method, conference server, and network conference system | |
| JP2003333445A (ja) | 字幕抽出装置 | |
| US20020140718A1 (en) | Method of providing sign language animation to a monitor and process therefor | |
| JPH09130750A (ja) | 映像音声データ供給装置 | |
| JPH09284670A (ja) | 受信装置 | |
| JP7505491B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| WO2002086740A2 (en) | Portable terminal, overlay output method, and program therefor | |
| JP2001186430A (ja) | デジタル放送受信機 | |
| JP2005124169A (ja) | 吹き出し字幕付き映像コンテンツ作成装置、送信装置、再生装置、提供システムならびにそれらで用いられるデータ構造および記録媒体 | |
| US7120583B2 (en) | Information presentation system, information presentation apparatus, control method thereof and computer readable memory | |
| KR100669269B1 (ko) | 텔레비젼 방송 송신/수신 시스템, 텔레비젼 방송 송신/수신 방법 | |
| KR20030030554A (ko) | 캡션정보의 편집이 가능한 캡션정보 전송시스템 및 방법 | |
| JP2002330365A (ja) | 対人会話型ナビゲーション装置 | |
| JP2002247531A (ja) | 画像処理システム | |
| JPH11355747A (ja) | 映像・音声通信装置と同装置を用いたテレビ会議装置 | |
| CN113748623A (zh) | 节目制作装置、节目制作方法以及记录介质 | |
| JP2004253923A (ja) | 情報受信装置 | |
| JP2008160232A (ja) | 映像音声再生装置 | |
| JP2002010138A (ja) | 情報処理方法及び情報処理装置 | |
| JP3694582B2 (ja) | 受信装置 | |
| JP2000092006A (ja) | デジタル放送番組送出システムとデジタル放送番組受信装置 | |
| JPH10271392A (ja) | 画像への字幕スーパー重畳システム | |
| KR100416260B1 (ko) | 캡션정보 처리장치, 및 캡션텔레비젼 및 캡션처리방법 | |
| US20030069732A1 (en) | Method for creating a personalized animated storyteller for audibilizing content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110601 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111004 |