JPH09284676A

JPH09284676A - 身体の動きに同期した映像及び音声処理方法と映像表示装置

Info

Publication number: JPH09284676A
Application number: JP8092424A
Authority: JP
Inventors: Kenichiro Toyoshima; 健一郎豊島; Hirobumi Usui; 博文臼井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-04-15
Filing date: 1996-04-15
Publication date: 1997-10-31
Also published as: US6011526A

Abstract

(57)【要約】【課題】身体の動きに同期した映像及び音声処理方法を
提供する。【解決手段】身体全体又は身体の一部、例えば眼球の動
きの移動量又は頭部の回転角度をセンサで検出し、原映
像から移動量又は回転角度に応じた一部映像を抜き出し
て表示し、同時に、同じセンサからの情報に基づき、音
像が映像に対応する定位に形成されるように音声信号を
処理する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、衛星放送
に使用される圧縮化して送受信するディジタル信号から
なる映像信号を再生表示し、及び又は音声を出力する映
像表示装置、例えばＨＭＤ（ＨｅａｄＭｏｕｎｔＤ
ｉｓｐｌａｙ）、テレビジョン受像機等において、視聴
者の頭部回転角や視点方向移動量等の算出を行い、アス
ペクト比１６：９若しくは４：３にて供給される映像の
移動量分を考慮してリアルタイムに抜き出して再生し、
且つ音声情報も移動量に応じて変化処理させることによ
り安価に臨場観を高める映像及び音声処理方法及びその
装置に関する。

【０００２】

【従来の技術】従来、ＡＶ機器又はＡＶシステムの映像
技術の分野において、視聴者が見ている映像を視聴者の
頭部の回転等に合わせて変化させる映像再生方法は存在
していた。

【０００３】また、移動物体の映像を処理するためのデ
ータ圧縮方式ＭＰＥＧ２フォーマットが世界的に規格化
され、この規格に則ったデータエンコーダ及びデータデ
コーダが商品化されている。ＭＰＥＧデコーダはＰＡＮ
＆ＳＣＡＮ機能を有している。これは、映像信号を構成
するＭＰＥＧ２フォーマットのヘッダ部分に表示画像の
アスペクト比を表す領域指定用情報を書き込むことによ
り、表示画像のアスペクト比を指定する機能である。

【０００４】この機能により、ＭＰＥＧ２フォーマット
の圧縮されたアスペクト比１６：９の画像情報からアス
ペクト比４：３の画像情報を抽出する（又は抜き出す）
ことができるようになっている。

【０００５】一方、ＡＶ機器の音声技術の分野において
は、本発明と同じ出願人が特開平７−９５６９８号公報
「オーディオ再生装置」により開示したように、ステレ
オで収音された音響をヘッドホンにより再生する場合
に、頭部の回転角に応じてヘッドホンの左右の音響出力
をあらかじめメモリに記憶してあるインパルスレスポン
スで補正する方法が存在する。

【０００６】更に、人の身体の移動量や回転角を検出す
るためのセンサとしては、上記特開平７−９５６９８号
公報の明細書に記載されているような地磁気の水平分力
を利用するディジタル角度検出器や、ジャイロを用いた
センサ等、種々のセンサが存在している。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来の映像処理方法は、原理的には、頭部の回転角を検出
するセンサと、このセンサからの上記回転角情報に基づ
き、ＡＶ機器の表示画面の数倍〜数十倍の数の画像に相
当する特殊な映像信号を回転速度に同期して処理するも
のである。従って、膨大なメモリ容量ならびに高い処理
速度が求められるため、ＡＶ機器の小型軽量化や低コス
ト化の障害となっており第１の問題点となっていた。

【０００８】第２の問題点は、映像と音像の定位との間
にずれが生ずることである。即ち、通常のＣＲＴ表示管
を持つテレビジョン受像機等のように頭部の動きにより
映像が変化しない固定型映像再生装置と、頭部の動きに
より音像の定位が変化するヘッドホンとを組み合わせて
使用する場合には、頭部の動きに応じて音像の定位のみ
が変化するため、頭部回転角を検出するジャイロセンサ
の精度等によっては、映像の位置と音像の定位との間に
ずれが生ずる場合がある。

【０００９】また、頭部の動きにより映像が変化しない
ヘッドマウントディスプレイと上記ヘッドホンとを組み
合わせて使用する場合においても、頭部を動かした時、
映像が変化しないため、映像の位置と音像の定位とが合
わなくなってしまう。なお、音像の定位とは、本来スピ
ーカ等の音声出力装置から再生されるべく調整された音
声信号をヘッドホンで聴いた時に視聴者の頭の中に形成
される仮想音源の位置、例えば前方右、前方左、前方中
央等をいう。

【００１０】本発明は、上記問題点を解消し、映像と音
像の定位との間のずれが無いＡＶ機器を低コストで実現
可能な、身体の動きに同期した映像及び音声処理方法と
その装置に課題を有する。

【００１１】

【課題を解決するための手段】上記課題を解決するため
に、本発明に係る身体の動きに同期した映像及び音声処
理方法は、所定の映像を画面に表示する映像表示装置
と、該映像の表示に対して一定方向から視聴する視聴者
とからなり、前記画面の表示は、前記視聴者の身体全体
又は身体の一部の移動量及び又は回転角度の変化量を検
出する手段を設け、該検出された移動量及び又は回転角
度の変化量に応じて、原映像の映像信号の一部を抜き出
して表示する映像処理を施したことであり、又、同時に
抜き出して表示した映像に対応した位置から音声が聞こ
えるようにした音声処理を施したことである。

【００１２】又、映像表示装置は、視聴者の頭部に支持
した時に眼球の前方位置において映像を結像する表示部
と、音声を出力するヘッドホン部と、前記頭部の回転角
の変化量を検出するセンサ部とからなる頭部固定型の映
像表示装置であり、前記表示部には、前記センサ部で検
出された回転角度の変化量に応じて、原映像の映像信号
の一部を抜き出して表示する映像処理を施すと共に、前
記ヘッドホン部には、該抜き出して表示した映像に対応
した位置から音声が聞こえてくる音声処理を施したこと
である。

【００１３】上記構成にしたことにより、視聴者の目に
映る映像と頭の中に形成される音像の定位とが調和して
臨場感を高めた映像及び音声出力を可能にする。

【００１４】

【発明の実施の形態】本発明に係る身体の動きに同期し
た映像及び音声処理方法を具現化する映像表示装置であ
るＡＶシステムの望ましい三つの実施の形態の外観を、
図１、図２、図３に示す。なお、図１の（Ａ）、（Ｂ）
は夫々上面図、側面図を示す。

【００１５】本発明に係る第１に実施の形態における映
像表示装置は、図１に示すように、頭部固定型の映像表
示装置、即ち、ヘッドマウントディスプレイ（ＨＭＤ）
から構成されているＡＶシステム１００であり、このＡ
Ｖシステム１００は、ヘッドバンド等の何らかの支持装
置１により視聴者２の頭部に固定されるヘッドセット構
造を持っており、視聴者２の両眼球の前方に設け所定の
映像を画面に表示させて結像させる映像表示装置３と、
視聴者２の左右の耳に当たる発音体を持つステレオヘッ
ドホン４と、視聴者２の頭部の動きを検出するジャイロ
センサ５とを有している。

【００１６】映像表示装置３に表示されている映像は、
「横方向に長い全体映像領域」（以下原映像という）の
うちのある一部領域であり、頭部２を例えば右方向に回
転させると、映像表示装置３に表示される映像の原映像
の中での領域は、頭部の回転に伴う移動量だけ右方向に
移動する。

【００１７】一般に、原画像から表示する映像を抜き出
す方法は下記に示す２種類ある。

【００１８】（１）原画像から表示する映像を抜き出す
第１の手法は、図４（Ａ）、（Ｂ）、（Ｃ）に示すよう
に、原映像の左右に空白部（ブランキング）９、１０を
設けることにより、結果的に所望の領域の映像を表示す
る。即ち、頭部の回転角度の変化量が左方向に移動した
ものであれば、図４（Ａ）に示すように、右側のブラン
キング１０幅を大きく取り、左端部のブランキング９幅
を少なくするか図のようになくした構成にする。

【００１９】頭部の回転角度の変化量がなく左右に移動
しないものであれば、図４（Ｂ）に示すように、左右端
部のブランキング９、１０幅を同じくする。

【００２０】又、頭部の回転角度の変化量が右方向に移
動したものであれば、図４（Ｃ）に示すように、左側の
ブランキング１０幅を大きく取り、右端部のブランキン
グ９幅を少なくするか図のようになくした構成にする。

【００２１】このようにして頭部の回転角度の移動量に
応じて画面の左右端のブランキング９、１０幅を変化さ
せてあたかも、表示される画面が頭部の回転角度の移動
量に応じて画面表示が移動する構成が実現できるのであ
る。

【００２２】（２）原画像から表示する映像を抜き出す
第２の手法は、図５（Ａ）、（Ｂ）、（Ｃ）に示すよう
に、原映像から所望の領域の映像を抜き出し（抽出し）
て表示する抜き出し表示の三つの表示例を示したもので
ある。この手法は、後述する衛星放送に使用されている
ＭＰＥＧ２フォーマット形式による圧縮化された送受信
信号のフォーマット機能の規格であるＰＡＮ＆ＳＣＡＮ
に基づくものであり、アスペクト比１６：９のディジタ
ル映像信号を２５６個に分割したスタートとエンドを示
す制御信号を含んでおり、頭部の回転角度の移動量に応
じて、この制御信号に基づいて抜き出し表示するもので
ある。尚、スタートとエンドを制御信号に含ませた構成
でなくとも、例えばスタートからの時間、画素数で構成
してもよいことは勿論のことである。

【００２３】即ち、頭部の回転角度が左方向への移動量
であれば、図５（Ａ）に示すように、原映像の２５６個
に分割されたスタートとエンドを示す制御信号の内、左
側部分の制御信号を抜き出すようにすることにより、右
側の映像部分１０Ａを画面に表示しないようにする。結
果的に原画像の左側部分の映像を画面に表示するように
なる。

【００２４】一方、頭部の回転角度の移動量が検出され
ない場合には、図５（Ｂ）に示すように、左右の映像部
分９Ａ、１０Ａを切り欠いた状態となり、原画像の中央
の画像を抜き出して表示されるようになる。

【００２５】又、頭部の回転角度が右方向の移動量であ
れば、図５（Ｃ）に示すように、原画像の左側部分の映
像部分９Ａを切り欠いた状態にして、原画像の右側部分
を抜き出して表示する。

【００２６】このようにして、図４で示したブランキン
グ９、１０幅を変化させる第１の手法と同様に、頭部の
回転角度の移動量に応じて原画像の左右端の画像を切り
欠くようにして画像を抜き出し（抽出する）て表示し
て、画面表示を変化させれば、あたかも表示される画面
が頭部の回転移動に応じて画面表示を変化させることが
できるのである。

【００２７】次に、本発明に係る第２の実施の形態にお
ける映像表示装置は、図２に示すように、視聴者一体型
の映像表示装置からなるＡＶシステム２００であり、こ
のＡＶシステム２００は、図１の場合と同様に視聴者２
の頭部に装着されたステレオヘッドホン４と、スクリー
ン型の映像表示装置６から構成されている。映像表示装
置６は構造物７の一方の端部に固定されている。また、
視聴者２は構造物７の他端部に固定されたソファである
視聴部に映像表示装置６の画面と向き合って腰掛けて視
聴できる構造、即ち、表示部である映像表示装置６と一
体に連動して回転する視聴部とからなる。

【００２８】構造物７は、支点７ａを中心に矢印の方向
に回転して左右方向の回転角度を検出する構造となって
いる。従って、構造物７が回転すると映像表示装置６と
視聴者２とは、頭等を回転させないで、映像を見た状態
で同時に動き、構造物７を例えば右方向に回転させる
と、映像表示装置６に表示される映像領域は、原映像の
中で身体全体の回転に伴う移動量だけ右方向に移動した
表示をする。このようにして画面前方の位置した視聴者
の身体を一体に左右方向に回転させ、上記図４及び図５
で示した原画像から映像を抜き出して画面表示を変化さ
せることにより、頭部を回転させないで身体全体を左右
方向に物理的に動いた場合であっても、臨場感のある画
面を表示することができる。尚、この変化する画面表示
に同期させた音声処理を行なうことによって変化した画
面表示にあった音像の定位を得ることができる。

【００２９】ここで、音像の定位は、上記「発明が解決
しようとする課題」の項で説明したように、本来スピー
カ等の音声出力装置から再生されるべく調整された音声
信号をヘッドホンで聴いた時に視聴者の頭の中に形成さ
れる仮想音源の位置、例えば前方右、前方左、前方中央
等をいう。

【００３０】尚、上記実施例においては、構造物７の回
転支点７ａの回転角度を検出するようにしているが、こ
れに限定されることなく、例えばジャイロセンサを一体
にしたステレオヘッドホン４であってもよいことは勿論
のことである。

【００３１】次に、本発明に係る第３の実施の形態にお
ける映像表示装置は、図３に示すように、据え置き型映
像表示装置、例えばテレビジョン受像機から構成された
ＡＶシステム３００であり、このＡＶシステム３００
は、図１の場合と同様に視聴者２の頭部に装着されたス
テレオヘッドホン４及びジャイロセンサ５と、映像を画
面に表示する表示部と音声を出力する音声出力部とから
なる据え置き型の映像表示装置である通常のテレビジョ
ン受像機８とから構成されている。

【００３２】ジャイロセンサ５は、テレビジョン受像機
８の表示部の前方任意の一の視聴者に備えた視聴方向の
回転各の変化量を検出するセンサ部に相当し、ステレオ
ヘッドホン４に一体に形成されてもよく、視聴者の視聴
方向を検出できれば身体の一部に装着等しておけばよ
い。

【００３３】この場合は、テレビジョン受像機８の全画
面に相当する例えばアスペクト比１６：９の映像を原映
像とし、この原映像の左右両側に可変幅のブランキング
９、１０を設けること（図４参照）、又は、画面を抜き
出すこと（図５参照）により原映像のうちの一部領域、
例えばアスペクト比４：３の映像を抜き出して表示す
る。

【００３４】このように、図１及び図３に示す視聴者２
の頭部の回転の移動量に応じて、又は図２に示す画面表
示と視聴者の視聴方向を変化させずに一緒に左右に動い
た移動量に応じて、左右のブランキング９、１０の各幅
を変えることにより原映像から抜き出す映像領域を変え
る。例えば、図６（Ａ）に示すように、視聴者２が頭部
を右方向に回転した場合は、左側のブランキング９の幅
を広くし、右側のブランキング１０の幅をなくすか狭く
し、図６（Ｂ）に示すように視聴者２の頭部が真っ直ぐ
前を向いている場合は、左右のブランキング９、１０の
幅を等しくし、図６（Ｃ）に示すように視聴者２が頭部
を左方向に回転した場合は、左側のブランキング９の幅
をなくすか又は狭くし、右側のブランキング１０の幅を
広くする。これにより、表示されている映像が見掛け上
移動しているようにすることができるのである。

【００３５】上記第１の実施の形態のＡＶシステム１０
０（図１参照）、第２の実施の形態のＡＶシステム２０
０（図２参照）、第３の実施の形態のＡＶシステム３０
０（図３参照）における、いずれの実施形態において
も、本発明に係る身体の移動に同期した映像及び音声処
理方法は、視聴者２の身体の全体又は一部の動きをセン
サによって検知し、このセンサの出力をマイコンに入力
し、このマイコンにより、移動又は回転の方向、速度、
移動量（回転角）等の身体移動情報を算定する。なお、
このマイコンは、映像表示装置３、６、又は８側でもス
テレオヘッドホン４側でもいずれでも適当な位置に設け
る。マイコンで算定された身体移動情報は、音声処理を
施した音声を出力するヘッドホン４と映像処理を施した
映像表示装置３、６、８とに共通に供給される。

【００３６】映像表示装置３、６、８は、上記身体移動
情報に基づき、原映像から抽出すべき映像領域を算定
し、算定された映像領域を指定する領域指定信号を出力
する。この領域指定信号により指定された映像領域が原
映像から抜き出して画面に表示される。

【００３７】同時に、ステレオヘッドホン４は、上記身
体移動情報に基づき音像の定位を形成し、映像表示装置
３、６、８に表示されている映像に調和する音像が形成
されるように音声信号を処理する。

【００３８】次に、本発明に係る身体の動きに同期した
映像及び音声処理方法の内、映像処理方法について、上
記映像処理を施すための構成について、以下詳細に説明
する。

【００３９】映像処理方法を具現化する基本的構成は、
図７に示すように、同期信号入力部１１と、記憶／制御
装置１２と、映像情報入力部１３と、二つの記憶装置１
４、１５と、映像処理部１８とから構成されている。

【００４０】同期信号入力部１１は、原映像のディジタ
ル映像信号から同期信号を抽出し、これを記憶／制御装
置１２へ出力する。記憶／制御装置１２は、同期信号を
入力する毎に、記憶装置１４、１５の一方に映像情報を
書き込むように制御する。また、この記憶／制御装置１
２は、同期信号と同時に回転角度の回転移動量等を算出
する映像処理部１８からの領域情報に基づき、記憶装置
１４又は１５に書き込む領域を制御する領域指定信号を
入力する。

【００４１】映像情報入力部１３は、原映像であるディ
ジタル映像信号の映像情報を入力し、記憶装置１４、１
５へ出力する。記憶装置１４、１５は、記憶／制御装置
１２から書込制御信号を受けた時、映像情報入力部１３
からの映像情報の全部、又は記憶／制御装置１２により
指定された領域情報の映像信号を書き込む。なお、書き
込みが全部か一部かは構成の相違によるもので後述す
る。

【００４２】映像処理部１８は、頭部の回転角度の回転
移動量を検出して、検出した移動量に基づいて映像の処
理を施す構造となっている。

【００４３】この映像処理部１８は、記憶装置１４、１
５に記憶している映像情報のうち、記録／制御信号１２
からの領域指定信号により指定された領域の映像情報、
又は記憶内容全部を出力する読出制御信号を発生させ
る。なお、出力が全部か一部かは構成の相違によるもの
で後述する。

【００４４】このように構成されている図７に示す映像
処理方法の基本構成は、下記のように動作する。即ち、
記憶／制御装置１２は同期信号が入力すると、書込制御
信号を記憶装置１４へ送り映像情報を記録させる。記憶
／制御装置１２は、次の同期信号と同時に発生する領域
指定信号に基づき読出制御信号を記憶装置１４へ送り、
映像情報を出力させ、同時に、記憶装置１５へ書込制御
信号を送り、映像情報を記憶装置１５に書き込ませる。
上記を同期信号毎に繰り返す。尚、図７に示す実施の形
態においては、記録装置１４、１５に記録されている映
像情報から領域を指定して表示用映像信号を抜き出す構
成になっているが、領域を指定して抜き出したものを記
録装置１４、１５に書き込むようにしてもよいことは勿
論である。この点については、次に説明する「１．一般
のディジタル映像信号の処理」の項で説明する。

【００４５】次に、この基本構成による衛星放送等に使
用されているディジタル信号による送受信について、
１．一般のディジタル映像信号の処理、２．ＭＰＥＧ２
フォーマットの映像信号の処理について説明する。

【００４６】１．一般のディジタル映像信号の処理一般のディジタル映像信号の処理方法を実現する映像処
理装置は、図８に示すように、上記記憶／制御装置１２
と、上記記憶装置１４、１５と、記憶装置１４、１５の
出力に共通に接続されている映像信号変換装置１６と、
同期信号検出装置１７と、映像処理を施す映像処理部で
あるコントロールマイコン１８とで構成する。なお、図
８において点線で示すように記憶／制御装置１２をコン
トロールマイコン１８に含めてもよい。

【００４７】映像処理部であるコントロールマイコン１
８は、同期信号を出力する同期計算部１９と、角度計算
部２０と、抜き出し開始・終了タイミング計算部２１
と、画面サイズ・映像視点距離による角度変化量調整部
２２とを有している。このような構成からなるコントロ
ールマイコン１８は、映像信号の同期信号の周期に比し
て非常に早い動作速度を有し、相隣る二つの同期信号の
間において全ての所要の計算を行うことができるように
なっている。

【００４８】同期計算部１９は、同期信号検出装置１７
で検出された同期信号を入力し、入力した同期信号を記
憶／制御装置１２及び抜き出し開始・終了タイミング計
算部２１へ出力する。

【００４９】角度計算部２０は、ジャイロセンサ５から
の位置、方向、速度、角度等の情報を入力し、視聴者２
の頭部の回転角や視点移動距離を算出し、算出結果を抜
き出し開始・終了タイミング計算部２１及び図示しない
音声処理部を介して、例えばヘッドホン４（図１参照）
へ出力する。

【００５０】抜き出し開始・終了タイミング計算部２１
は、角度計算部２０で算出された角度信号に基づき原映
像から抜き出す映像領域、つまり、抜き出しの開始と終
了とのタイミングを示す領域指定信号を作り出し、この
領域指定信号を記憶／制御装置１２と記憶装置１４、１
５へ出力する。尚、記録装置１４、１５への書き込み及
び読み出し制御は、上記図７を参照にして説明したので
その説明は省略する。

【００５１】画面サイズ・映像視点距離による角度変化
量調整部２２は、画面サイズ及び視聴者の視点距離によ
る角度変化量の補正値を抜き出し開始・終了タイミング
計算部２１へ出力する。

【００５２】上記構成にした映像処理部であるコントロ
ールマイコン１８から出力される領域指定信号により指
定された領域分の映像信号が記憶装置１４、１５から映
像信号変換装置１６へ出力されることになるが、これに
は下記の二通りの順序があり、いずれを用いてもよい。

【００５３】即ち、（１）記憶／制御装置１２は、原映
像の映像情報をそのまま記憶装置１４又は１５に記憶さ
せる。記憶装置１４又は１５は、コントロールマイコン
１８からの領域指定信号により指定された領域の映像情
報を出力する。

【００５４】又は、（２）記憶／制御装置１２は、コン
トロールマイコン１８からの領域指定情報により指定さ
れた映像領域分だけの映像情報を記憶装置１４又は１５
に記憶させる。記憶装置１４又は１５は記憶内容をその
まま出力する。

【００５５】上記いずれの場合においても、記憶装置１
４、１５から出力される映像情報は、原映像よりも情報
量が削減されているので、映像信号変換装置１６におい
て情報量を補完するか、或は、記憶装置１４、１５から
の情報の読出速度を変えて出力する。記録方法によって
は、この時、同期信号を重畳するか又は作り直す。

【００５６】記憶装置１４、１５から出力される情報
は、ディジタルの信号であるから、必要があれば映像信
号変換装置１６にＤ／Ａ変換機能を持たせる。映像信号
変換装置１６から出力された表示用映像信号は、図示し
ていない映像信号処理回路を通り、表示器へ送られ表示
される。

【００５７】２．ＭＰＥＧ２フォーマットの映像信号の
処理ＭＰＥＧ２フォーマットの映像信号の処理装置は、図９
に示すように、ＭＰＥＧ２デコーダ２３と、Ｄ／Ａ変換
器２４と、映像処理を施す映像処理部であるコントロー
ルマイコン２５とからなる。

【００５８】映像処理を施すコントロールマイコン２５
は、上記図８で示したコントロールマイコン１８と同じ
ように、ジャイロセンサ５からの位置、方向、速度、角
度等の情報を入力し、視聴者２の頭部の回転角や視点移
動距離を算出し、算出結果を抜き出し開始・終了タイミ
ング計算部２１及び図示しない音声処理部を介して、例
えばヘッドホン４（図１参照）へ出力する。このコント
ロールマイコン２５は、角度計算部２０と、抜き出し位
置算出調整信号発生部２６と、画面サイズ・映像視点距
離による角度変化量調整部２２とから構成されている。
抜き出し位置算出調整信号発生部２６は、角度計算部２
０で算出されたジャリロセンサ５等からの角度情報に基
づき原映像からの映像信号の抜き出し開始位置を算出し
領域指定信号としてＭＰＥＧ２デコーダ２３へ出力す
る。抜き出し開始位置は原映像を２５６個に分割したス
タート／エンドの任意の位置から選定することができ
る。

【００５９】このような構成からなる図９に示すＭＰＥ
Ｇ２フォーマットの映像信号の処理は、下記のように動
作する。パッケージメディアの再生又は放送受信により
入力する情報に含まれているＭＰＥＧ２フォーマットの
映像情報はＭＰＥＧ２デコーダ２３に入力し、音声情報
は後述する音声を出力する、例えばヘッドホン４（図１
参照）に供給される。

【００６０】ＭＰＥＧ２デコーダ２３に入力するＭＰＥ
Ｇ２フォーマットのヘッダ部には、アスペクト比１６：
９の画像情報からアスペクト比４：３の画像を切り出す
ための領域指定用情報が書き込まれているが、本実施例
においては、この領域指定用情報の内容は使用せず、こ
の領域指定用情報の欄にコントロールマイコン２５で作
成した領域指定信号を書き込む。

【００６１】この領域指定信号により指定された領域の
映像信号がＭＰＥＧ２デコーダ２３から出力されること
になる。この映像信号はＤ／Ａ変換器２４でアナログ信
号に変換され、表示用映像信号として図示しない表示部
へ送られる。その結果、指定された領域の映像が表示さ
れることになる。

【００６２】次に、本発明に係る身体の移動に同期した
音声処理部分について説明する。

【００６３】音声処理部分の構成は、上記特開平７−９
５６９８号発明の構成において、視聴者の移動又は回転
の情報を、上記映像処理部分の角度計算部２０（図８、
図９参照）から供給するようにしたものであり、詳細な
説明は上記の明細書に譲るが、極めて簡略化したブロッ
ク図を図１０に示し、要点のみを説明する。

【００６４】図１０において、音声処理装置、例えばヘ
ッドホン４は、アドレス制御部３０と、メモリ３１と、
畳み込み積分器３２と、メモリ３３と、Ｄ／Ａ変換器３
４と、発音体３５とから概略構成されている。

【００６５】アドレス制御部３０は、上記角度計算部２
０（図８、図９参照）から出力された角度信号を入力
し、この角度信号に基づきメモリ３１のアドレスを指定
する。角度とアドレスとは１対１で対応付けられてい
る。このようにして映像処理及び音声処理で使用する頭
部の回転角度等、即ち、視聴者の身体の全体又は人体の
一部の移動量及び又は回転角度の変化量を検出する手段
を共通化することによって、ジャイロセンサー等の部品
のばらつきや温度による検出量の変動を感じさせなくす
ることができるようになる。

【００６６】メモリ３１には、角度とインパルスレスポ
ンスとの対応表が格納されている。インパルスレスポン
スは、視聴者の頭部の基準方向に対する仮想音源位置を
表す。従って、頭部の移動角度に応じて映像の方向に合
った仮想音源位置を表すインパルスレスポンス信号がメ
モリ３１から出力される。

【００６７】上記インパルスレスポンス信号は、畳み込
み積分器３２とメモリ３３に供給されている。畳み込み
積分器３２とメモリ３３とは、入力する音声信号に対し
て、インパルスレスポンス信号を重畳積分することによ
り、頭部の角度に応じて定位した音像を表す音声信号を
生成し、これをＤ／Ａ変換器３４へ出力する。

【００６８】音声信号は、Ｄ／Ａ変換器３４でアナログ
信号に変換された後、発音体３５に供給され、視聴者の
耳に音として供給される。

【００６９】繰り返しになるが、原画像から抜き出され
て表示される映像は、図４及び図５に示すように、原画
像が画面表示される中心位置Ｐを基準にして、例えば頭
部の回転角度の移動量から現在の画面に対する移動位置
Ｑを算出し、この移動位置Ｑを基準にして原画像から左
右両端の画像を切り欠いた画像表示を行なう。

【００７０】この切り欠いた画像部分は、ブランキング
９、１０にして表示する（図４参照）ようにしてもよ
く、抜き出して表示する（図５参照）ようにしてもよ
い。

【００７１】即ち、頭部の回転角度が左方向の移動量
であれば、移動位置Ｑは、中心位置Ｐよりも左方向とな
り、右側端部の映像部分１０、１０Ａを切り欠いた映像
となる。頭部の回転角度の移動量がなく画面に対して
正面位置であれば、中心位置Ｐと移動位置Ｑとは、同じ
位置となり、画面の左右端の画像部分９、９Ａ、１０、
１０Ａを切り欠いた画像となる。頭部の回転角度が右
方向の移動量であれば、移動位置Ｑは、中心位置Ｐより
も右方向となり、左側端部の映像部分９、９Ａを切り欠
いた映像となる。

【００７２】この中心位置Ｐは、抜き出した映像の中心
位置であると共に、音声処理を施す中心位置でもあり、
移動位置Ｑは映像の中心位置Ｐに対し、音像の定位を示
したものでもある。従って、図４（Ｂ）、図５（Ｂ）に
示す位置Ｐ、Ｑが一致するようにすれば、変化した映像
に追従した音声を得ることができるのである。

【００７３】尚、図１０には、右音声信号の分のみを示
しているが、左音声信号に対しても畳み込み積分器３２
とメモリ３３と、Ｄ／Ａ変換器３４と、発音体３５とが
設けられており、メモリ３１からのインパルスレスポン
ス信号が供給されている。

【００７４】このようにして本願発明においては、身体
の一部、例えば眼球の動き、又は身体全体の動きに応じ
て原映像から表示する画面表示を変化させ、且つその変
化した画面に応じて音声を変化させるようにすれば、上
記説明した実施の形態に限定されることなく、例えば商
品名ＯＲＢＩＴ、Ｖｉｒｔｕａｌｐｈｏｎｅ等のように
音像位置を変更できるようなヘッドホンとＭＰＥＧ２デ
コーダチップを搭載した機器であればソフトウェアの変
更程度でシステムを構築することができる。又、仮想現
実空間の構築も可能である。

【００７５】更に、画面表示装置、例えばテレビジョン
受像機の画面の端部に操作画面を設け、頭部の回転角度
の検出により、眼球が画面の操作画面を見た状態て、画
面の設定や変更の画面を見ることができる。

【００７６】そして、画面上の視点位置を感知するセン
サを取り付けておけば、画面の端部にとりつけてある画
面の設定や変更を行なう操作画面を眼球の動きで簡単に
操作できるようになる。

【００７７】また、身体の動きに同期した画面及び音声
処理を施すようにしてあるので身体への悪影響を低減さ
せることも可能である。

【００７８】さらに、身体の動きに同期した画面及び音
声処理を施すようにすれば、映像や音像の移動に用いて
いる角度情報を有効に利用して、ＤＳＳ（Ｄｅｇｉｔａ
ｌＳａｔｅｌｉｔｅＳｙｓｔｅｍ）、ＤＶＤ（Ｄｉｇ
ｉｔａｌＶｉｄｅｏＳｙｓｔｅｍ）、ＤＶＢ（Ｄｉ
ｇｉｔａｌＶｉｄｅｏＢｒａｏａｄｃａｓｔｉｎ
ｇ）等のメディアに、ゲーム等のコントロールに利用す
ることも可能である。

【００７９】

【発明の効果】以上説明したように、本発明に係る身体
の動きに同期した映像及び音声処理方法と映像表示装置
は、身体の一部、例えば眼球又は身体の全体の動きに応
じて原映像から表示する画像を抜き出して表示するよう
にしたことにより、身体の動き、例えば眼球の動きに応
じて画面を変化させることができるようになり、臨場感
を高めた映像にすることができると云う効果がある。

【００８０】又、変化した画面に追従して音声をも変化
させるようにしたことにより、映像と音声の一致した臨
場感のある音声及び映像からなる、例えば仮想現実空間
を手軽に構築することができると云う効果がある。

【００８１】更に、本発明を実現するために特に構造を
複雑にしなくとも実現できるため、例えば音像位置を変
更することができる既存のヘッドホンとＭＰＥＧ２デコ
ーダチップとを搭載したＡＶ機器において、映像と音像
とのずれをなくすことができるようになる。

【図面の簡単な説明】

【図１】本発明に係る身体の移動に同期した映像及び音
声処理方法の第１の実施の形態を示す説明図である。

【図２】同第２の実施の形態を示す説明図である。

【図３】同第３の実施の形態を示す説明図である。

【図４】ブランキング表示の表示例を示す説明図であ
る。

【図５】抜き出し表示の表示例を示す説明図である。

【図６】視聴者の頭部の回転とブランキング表示との関
係を示す説明図である。

【図７】本発明に係る身体の移動に同期した映像及び音
声処理方法の実施形態に共通する映像処理方法の基本構
成を示す説明図である。

【図８】一般のディジタル映像信号の処理方法の構成を
示す説明図である。

【図９】ＭＰＥＧ２フォーマットの映像信号の処理方法
の構成を示す説明図である。

【図１０】本発明に係る身体の移動に同期した映像及び
音声処理方法の実施形態に共通する音声処理方法の基本
構成を示す説明図である。

【符号の説明】

１：支持部，２：視聴者，３：映像表示装置，４：ステ
レオヘッドホン，５：ジャイロセンサ，６：映像表示装
置，７：構造物，７ａ：支点，８：テレビジョン受像
機，９：左ブランキング，１０：右ブランキング，１
１：同期信号入力部，１２：記憶／制御装置，１３：映
像情報入力部，１４、１５：記憶装置，１６：映像信号
変換装置，１７：同期信号検出装置，１８、２５：コン
トロールマイコン（映像処理部），１９：同期計算部，
２０：角度計算部，２１：抜き出し開始・終了タイミン
グ計算部，２２：画面サイズ・映像視点距離による角度
変化量調整部，２３：ＭＰＥＧ２デコーダ，２４：Ｄ／
Ａ変換器，２６：抜き出し位置算出調整信号発生部，３
０：アドレス制御部，３１、３３：メモリ，３４：Ｄ／
Ａ変換器，３５：発音体，１００、２００、３００：実
施の形態。

Claims

【特許請求の範囲】

【請求項１】所定の映像を画面に表示する映像表示装置
と、該映像の表示に対して一定方向から視聴する視聴者
とからなり、前記画面の表示は、前記視聴者の身体全体
又は身体の一部の移動量及び又は回転角度の変化量を検
出する手段を設け、該検出された移動量及び又は回転角
度の変化量に応じて、原映像の映像信号の一部を抜き出
して表示する映像処理を施したことを特徴とする身体の
動きに同期した映像及び音声処理方法。
【請求項２】前記映像表示装置には、前記検出された移
動量及び又は回転角度の変化量に応じて、原映像の映像
信号の一部を抜き出して表示する映像処理を施すと共
に、該抜き出して表示した映像に対応した位置から音声
が聞こえるようにした音声処理を施したことを特徴とす
る請求項１に記載の身体の動きに同期した映像及び音声
処理方法。
【請求項３】前記原映像の映像信号の一部を抜き出して
表示する映像処理は、所定の方式で圧縮されたディジタ
ル映像信号のフォーマットに含まれているアスペクト比
の領域指定用情報から抜き出すようにしたことを特徴と
する請求項１又は２に記載の身体の動きに同期した映像
及び音声処理方法。
【請求項４】前記フォーマットは、ＭＰＥＧ２フォーマ
ットである請求項３に記載の身体の動きに同期した映像
及び音声処理方法。
【請求項５】所定の映像を画面に表示する映像表示装置
と、該映像の表示に対して一定方向から視聴する視聴者
とからなり、前記画面の表示は、前記視聴者の身体全体
又は身体の一部の移動量及び又は回転角度の変化量を検
出する手段を設け、該検出された移動量及び又は回転角
度の変化量に応じて、原映像を表示する映像領域の中心
位置を移動させて表示する映像処理を施したことを特徴
とする身体の動きに同期した映像及び音声処理方法。
【請求項６】所定の映像を画面に表示する映像表示装置
と、該映像の表示に対して一定方向から視聴する視聴者
とからなり、前記画面の表示は、前記視聴者の身体全体
又は身体の一部の移動量及び又は回転角度の変化量を検
出する手段を設け、該検出された移動量及び又は回転角
度の変化量に応じて、原映像を表示する画面両端のブラ
ンキング幅を変更して表示する映像処理を施したことを
特徴とする身体の動きに同期した映像及び音声処理方
法。
【請求項７】前記映像表示装置には、前記検出された移
動量及び又は回転角度の変化量に応じて、原映像を表示
する画面両端のブランキング幅を変更して表示する映像
処理を施すと共に、該ブランキング幅の変更に対応した
位置から音声が聞こえる音声処理を施したことを特徴と
する請求項６に記載の身体の動きに同期した映像及び音
声処理方法。
【請求項８】前記視聴者の身体全体又は身体の一部の移
動量及び又は回転角度の変化量を検出する手段は、前記
映像処理と音声処理とで共通化して使用するようにした
ことを特徴とする請求項１、３又は６に記載の身体の動
きに同期した映像及び音声処理方法。
【請求項９】視聴者の頭部に支持した時に眼球の前方位
置において映像を結像する表示部と、音声を出力するヘ
ッドホン部と、前記頭部の回転角の変化量を検出するセ
ンサ部とからなる頭部固定型の映像表示装置であり、前
記表示部には、前記センサ部で検出された回転角度の変
化量に応じて、原映像の映像信号の一部を抜き出して表
示する映像処理を施すと共に、前記ヘッドホン部には、
該抜き出して表示した映像に対応した位置から音声が聞
こえてくる音声処理を施したことを特徴とする頭部固定
型の映像表示装置。
【請求項１０】前記表示部には、前記センサ部で検出さ
れた回転角度の変化量に応じて、原映像を表示する画面
両端のブランキング幅を変更して表示する映像処理を施
すと共に、前記ヘッドホン部には、該ブランキング幅の
変更に対応した位置から音声が聞こえる音声処理を施し
たことを特徴とする請求項９に記載の頭部固定型の映像
表示装置。
【請求項１１】前記センサ部は、前記映像処理と音声処
理とで共通化して使用するようにしたことを特徴とする
請求項９又は１０に記載の頭部固定型の映像表示装置。
【請求項１２】映像を画面に表示する表示部と、前記表
示部前方の所定距離の一定位置から視聴でき、且つ前記
表示部と一体に連動して回転する視聴部と、音声を出力
する音声出力部と、前記表示部と一体に連動して回転す
る前記視聴部の回転角度の変化量を検出するセンサ部と
からなる視聴者一体型の映像表示装置であり、前記表示
部には、前記センサ部で検出された回転角度の変化量に
応じて、原映像の映像信号の一部を抜き出して表示する
映像処理を施すと共に、前記音声出力部には、該抜き出
して表示した映像に対応した位置から音声が聞こえてく
る音声処理を施したことを特徴とする視聴者一体型の映
像表示装置。
【請求項１３】前記表示部には、前記センサ部で検出さ
れた回転角度の変化量に応じて、原映像を表示する画面
両端のブランキング幅を変更して表示する映像処理を施
すと共に、前記音声出力部には、該ブランキング幅の変
更に対応した位置から音声が聞こえる音声処理を施した
ことを特徴とする請求項１２に記載の視聴者一体型の映
像表示装置。
【請求項１４】前記センサ部は、前記映像処理と音声処
理とで共通化して使用するようにしたことを特徴とする
請求項１２又は１３に記載の視聴者一体型の映像表示装
置。
【請求項１５】映像を画面に表示する表示部と、音声を
出力する音声出力部とからなる据え置き型の映像表示装
置と、前記表示部の前方任意の位置の視聴者に備えた視
聴方向の回転角の変化量を検出するセンサ部とからな
り、前記表示部には、前記センサ部で検出された回転角
度の変化量に応じて、原映像の映像信号の一部を抜き出
して表示する映像処理を施すと共に、前記音声出力部に
は、該抜き出して表示した映像に対応した位置から音声
が聞こえてくる音声処理を施したことを特徴とする据え
置き型の映像表示装置。
【請求項１６】前記表示部には、前記センサ部で検出さ
れた回転角度の変化量に応じて、原映像を表示する画面
両端のブランキング幅を変更して表示する映像処理を施
すと共に、前記音声出力部には、該ブランキング幅の変
更に対応した位置から音声が聞こえる音声処理を施した
ことを特徴とする請求項１５に記載の据え置き型の映像
表示装置。
【請求項１７】前記センサ部は、前記映像処理と音声処
理とで共通化して使用するようにしたことを特徴とする
請求項１５又は１６に記載の据え置き型の映像表示装
置。