JPH09163336A - テレビ会議システム - Google Patents

テレビ会議システム

Info

Publication number
JPH09163336A
JPH09163336A JP7345081A JP34508195A JPH09163336A JP H09163336 A JPH09163336 A JP H09163336A JP 7345081 A JP7345081 A JP 7345081A JP 34508195 A JP34508195 A JP 34508195A JP H09163336 A JPH09163336 A JP H09163336A
Authority
JP
Japan
Prior art keywords
video conference
communication terminal
conference communication
moving image
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7345081A
Other languages
English (en)
Other versions
JP3759216B2 (ja
Inventor
Kojiro Murakami
耕二郎 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP34508195A priority Critical patent/JP3759216B2/ja
Publication of JPH09163336A publication Critical patent/JPH09163336A/ja
Application granted granted Critical
Publication of JP3759216B2 publication Critical patent/JP3759216B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

(57)【要約】 【課題】 相手テレビ会議通信端末及び自テレビ会議通
信端末の双方またはいずれか一方が画像・音声のみの基
本的な機能のみを備えたテレビ会議通信端末であって
も、遠隔指示・描画または遠隔カメラ位置制御を行うこ
とができるテレビ会議システムを提供すること。 【解決手段】 第1テレビ会議通信端末では、位置指示
用物体を含む範囲を撮影して得られる画面から前記位置
指示用物体の位置情報を抽出し、この位置情報に基づい
て表示するポイン夕又は線画を作成し、これを動画像に
重畳して送信することを特徴とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、テレビ会議通信端
末間でやりとりする動画像にポインタや線画を重畳表示
するテレビ会議システム及び相手側のテレビ会議通信端
末のカメラ位置を自端末側から遠隔操作するテレビ会議
システムに関する。
【0002】
【従来の技術】従来のテレビ会議システムを構成するテ
レビ会議通信端末においては、ITU−T勧告H.32
0に準拠することにより、異なるメーカまたは異なる機
種のテレビ会議通信端末間を接続して少なくとも画像・
音声を相互に送受信して基本的なテレビ会議を行うこと
が可能となっている。
【0003】一方、同一メーカまたは同一機種のテレビ
会議通信端末間では、画像・音声の他に、他のメーカま
たは機種のテレビ会議通信端末とは互換性がない独自情
報をやりとりする場合がある。
【0004】その独自情報としては、相手テレビ会議通
信端末と相互にやりとりしている画像の特定位置を相手
テレビ会議通信端末側の会議参加者に注目させるための
矢印等のポインタ像を、前記相互にやりとりしている画
像の特定位置に表示させる(テレポインティング)ため
にやりとりされるポインタ位置情報、相手テレビ会議通
信端末と相互にやりとりしている画像に線画を重畳表示
する(テレライティング)ためにやりとりされる描画位
置情報、会議風景を撮影するために相手側テレビ会議通
信端末が備えるカメラ装置の向きを自テレビ会議通信端
末側から遠隔操作するためにやりとりされるカメラ位置
情報等が挙げられる。
【0005】
【発明が解決しようとする課題】しかしながら、上記や
りとりされる各種位置情報を入力するためには、画像・
音声をやりとりするために必要な、カメラ装置、モニタ
装置、マイクロホン、スピーカ等の基本構成要素以外
に、ポインタ位置入力装置、ライティングパッド等の描
画位置情報入力装置、カメラ遠隔操作装置等の各種位置
情報入力装置が新たに必要となる。
【0006】また、上記各種位置情報をテレビ会議通信
端末間でやりとりするためには、通信チャンネルの限ら
れた伝送容量をそれらの情報の伝送のために割り当てる
必要があり、その分画像・音声のための伝送容量が減っ
てしまう。
【0007】また、例え、自テレビ会議通信端末が前記
各種位置情報入力装置を備え、相手テレビ会議通信端末
との間に設定された通信チャンネルの伝送容量の一部を
それらの位置情報の伝送のために割いたとしても、相手
テレビ会議通信端末が別メーカまたは別機種のものであ
れば、それらの位置情報は、当該相手テレビ会議通信端
末には解釈できない情報であるため独自の機能をやりと
りすることはできない。
【0008】また、同種のテレビ会議通信端末間でポイ
ンタ位置情報、描画位置情報を伝送できたとしても、そ
れらの位置情報はモニタ画面上での絶対的な位置を示す
ものであるため、双方の端末で同じ画像をモニタ画面の
同じ位置に表示するか、あるいは最大表示していない
と、ポインタ像や線画を双方のテレビ会議通信端末で表
示している画像の同じ位置に重畳表示することができな
いという問題点があった。
【0009】本発明は係る事情に鑑みてなされたもので
あり、相手テレビ会議通信端末及び自テレビ会議通信端
末の双方またはいずれか一方が画像・音声のみの基本的
な機能のみを備えたテレビ会議通信端末であっても、遠
隔指示・描画または遠隔カメラ位置制御を行うことがで
きるテレビ会議システムを提供することを目的とする。
【0010】
【課題を解決するための手段】上記目的を達成するた
め、請求項1記載のテレビ会議システムは、少なくとも
第1及び第2の2つのテレビ会議通信端末間で少なくと
も動画像とこの動画像上に重畳表示すべきポインタまた
は線画の位置情報を必要に応じて送受信するテレビ会議
システムにおいて、第1テレビ会議通信端末では、位置
指示用物体を含む範囲を撮影して得られる画面から前記
位置指示用物体の位置情報を抽出し、この位置情報に基
づいて表示するポイン夕又は線画を作成し、これを動画
像に重畳して送信することを特徴とする。
【0011】請求項2記載のテレビ会議システムは、第
1のテレビ会議通信端末から第2のテレビ会議通信端末
にカメラの位置情報を送信する一方、第2のテレビ会議
通信端末でこの位置情報に基づいて撮影した画面を第1
テレビ会議通信端末に送信するテレビ会議システムにお
いて、第1テレビ会議通信端末では位置指示用物体を含
む範囲を撮影して得られる画面を送信し、第2テレビ会
議通信端末では受信した画面から前記位置指示用物体の
位置情報を抽出し、その位置情報に基づいて前記カメラ
の向きを制御することを特徴とする。
【0012】請求項3記載のテレビ会議システムは、少
なくとも第1及び第2の2つのテレビ会議通信端末間で
少なくとも動画像とこの動画像上に重畳表示すべきポイ
ンタまたは線画の位置情報を必要に応じて送受信するテ
レビ会議システムにおいて、第1テレビ会議通信端末で
は位置指示用物体を含む範囲を撮影して得られる画面を
送信し、第2テレビ会議通信端末では受信した画面から
前記位置指示用物体の位置情報を抽出して前記動画像に
重畳すべきポインタ又は線画の位置を決め、その重畳さ
れた動画像を第1テレビ会議通信端末に送信することを
特徴とする。
【0013】請求項4記載のテレビ会議システムは、少
なくとも第1及び第2の2つのテレビ会議通信端末間で
少なくとも動画像とこの動画像上に重畳表示すべきポイ
ンタまたは線画の位置情報を必要に応じて送受信するテ
レビ会議システムにおいて、第1テレビ会議通信端末で
は位置情報入力手段により入力した位置情報に基づいて
表示するポインタまたは線画を作成し、これを第2テレ
ビ会議通信端末から受信した動画像に重畳して、その重
畳された動画像を第2テレビ会議通信端末に送信するこ
とを特徴とする。
【0014】請求項5記載のテレビ会議システムは、複
数のテレビ会議通信端末が多地点接続装置を介して少な
くとも動画像とこの動画像上に重畳表示すべきポインタ
の位置情報を必要に応じて送受信するテレビ会議システ
ムにおいて、前記複数のテレビ会議通信端末のうちのい
ずれかが位置指示用物体を含む範囲を撮影して得られる
画面を前記多地点接続装置に送信し、その多地点接続装
置では受信した画面を動画像に重畳して、その重畳され
た動画像を前記各テレビ会議通信端末に送信することを
特徴とする。
【0015】
【発明の実施の形態】以下、添付図面を参照しながら、
本発明の実施の形態を詳細に説明する。
【0016】図1は、本発明に係るテレビ会議システム
を構成するテレビ会議通信端末の基本構成を示してい
る。同図において、テレビカメラ1は、動画像を入力す
る手段である。マイク2は、音声を入力する手段であ
る。テレビモニタ3は、相手側のテレビ会議通信端末か
らの動画像や、テレビカメラ1で撮影した自画像を表示
出力する手段である。スピーカ4は、前記相手側テレビ
会議通信端末からの音声を出力する手段である。制御装
置5は、上記各機器を制御すると共に、動画像・音声の
圧縮・再生・通信処理等を行うものである。
【0017】図2は、それぞれが図1に示した基本構成
を備えたテレビ会議通信端末A及びBが、回線網を介し
て相互に会議通信を行い、その一局面としてテレビ会議
通信端末Aがそのテレビカメラ1で実物Aを撮影して得
た動画像Aを自身のテレビモニタ3に表示すると共にテ
レビ会議通信端末Bに送信し、テレビ会議通信端末Bが
その受信した動画像Aを自身のテレビモニタ3に表示す
ることにより、テレビ会議通信端末A及びBが同一動画
像として動画像Aを表示している状態を示している。
【0018】この場合、テレビ会議通信端末A側の会議
参加者は、動画像A中の特定部位をテレビ会議通信端末
B側の会議参加者に注目させたい場合には、動画像Aと
してテレビカメラ1で撮影されている実物Aはテレビ会
議通信端末A側にあるため、その実物Aを直接手や指等
で指し示すことにより、動画像Aの一部として手や指が
撮影されるようにすればよい。
【0019】しかし、テレビ会議通信端末B側の会議参
加者が、動画像A中の特定部位をテレビ会議通信端末A
側の会議参加者に注目させたい場合は、動画像Aとして
テレビカメラ1で撮影されている実物Aはテレビ会議通
信端末A側にあるため、その実物Aを直接手や指等で指
し示すことはできない。
【0020】そこで、本発明の第1の実施の形態では、
テレビ会議通信端末Aの制御装置5を図3に示す構成と
する。
【0021】同図において、端末Bからの動画像は、通
信制御部31により受信される。その受信される端末B
からの動画像は、図2に示されるように、無地の背景内
に位置指示物体としての鉛筆Pを含む動画像をテレビカ
メラ1で撮影して得られる画面Bである。
【0022】その端末Bからの動画像としての画面B
は、通信制御部31から、指示物体認識部32へ送られ
る。指示物体認識部32は、指示・描画認識部35と協
働して画面B中の鉛筆Pを識別し、指示物体位置情報抽
出部33及び指示物体動き情報抽出部36は、指示物体
認識部32で認識された鉛筆Pの画像上の位置及びその
動きを識別する。
【0023】なお、画像中の特定物体を認識してその位
置、及び、その位置の変化としての動きを抽出する手法
としては、特開平5−174146号公報記載の動画処
理装置や、同公報の「従来の技術」に列記された公知の
技術を適用することができる。
【0024】さて、指示物体位置情報抽出部33及び指
示物体動き情報抽出部36で識別された鉛筆Pの位置・
動き情報は、位置・動き合成部34に送られ、位置・動
き合成部34は、鉛筆Pの位置・動き情報に基づいて、
矢印形状のポインタPをテレビカメラ1で撮影された動
画像Aに重畳して、そのポインタPを重畳した動画像を
通信制御部31を介してテレビ会議通信端末Bへの動画
像として送信する。また、ポインタPを重畳した動画像
は、テレビ会議通信端末Aのテレビモニタ3にも同時に
表示される。
【0025】図4は、その様子を示し、同図において、
テレビ会議通信端末B側の会議参加者は、テレビ会議通
信端末B側のテレビモニタ3に表示されたポインタPの
位置を確認しながら、手に持った鉛筆Pを画面B中で移
動させる。その画面B中の鉛筆Pの位置は、テレビ会議
通信端末A側で抽出され、対応する動画像A中の位置に
ポインタPが重畳されて、テレビ会議通信端末A側で表
示されると共にテレビ会議通信端末B側に送信されてテ
レビ会議通信端末B側でも表示される。
【0026】これにより、画面B中の鉛筆Pの位置に対
応して、テレビ会議通信端末A及びBのテレビモニタ3
に表示される動画像AにポインタPが重畳表示され、テ
レビ会議通信端末B側の会議参加者が、動画像A中の特
定部位をテレビ会議通信端末A側の会議参加者に注目さ
せることができる。
【0027】また、そのために、テレビ会議通信端末B
側が新たな構成を備える必要はなく、テレビ会議通信端
末A側が図3に示した構成を備えていればよいため、テ
レビ会議通信端末Aと会議通信を行うテレビ会議通信端
末がITU−T勧告H・320準拠した動画像・音声の
みを扱える基本的な構成のテレビ会議通信端末であった
り、別メーカまたは別機種のテレビ会議通信端末で動画
像・音声以外のデータに互換性がなくても、いわゆるテ
レポインティングを行うことができる。
【0028】なお、鉛筆Pの画面B中の位置に対応する
動画像A中にポインタを重畳するのではなく、鉛筆Pの
画面B中の移動軌跡(位置の変化)に対応して動画像A
中に線画を重畳すれば、いわゆるテレライティングを行
うことも可能である。
【0029】さて、上記第1の実施の形態は、本発明に
係る機能を備えたテレビ会議通信端末(テレビ会議通信
端末A)側にある指し示したい実物(物体A)を、本発
明に係る機能を備えていないテレビ会議通信端末(テレ
ビ会議通信端末B)側から指し示すことを可能とするも
のであったが、次に説明する第2の実施の形態は、その
逆で、指し示したい実物がない側のテレビ会議通信端末
が本発明に係る機能を備える場合である。
【0030】図5は、それぞれ図1に示した基本構成を
備えたテレビ会議通信端末A及びBが、回線網を介して
相互に会議通信を行い、その一局面としてテレビ会議通
信端末Aがそのテレビカメラ1で実物Aを撮影して得た
動画像Aを自身のテレビモニタ3に表示すると共にテレ
ビ会議通信端末Bに送信し、テレビ会議通信端末Bがそ
の受信した動画像Aを自身のテレビモニタ3に表示する
ことにより、テレビ会議通信端末A及びBが同一動画像
として動画像Aを表示している状態を示している。
【0031】この場合、テレビ会議通信端末A側の会議
参加者は、動画像A中の特定部位をテレビ会議通信端末
B側の会議参加者に注目させたい場合には、動画像Aと
してテレビカメラ1で撮影されている実物Aはテレビ会
議通信端末A側にあるため、その実物Aを直接手や指等
で指し示すことにより、動画像Aの一部として手や指が
撮影されるようにすればよい。
【0032】しかし、テレビ会議通信端末B側の会議参
加者が、動画像A中の特定部位をテレビ会議通信端末A
側の会議参加者に注目させたい場合は、動画像Aとして
テレビカメラ1で撮影されている実物Aはテレビ会議通
信端末A側にあるため、その実物Aを直接手や指等で指
し示すことはできない。
【0033】そこで、本発明の第2の実施の形態では、
テレビ会議通信端末Bの制御装置5を図6に示す構成と
する。
【0034】同図において、端末Aからの動画像は、通
信制御部41により受信される。その受信される端末A
からの動画像は、図5に示されるように、実物Aを撮影
して得られる動画像Aである。
【0035】その端末Aからの動画像Aは、通信制御部
41から、動画像・位置・動き合成部42へ送られる。
動画像・位置・動き合成部42は、ポインティング・描
画デバイス43からの位置・動き情報に基づいて矢印形
状のポインタPを端末Aからの動画像Aに重畳してその
ポインタPを重畳した動画像Aを通信制御部31を介し
てテレビ会議通信端末Aへの動画像として送信する。ま
た、ポインタPを重畳した動画像Aは、テレビ会議通信
端末Bのテレビモニタ3にも同時に表示される。
【0036】図7は、その様子を示し、同図において、
テレビ会議通信端末B側の会議参加者は、テレビ会議通
信端末B側のテレビモニタ3に表示されたポインタPの
位置を確認しながら、マウス等のポインティング・描画
デバイス43を操作することにより、対応する動画像A
中の位置にポインタPが重畳されて、テレビ会議通信端
末B側で表示されると共にテレビ会議通信端末A側に送
信されてテレビ会議通信端末A側でも表示される。
【0037】これにより、ポインティング・描画デバイ
ス43の位置に対応して、テレビ会議通信端末A及びB
のテレビモニタ3に表示される動画像AにポインタPが
重畳表示され、テレビ会議通信端末B側の会議参加者
が、動画像A中の特定部位をテレビ会議通信端末A側の
会議参加者に注目させることができる。
【0038】また、そのために、テレビ会議通信端末A
側が新たな構成を備える必要はなく、テレビ会議通信端
末B側が図6に示した構成を備えていればよいため、テ
レビ会議通信端末Bと会議通信を行うテレビ会議通信端
末がITU−T勧告H・320準拠した動画像・音声の
みを扱える基本的な構成のテレビ会議通信端末であった
り、別メーカまたは別機種のテレビ会議通信端末で動画
像・音声以外のデータに互換性がなくても、いわゆるテ
レポインティングを行うことができる。
【0039】なお、ポインティング・描画デバイス43
の位置に対応する動画像A中の位置にポインタPを重畳
するのではなく、ポインティング・描画デバイス43の
移動軌跡(位置の変化)に対応して動画像A中に線画を
重畳すれば、いわゆるテレライティング行うことも可能
である。またポインティング・描画デバイス43として
は、マウス等の従来のポインティング・描画デバイスで
はなく、第1の実施の形態に示したような、画面中を移
動する位置指示物体の位置を認識して位置情報を抽出す
る構成としてもよい。そうすれば、テレビ会議通信端末
として必須な構成要素であるテレビモニタを用いてポイ
ンティング・描画デバイスを構成でき、マウス等のポイ
ンティング・描画デバイスを別に設ける必要がなくな
る。
【0040】さて、上記第1及び第2の実施の形態は、
本発明に係る機能を備えたテレビ会議通信端末と、本発
明に係る機能を必ずしも備えていないテレビ会議通信端
末との間でテレポインティングまははテレライティング
を行うものであったが、次に説明する第3の実施の形態
は、複数のテレビ会議通信端末に介在する多地点接続装
置が本発明に係る機能を備える場合である。
【0041】図8は、それぞれ図1に示した基本構成を
備えたテレビ会議通信端末A、B及びCが、回線網を経
由して多地点接続装置100を介して相互に会議通信を
行う場合を示している。
【0042】この接続形態において、テレビ会議通信端
末A、B及びCは、画像・音声のみに対応した基本的な
構成のテレビ会議通信端末であり、そのままでは、互い
にテレポインティングやテレライティングを行うことは
できない。そこで、この第3の実施の形態では、多地点
接続装置100を図9に示す構成とする。
【0043】いま、テレビ会議通信端末A、BまたはC
のうちのいずかれの端末がテレポインティングを行うた
めに、位置指示物体である鉛筆Pa、PbまたはPcを
それぞれ含む画面A、BまたはCを多地点接続装置10
0に送信すると、多地点接続装置100は、図9に示す
ように、通信制御部51a、bまたはcにより受信す
る。
【0044】その端末A、BまたはCからの画面A、B
またはCは、それぞれ通信制御部51a、bまたはcか
ら、指示物体A認識部52a、指示物体B認識部52b
または指示物体C認識部52cへ送られる。指示物体認
識部52a、bまたはcは、それぞれ指示・描画認識部
55a、bまたはcと協働して画面A、BまたはC中の
鉛筆a、bまたはcを識別し、指示物体位置情報抽出部
53a、bまたはc、及び、指示物体動き情報抽出部5
6a、bまたはcは、それぞれ指示物体認識部52a、
bまたはcで認識された鉛筆Pa、bまたはcの画面
A、BまたはC上の位置及びその動きを識別する。
【0045】指示物体位置情報抽出部53A、Bまたは
C、及び、指示物体動き情報抽出部56A、BまたはC
でそれぞれ識別された鉛筆Pa、bまたはcの位置・動
き情報は、動画・音声・位置・動き合成部54に送ら
れ、動画・音声・位置・動き合成部54は、鉛筆Pa、
bまたはcの位置・動き情報に基づいて、矢印形状のポ
インタPを、テレビカメラ装置A、B及びCに送信して
いる動画像Xに重畳して、そのポインタPを重畳した動
画像Xを通信制御部51a、bまたはc介してそれぞれ
テレビ会議通信端末A、BまたはCへの動画像として送
信する。
【0046】図8は、その様子を示し、同図において、
テレビ会議通信端末A、BまたはCのうちのいずれかの
会議参加者は、当該テレビ会議通信端末のテレビモニタ
3に表示されたポインタPの位置を確認しながら、手に
持った鉛筆Pa、bまたはcを画面A、BまたはC中で
移動させる。その画面A、BまたはC中の鉛筆Pa、b
またはcの位置は、多地点接続装置100側で抽出さ
れ、対応する動画像X中の位置にポインタPが重畳され
て、テレビ会議通信端末A、B及びCに送信されてテレ
ビ会議通信端末A、B及びC側で表示される。
【0047】これにより、画面A、BまたはC中の鉛筆
Pa、bまたはcの位置に対応して、テレビ会議通信端
末A、B及びCのテレビモニタ3に表示される動画像X
にポインタPが重畳表示され、テレビ会議通信端末A、
BまたはCのいずれかの会議参加者が、動画像X中の特
定部位を当該テレビ会議通信端末以外のテレビ会議通信
端末の会議参加者に注目させることができる。
【0048】また、そのために、テレビ会議通信端末
A、BまたはCが新たな構成を備える必要はなく、多地
点接続装置100側が図9に示した構成を備えていれば
よいため、テレビ会議通信端末A、B及びCがITU−
T勧告H・320準拠した動画像・音声のみを扱える基
本的な構成のテレビ会議通信端末であったり、別メーカ
または別機種のテレビ会議通信端末で動画像・音声以外
のデータに互換性がなくても、いわゆるテレポインティ
ングを行うことができる。
【0049】なお、鉛筆Pa、bまたはcの画面A、B
またはC中の位置に対応する動画像X中にポインタを重
畳するのではなく、鉛筆A、BまたはCの画面a、bま
たはc中の移動軌跡(位置の変化)に対応して動画像X
中に線画を重畳すれば、いわゆるテレライティングを行
うことも可能である。
【0050】次に、本発明に係る機能を持たないテレビ
会議通信端末から、本発明に係る機能を備えたテレビ会
議通信端末のモニタカメラの位置を遠隔制御するもので
ある本発明の第4の実施の形態について説明する。
【0051】いま、図2に示すように、本発明に係る機
能を持たないテレビ会議通信端末Bで位置指示物体とし
ての鉛筆Pを含む範囲をテレビカメラ1で撮影して得ら
れる画面Bを、本発明に係る機能を備え、その制御装置
5が図10に示す構成であるテレビ会議通信端末Aに送
信する。
【0052】その端末Bからの動画像としての画面B
は、図10に示すテレビ会議通信端末Aの制御装置5の
通信制御部61で受信され、指示物体認識部62へ送ら
れる。指示物体認識部62は、指示・描画認識部65と
協働して画面B中の鉛筆Pを識別し、指示物体位置情報
抽出部63及び指示物体動き情報抽出部66は、指示物
体認識部62で認識された鉛筆Pの画面上の位置及びそ
の動きを識別する。
【0053】指示物体位置情報抽出部63及び指示物体
動き情報抽出部66で識別された鉛筆Pの位置・動き情
報は、カメラ動き制御部64に送られ、カメラ動き制御
部64は、鉛筆Pの位置・動き情報に基づいて、テレビ
カメラ1の向きを制御する。
【0054】その場合のテレビカメラ1の向きの制御方
法としては、鉛筆Pの画面B中での上下左右の変位に応
じて、テレビカメラ1の向きを上下左右に変位させるの
が、直感的にわかり易い。
【0055】図2は、その様子を示し、同図において、
テレビ会議通信端末B側の会議参加者は、テレビ会議通
信端末A側のテレビカメラ1で撮影されてテレビ会議通
信端末Bに送信されてテレビモニタ3に表示された動画
像Aを確認しながら手に持った鉛筆Pを画面B中で移動
させる。その画面B中の鉛筆Pの位置・動きは、テレビ
会議通信端末A側で抽出され、その抽出された位置・動
きに対応する向きにモニタカメラ1の向きが制御され
る。
【0056】これにより、テレビ会議通信端末B側から
テレビ会議通信端末A側のモニタカメラ1の遠隔制御が
可能となる。
【0057】また、そのために、テレビ会議通信端末B
側が新たな構成を備える必要はなく、テレビ会議通信端
末A側が図10に示した構成を備えていればよいため、
テレビ会議通信端末Aと会議通信を行うテレビ会議通信
端末がITU−T勧告H・320準拠した動画像・音声
のみを扱える基本的な構成のテレビ会議通信端末であっ
たり、別メーカまたは別機種のテレビ会議通信端末で動
画像・音声以外のデータに互換性がなくても、モニタカ
メラの位置の遠隔制御が可能となる。
【0058】次に本発明の第5の実施の形態について説
明する。いま、図2に示すように、本発明に係る機能を
持たないテレビ会議通信端末Bで位置指示物体としての
鉛筆Pを含む範囲をテレビカメラ1で撮影して得られる
画面Bを、本発明に係る機能を備え、その制御装置5が
図11に示す構成であるテレビ会議通信端末Aに送信す
る。
【0059】図11において、端末Bからの動画像は、
通信制御部71により受信される。その受信される端末
Bからの動画像は、図2に示されるように、位置指示物
体としての鉛筆Pを含む範囲をテレビカメラ1で撮影し
て得られる画面Bである。
【0060】その端末Bからの動画像としての画面B
は、通信制御部71から、動画像合成前処理部72で送
られ、所定の前処理を施されて動画像合成処理部73へ
送られる。動画像合成処理部73は、テレビカメラ1で
撮影され、動画像合成前処理部76で所定の処理が施さ
れた動画像Aに、画面Bを合成する。
【0061】その合成動画像は、動画像合成後処理部7
4で所定の後処理を施された後、テレビ会議通信端末A
側のテレビモニタに表示されると共に、通信制御部31
を介してテレビ会議通信端末Bへの動画像として送信さ
れる。
【0062】図12は、その様子を示し、同図におい
て、テレビ会議通信端末B側の会議参加者は、テレビ会
議通信端末B側のテレビモニタ3に表示された鉛筆P
の、動画像Aに対する位置を確認しながら、手に持った
鉛筆Pを画面B中で移動させる。また、その移動する鉛
筆Pは、テレビ会議通信端末A側でも動画像Aに合成さ
れて表示されている。
【0063】これにより、画面B中の鉛筆Pの位置に対
応して、テレビ会議通信端末A及びBのテレビモニタ3
に表示される動画像Aに鉛筆Pがそのまま合成表示さ
れ、テレビ会議通信端末B側の会議参加者が、動画像A
中の特定部位をテレビ会議通信端末A側の会議参加者に
注目させることができる。
【0064】また、そのために、テレビ会議通信端末B
側が新たな構成を備える必要はなく、テレビ会議通信端
末A側が図11に示した構成を備えていればよいため、
テレビ会議通信端末Aと会議通信を行うテレビ会議通信
端末がITU−T勧告H・320準拠した動画像・音声
のみを扱える基本的な構成のテレビ会議通信端末であっ
たり、別メーカまたは別機種のテレビ会議通信端末で動
画像・音声以外のデータに互換性がなくても、いわゆる
テレポインティングを行うことができる。また、位置指
示物体である鉛筆Pを撮影した画面をそのまま目的動画
像に合成するため、鉛筆Pの画面上の位置や動きを検出
する必要がない。
【0065】次に本発明の第6の実施の形態について説
明する。
【0066】図13は、それぞれが図1に示した基本構
成を備えたテレビ会議通信端末A、B及びCが、回線網
を経由して多地点接続装置100を介して相互に会議通
信を行う場合を示している。
【0067】この接続形態において、テレビ会議通信端
末A、B及びCは、画像・音声のみに対応した基本的な
構成のテレビ会議通信端末である。いま、テレビ会議通
信端末A側の会議参加者が動画像(実物)Aの特定の部
位を、テレビ会議通信端末BまたはC側の会議参加者に
対して指し示したい場合は、その実物Aを直接指差し
て、実物Aと、その指差している手とが撮影された動画
像を多地点接続装置100を介してテレビ会議通信端末
B及びCに送信することにより行える。しかし、テレビ
会議通信端末B及びCの側の会議参加者が、実物Aの特
定部位を指し示す(テレポインティング)ことは、その
ままではできない。また、実物がテレビ会議通信端末B
やCの側に在る場合も、その他のテレビ会議通信端末側
からは当該実物を指し示すことができない。そこで、こ
の第6の実施の形態では、多地点接続装置100を図1
4に示す構成とする。
【0068】いま、テレビ会議通信端末BまたはCのう
ちのいずかれの端末が実物Aに対してテレポインティン
グを行うために、位置指示物体である鉛筆PbまたはP
cをそれぞれ含む画面BまたはCを多地点接続装置10
0に送信すると、多地点接続装置100は、図14に示
すように、通信制御部51bまたはcにより受信する。
なお、この場合は、テレビ会議通信端末Aの側にある実
物Aに対するテレポインティングであるため、多地点接
続装置100にテレビ会議通信端末Aからの位置指示物
体を含む画面は送信されないが、テレビ会議通信端末A
から他のテレビ会議通信端末に対してテレポインティン
グを行う場合もあるのはいうまでもない。
【0069】さて、端末BまたはCからの画面Bまたは
Cは、それぞれ通信制御部bまたはcから、動画像合成
前処理部bまたはcへ送られ、所定の前処理が施された
後動画・音声合成部83に送られる。一方、端末Aから
の動画像Aは、通信制御部Aで受信されて、動画像前処
理部82aで所定の前処理が施された後動画・音声合成
部83に送られる。
【0070】動画・音声合成部83は、動画像Aに画面
BまたはCを合成する。その合成動画像は、動画像合成
後処理部84a、bまたはcで所定の後処理が施された
後それぞれ通信制御部81a、bまたはcを介して端末
A、BまたはCに送信される。
【0071】図13は、その様子を示し、同図におい
て、テレビ会議通信端末BまたはCのうちのいずれかの
会議参加者は、当該テレビ会議通信端末のテレビモニタ
3に表示された鉛筆Pの位置を確認しながら、手に持っ
た鉛筆Pbまたはcを画面BまたはC中で移動させる。
その画面BまたはC中の鉛筆Pbまたはcは、多地点接
続装置100側で動画像Aに合成され、テレビ会議通信
端末A、B及びCに送信されてテレビ会議通信端末A、
B及びC側で表示される。
【0072】これにより、画面BまたはC中の鉛筆Pb
またはcの位置に対応して、テレビ会議通信端末A、B
及びCのテレビモニタ3に表示される動画像Aに鉛筆P
がそのまま合成表示され、テレビ会議通信端末Bまたは
Cのいずれかの会議参加者が、動画像A中の特定部位を
当該テレビ会議通信端末以外のテレビ会議通信端末側の
会議参加者に注目させることができる。
【0073】また、そのために、テレビ会議通信端末
A、BまたはCが新たな構成を備える必要はなく、多地
点接続装置100側が図14に示した構成を備えていれ
ばよいため、テレビ会議通信端末A、B及びCがITU
−T勧告H・320準拠した動画像・音声のみを扱える
基本的な構成のテレビ会議通信端末であったり、別メー
カまたは別機種のテレビ会議通信端末で動画像・音声以
外のデータに互換性がなくても、いわゆるテレポインテ
ィングを行うことができる。また、位置指示物体である
鉛筆Pbまたはcを撮影した画面をそのまま目的動画像
(動画像A)に合成するため、鉛筆Pbまたはcの画面
上の位置や動きを検出する必要がない。
【0074】
【発明の効果】請求項1に係る発明によれば、第1テレ
ビ会議通信端末は、第2テレビ会議通信端末に送信する
動画像にポインタまたは線画を重畳する場合は、そのポ
インタまたは線画を、位置指示用物体を含む範囲を撮影
して得られる画面から前記位置指示用物体の位置情報を
抽出して得られた位置情報に基づいて前記送信する動画
像に重畳して動画像の一部として送信するため、ポイン
タまたは線画の位置情報の伝送のために伝送容量の一部
を割く必要がなく、また、第2テレビ会議通信端末が本
発明に係る機能を持たないテレビ会議通信端末であって
も、最低限動画像を扱えればポインタまたは線画のやり
とりが可能となる。さらに、ポインタまたは線画は、送
受信される動画像に重畳された画像としてやりとりされ
るため、やりとりしている動画像の第1テレビ会議通信
端末における表示サイズと、第2テレビ会議通信端末に
おける表示サイズとが異なっていても、やりとりしてい
る動画像中の同一位置にポインタや線画を表示すること
ができる。また、ポインタまたは線画の位置情報の入力
手段として、テレビ会議通信端末の基本構成であるカメ
ラを利用するため、別途位置情報入力手段を備える必要
がない。
【0075】請求項2に係る発明によれば、第1テレビ
会議通信端末は、第2テレビ会議通信端末側のカメラの
位置を遠隔制御する場合は、位置指示用物体を含む範囲
を撮影して得られる画面を第2テレビ会議通信端末送信
し、第2テレビ会議通信端末側でその受信した画面から
前記位置指示用物体の位置情報を抽出してその位置情報
に基づいて前記カメラの向きを制御するため、カメラ位
置を制御するための位置情報の伝送のために伝送容量の
一部を割く必要がなく、また、第1テレビ会議通信端末
が本発明に係る機能を持たないテレビ会議通信端末であ
っても、最低限動画像を扱えればカメラの位置を遠隔制
御が可能となる。また、カメラの位置情報の入力手段と
して、テレビ会議通信端末の基本構成であるカメラを利
用するため、別途位置情報入力手段を備える必要がな
い。
【0076】請求項3に係る発明によれば、第1テレビ
会議通信端末は、第2テレビ会議通信端末から受信する
動画像にポインタまたは線画を重畳する場合は、位置指
示用物体を含む範囲を撮影して得られる画面を第2テレ
ビ会議通信端末に送信し、第2テレビ会議通信端末では
受信した画面から前記位置指示用物体の位置情報を抽出
して得られた位置情報に基づいて前記第1テレビ会議通
信端末に送信する動画像に重畳して動画像の一部として
送信するため、ポインタまたは線画の位置情報の伝送の
ために伝送容量の一部を割く必要がなく、また、第1テ
レビ会議通信端末が本発明に係る機能を持たないテレビ
会議通信端末であっても、最低限動画像を扱えればポイ
ンタまたは線画のやりとりが可能となる。さらに、ポイ
ンタまたは線画は、送受信される動画像に重畳された画
像としてやりとりされるため、やりとりしている動画像
の第1テレビ会議通信端末における表示サイズと、第2
テレビ会議通信端末における表示サイズとが異なってい
ても、やりとりしている動画像中の同一位置にポインタ
や線画を表示することができる。また、ポインタまたは
線画の位置情報の入力手段として、テレビ会議通信端末
の基本構成であるカメラを利用するため、別途位置情報
入力手段を備える必要がない。
【0077】請求項4に係る発明によれば、第2テレビ
会議通信端末は、第1テレビ会議通信端末から受信した
動画像にポインタまたは線画を重畳する場合は、位置情
報入力手段により入力した位置情報に基づいて表示する
ポインタまたは線画を作成して、その作成した線画を第
1テレビ会議通信端末から受信した動画像の一部として
重畳して、その重畳した動画像を第1テレビ会議通信端
末に送信するため、ポインタまたは線画の位置情報の伝
送のために伝送容量の一部を割く必要がなく、また、第
1テレビ会議通信端末が本発明に係る機能を持たないテ
レビ会議通信端末であっても、最低限動画像を扱えれば
ポインタまたは線画のやりとりが可能となる。さらに、
ポインタまたは線画は、送受信される動画像に重畳され
た画像としてやりとりされるため、やりとりしている動
画像の第1テレビ会議通信端末における表示サイズと、
第2テレビ会議通信端末における表示サイズとが異なっ
ていても、やりとりしている動画像中の同一位置にポイ
ンタや線画は表示することができる。
【0078】請求項5に係る発明によれば、複数のテレ
ビ会議通信端末のうちのいずれかが他のテレビ会議通信
端末とやりとりする動画像にポインタを重畳する場合
は、当該テレビ会議通信端末が位置指示用物体を含む範
囲を撮影して得られる画面を前記多地点接続装置に送信
し、その多地点接続装置が受信した画面を動画像に重畳
してその重畳された動画像を前記各テレビ会議通信端末
に送信することにより、位置指示用物体がポインタの代
わりとして動画像の一部として重畳されるため、ポイン
タの位置情報の伝送のために伝送容量の一部を割く必要
がなく、また、各テレビ会議通信端末が本発明に係る機
能を持たないテレビ会議通信端末であっても、最低限動
画像を扱えれば実質的にポインタのやりとりが可能とな
る。さらに、ポインタ(位置指示物体)は送受信される
動画像に重畳された画像としてやりとりされるため、や
りとりしている動画像のあるテレビ会議通信端末におけ
る表示サイズと、別のテレビ会議通信端末における表示
サイズとが異なっていても、やりとりしている動画像中
の同一位置にポインタを表示することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係るテレビ会議通信端末
の基本構成を示す図である。
【図2】回線網を介して会議通信を行うテレビ会議通信
端末を示す図である。
【図3】本発明の第1の実施の形態に係る制御装置のブ
ロック構成図である。
【図4】本発明の第1の実施の形態に係るポインタの表
示例である。
【図5】回線網を介して会議通信を行うテレビ会議通信
端末を示す図である。
【図6】本発明の第2の実施の形態に係る制御装置のブ
ロック構成図である。
【図7】本発明の第2の実施の形態に係るポインタの表
示例である。
【図8】回線網を経由し多地点接続装置を介して会議通
信を行うテレビ会議通信端末を示す図である。
【図9】本発明の第3の実施の形態に係る多地点接続装
置のブロック構成図である。
【図10】本発明の第4の実施の形態に係る制御装置の
ブロック構成図である。
【図11】本発明の第5の実施の形態に係る制御装置の
ブロック構成図である。
【図12】本発明の第5の実施の形態に係るポインタ
(位置指示用物体)の表示例である。
【図13】回線網を経由し多地点接続装置を介して会議
通信を行うテレビ会議通信端末を示す図である。
【図14】本発明の第6の実施の形態に係る多地点接続
装置のブロック構成図である。
【符号の説明】
1 テレビカメラ 2 マイク 3 テレビモニタ 4 スピーカ 5 制御装置 31、41、51a、51b、51c、61、71、8
1a、81b、81c通信制御部 32、62 指示物体認識部 33、63 指示物体位置情報抽出部 34 位置・動き合成部 35、65 指示・描画認識部 36、66 指示物体動き情報抽出部 42 動画像・位置・動き合成部 43 ポインティング・描画デバイス 52a、52b、52c 指示物体認識部 53a、53b、53c 指示物体位置情報抽出部 54 動画・音声・位置・動き合成部 55a、55b、55c 指示・描画認識部 56a、56b、56c 指示物体動き情報抽出部 64 カメラ動き制御部 72、76、82a、82b、82c 動画像合成前処
理部 73 動画像合成処理部 74、84a、84b、84c 動画像合成後処理部 83 動画・音声合成部 100 多地点接続装置 P ポインタ、鉛筆

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも第1及び第2の2つのテレビ
    会議通信端末間で少なくとも動画像とこの動画像上に重
    畳表示すべきポインタまたは線画の位置情報を必要に応
    じて送受信するテレビ会議システムにおいて、 第1テレビ会議通信端末では、位置指示用物体を含む範
    囲を撮影して得られる画面から前記位置指示用物体の位
    置情報を抽出し、この位置情報に基づいて表示するポイ
    ン夕又は線画を作成し、これを動画像に重畳して送信す
    ることを特徴とするテレビ会議システム。
  2. 【請求項2】 第1のテレビ会議通信端末から第2のテ
    レビ会議通信端末にカメラの位置情報を送信する一方、
    第2のテレビ会議通信端末でこの位置情報に基づいて撮
    影した画面を第1テレビ会議通信端末に送信するテレビ
    会議システムにおいて、 第1テレビ会議通信端末では位置指示用物体を含む範囲
    を撮影して得られる画面を送信し、第2テレビ会議通信
    端末では受信した画面から前記位置指示用物体の位置情
    報を抽出し、その位置情報に基づいて前記カメラの向き
    を制御することを特徴とするテレビ会議システム。
  3. 【請求項3】 少なくとも第1及び第2の2つのテレビ
    会議通信端末間で少なくとも動画像とこの動画像上に重
    畳表示すべきポインタまたは線画の位置情報を必要に応
    じて送受信するテレビ会議システムにおいて、 第1テレビ会議通信端末では位置指示用物体を含む範囲
    を撮影して得られる画面を送信し、第2テレビ会議通信
    端末では受信した画面から前記位置指示用物体の位置情
    報を抽出して前記動画像に重畳すべきポインタ又は線画
    の位置を決め、その重畳された動画像を第1テレビ会議
    通信端末に送信することを特徴とするテレビ会議システ
    ム。
  4. 【請求項4】 少なくとも第1及び第2の2つのテレビ
    会議通信端末間で少なくとも動画像とこの動画像上に重
    畳表示すべきポインタまたは線画の位置情報を必要に応
    じて送受信するテレビ会議システムにおいて、 第1テレビ会議通信端末では位置情報入力手段により入
    力した位置情報に基づいて表示するポインタまたは線画
    を作成し、これを第2テレビ会議通信端末から受信した
    動画像に重畳して、その重畳された動画像を第2テレビ
    会議通信端末に送信することを特徴とするテレビ会議シ
    ステム。
  5. 【請求項5】 複数のテレビ会議通信端末が多地点接続
    装置を介して少なくとも動画像とこの動画像上に重畳表
    示すべきポインタの位置情報を必要に応じて送受信する
    テレビ会議システムにおいて、 前記複数のテレビ会議通信端末のうちのいずれかが位置
    指示用物体を含む範囲を撮影して得られる画面を前記多
    地点接続装置に送信し、その多地点接続装置では受信し
    た画面を動画像に重畳して、その重畳された動画像を前
    記各テレビ会議通信端末に送信することを特徴とするテ
    レビ会議システム。
JP34508195A 1995-12-08 1995-12-08 テレビカメラ通信装置及び多地点接続装置 Expired - Fee Related JP3759216B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34508195A JP3759216B2 (ja) 1995-12-08 1995-12-08 テレビカメラ通信装置及び多地点接続装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34508195A JP3759216B2 (ja) 1995-12-08 1995-12-08 テレビカメラ通信装置及び多地点接続装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003374472A Division JP4223922B2 (ja) 2003-11-04 2003-11-04 テレビカメラ通信装置

Publications (2)

Publication Number Publication Date
JPH09163336A true JPH09163336A (ja) 1997-06-20
JP3759216B2 JP3759216B2 (ja) 2006-03-22

Family

ID=18374159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34508195A Expired - Fee Related JP3759216B2 (ja) 1995-12-08 1995-12-08 テレビカメラ通信装置及び多地点接続装置

Country Status (1)

Country Link
JP (1) JP3759216B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165196A (ja) * 2000-11-27 2002-06-07 Sumitomo Electric Ind Ltd 双方向情報交換装置、双方向情報交換方法
WO2006011399A1 (ja) * 2004-07-27 2006-02-02 Sony Corporation 情報処理装置および方法、記録媒体、並びにプログラム
JP2009232290A (ja) * 2008-03-24 2009-10-08 Sharp Corp 画像通信システムおよび画像通信方法
JP2015070543A (ja) * 2013-09-30 2015-04-13 株式会社リコー 伝送端末、伝送方法、及びプログラム
WO2020054605A1 (ja) * 2018-09-12 2020-03-19 シャープ株式会社 映像表示装置、映像処理装置
WO2020162154A1 (ja) * 2019-02-04 2020-08-13 ソニー株式会社 情報処理装置および情報処理方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165196A (ja) * 2000-11-27 2002-06-07 Sumitomo Electric Ind Ltd 双方向情報交換装置、双方向情報交換方法
WO2006011399A1 (ja) * 2004-07-27 2006-02-02 Sony Corporation 情報処理装置および方法、記録媒体、並びにプログラム
JP2006041884A (ja) * 2004-07-27 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US8099460B2 (en) 2004-07-27 2012-01-17 Sony Corporation Information processing device and method, recording medium, and program
US8856231B2 (en) 2004-07-27 2014-10-07 Sony Corporation Information processing device and method, recording medium, and program
JP2009232290A (ja) * 2008-03-24 2009-10-08 Sharp Corp 画像通信システムおよび画像通信方法
JP2015070543A (ja) * 2013-09-30 2015-04-13 株式会社リコー 伝送端末、伝送方法、及びプログラム
WO2020054605A1 (ja) * 2018-09-12 2020-03-19 シャープ株式会社 映像表示装置、映像処理装置
WO2020162154A1 (ja) * 2019-02-04 2020-08-13 ソニー株式会社 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
JP3759216B2 (ja) 2006-03-22

Similar Documents

Publication Publication Date Title
JP4636139B2 (ja) テレビ会議端末装置、画像送信方法
US20100118112A1 (en) Group table top videoconferencing device
KR20060083883A (ko) 카메라 제어 장치, 카메라 시스템, 전자 회의 시스템 및카메라 제어 방법
WO2012072008A1 (zh) 视频信号的辅助信息叠加方法及装置
JP2009044510A (ja) 移動機、サーバ、および、移動機における映像再生方法
WO2017222258A1 (ko) 3d 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법
JP4461739B2 (ja) 撮像装置
US20250211710A1 (en) Conference device with multi-videostream capability
JPH08163522A (ja) テレビ会議システムおよび端末装置
JP2001136501A (ja) 視線一致テレビ会議装置
JPH09271006A (ja) 多地点テレビ会議装置
JP2010171690A (ja) テレビ会議システムおよび映像通信方法
JPH09163336A (ja) テレビ会議システム
JP4649640B2 (ja) 画像処理方法、画像処理装置、及びコンテンツ作成システム
JP4223922B2 (ja) テレビカメラ通信装置
JP2010004480A (ja) 撮像装置、その制御方法及びプログラム
JP2023111906A5 (ja) ミーティングデバイス、端末装置、遠隔会議システム
JPH0746564A (ja) テレビ会議装置
JP2009065490A (ja) テレビ会議装置
JPH06141312A (ja) テレビ会議装置
JP5154020B2 (ja) テレビ電話システム及びテレビ電話端末装置並びにテレビ電話画像表示方法
JP6766392B2 (ja) 情報処理システム、情報処理端末、その制御方法および制御プログラム
EP4050890A1 (en) Conference device with multi-videostream control
JP2001053947A (ja) 画像情報伝達装置および画像情報伝達システム
JP2002262138A (ja) 撮像システム、テレビ会議システム、監視システムおよび撮像機能を有した情報端末機器

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20031202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040204

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040209

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20040227

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051228

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100113

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110113

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120113

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130113

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140113

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees