JPH11144024A - 画像合成装置、画像合成方法及び媒体 - Google Patents
画像合成装置、画像合成方法及び媒体Info
- Publication number
- JPH11144024A JPH11144024A JP30125497A JP30125497A JPH11144024A JP H11144024 A JPH11144024 A JP H11144024A JP 30125497 A JP30125497 A JP 30125497A JP 30125497 A JP30125497 A JP 30125497A JP H11144024 A JPH11144024 A JP H11144024A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- information
- display
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Position Input By Displaying (AREA)
- Closed-Circuit Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】あらかじめ記憶させられた現実物と仮想物体の
組み合わせでしか合成画像が生成できないという課題。 【解決手段】情報が記された書類を撮像するカメラ１
と、ペン等による書類上の指示位置を検出する指示位置
検出部２と、その指示位置に記されている指示情報の特
徴量を検出する指示情報検出部３と、指示情報の特徴量
に基づき指示情報を装飾する画像を生成する付加画像生
成部４と，生成された付加画像を記憶する付加画像生成
部５と，その指示位置に応じて情報の付加方法を決定す
る指示位置別情報付加方法決定部６と，カメラ１の映像
と付加画像を合成する画像合成部７を備えた画像構成装
置により、ペン等による指示位置，指示領域および指示
情報の特徴量に応じて適切な付加画像を生成し，表示部
８に合成・表示する。
組み合わせでしか合成画像が生成できないという課題。 【解決手段】情報が記された書類を撮像するカメラ１
と、ペン等による書類上の指示位置を検出する指示位置
検出部２と、その指示位置に記されている指示情報の特
徴量を検出する指示情報検出部３と、指示情報の特徴量
に基づき指示情報を装飾する画像を生成する付加画像生
成部４と，生成された付加画像を記憶する付加画像生成
部５と，その指示位置に応じて情報の付加方法を決定す
る指示位置別情報付加方法決定部６と，カメラ１の映像
と付加画像を合成する画像合成部７を備えた画像構成装
置により、ペン等による指示位置，指示領域および指示
情報の特徴量に応じて適切な付加画像を生成し，表示部
８に合成・表示する。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、現実の物体とコン
ピュータ内の仮想物体との合成画像の作成装置に利用可
能な、画像合成装置、画像合成方法及び媒体に関する。
ピュータ内の仮想物体との合成画像の作成装置に利用可
能な、画像合成装置、画像合成方法及び媒体に関する。
【０００２】
【従来の技術】従来、カメラで撮影している現実物を、
その現実物に付加されたカラーコードで識別し、その現
実物に関連した情報をカメラの映像にスーパーインポー
ズで合成するシステムとして、情報処理方法およびその
装置が提案されている。
その現実物に付加されたカラーコードで識別し、その現
実物に関連した情報をカメラの映像にスーパーインポー
ズで合成するシステムとして、情報処理方法およびその
装置が提案されている。
【０００３】例えば、この様な装置をモニター一体型ビ
デオカメラに搭載し、カラーコードが付加された絵画を
写せば、その絵画に関する説明がモニター上に表示され
るといった情報提供システムが実現できる。
デオカメラに搭載し、カラーコードが付加された絵画を
写せば、その絵画に関する説明がモニター上に表示され
るといった情報提供システムが実現できる。
【０００４】また、仮想物体と現実物とのインタラクシ
ョンを行うシステムとして、Proceedings of UIST'91,
ACM, pp.27-33 および Communications of the ACM,vol
36, no.7, pp.86-96,1993記載の「Digital Desk」が知
られている。
ョンを行うシステムとして、Proceedings of UIST'91,
ACM, pp.27-33 および Communications of the ACM,vol
36, no.7, pp.86-96,1993記載の「Digital Desk」が知
られている。
【０００５】このシステムでは、机の上方にカメラとプ
ロジェクタが備えれている。そして、例えば、机の上の
紙（現実物）に書かれた情報の中から、オペレータが画
像として抽出したいと思う、例えば、数値列や絵等の範
囲を指やペンで指定すると、その数値列等の画像が自動
的に抽出される。一方、予め、システムが記憶している
別の絵の画像（仮想物体）として、例えば、卓上の小型
計算機の画像等がプロジェクタにより机の上の別の紙
（現実物）に投影されている。そして、この卓上の小型
計算機の画像と、上述の抽出された数値列の画像とが合
成されて、同じ紙面上に投影される。この投影画像は、
あたかも、投影されている卓上の小型計算機のキーを操
作して、上記数値列を入力して、その数値列が表示され
たかのような状態を表す合成画像である。このように、
このシステムは、現実の物体の画像と仮想物体の画像と
の画像合成装置として使用できる。
ロジェクタが備えれている。そして、例えば、机の上の
紙（現実物）に書かれた情報の中から、オペレータが画
像として抽出したいと思う、例えば、数値列や絵等の範
囲を指やペンで指定すると、その数値列等の画像が自動
的に抽出される。一方、予め、システムが記憶している
別の絵の画像（仮想物体）として、例えば、卓上の小型
計算機の画像等がプロジェクタにより机の上の別の紙
（現実物）に投影されている。そして、この卓上の小型
計算機の画像と、上述の抽出された数値列の画像とが合
成されて、同じ紙面上に投影される。この投影画像は、
あたかも、投影されている卓上の小型計算機のキーを操
作して、上記数値列を入力して、その数値列が表示され
たかのような状態を表す合成画像である。このように、
このシステムは、現実の物体の画像と仮想物体の画像と
の画像合成装置として使用できる。
【０００６】また、Proceedings of CHI'92, ACM, pp.5
87-592では，指よりも高精度な指示を行うために机の一
部にタブレットを搭載することを開示している。
87-592では，指よりも高精度な指示を行うために机の一
部にタブレットを搭載することを開示している。
【０００７】
【発明が解決しようとする課題】しかし、上記の従来の
情報処理方法およびその装置では、カラーコードを用い
て現実物を識別して、それに関する情報の画像をスーパ
ーインポーズで表示することは開示されているが、実際
の書類などの現実の物に対して、オペレータが指定した
位置から所望の情報の画像を自動的にとりだし、それを
仮想物体の画像とともに加工して表示することは出来な
いという課題があった。
情報処理方法およびその装置では、カラーコードを用い
て現実物を識別して、それに関する情報の画像をスーパ
ーインポーズで表示することは開示されているが、実際
の書類などの現実の物に対して、オペレータが指定した
位置から所望の情報の画像を自動的にとりだし、それを
仮想物体の画像とともに加工して表示することは出来な
いという課題があった。
【０００８】即ち、上記従来のシステムでは、オペレー
タが所望する情報の画像を現実物から自動的に抽出する
ことができないので、あらかじめ記憶させられた現実物
と仮想物体の組み合わせでしか合成画像が生成できない
という課題が有った。
タが所望する情報の画像を現実物から自動的に抽出する
ことができないので、あらかじめ記憶させられた現実物
と仮想物体の組み合わせでしか合成画像が生成できない
という課題が有った。
【０００９】一方、従来のシステムでは、例えば、指や
ペン入力により、画像として抽出したい対象物につい
て、その物体や情報の数だけ概略の領域を指定しなけれ
ば複数の物体の画像をそれぞれ独立して抽出できなかっ
た。そのため、対象物の数や処理する画像の枚数が多い
場合、画像として抽出したい対象物の指定処理が、装置
のオペレータにとって多大なる負担になるという課題を
有していた。
ペン入力により、画像として抽出したい対象物につい
て、その物体や情報の数だけ概略の領域を指定しなけれ
ば複数の物体の画像をそれぞれ独立して抽出できなかっ
た。そのため、対象物の数や処理する画像の枚数が多い
場合、画像として抽出したい対象物の指定処理が、装置
のオペレータにとって多大なる負担になるという課題を
有していた。
【００１０】本発明は、上記従来の装置の課題を考慮
し、例えば、オーバーヘッドカメラを用いたプレゼンテ
ーション等に応用出来る、現実物と仮想物体との画像合
成装置として、例えば、書類に記された情報の中で、強
調したい情報の一部を指示棒等で指示すれば、オペレー
タが強調したい情報の領域や、その強調したい情報が文
字であるのか、あるいは写真であるのかといったその情
報の特徴を自動的に検出し、下線や網掛けなどの、その
情報の特徴にあった装飾処理が自動的に行うことが出来
る画像合成装置、画像合成方法及び媒体を提供すること
を目的とする。
し、例えば、オーバーヘッドカメラを用いたプレゼンテ
ーション等に応用出来る、現実物と仮想物体との画像合
成装置として、例えば、書類に記された情報の中で、強
調したい情報の一部を指示棒等で指示すれば、オペレー
タが強調したい情報の領域や、その強調したい情報が文
字であるのか、あるいは写真であるのかといったその情
報の特徴を自動的に検出し、下線や網掛けなどの、その
情報の特徴にあった装飾処理が自動的に行うことが出来
る画像合成装置、画像合成方法及び媒体を提供すること
を目的とする。
【００１１】また、本発明は、上記従来のシステムのこ
のような課題を考慮し、例えば、抽出したい複数物体を
ディスプレイ上に置き、それらすべてを包含するような
閉曲線を１つ与えるだけで、それぞれの物体の画像を独
立に抽出できる輪郭抽出機能を備えた画像合成装置、画
像合成方法及び媒体を提供することを目的とする。
のような課題を考慮し、例えば、抽出したい複数物体を
ディスプレイ上に置き、それらすべてを包含するような
閉曲線を１つ与えるだけで、それぞれの物体の画像を独
立に抽出できる輪郭抽出機能を備えた画像合成装置、画
像合成方法及び媒体を提供することを目的とする。
【００１２】
【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の本発明は、所定の撮像手段と、情報
が表された面に与えられる指示情報の位置を、前記撮像
手段により撮像された画像から検出する指示位置検出手
段と、前記指示位置検出手段により検出された指示位置
に対応して前記面上に表されている指示対象の情報の領
域及び／又はその指示対象の情報の特徴量を検出する指
示対象情報検出手段と、前記領域及び／又は前記特徴量
に基づき前記指示対象情報の画像に付加する付加画像を
生成する付加画像生成手段と、前記撮像手段により得ら
れた前記指示対象情報の画像と、前記生成された付加画
像とを合成する画像合成手段とを備えた画像合成装置で
ある。
に、請求項１記載の本発明は、所定の撮像手段と、情報
が表された面に与えられる指示情報の位置を、前記撮像
手段により撮像された画像から検出する指示位置検出手
段と、前記指示位置検出手段により検出された指示位置
に対応して前記面上に表されている指示対象の情報の領
域及び／又はその指示対象の情報の特徴量を検出する指
示対象情報検出手段と、前記領域及び／又は前記特徴量
に基づき前記指示対象情報の画像に付加する付加画像を
生成する付加画像生成手段と、前記撮像手段により得ら
れた前記指示対象情報の画像と、前記生成された付加画
像とを合成する画像合成手段とを備えた画像合成装置で
ある。
【００１３】又、請求項１５記載の本発明は、所定の撮
像手段と、前記撮像手段により撮像された、所定の面に
表された情報及び／又は複数の物体の内、画像抽出の対
象の候補となるべき複数の抽出対象候補を取り囲む閉曲
線情報を検出する閉曲線情報検出手段と、前記検出され
た閉曲線情報と前記抽出対象候補の画像の情報とに基づ
いて、前記取り囲まれた複数の抽出対象候補の画像か
ら、それぞれの抽出対象候補の画像を個別的に抽出する
個別抽出手段と、前記個別的に抽出された画像を利用し
て画像合成を行う画像合成手段とを備えた画像合成装置
である。
像手段と、前記撮像手段により撮像された、所定の面に
表された情報及び／又は複数の物体の内、画像抽出の対
象の候補となるべき複数の抽出対象候補を取り囲む閉曲
線情報を検出する閉曲線情報検出手段と、前記検出され
た閉曲線情報と前記抽出対象候補の画像の情報とに基づ
いて、前記取り囲まれた複数の抽出対象候補の画像か
ら、それぞれの抽出対象候補の画像を個別的に抽出する
個別抽出手段と、前記個別的に抽出された画像を利用し
て画像合成を行う画像合成手段とを備えた画像合成装置
である。
【００１４】又、請求項１６記載の本発明は、所定の撮
像手段と、前記撮像手段により撮像された情報の内、指
示対象となるべき複数の指示対象情報を取り囲む閉曲線
情報を検出する閉曲線情報検出手段と、前記検出された
閉曲線情報と前記指示対象情報の画像情報とに基づい
て、前記取り囲まれた複数の指示対象情報の画像から、
それぞれの指示対象情報の画像を個別的に抽出する個別
抽出手段と、前記個別的に抽出された画像の領域及び／
又はその画像の特徴量を検出する指示情報検出部と、前
記検出された前記画像の領域及び／又は前記画像の特徴
量に基づき、前記指示対象情報の画像に付加する付加画
像を生成する付加画像生成部と、前記撮像手段により得
られた前記指示対象情報の画像と、前記生成された付加
画像とを合成する画像合成手段とを備えた画像合成装置
である。
像手段と、前記撮像手段により撮像された情報の内、指
示対象となるべき複数の指示対象情報を取り囲む閉曲線
情報を検出する閉曲線情報検出手段と、前記検出された
閉曲線情報と前記指示対象情報の画像情報とに基づい
て、前記取り囲まれた複数の指示対象情報の画像から、
それぞれの指示対象情報の画像を個別的に抽出する個別
抽出手段と、前記個別的に抽出された画像の領域及び／
又はその画像の特徴量を検出する指示情報検出部と、前
記検出された前記画像の領域及び／又は前記画像の特徴
量に基づき、前記指示対象情報の画像に付加する付加画
像を生成する付加画像生成部と、前記撮像手段により得
られた前記指示対象情報の画像と、前記生成された付加
画像とを合成する画像合成手段とを備えた画像合成装置
である。
【００１５】又、請求項１７記載の本発明は、入力表示
一体型ディスプレイと、前記ディスプレイの表示部の少
なくとも一部を撮像する撮像手段と、前記ディスプレイ
上に置かれた複数の現実の物体の内、画像抽出の対象の
候補となるべき複数の物体を取り囲む閉曲線情報を検出
する閉曲線情報検出手段と、前記検出された閉曲線情報
と、前記撮像手段により撮像された前記取り囲まれた複
数の物体の画像の情報とに基づいて、前記取り囲まれた
複数の物体の画像から、それぞれの物体の画像を個別的
に抽出する個別抽出手段と、前記個別的に抽出された画
像を用いて、前記ディスプレイに表示する付加画像を生
成する付加画像生成部と、前記生成された付加画像のデ
ィスプレイへの表示方法を選択する表示方法選択部と、
前記選択された表示方法に基づき前記付加画像と前記現
実の物体の画像とを合成する画像合成手段とを備えた画
像合成装置である。
一体型ディスプレイと、前記ディスプレイの表示部の少
なくとも一部を撮像する撮像手段と、前記ディスプレイ
上に置かれた複数の現実の物体の内、画像抽出の対象の
候補となるべき複数の物体を取り囲む閉曲線情報を検出
する閉曲線情報検出手段と、前記検出された閉曲線情報
と、前記撮像手段により撮像された前記取り囲まれた複
数の物体の画像の情報とに基づいて、前記取り囲まれた
複数の物体の画像から、それぞれの物体の画像を個別的
に抽出する個別抽出手段と、前記個別的に抽出された画
像を用いて、前記ディスプレイに表示する付加画像を生
成する付加画像生成部と、前記生成された付加画像のデ
ィスプレイへの表示方法を選択する表示方法選択部と、
前記選択された表示方法に基づき前記付加画像と前記現
実の物体の画像とを合成する画像合成手段とを備えた画
像合成装置である。
【００１６】請求項１８記載の本発明は、入力表示一体
型ディスプレイと、前記ディスプレイの表示部の少なく
とも一部を撮像するカメラと、前記ディスプレイ上に置
かれた複数の現実の物体の内、画像抽出の対象の候補と
なるべき複数の物体を取り囲む閉曲線情報を検出する閉
曲線情報検出手段と、前記検出された閉曲線情報と、前
記撮像手段により撮像された前記取り囲まれた複数の物
体の画像の情報とに基づいて、前記取り囲まれた複数の
物体の画像から、それぞれの物体の画像を個別的に抽出
する個別抽出手段と、前記個別的に抽出された画像を用
いて、前記ディスプレイに表示する付加画像を生成する
付加画像生成部と、前記生成された付加画像のディスプ
レイへの表示方法を選択する表示方法選択部と、前記選
択された表示方法に基づき前記ディスプレイ上に表示さ
れた前記付加画像と、前記ディスプレイ上に置かれた現
実の物体とを前記カメラに撮像させる制御部とを備えた
画像合成装置である。
型ディスプレイと、前記ディスプレイの表示部の少なく
とも一部を撮像するカメラと、前記ディスプレイ上に置
かれた複数の現実の物体の内、画像抽出の対象の候補と
なるべき複数の物体を取り囲む閉曲線情報を検出する閉
曲線情報検出手段と、前記検出された閉曲線情報と、前
記撮像手段により撮像された前記取り囲まれた複数の物
体の画像の情報とに基づいて、前記取り囲まれた複数の
物体の画像から、それぞれの物体の画像を個別的に抽出
する個別抽出手段と、前記個別的に抽出された画像を用
いて、前記ディスプレイに表示する付加画像を生成する
付加画像生成部と、前記生成された付加画像のディスプ
レイへの表示方法を選択する表示方法選択部と、前記選
択された表示方法に基づき前記ディスプレイ上に表示さ
れた前記付加画像と、前記ディスプレイ上に置かれた現
実の物体とを前記カメラに撮像させる制御部とを備えた
画像合成装置である。
【００１７】又、請求項１９記載の本発明は、入力表示
一体型ディスプレイと、前記ディスプレイの表示部の少
なくとも一部を撮像する撮像手段と、前記ディスプレイ
上に置かれた現実の物体を指示するための指示位置情報
を検出する指示位置検出部と、前記検出された指示位置
情報に基づいて、前記撮像手段により撮像された画像か
ら、前記現実の物体の画像を抽出する現実物抽出手段
と、前記抽出された画像を用いて、前記ディスプレイに
表示する付加画像を生成する付加画像生成部と、前記生
成された付加画像のディスプレイへの表示方法を選択す
る表示方法選択部と、前記選択された表示方法に基づき
前記付加画像と前記現実の物体の画像とを合成する画像
合成手段とを備えた画像合成装置である。
一体型ディスプレイと、前記ディスプレイの表示部の少
なくとも一部を撮像する撮像手段と、前記ディスプレイ
上に置かれた現実の物体を指示するための指示位置情報
を検出する指示位置検出部と、前記検出された指示位置
情報に基づいて、前記撮像手段により撮像された画像か
ら、前記現実の物体の画像を抽出する現実物抽出手段
と、前記抽出された画像を用いて、前記ディスプレイに
表示する付加画像を生成する付加画像生成部と、前記生
成された付加画像のディスプレイへの表示方法を選択す
る表示方法選択部と、前記選択された表示方法に基づき
前記付加画像と前記現実の物体の画像とを合成する画像
合成手段とを備えた画像合成装置である。
【００１８】又、請求項２５記載の本発明は、情報が表
された面の所定の位置を指示情報により指示し、前記面
に表された前記情報と、前記指示情報とを撮像し、その
撮像結果から前記指示情報により指示された指示位置を
検出し、前記指示位置に対応して前記面上に表されてい
る指示対象の情報の領域及び／又は特徴量を検出し、前
記指示対象情報の領域及び／又は特徴量に基づき、前記
指示対象情報の画像に付加する付加画像を生成し、前記
指示対象情報の画像と前記生成された付加画像とを合成
する画像合成方法である。
された面の所定の位置を指示情報により指示し、前記面
に表された前記情報と、前記指示情報とを撮像し、その
撮像結果から前記指示情報により指示された指示位置を
検出し、前記指示位置に対応して前記面上に表されてい
る指示対象の情報の領域及び／又は特徴量を検出し、前
記指示対象情報の領域及び／又は特徴量に基づき、前記
指示対象情報の画像に付加する付加画像を生成し、前記
指示対象情報の画像と前記生成された付加画像とを合成
する画像合成方法である。
【００１９】又、請求項２７記載の本発明は、所定の面
に表された情報及び／又は複数の物体を撮像し、前記撮
像された前記情報及び／又は前記複数の物体の内、画像
抽出の対象の候補となるべき複数の抽出対象候補を取り
囲む閉曲線を与え、前記与えられた閉曲線情報を検出
し、前記検出された閉曲線情報と前記抽出対象候補の画
像の情報とに基づいて、前記取り囲まれた複数の抽出対
象候補の画像から、それぞれの抽出対象候補の画像を個
別的に抽出し、前記個別的に抽出された画像を利用して
画像合成を行う画像合成方法である。
に表された情報及び／又は複数の物体を撮像し、前記撮
像された前記情報及び／又は前記複数の物体の内、画像
抽出の対象の候補となるべき複数の抽出対象候補を取り
囲む閉曲線を与え、前記与えられた閉曲線情報を検出
し、前記検出された閉曲線情報と前記抽出対象候補の画
像の情報とに基づいて、前記取り囲まれた複数の抽出対
象候補の画像から、それぞれの抽出対象候補の画像を個
別的に抽出し、前記個別的に抽出された画像を利用して
画像合成を行う画像合成方法である。
【００２０】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら説明する。 （実施の形態１）図１は、本発明の画像合成装置にかか
る第１の実施の形態を示す構成図である。
て図面を参照しながら説明する。 （実施の形態１）図１は、本発明の画像合成装置にかか
る第１の実施の形態を示す構成図である。
【００２１】図１において、１は情報が記された書類を
撮像するカメラで好ましくはカラーのＣＣＤカメラ、２
はカメラ１によりペン１００による書類上の指示位置を
検出する指示位置検出部である。３は前記指示位置に記
されている指示情報の領域および特徴量を検出する指示
情報検出部、４は検出された指示情報の特徴量に応じた
付加画像を生成する付加画像生成部である。５は付加画
像生成部５により生成された付加画像を記憶する付加画
像記憶部、６は前記検出された指示位置により前記付加
画像の合成・表示方法を決定する指示位置別の付加方法
決定部である。７はカメラ１の映像と前記付加画像を合
成する画像合成部、８は画像合成部７で合成された画像
を表示する表示部で好ましくはプロジェクターやディス
プレイである。また、ペン１００には、好ましくは、指
示位置の検出を容易にするための所定のＲＧＢ値を持つ
マーカー100aおよび指示位置検出開始スイッチ100bを持
たせる。１０００は通常ＲＯＭやＲＡＭなどのメモリと
ＣＰＵから構成される制御部で、１〜８の各部と接続さ
れ、各部の動作および各部間のデータのやりとりを制御
する。ここで、ペン１００、マーカー100ａ等は、本発
明の指示手段に対応しており、指示情報検出部３は、本
発明の指示対象情報検出手段に対応している。 次に本
実施の形態の動作について説明しながら、本発明の画像
合成方法の一実施の形態を同時に述べる。
撮像するカメラで好ましくはカラーのＣＣＤカメラ、２
はカメラ１によりペン１００による書類上の指示位置を
検出する指示位置検出部である。３は前記指示位置に記
されている指示情報の領域および特徴量を検出する指示
情報検出部、４は検出された指示情報の特徴量に応じた
付加画像を生成する付加画像生成部である。５は付加画
像生成部５により生成された付加画像を記憶する付加画
像記憶部、６は前記検出された指示位置により前記付加
画像の合成・表示方法を決定する指示位置別の付加方法
決定部である。７はカメラ１の映像と前記付加画像を合
成する画像合成部、８は画像合成部７で合成された画像
を表示する表示部で好ましくはプロジェクターやディス
プレイである。また、ペン１００には、好ましくは、指
示位置の検出を容易にするための所定のＲＧＢ値を持つ
マーカー100aおよび指示位置検出開始スイッチ100bを持
たせる。１０００は通常ＲＯＭやＲＡＭなどのメモリと
ＣＰＵから構成される制御部で、１〜８の各部と接続さ
れ、各部の動作および各部間のデータのやりとりを制御
する。ここで、ペン１００、マーカー100ａ等は、本発
明の指示手段に対応しており、指示情報検出部３は、本
発明の指示対象情報検出手段に対応している。 次に本
実施の形態の動作について説明しながら、本発明の画像
合成方法の一実施の形態を同時に述べる。
【００２２】図２は本実施の形態の画像合成装置の動作
を示すフローチャートである。
を示すフローチャートである。
【００２３】本実施の形態の動作をより分かりやすく説
明するために、ここでは、オーバーヘッドカメラに本発
明を搭載した例で説明する。オーバーヘッドカメラは、
通常、大学等での講義やプレゼンテーションに用いられ
ている。その際、図３に示すように、紙や書類に文字を
書いたり、写真や現実の立体物を提示したりする。これ
は、カメラ１で撮影した映像をそのままモニター等の表
示部８に表示する場合に相当する。
明するために、ここでは、オーバーヘッドカメラに本発
明を搭載した例で説明する。オーバーヘッドカメラは、
通常、大学等での講義やプレゼンテーションに用いられ
ている。その際、図３に示すように、紙や書類に文字を
書いたり、写真や現実の立体物を提示したりする。これ
は、カメラ１で撮影した映像をそのままモニター等の表
示部８に表示する場合に相当する。
【００２４】本実施の形態は、このように、例えば、講
義等を支援するものとして利用可能であり、講義におい
て強調したいところなどを、ペンによる指示位置や指示
対象が有する指示対象情報（本明細書では、これを単
に、指示情報とも呼ぶ）の領域や特徴に応じて、様々な
付加画像（仮想物体）を生成して、その付加画像とカメ
ラの映像とを合成し、書類に装飾等を施すものである。
義等を支援するものとして利用可能であり、講義におい
て強調したいところなどを、ペンによる指示位置や指示
対象が有する指示対象情報（本明細書では、これを単
に、指示情報とも呼ぶ）の領域や特徴に応じて、様々な
付加画像（仮想物体）を生成して、その付加画像とカメ
ラの映像とを合成し、書類に装飾等を施すものである。
【００２５】本実施の形態では、白い紙に黒い字を書く
という最も一般的な使い方において、強調したい記入部
分の一部をペン１００で指示することにより、その記入
部分の領域が検出される。更に、その記入部分の情報の
特徴量を検出して、その記入部分が文字であるのか、あ
るいは写真であるのかという記入部分の情報の特徴を判
定し、その特徴に適した装飾を、その記入部分の画像に
施すという例、および、ペン１００による指示位置に応
じた付加画像の制御についても述べながら、本実施の形
態の動作手順を以下で説明する。 [STEP1a] 画像の取り込み：カメラ１により、図３に示
すような書類と指示棒１００を画像I(x,y)として撮影す
る。 [STEP2a] 指示位置検出開始スイッチの状態検出：指示
位置検出開始スイッチ１００ｂがＯＦＦならば、後述す
るSTEP8aにより取込んだ画像を表示部８に表示する。ス
イッチ１００ｂがＯＮならばSTEP3aへ進む。 [STEP3a] ペン用マーカー１００ａによる指示位置の検
出：指示位置検出部２により、画像I(x,y)から所定の色
（マーカー100aが持つ所定の範囲のＲＧＢ値）をもつ所
定の大きさの領域を指示位置として検出する。
という最も一般的な使い方において、強調したい記入部
分の一部をペン１００で指示することにより、その記入
部分の領域が検出される。更に、その記入部分の情報の
特徴量を検出して、その記入部分が文字であるのか、あ
るいは写真であるのかという記入部分の情報の特徴を判
定し、その特徴に適した装飾を、その記入部分の画像に
施すという例、および、ペン１００による指示位置に応
じた付加画像の制御についても述べながら、本実施の形
態の動作手順を以下で説明する。 [STEP1a] 画像の取り込み：カメラ１により、図３に示
すような書類と指示棒１００を画像I(x,y)として撮影す
る。 [STEP2a] 指示位置検出開始スイッチの状態検出：指示
位置検出開始スイッチ１００ｂがＯＦＦならば、後述す
るSTEP8aにより取込んだ画像を表示部８に表示する。ス
イッチ１００ｂがＯＮならばSTEP3aへ進む。 [STEP3a] ペン用マーカー１００ａによる指示位置の検
出：指示位置検出部２により、画像I(x,y)から所定の色
（マーカー100aが持つ所定の範囲のＲＧＢ値）をもつ所
定の大きさの領域を指示位置として検出する。
【００２６】例えば、各画素I(x,y)について、マーカー
の色を表す所定の範囲のＲＧＢ値（マーカー100aが赤っ
ぽい色の場合、例えば、180<R<255かつ120<G<140かつ60
<B<120）であるかを順に調べ、マーカーの色であれば、
その画素を中心とした所定の大きさの領域について、マ
ーカーの色を表す所定の範囲のＲＧＢ値をもつ画素を抽
出する。抽出された画素をすべて包含する外接長方形を
求め、その長方形が所定の大きさであればマーカーであ
ると判定し、指示位置はマーカー中心(mx,my)とする。
マーカーが検出されなかった場合は、STEP7aへ進む。 [STEP4a] 指示位置による情報付加方法の決定：ここで
は、画像の端付近を指示しているかどうかを判定し、指
示位置が画像（書類）の端である場合、例えば、画像サ
イズが縦×横：480×640のとき、マーカー中心(mx,my)
がmx<30,my<30,610<mx,450<myのいずれかを満たすと
き、STEP4a_1で枠画像を選択する。 [STEP4a_1］枠画像の選択：付加画像記憶部５は、プレ
ゼンテーションをしている人の所属や講演日時を含んだ
枠画像を少なくとも１つ記憶しており、書類の端が指示
されたとき、図４に示すように、画像合成部７により、
カメラ1の映像に枠画像をスーパーインポーズして表示
部８に表示する。枠画像が複数記憶されている場合に
は、書類の端が指示されるごとに異なる画像を選択す
る。これにより、通常ＯＨＰシートの作成時に付与する
所属や日時や枠を、プレゼンテーションしながら通常の
なにも書いていない紙にその場で付与することができ
る。 [STEP5a] 指示位置による情報付加方法の決定：ここで
は、未装飾の情報が指示されたかどうかを判定し、指示
されておれば、指示情報検出部３により、マーカー中心
の近傍の黒画素の有無を調べる。黒画素が存在する場
合、文字などの情報が記されているとし、STEP5a_1でそ
の特徴量を算出し、STEP5a_2でその特徴量に応じた装飾
画像を生成・記憶する。 [STEP5a_1] 指示対象情報の領域及び特徴量の算出：指
示情報検出部３により、まず、指示対象情報の領域を求
める。マーカー中心(mx,my)から、所定の範囲内にある
黒画素にラベルをつける。ラベルがつけられた各黒画素
について再帰的にラベルをつけていく。ラベルをつける
黒画素がなくなればラベル付けを終了する。
の色を表す所定の範囲のＲＧＢ値（マーカー100aが赤っ
ぽい色の場合、例えば、180<R<255かつ120<G<140かつ60
<B<120）であるかを順に調べ、マーカーの色であれば、
その画素を中心とした所定の大きさの領域について、マ
ーカーの色を表す所定の範囲のＲＧＢ値をもつ画素を抽
出する。抽出された画素をすべて包含する外接長方形を
求め、その長方形が所定の大きさであればマーカーであ
ると判定し、指示位置はマーカー中心(mx,my)とする。
マーカーが検出されなかった場合は、STEP7aへ進む。 [STEP4a] 指示位置による情報付加方法の決定：ここで
は、画像の端付近を指示しているかどうかを判定し、指
示位置が画像（書類）の端である場合、例えば、画像サ
イズが縦×横：480×640のとき、マーカー中心(mx,my)
がmx<30,my<30,610<mx,450<myのいずれかを満たすと
き、STEP4a_1で枠画像を選択する。 [STEP4a_1］枠画像の選択：付加画像記憶部５は、プレ
ゼンテーションをしている人の所属や講演日時を含んだ
枠画像を少なくとも１つ記憶しており、書類の端が指示
されたとき、図４に示すように、画像合成部７により、
カメラ1の映像に枠画像をスーパーインポーズして表示
部８に表示する。枠画像が複数記憶されている場合に
は、書類の端が指示されるごとに異なる画像を選択す
る。これにより、通常ＯＨＰシートの作成時に付与する
所属や日時や枠を、プレゼンテーションしながら通常の
なにも書いていない紙にその場で付与することができ
る。 [STEP5a] 指示位置による情報付加方法の決定：ここで
は、未装飾の情報が指示されたかどうかを判定し、指示
されておれば、指示情報検出部３により、マーカー中心
の近傍の黒画素の有無を調べる。黒画素が存在する場
合、文字などの情報が記されているとし、STEP5a_1でそ
の特徴量を算出し、STEP5a_2でその特徴量に応じた装飾
画像を生成・記憶する。 [STEP5a_1] 指示対象情報の領域及び特徴量の算出：指
示情報検出部３により、まず、指示対象情報の領域を求
める。マーカー中心(mx,my)から、所定の範囲内にある
黒画素にラベルをつける。ラベルがつけられた各黒画素
について再帰的にラベルをつけていく。ラベルをつける
黒画素がなくなればラベル付けを終了する。
【００２７】図５に示すように、例えば、文字列がｘ軸
に平行に表されている場合、ラベルのついた画素のｘ座
標y座標のそれぞれ最小値、最大値をxl,yl,xr,yrとすれ
ば、長方形(xl,yl)-(xr,yr)が指示対象情報の領域とな
る。
に平行に表されている場合、ラベルのついた画素のｘ座
標y座標のそれぞれ最小値、最大値をxl,yl,xr,yrとすれ
ば、長方形(xl,yl)-(xr,yr)が指示対象情報の領域とな
る。
【００２８】次に、文字列であるか、あるいは写真であ
るかを識別する特徴量としては、例えば、指示領域の全
画素中の白色（所定の範囲のRGB値）をもつ画素の割合
を算出する。指示領域が写真の場合、白色の画素は比較
的少ない。これに対し、文字列の場合は、黒色の画素と
白色の画素が比較的交互に現れるので、写真の領域に比
べて白色の画素の割合が多い。そのため、所定のしきい
値により白色の画素の割合が小さければ写真の領域であ
り、大きければ文字列の領域であると判定できる。 [STEP5a_2] 装飾画像の生成・記憶：付加画像生成部４
によりSTEP5a_1で算出された領域とその特徴量に基づ
き、装飾用の付加画像を生成する。
るかを識別する特徴量としては、例えば、指示領域の全
画素中の白色（所定の範囲のRGB値）をもつ画素の割合
を算出する。指示領域が写真の場合、白色の画素は比較
的少ない。これに対し、文字列の場合は、黒色の画素と
白色の画素が比較的交互に現れるので、写真の領域に比
べて白色の画素の割合が多い。そのため、所定のしきい
値により白色の画素の割合が小さければ写真の領域であ
り、大きければ文字列の領域であると判定できる。 [STEP5a_2] 装飾画像の生成・記憶：付加画像生成部４
によりSTEP5a_1で算出された領域とその特徴量に基づ
き、装飾用の付加画像を生成する。
【００２９】例えば、写真の領域は網掛けで強調すると
見にくくなるので、縁取りにし、文字列は網掛けで強調
する。網掛け画像は、STEP5a_1で検出された指示領域に
ついて、黒色以外の画素のＲＧＢ値を所定の色のＲＧＢ
値に置き換えることで生成できる。指示領域の白画素の
割合が１５％以下であるときを写真、それ以上の時を文
字列としたときの装飾結果を図６に示す。また、装飾さ
れた領域は既存の装飾領域として記憶しておく。 [STEP6a] 指示位置による情報付加方法の決定：ペン１
００による指示位置が、STEP5a_2で記憶された既存の装
飾領域内にあるかどうかを判定し、既存の装飾情報を指
示していると判定した場合、STEP7aにより、その位置に
応じて装飾の表示方法を変更する。それ以外はSTEP1aへ
進む。 [STEP7a］既存装飾領域の表示方法の変更：指示位置別
の情報付加方法決定部６は、図７に示すように、既存の
装飾領域７００を複数領域に分割し（図７では、前部分
７０１と、後部分７０２の２つの領域）、例えば前部分
７０１が指示されていればその装飾を消去し、後部分７
０２が指示されていれば装飾を点滅させるというように
表示方法を変更し、カメラ1の映像に合成して表示部８
に表示する。
見にくくなるので、縁取りにし、文字列は網掛けで強調
する。網掛け画像は、STEP5a_1で検出された指示領域に
ついて、黒色以外の画素のＲＧＢ値を所定の色のＲＧＢ
値に置き換えることで生成できる。指示領域の白画素の
割合が１５％以下であるときを写真、それ以上の時を文
字列としたときの装飾結果を図６に示す。また、装飾さ
れた領域は既存の装飾領域として記憶しておく。 [STEP6a] 指示位置による情報付加方法の決定：ペン１
００による指示位置が、STEP5a_2で記憶された既存の装
飾領域内にあるかどうかを判定し、既存の装飾情報を指
示していると判定した場合、STEP7aにより、その位置に
応じて装飾の表示方法を変更する。それ以外はSTEP1aへ
進む。 [STEP7a］既存装飾領域の表示方法の変更：指示位置別
の情報付加方法決定部６は、図７に示すように、既存の
装飾領域７００を複数領域に分割し（図７では、前部分
７０１と、後部分７０２の２つの領域）、例えば前部分
７０１が指示されていればその装飾を消去し、後部分７
０２が指示されていれば装飾を点滅させるというように
表示方法を変更し、カメラ1の映像に合成して表示部８
に表示する。
【００３０】また、上述した通り、STEP3aにおいてマー
カー１００ａが検出されなかった場合は、STEP7aに進む
ので、この場合、すべての付加画像の表示を停止する。
これにより、違う紙にあらためて文字を書き始める前
に、カメラの視野外でペン１００のスイッチ100bを押す
ことで、すべての付加画像を一度に消去することができ
る。 [STEP8a] 画像の合成・表示：画像合成部７により、カ
メラ１の映像と、付加画像記憶部５で生成された装飾用
画像とを、例えば、スーパーインポーズ等で合成し表示
部８に表示する。
カー１００ａが検出されなかった場合は、STEP7aに進む
ので、この場合、すべての付加画像の表示を停止する。
これにより、違う紙にあらためて文字を書き始める前
に、カメラの視野外でペン１００のスイッチ100bを押す
ことで、すべての付加画像を一度に消去することができ
る。 [STEP8a] 画像の合成・表示：画像合成部７により、カ
メラ１の映像と、付加画像記憶部５で生成された装飾用
画像とを、例えば、スーパーインポーズ等で合成し表示
部８に表示する。
【００３１】以上、[STEP1a]〜[STEP8a]で説明した手順
により、第１の実施の形態によれば、プレゼンテーショ
ンしている人は、自分の書いた情報の強調したい部分を
指示棒で指示するだけで、その部分の特徴を自動抽出し
て適切な装飾用の画像がスーパーインポーズされる。
により、第１の実施の形態によれば、プレゼンテーショ
ンしている人は、自分の書いた情報の強調したい部分を
指示棒で指示するだけで、その部分の特徴を自動抽出し
て適切な装飾用の画像がスーパーインポーズされる。
【００３２】従って、いろんな色のペンを持ち替えて使
い分けるなどの必要がない。また、ペン等による指示位
置により、装飾方法を簡単に変更でき、例えば、書類の
端のあたりを指示すれば自動的に枠や所属、日時等を付
与したり、既に装飾されている情報部分については、そ
の指示位置により装飾を消したり、点滅させることがで
きるので、プレゼンテーション用の資料をあらかじめ作
成しなくとも、その場で効果的なプレゼンテーションが
可能となる。
い分けるなどの必要がない。また、ペン等による指示位
置により、装飾方法を簡単に変更でき、例えば、書類の
端のあたりを指示すれば自動的に枠や所属、日時等を付
与したり、既に装飾されている情報部分については、そ
の指示位置により装飾を消したり、点滅させることがで
きるので、プレゼンテーション用の資料をあらかじめ作
成しなくとも、その場で効果的なプレゼンテーションが
可能となる。
【００３３】なお、上記の手順においては、ペン等によ
る指示位置にある指示対象の領域や特徴量に応じて付加
画像を生成したが、単に、ペン等による指示位置にあら
かじめ記憶されている「矢印」等の画像をスーパーイン
ポーズ等で合成表示してもよい。これは、例えば、英語
の授業等で、教科書をオーバーヘッドカメラの上に置い
て、英単語のアクセントの位置を指示したり、テレビ会
議やパソコン会議において、手元の資料や模型等の現実
のモノの注目してもらいたい個所や今説明している部分
を指示する場合等に有効である。
る指示位置にある指示対象の領域や特徴量に応じて付加
画像を生成したが、単に、ペン等による指示位置にあら
かじめ記憶されている「矢印」等の画像をスーパーイン
ポーズ等で合成表示してもよい。これは、例えば、英語
の授業等で、教科書をオーバーヘッドカメラの上に置い
て、英単語のアクセントの位置を指示したり、テレビ会
議やパソコン会議において、手元の資料や模型等の現実
のモノの注目してもらいたい個所や今説明している部分
を指示する場合等に有効である。
【００３４】また、上記の手順においては、画像I(x,y)
は、常にデジタル化されている例で説明したが、指示位
置検出スイッチ１００ｂがＯＮしたときのみデジタル化
してもよい。 （実施の形態２）次に本発明の画像合成装置に係る第２
の実施の形態について説明する。
は、常にデジタル化されている例で説明したが、指示位
置検出スイッチ１００ｂがＯＮしたときのみデジタル化
してもよい。 （実施の形態２）次に本発明の画像合成装置に係る第２
の実施の形態について説明する。
【００３５】第１の実施の形態では、文字列と写真の装
飾方法はそれぞれ１種類であったが、第２の実施の形態
は、より簡単に複数種類の装飾方法を使えるように考慮
したものである。
飾方法はそれぞれ１種類であったが、第２の実施の形態
は、より簡単に複数種類の装飾方法を使えるように考慮
したものである。
【００３６】図８は第２の実施の形態の構成図であり、
図１に示した第１の実施の形態と同じ構成部分には同一
の番号を付して詳細な説明は省略する。
図１に示した第１の実施の形態と同じ構成部分には同一
の番号を付して詳細な説明は省略する。
【００３７】第２の実施の形態と第１の実施の形態の主
な相違点は、指示位置検出部２を、ペン等に付与した複
数マーカーの種類を識別するマーカー種類・指示位置判
定部９で、付加画像生成部４を、マーカーの種類に応じ
て異なる付加画像を生成する異種マーカー対応付加画像
生成部１０で置き換えたことである。ここで、マーカー
種類・指示位置判定部９は、本発明の指示位置検出手段
に対応し、また、異種マーカー対応付加画像生成部１０
は、本発明の付加画像生成手段に対応する。
な相違点は、指示位置検出部２を、ペン等に付与した複
数マーカーの種類を識別するマーカー種類・指示位置判
定部９で、付加画像生成部４を、マーカーの種類に応じ
て異なる付加画像を生成する異種マーカー対応付加画像
生成部１０で置き換えたことである。ここで、マーカー
種類・指示位置判定部９は、本発明の指示位置検出手段
に対応し、また、異種マーカー対応付加画像生成部１０
は、本発明の付加画像生成手段に対応する。
【００３８】以上のように構成された第２の実施の形態
の画像合成装置の動作を、図９のフローチャートを用い
て説明する。ただし、第１の実施の形態の動作を表す図
２のフローチャートに新たな手順を追加したものである
から、その相違点である[STEP３b]、[STEP５b]、[STEP
７b_２]のみを説明する。
の画像合成装置の動作を、図９のフローチャートを用い
て説明する。ただし、第１の実施の形態の動作を表す図
２のフローチャートに新たな手順を追加したものである
から、その相違点である[STEP３b]、[STEP５b]、[STEP
７b_２]のみを説明する。
【００３９】本実施の形態においては、図１０に示すよ
うに、１００ａ−１、〜１００ａ−４の４種のマーカー
を指示棒の先端部に付与し、１００ａ−１〜１００ａ−
４の内、いずれのマーカーで書類が指示されているか
を、カメラ１による映像から識別することにより複数の
装飾方法を簡単に使えるようにした例を示して説明す
る。 [STEP3b] マーカー色の判定：マーカー種類・指示位置
判定部９により、ペン１００に付与された、カメラ１の
方を向いているマーカー色を判定する。
うに、１００ａ−１、〜１００ａ−４の４種のマーカー
を指示棒の先端部に付与し、１００ａ−１〜１００ａ−
４の内、いずれのマーカーで書類が指示されているか
を、カメラ１による映像から識別することにより複数の
装飾方法を簡単に使えるようにした例を示して説明す
る。 [STEP3b] マーカー色の判定：マーカー種類・指示位置
判定部９により、ペン１００に付与された、カメラ１の
方を向いているマーカー色を判定する。
【００４０】具体的には、画像I(x,y)において、所定の
色（本実施の形態では、図１０に示したマーカーが持つ
赤色と青色）ごとに画素の数を数え、多い方の色をカメ
ラ１に向いているペン用のマーカー色と認識する。例え
ば、ここでは、赤色の画素の数と青色の画素の数を調
べ、それら画素数の大小を比較することになる。これに
より、ペン１００が多少傾いていて、２種類の色が同時
に検出されたとしても、画素数が多いと判定された方の
色を、指示に使用されたマーカーの色と判定することに
より、より柔軟に間違いの無い判定が出来る。[STEP5b]
マーカー種類の判定：マーカー種類・指示位置判定部
９により、網掛け用マーカー（１００ａ−１，１００ａ
−２）かアンダーライン用マーカー（１００ａ−３，１
００ａ−４）かを判定する。
色（本実施の形態では、図１０に示したマーカーが持つ
赤色と青色）ごとに画素の数を数え、多い方の色をカメ
ラ１に向いているペン用のマーカー色と認識する。例え
ば、ここでは、赤色の画素の数と青色の画素の数を調
べ、それら画素数の大小を比較することになる。これに
より、ペン１００が多少傾いていて、２種類の色が同時
に検出されたとしても、画素数が多いと判定された方の
色を、指示に使用されたマーカーの色と判定することに
より、より柔軟に間違いの無い判定が出来る。[STEP5b]
マーカー種類の判定：マーカー種類・指示位置判定部
９により、網掛け用マーカー（１００ａ−１，１００ａ
−２）かアンダーライン用マーカー（１００ａ−３，１
００ａ−４）かを判定する。
【００４１】具体的には、STEP4bで検出されたペン１０
０上のマーカー領域が有する所定の色の画素の数を数え
る。網掛け用のマーカーの方が、アンダーライン用マー
カーに比べて所定の色の画素数が少ないので、所定のし
きい値により何れのマーカーであるかが識別出来る。
尚、マーカー領域が有する所定の色の画素の数は、STEP
3bで識別された所定の色の画素の数である。 [STEP7b_２] マーカーの種類に基づく装飾画像の生
成：異種マーカー対応付加画像生成部１０は、STEP5bで
識別されたマーカーの種類、およびSTEP7b_1で得られた
特徴量に基づき、装飾画像を生成する。例えば図１１
は、指示対象情報が文字列の場合の、赤色の網掛け（図
１１中では、マーカー１００ａ−１）および青色のアン
ダーライン（図１１中では、マーカー１００ａ−４）の
装飾画像の例を示している。また、指示対象情報が写真
の場合は、縁取りの色のみを変更する。
０上のマーカー領域が有する所定の色の画素の数を数え
る。網掛け用のマーカーの方が、アンダーライン用マー
カーに比べて所定の色の画素数が少ないので、所定のし
きい値により何れのマーカーであるかが識別出来る。
尚、マーカー領域が有する所定の色の画素の数は、STEP
3bで識別された所定の色の画素の数である。 [STEP7b_２] マーカーの種類に基づく装飾画像の生
成：異種マーカー対応付加画像生成部１０は、STEP5bで
識別されたマーカーの種類、およびSTEP7b_1で得られた
特徴量に基づき、装飾画像を生成する。例えば図１１
は、指示対象情報が文字列の場合の、赤色の網掛け（図
１１中では、マーカー１００ａ−１）および青色のアン
ダーライン（図１１中では、マーカー１００ａ−４）の
装飾画像の例を示している。また、指示対象情報が写真
の場合は、縁取りの色のみを変更する。
【００４２】以上、第３の実施の形態によれば、ペン１
００等に付与した複数種類のマーカーを識別することに
より装飾方法を切り替えられるので、複数種類の色のペ
ンを持ち替えて記入するなどの手間が省け、プレゼンテ
ーションを円滑に進めることが可能となる。 （実施の形態３）次に本発明の画像合成装置に係る第３
の実施の形態について説明する。
００等に付与した複数種類のマーカーを識別することに
より装飾方法を切り替えられるので、複数種類の色のペ
ンを持ち替えて記入するなどの手間が省け、プレゼンテ
ーションを円滑に進めることが可能となる。 （実施の形態３）次に本発明の画像合成装置に係る第３
の実施の形態について説明する。
【００４３】第３の実施の形態では、第１、２の実施の
形態に対してさらに、これまでに生成した既存の装飾用
画像をコピー等再利用できるように考慮したものであ
る。
形態に対してさらに、これまでに生成した既存の装飾用
画像をコピー等再利用できるように考慮したものであ
る。
【００４４】図１２は第３の実施の形態の構成図であ
り、図１に示した第１の実施の形態と同じ構成部分には
同一番号を付して詳細な説明は省略する。
り、図１に示した第１の実施の形態と同じ構成部分には
同一番号を付して詳細な説明は省略する。
【００４５】第３の実施の形態と第１の実施の形態の主
な相違点は、さらに、付加画像記憶部５に記憶されてい
る既存の装飾画像の一覧表をカメラ１の映像と合成して
表示し、それらをペン１００等により選択し、書類上の
別の指示位置に合成して表示する既存付加画像複写部１
１付加したことである。
な相違点は、さらに、付加画像記憶部５に記憶されてい
る既存の装飾画像の一覧表をカメラ１の映像と合成して
表示し、それらをペン１００等により選択し、書類上の
別の指示位置に合成して表示する既存付加画像複写部１
１付加したことである。
【００４６】以上のように構成された第３の実施の形態
の画像合成装置の動作を、図１３のフローチャートを用
いて説明する。
の画像合成装置の動作を、図１３のフローチャートを用
いて説明する。
【００４７】第３の実施の形態の動作手順は、図１３に
示す通り、第１の実施の形態の動作手順[STEP3a］と［S
TEP4a］の間に［STEP１c］〜［STEP3c］を挿入したもの
であるから、その部分のみ説明する。 [STEP1c] 既存装飾画像一覧表の表示：まず、これまで
に付加画像生成部４により装飾用の画像が１つでも生成
されていれば、図１４に示した図中の左上に示すよう
に、「一覧表」という見出しのついた画像をカメラ１の
映像にスーパーインポーズで表示する。
示す通り、第１の実施の形態の動作手順[STEP3a］と［S
TEP4a］の間に［STEP１c］〜［STEP3c］を挿入したもの
であるから、その部分のみ説明する。 [STEP1c] 既存装飾画像一覧表の表示：まず、これまで
に付加画像生成部４により装飾用の画像が１つでも生成
されていれば、図１４に示した図中の左上に示すよう
に、「一覧表」という見出しのついた画像をカメラ１の
映像にスーパーインポーズで表示する。
【００４８】次に、第1の実施例のSTEP3aと同様にして
検出された指示位置が、この領域内にあれば、例えば図
１４に示すように、網掛けされた「３.分裂型輪郭モデ
ルによる現実物の抽出」の画像と、アンダーラインが引
かれた「４.プロトタイプシステムの機能」の画像と
を、カメラ１の映像に対してスーパーインポーズにより
表示する。 [STEP2c] 既存装飾画像の選択：図１５に示すように、
STEP1cで一覧表示された既存の装飾画像を、第1の実施
例のSTEP3aと同様にしてペン１００による指示位置を検
出し、その指示位置にある既存画像を選択する。 [STEP3c] 既存装飾画像の複写：図１６に示すように、
STEP2cで選択した画像を、第1の実施例のSTEP3aと同様
にして検出したペン１００による指示位置にスーパーイ
ンポーズで表示する。
検出された指示位置が、この領域内にあれば、例えば図
１４に示すように、網掛けされた「３.分裂型輪郭モデ
ルによる現実物の抽出」の画像と、アンダーラインが引
かれた「４.プロトタイプシステムの機能」の画像と
を、カメラ１の映像に対してスーパーインポーズにより
表示する。 [STEP2c] 既存装飾画像の選択：図１５に示すように、
STEP1cで一覧表示された既存の装飾画像を、第1の実施
例のSTEP3aと同様にしてペン１００による指示位置を検
出し、その指示位置にある既存画像を選択する。 [STEP3c] 既存装飾画像の複写：図１６に示すように、
STEP2cで選択した画像を、第1の実施例のSTEP3aと同様
にして検出したペン１００による指示位置にスーパーイ
ンポーズで表示する。
【００４９】以上説明した手順により、第３の実施の形
態によれば、既存の装飾画像をスーパーインポーズで一
覧表示し、それらをペン等で指示してコピーできるの
で、書類を複数枚使う場合でも、同じ文字列を何度も書
類に書く必要がなく、プレゼンテーションをさらに円滑
に進めることが可能となる。 （実施の形態４）次に本発明の画像合成装置に係る第４
の実施の形態について説明する。
態によれば、既存の装飾画像をスーパーインポーズで一
覧表示し、それらをペン等で指示してコピーできるの
で、書類を複数枚使う場合でも、同じ文字列を何度も書
類に書く必要がなく、プレゼンテーションをさらに円滑
に進めることが可能となる。 （実施の形態４）次に本発明の画像合成装置に係る第４
の実施の形態について説明する。
【００５０】第１〜３の実施の形態では、書類はカメラ
に対して固定されているものとして説明したが、第４の
実施の形態は、書類に字を書き込む際等に書類が、元の
位置からずれて移動してしまう様な場合にも、既存の装
飾画像が、書類の上記移動にあわせて、正しい位置にス
ーパーインポーズされるように考慮したものである。
に対して固定されているものとして説明したが、第４の
実施の形態は、書類に字を書き込む際等に書類が、元の
位置からずれて移動してしまう様な場合にも、既存の装
飾画像が、書類の上記移動にあわせて、正しい位置にス
ーパーインポーズされるように考慮したものである。
【００５１】図１７は第４の実施の形態の構成図であ
り、図１に示した第１の実施の形態と同じ構成部分には
同一番号を付して詳細な説明は省略する。
り、図１に示した第１の実施の形態と同じ構成部分には
同一番号を付して詳細な説明は省略する。
【００５２】第４の実施の形態と第１の実施の形態の主
な相違点は、さらに、書類の移動位置を推定する移動パ
ラメータ推定部１２と、推定された移動パラメータによ
り既存の装飾画像を変形する付加画像変形部１３を付加
したことである。ここで、以上のように構成された第４
の実施の形態の画像合成装置の動作を図１８のフローチ
ャートを用いて説明する。第４の実施の形態の動作は、
第１の実施の形態の動作のSTEP1aとSTEP2aの間に、以下
のSTEP1d〜STEP4dを挿入したものである。 [STEP1d] 既存の装飾領域の有無：移動パラメータ推定
部１２は、付加画像生成部５を参照し、既存の装飾画像
がある場合には、STEP2ｄへ進み、既存の装飾画像が無
ければSTEP2aを実行する。[STEP2d] 既存装飾画像から
の部分画像の選択：任意の既存装飾画像から、時間的に
連続する2枚の画像間でテンプレートマッチングを行う
ため、図１９に示すような小領域をテンプレートとして
選択する。
な相違点は、さらに、書類の移動位置を推定する移動パ
ラメータ推定部１２と、推定された移動パラメータによ
り既存の装飾画像を変形する付加画像変形部１３を付加
したことである。ここで、以上のように構成された第４
の実施の形態の画像合成装置の動作を図１８のフローチ
ャートを用いて説明する。第４の実施の形態の動作は、
第１の実施の形態の動作のSTEP1aとSTEP2aの間に、以下
のSTEP1d〜STEP4dを挿入したものである。 [STEP1d] 既存の装飾領域の有無：移動パラメータ推定
部１２は、付加画像生成部５を参照し、既存の装飾画像
がある場合には、STEP2ｄへ進み、既存の装飾画像が無
ければSTEP2aを実行する。[STEP2d] 既存装飾画像から
の部分画像の選択：任意の既存装飾画像から、時間的に
連続する2枚の画像間でテンプレートマッチングを行う
ため、図１９に示すような小領域をテンプレートとして
選択する。
【００５３】尚、上述した時間的に連続する２枚の画像
は、上述した書類の移動の前後の時点における画像であ
り、カメラ１により撮像されたものである。 [STEP3d] 部分画像のマッチング：時間的に連続する2枚
の画像間で、テンプレートマッチングを行い、移動パラ
メータを求める。この場合書類の移動は、主に平行移動
(xd,yd)と回転移動θからなるので、例えば、テンプレ
ートを0＜θ＜360°、(xd,yd)∈R(所定の探索範囲Ｒ：
図１９参照）の間で動かし、輝度値の差の2乗和が最小
となるθ、(xd,yd)を移動パラメータとする。 [STEP4d] 装飾画像の変形：STEP3dで求めた移動パラメ
ータにより、付加画像生成部５に記憶されているすべて
の画像を変形する。
は、上述した書類の移動の前後の時点における画像であ
り、カメラ１により撮像されたものである。 [STEP3d] 部分画像のマッチング：時間的に連続する2枚
の画像間で、テンプレートマッチングを行い、移動パラ
メータを求める。この場合書類の移動は、主に平行移動
(xd,yd)と回転移動θからなるので、例えば、テンプレ
ートを0＜θ＜360°、(xd,yd)∈R(所定の探索範囲Ｒ：
図１９参照）の間で動かし、輝度値の差の2乗和が最小
となるθ、(xd,yd)を移動パラメータとする。 [STEP4d] 装飾画像の変形：STEP3dで求めた移動パラメ
ータにより、付加画像生成部５に記憶されているすべて
の画像を変形する。
【００５４】以上、第４の実施の形態によれば、装飾画
像の一部を用いて連続するフレーム間でテンプレートマ
ッチングすることで書類の移動パラメータを求めて、装
飾画像を変形するので、プレゼンテーション中に書類が
移動した場合でも、強調したい部分を正しく装飾するこ
とができる。 （実施の形態５）次に本発明の画像合成装置に係る第５
の実施の形態について説明する。
像の一部を用いて連続するフレーム間でテンプレートマ
ッチングすることで書類の移動パラメータを求めて、装
飾画像を変形するので、プレゼンテーション中に書類が
移動した場合でも、強調したい部分を正しく装飾するこ
とができる。 （実施の形態５）次に本発明の画像合成装置に係る第５
の実施の形態について説明する。
【００５５】第１の実施の形態では、ペン等により１個
所ずつ強調したい部分を指定し、その装飾を消すには、
装飾を施す場合と同様にその部分を指示するというもの
であった。第５の実施の形態は、複数個所の強調やその
消去を、より簡単かつ直感的に行えるように考慮したも
のである。
所ずつ強調したい部分を指定し、その装飾を消すには、
装飾を施す場合と同様にその部分を指示するというもの
であった。第５の実施の形態は、複数個所の強調やその
消去を、より簡単かつ直感的に行えるように考慮したも
のである。
【００５６】図２０は第５の実施の形態の構成図であ
り、図１に示した第１の実施の形態と同じ構成部分には
同一番号を付して詳細な説明は省略する。
り、図１に示した第１の実施の形態と同じ構成部分には
同一番号を付して詳細な説明は省略する。
【００５７】第５の実施の形態と第１の実施の形態の主
な相違点は、ペン１００等のペン型指示手段に加えて、
書類上に置くことにより装飾したい部分を指示する設置
用指示手段２００を用いた点と、指示位置検出部２を、
異なる複数の指示手段を検出する異種複数指示手段指示
位置検出部１４で置き換えた点と、指示情報検出部３
を、指示手段により指示された情報の領域や特徴量を、
その指示手段の種類に応じて検出する異種複数指示手段
対応指示情報検出部１５で置き換えた点と、更に付加画
像生成部４を、指示手段の種類に応じて異なる付加画像
を生成する異種複数指示手段対応付加画像生成部１６で
置き換えた点である。ここで、本発明の指示手段は、ペ
ン１００等のペン型指示手段と設置用指示手段２００を
含む手段である。また、ペン１００等のペン型指示手段
や、設置用指示手段２００は、それぞれ本発明の指示部
材に対応するものである。また、異種複数指示手段指示
位置検出部１４は、本発明の指示位置検出手段に対応
し、異種複数指示手段対応指示情報検出部１５は、本発
明の指示対象情報検出手段に対応する。また、異種複数
指示手段対応付加画像生成部１６は、本発明の付加画像
生成手段に対応する。
な相違点は、ペン１００等のペン型指示手段に加えて、
書類上に置くことにより装飾したい部分を指示する設置
用指示手段２００を用いた点と、指示位置検出部２を、
異なる複数の指示手段を検出する異種複数指示手段指示
位置検出部１４で置き換えた点と、指示情報検出部３
を、指示手段により指示された情報の領域や特徴量を、
その指示手段の種類に応じて検出する異種複数指示手段
対応指示情報検出部１５で置き換えた点と、更に付加画
像生成部４を、指示手段の種類に応じて異なる付加画像
を生成する異種複数指示手段対応付加画像生成部１６で
置き換えた点である。ここで、本発明の指示手段は、ペ
ン１００等のペン型指示手段と設置用指示手段２００を
含む手段である。また、ペン１００等のペン型指示手段
や、設置用指示手段２００は、それぞれ本発明の指示部
材に対応するものである。また、異種複数指示手段指示
位置検出部１４は、本発明の指示位置検出手段に対応
し、異種複数指示手段対応指示情報検出部１５は、本発
明の指示対象情報検出手段に対応する。また、異種複数
指示手段対応付加画像生成部１６は、本発明の付加画像
生成手段に対応する。
【００５８】以上のように構成された第５の実施の形態
の画像合成装置の動作を図２１のフローチャートを用い
て説明する。ここでは、第１の実施の形態の動作と異な
るSTEP2e、STEP2e_1、STEP2e_2、STEP8eのみ説明する。
ここでは、設置用指示手段２００として、先の第１、２
の実施の形態で説明したペン１００の持つマーカーとは
異なる黄色のマーカーを用いる例で説明する。図２２に
示すように、ここでも、第２の実施の形態で示したよう
に、設置用指示手段として、網掛け用のマーカー２００
ａと、アンダーライン用のマーカー２００ｂの２種類の
マーカーを用いる例で説明する。ここで、これら２種類
のマーカー２００ａ，２００ｂは、例えば、ガラスやプ
ラスッチック材料等で形成された、コインあるいはボタ
ンの様な丸い形状のものの表面に、図２２に示すような
異なる模様を印刷等することにより簡単に実現出来る。
また、これとは別に裏面が粘着面となっており、表面
に、図２２に示すような異なる模様が印刷されたシール
部材でも簡単に実現出来る。また、上記ボタン形状のも
のの無地の表面に、上記シール部材を貼ってもよい。 [STEP2e] 設置用指示手段の検出：異種複数指示手段指
示位置検出部１４により、第１の実施の形態のSTEP1aで
取り込まれた画像I(x,y)から、STEP3a同様にして、所定
の設置用マーカーの色（所定の範囲のＲＧＢ値で、ここ
では、例えば黄色180<R<255かつ180<G<255かつ60<B<12
0）をもつ所定の大きさの領域を設置用マーカーとして
検出する。ただし、設置用マーカーは、通常複数設置さ
れるので、所定の色を持つ所定の大きさの領域をすべて
抽出する。
の画像合成装置の動作を図２１のフローチャートを用い
て説明する。ここでは、第１の実施の形態の動作と異な
るSTEP2e、STEP2e_1、STEP2e_2、STEP8eのみ説明する。
ここでは、設置用指示手段２００として、先の第１、２
の実施の形態で説明したペン１００の持つマーカーとは
異なる黄色のマーカーを用いる例で説明する。図２２に
示すように、ここでも、第２の実施の形態で示したよう
に、設置用指示手段として、網掛け用のマーカー２００
ａと、アンダーライン用のマーカー２００ｂの２種類の
マーカーを用いる例で説明する。ここで、これら２種類
のマーカー２００ａ，２００ｂは、例えば、ガラスやプ
ラスッチック材料等で形成された、コインあるいはボタ
ンの様な丸い形状のものの表面に、図２２に示すような
異なる模様を印刷等することにより簡単に実現出来る。
また、これとは別に裏面が粘着面となっており、表面
に、図２２に示すような異なる模様が印刷されたシール
部材でも簡単に実現出来る。また、上記ボタン形状のも
のの無地の表面に、上記シール部材を貼ってもよい。 [STEP2e] 設置用指示手段の検出：異種複数指示手段指
示位置検出部１４により、第１の実施の形態のSTEP1aで
取り込まれた画像I(x,y)から、STEP3a同様にして、所定
の設置用マーカーの色（所定の範囲のＲＧＢ値で、ここ
では、例えば黄色180<R<255かつ180<G<255かつ60<B<12
0）をもつ所定の大きさの領域を設置用マーカーとして
検出する。ただし、設置用マーカーは、通常複数設置さ
れるので、所定の色を持つ所定の大きさの領域をすべて
抽出する。
【００５９】設置用マーカーの位置は、その外接長方形
の左上(xl(i),yl(i))および右下(xr(i),yr(i))の頂点の
組(xl(i),yl(i))-(xr(i),yr(i))として記憶する。ただ
し、iはマーカーの数を表す。また、領域に含まれる所
定の色の画素の数により、網掛け用と、アンダーライン
用の２種類のマーカー２００ａ，２００ｂを識別する。 [STEP2e_1] 設置用指示手段に基づく指示領域・特徴量
の算出：異種複数指示手段対応指示情報検出部１６によ
り、図２２に示すように、マーカーが検出された位置に
隣接する長方形の領域(xr(i),yl(i))-(画像の幅,yr(i))
中で最大のｘ座標を持つ黒色画素を探索し、そのｘ座標
をx_max(i)とする。このとき、各ｙ座標ごとにｘ軸方向
へ探索を行うが、所定の長さの間黒色が検出されない場
合は探索をうち切る。これにより書類の汚れや強調した
い記入部分のあとに離れて情報があってもそれらを誤抽
出することがない。ここでは、長方形(xr(i),yl(i))-(x
_max(i),yr(i))が指示された領域となる。
の左上(xl(i),yl(i))および右下(xr(i),yr(i))の頂点の
組(xl(i),yl(i))-(xr(i),yr(i))として記憶する。ただ
し、iはマーカーの数を表す。また、領域に含まれる所
定の色の画素の数により、網掛け用と、アンダーライン
用の２種類のマーカー２００ａ，２００ｂを識別する。 [STEP2e_1] 設置用指示手段に基づく指示領域・特徴量
の算出：異種複数指示手段対応指示情報検出部１６によ
り、図２２に示すように、マーカーが検出された位置に
隣接する長方形の領域(xr(i),yl(i))-(画像の幅,yr(i))
中で最大のｘ座標を持つ黒色画素を探索し、そのｘ座標
をx_max(i)とする。このとき、各ｙ座標ごとにｘ軸方向
へ探索を行うが、所定の長さの間黒色が検出されない場
合は探索をうち切る。これにより書類の汚れや強調した
い記入部分のあとに離れて情報があってもそれらを誤抽
出することがない。ここでは、長方形(xr(i),yl(i))-(x
_max(i),yr(i))が指示された領域となる。
【００６０】次に、第１の実施の形態のSTEP5a_1と同様
にして、指示領域が文字であるのか、あるいは写真であ
るのかを識別する。 [STEP2e_2] 設置用指示手段用付加画像の生成：第１の
実施の形態のSTEP5a_2と同様にして、STEP1e_1で算出さ
れた領域・特徴量に基づき、網掛け用やアンダーライン
用に用いる付加画像を生成する。 [STEP8e]：画像合成部７は、STEP1eにおいて画像I(x,y)
が所定の時間間隔で取込まれるため、表示部８への画像
の表示を更新する。その際、設置用マーカーの位置に応
じて付加画像を再合成する。これにより、図２３に示す
ように設置用マーカーが取り去られれば、付加画像が再
合成されないため、装飾が消える。
にして、指示領域が文字であるのか、あるいは写真であ
るのかを識別する。 [STEP2e_2] 設置用指示手段用付加画像の生成：第１の
実施の形態のSTEP5a_2と同様にして、STEP1e_1で算出さ
れた領域・特徴量に基づき、網掛け用やアンダーライン
用に用いる付加画像を生成する。 [STEP8e]：画像合成部７は、STEP1eにおいて画像I(x,y)
が所定の時間間隔で取込まれるため、表示部８への画像
の表示を更新する。その際、設置用マーカーの位置に応
じて付加画像を再合成する。これにより、図２３に示す
ように設置用マーカーが取り去られれば、付加画像が再
合成されないため、装飾が消える。
【００６１】以上、第５の実施の形態によれば、設置用
マーカーを所定の時間間隔で検出するので、マーカーを
置けば装飾、取れば消えるという直感的にわかりやすい
操作方法を提供できる。 （実施の形態６）次に本発明の画像合成装置に係る第６
の実施の形態について説明する。
マーカーを所定の時間間隔で検出するので、マーカーを
置けば装飾、取れば消えるという直感的にわかりやすい
操作方法を提供できる。 （実施の形態６）次に本発明の画像合成装置に係る第６
の実施の形態について説明する。
【００６２】第４の実施の形態では、ペン型指示手段に
よる既存の指示領域が、書類に字を書き込む際等に書類
がずれて、元の位置から移動する場合にも、書類の移動
にあわせて正しい位置にスーパーインポーズされること
を説明した。
よる既存の指示領域が、書類に字を書き込む際等に書類
がずれて、元の位置から移動する場合にも、書類の移動
にあわせて正しい位置にスーパーインポーズされること
を説明した。
【００６３】これに対して、第６の実施の形態では、第
５の実施の形態で用いる設置用指示手段を利用している
場合に、書類が移動する場合を考慮したものである。
５の実施の形態で用いる設置用指示手段を利用している
場合に、書類が移動する場合を考慮したものである。
【００６４】図２４は第６の実施の形態の構成図であ
り、図１７に示した第４の実施の形態および図２０に示
した第５の実施の形態と同じ構成部分には同一番号を付
して詳細な説明は省略する。
り、図１７に示した第４の実施の形態および図２０に示
した第５の実施の形態と同じ構成部分には同一番号を付
して詳細な説明は省略する。
【００６５】第６の実施の形態と第４、第５の実施の形
態の主な相違点は、移動パラメータ推定部１２を、書類
の移動パラメータのうち、回転移動、すなわち傾き角を
設置用マーカーの指示部分の傾きから算出する設置用マ
ーカー利用移動パラメータ推定部１７で置き換えたこと
である。これにより、ペン型指示手段による指示情報と
設置用マーカーによる指示情報が平行して記入されてい
れば、テンプレートマッチング用の部分画像を、設置用
マーカーによる指示情報の傾きを書類の傾きとみなして
回転させ、それを用いて書類の平行移動のパラメータが
算出できる。ここで、設置用マーカー利用移動パラメー
タ推定部１７は、本発明の移動パラメータ算出部に対応
する。
態の主な相違点は、移動パラメータ推定部１２を、書類
の移動パラメータのうち、回転移動、すなわち傾き角を
設置用マーカーの指示部分の傾きから算出する設置用マ
ーカー利用移動パラメータ推定部１７で置き換えたこと
である。これにより、ペン型指示手段による指示情報と
設置用マーカーによる指示情報が平行して記入されてい
れば、テンプレートマッチング用の部分画像を、設置用
マーカーによる指示情報の傾きを書類の傾きとみなして
回転させ、それを用いて書類の平行移動のパラメータが
算出できる。ここで、設置用マーカー利用移動パラメー
タ推定部１７は、本発明の移動パラメータ算出部に対応
する。
【００６６】以上のように構成された第６の実施の形態
の画像合成装置の動作を図２５のフローチャートを用い
て説明する。第６の実施の形態の動作は、第５の実施の
形態の動作のSTEP1eとSTEP3eの間に、以下のSTEP1f〜ST
EP6fを挿入したものである。 [STEP1f] 設置用マーカーによる指示情報傾斜角の算
出：複数指示手段対応指示情報検出部１５により、図２
６に示すように、まず、マーカーが検出された位置に隣
接する長方形の領域(xr(i),yl(i))-(画像の幅,yr(i))中
で、各ｙ座標の値y(k)ごとに最大のｘ座標を持つ黒色画
素を探索し、そのｘ座標をx_max(k)とする。このとき、
各ｙ座標ごとのｘ軸方向へ探索において、所定の長さの
間黒色が検出されない場合は探索をうち切る。これによ
り、図２６の例では、傾いている指示情報の上部のみの
候補点が検出される。次に、記入部分の上部の候補点に
関して最小２乗近似直線Ａを求める。この直線とカメラ
座標系のｘ軸がなす角を指示情報の傾きθとする。な
お、y(k)は必ずしも１ずつ増加させる必要はなく、記入
部分の上部の候補点が少なくとも２点得られればよい。 [STEP2f] 設置用マーカーによる傾斜補正指示領域検
出：STEP1fで求めた最小２乗直線Ａとカメラ座標系のｘ
軸がなす角が記入部分の傾きであるから、この直線Ａを
原点から遠ざかる方向、及び近づく方向へ平行移動させ
て、直線Ａ上に黒画素が１点も存在しない状態になった
ときの直線を、それぞれ直線Ｂ，Ｂ’とする。これら直
線Ｂ，Ｂ’と、直線x=xr(i),x=(画像の幅)で囲まれる領
域内部で最大のｘ座標x_max(i)を持つ黒色の画素を探索
する。直線Ａの傾きθが正の場合、直線Ｂとx=xr(i)の
交点Ｂ１、その交点Ｂ１から直線Ｂ’への垂線の足の座
標位置Ｂ２、x=x_max(i)と直線Ｂの交点Ｂ３、その交点
Ｂ３から直線Ｂ’への垂線の足の座標位置Ｂ４の４点で
囲まれた領域が指示情報の領域となる。ここで、カメラ
１におけるカメラ座標系（ｘ−ｙ座標系）を基準とし
て、図２６に示す様に、右回転方向に傾きθが生じてい
る場合、この傾きθは、正であるとする。 [STEP3f] ペン型指示手段による既存の装飾領域の有
無：設置用マーカー利用移動パラメータ推定部１７は、
付加画像生成部５を参照し、ペン型指示手段による既存
の装飾画像がある場合にはSTEP4fを実行し、無ければST
EP3eを実行する。 [STEP4f] 部分画像の傾斜角による変形：設置用マーカ
ー利用移動パラメータ算出部１７は、既存の装飾画像を
書類の移動に応じて変形するため、第４の実施の形態ST
EP2dで説明したテンプレートマッチング用の部分画像を
選び、その画像をSTEP1fで求めた書類の傾斜角で回転変
形する。 [STEP5f] 部分画像のマッチングによる平行移動パラメ
ータの算出：STEP4fで作成したテンプレートを用いて、
上述した様に、時間的に連続する2枚の画像間でマッチ
ングを行い移動パラメータを求める。書類の回転移動の
パラメータθによりテンプレートを回転移動させている
ので、求める移動パラメータは平行移動(xd,yd)のみと
なる。 [STEP6f] 装飾画像の変形：STEP5fで求めた移動パラメ
ータにより、付加画像生成部５に記憶されているすべて
の画像を変形する。
の画像合成装置の動作を図２５のフローチャートを用い
て説明する。第６の実施の形態の動作は、第５の実施の
形態の動作のSTEP1eとSTEP3eの間に、以下のSTEP1f〜ST
EP6fを挿入したものである。 [STEP1f] 設置用マーカーによる指示情報傾斜角の算
出：複数指示手段対応指示情報検出部１５により、図２
６に示すように、まず、マーカーが検出された位置に隣
接する長方形の領域(xr(i),yl(i))-(画像の幅,yr(i))中
で、各ｙ座標の値y(k)ごとに最大のｘ座標を持つ黒色画
素を探索し、そのｘ座標をx_max(k)とする。このとき、
各ｙ座標ごとのｘ軸方向へ探索において、所定の長さの
間黒色が検出されない場合は探索をうち切る。これによ
り、図２６の例では、傾いている指示情報の上部のみの
候補点が検出される。次に、記入部分の上部の候補点に
関して最小２乗近似直線Ａを求める。この直線とカメラ
座標系のｘ軸がなす角を指示情報の傾きθとする。な
お、y(k)は必ずしも１ずつ増加させる必要はなく、記入
部分の上部の候補点が少なくとも２点得られればよい。 [STEP2f] 設置用マーカーによる傾斜補正指示領域検
出：STEP1fで求めた最小２乗直線Ａとカメラ座標系のｘ
軸がなす角が記入部分の傾きであるから、この直線Ａを
原点から遠ざかる方向、及び近づく方向へ平行移動させ
て、直線Ａ上に黒画素が１点も存在しない状態になった
ときの直線を、それぞれ直線Ｂ，Ｂ’とする。これら直
線Ｂ，Ｂ’と、直線x=xr(i),x=(画像の幅)で囲まれる領
域内部で最大のｘ座標x_max(i)を持つ黒色の画素を探索
する。直線Ａの傾きθが正の場合、直線Ｂとx=xr(i)の
交点Ｂ１、その交点Ｂ１から直線Ｂ’への垂線の足の座
標位置Ｂ２、x=x_max(i)と直線Ｂの交点Ｂ３、その交点
Ｂ３から直線Ｂ’への垂線の足の座標位置Ｂ４の４点で
囲まれた領域が指示情報の領域となる。ここで、カメラ
１におけるカメラ座標系（ｘ−ｙ座標系）を基準とし
て、図２６に示す様に、右回転方向に傾きθが生じてい
る場合、この傾きθは、正であるとする。 [STEP3f] ペン型指示手段による既存の装飾領域の有
無：設置用マーカー利用移動パラメータ推定部１７は、
付加画像生成部５を参照し、ペン型指示手段による既存
の装飾画像がある場合にはSTEP4fを実行し、無ければST
EP3eを実行する。 [STEP4f] 部分画像の傾斜角による変形：設置用マーカ
ー利用移動パラメータ算出部１７は、既存の装飾画像を
書類の移動に応じて変形するため、第４の実施の形態ST
EP2dで説明したテンプレートマッチング用の部分画像を
選び、その画像をSTEP1fで求めた書類の傾斜角で回転変
形する。 [STEP5f] 部分画像のマッチングによる平行移動パラメ
ータの算出：STEP4fで作成したテンプレートを用いて、
上述した様に、時間的に連続する2枚の画像間でマッチ
ングを行い移動パラメータを求める。書類の回転移動の
パラメータθによりテンプレートを回転移動させている
ので、求める移動パラメータは平行移動(xd,yd)のみと
なる。 [STEP6f] 装飾画像の変形：STEP5fで求めた移動パラメ
ータにより、付加画像生成部５に記憶されているすべて
の画像を変形する。
【００６７】以上、第６の実施の形態によれば、設置用
マーカーを用いている場合に、書類が移動しても、指示
情報の傾きとその領域を検出し、また、ペン型指示手段
による既存の装飾画像があっても、その移動パラメータ
を求めて既存装飾画像を変形して合成するため、設置用
マーカーを用いたプレゼンテーションの最中に書類が移
動した場合でも、強調したい部分を正しく装飾すること
ができる。 （実施の形態７）次に本発明の画像合成装置に係る第７
の実施の形態について説明する。
マーカーを用いている場合に、書類が移動しても、指示
情報の傾きとその領域を検出し、また、ペン型指示手段
による既存の装飾画像があっても、その移動パラメータ
を求めて既存装飾画像を変形して合成するため、設置用
マーカーを用いたプレゼンテーションの最中に書類が移
動した場合でも、強調したい部分を正しく装飾すること
ができる。 （実施の形態７）次に本発明の画像合成装置に係る第７
の実施の形態について説明する。
【００６８】第５の実施の形態では、設置用マーカーを
置いたり取り去ったりするだけで、指示情報の装飾が簡
単にできることを説明した。第７の実施の形態は、設置
用マーカーによる装飾とともに効果音を導入し、操作の
確認を簡単にするとともに、よりプレゼンテーション効
果を高めるように考慮したものである。
置いたり取り去ったりするだけで、指示情報の装飾が簡
単にできることを説明した。第７の実施の形態は、設置
用マーカーによる装飾とともに効果音を導入し、操作の
確認を簡単にするとともに、よりプレゼンテーション効
果を高めるように考慮したものである。
【００６９】図２７は第７の実施の形態の構成図であ
り、図２０に示した第５の実施の形態と同じ構成部分に
は同一番号を付して詳細な説明は省略する。
り、図２０に示した第５の実施の形態と同じ構成部分に
は同一番号を付して詳細な説明は省略する。
【００７０】第７の実施の形態と第５の実施の形態の主
な相違点は、所定の時間間隔で検出される設置用マーカ
ーの数の増減により所定の音声データを選択する設置用
指示手段数増減検出部１８を付加したことである。ま
た、１９は音声データを記憶する音声データ記憶部、２
０は選択された音声データを再生するスピーカーであ
る。ここで、設置用指示手段数増減検出部１８は、本発
明の設置用指示部材増減検出手段に対応している。
な相違点は、所定の時間間隔で検出される設置用マーカ
ーの数の増減により所定の音声データを選択する設置用
指示手段数増減検出部１８を付加したことである。ま
た、１９は音声データを記憶する音声データ記憶部、２
０は選択された音声データを再生するスピーカーであ
る。ここで、設置用指示手段数増減検出部１８は、本発
明の設置用指示部材増減検出手段に対応している。
【００７１】以上のように構成された第７の実施の形態
の画像合成装置の動作を、図２８のフローチャートを用
いて説明する。
の画像合成装置の動作を、図２８のフローチャートを用
いて説明する。
【００７２】第７の実施の形態の動作は、第５の実施の
形態の動作のSTEP8eとSTEP9eの間に、以下のSTEP1g〜ST
EP4gを挿入したものである。 [STEP1g] フレーム間での設置用マーカー数の比較：設
置用指示手段数増減検出部１８により、検出された設置
用マーカーの数をフレーム間で比較し、増加の場合STEP
2g、減少の場合STEP3g、変わらない場合STEP9eを実行す
る。 [STEP2g] 増加用音声データの選択：増加用音声データ
を選択しSTEP4gへ進む。 [STEP3g] 減少用音声データの選択：減少用音声データ
を選択しSTEP4gへ進む。 [STEP4g] 効果音の出力：制御部１０００は、STEP2gあ
るいはSTEP3gで選択された音声データを、スピーカー２
０より出力する。
形態の動作のSTEP8eとSTEP9eの間に、以下のSTEP1g〜ST
EP4gを挿入したものである。 [STEP1g] フレーム間での設置用マーカー数の比較：設
置用指示手段数増減検出部１８により、検出された設置
用マーカーの数をフレーム間で比較し、増加の場合STEP
2g、減少の場合STEP3g、変わらない場合STEP9eを実行す
る。 [STEP2g] 増加用音声データの選択：増加用音声データ
を選択しSTEP4gへ進む。 [STEP3g] 減少用音声データの選択：減少用音声データ
を選択しSTEP4gへ進む。 [STEP4g] 効果音の出力：制御部１０００は、STEP2gあ
るいはSTEP3gで選択された音声データを、スピーカー２
０より出力する。
【００７３】以上の手続きにより、設置用マーカーの数
の変化を調べるだけで、マーカーが新たに書類上に置か
れたとき、あるいは取り去られたときに、指示情報の装
飾に併せて同時に効果音を出力できる。
の変化を調べるだけで、マーカーが新たに書類上に置か
れたとき、あるいは取り去られたときに、指示情報の装
飾に併せて同時に効果音を出力できる。
【００７４】以上、第７の実施の形態によれば、マーカ
ーが書類上に加えられた場合や取り除かれた場合をマー
カー数の増減により識別し、それに応じた効果音を付加
できるので、操作の確認を容易にするだけでなく、より
効果的なプレゼンテーションが可能になる。 （実施の形態８）次に本発明の画像合成装置に係る第８
の実施の形態について説明する。
ーが書類上に加えられた場合や取り除かれた場合をマー
カー数の増減により識別し、それに応じた効果音を付加
できるので、操作の確認を容易にするだけでなく、より
効果的なプレゼンテーションが可能になる。 （実施の形態８）次に本発明の画像合成装置に係る第８
の実施の形態について説明する。
【００７５】第１〜７の実施の形態では、箇条書きや写
真からなる比較的単純な書類から指示部分を検出し装飾
する例を説明した。第８の実施の形態ではさらに、複数
の指示手段の形状と対応づけを認識することにより、文
字や図が混在する書類を装飾できるように考慮したもの
である。
真からなる比較的単純な書類から指示部分を検出し装飾
する例を説明した。第８の実施の形態ではさらに、複数
の指示手段の形状と対応づけを認識することにより、文
字や図が混在する書類を装飾できるように考慮したもの
である。
【００７６】図２９は第８の実施の形態の構成図であ
り、図２０に示した第５の実施の形態と同じ構成部分に
は同一番号を付して詳細な説明は省略する。
り、図２０に示した第５の実施の形態と同じ構成部分に
は同一番号を付して詳細な説明は省略する。
【００７７】第８の実施の形態と第５の実施の形態の主
な相違点は、指示手段の形状を少なくとも２種類認識す
る指示手段形状認識部２１と、指示手段形状認識部２１
により認識された指示手段の形状から所定の組み合わせ
の指示手段の対応づけを決定する指示手段対応決定部２
２と付加したことである。ここで、指示手段形状認識部
２１は、本発明の指示部材形状認識手段に対応し、ま
た、指示手段対応決定部２２は、本発明の指示部材対応
決定手段に対応する。
な相違点は、指示手段の形状を少なくとも２種類認識す
る指示手段形状認識部２１と、指示手段形状認識部２１
により認識された指示手段の形状から所定の組み合わせ
の指示手段の対応づけを決定する指示手段対応決定部２
２と付加したことである。ここで、指示手段形状認識部
２１は、本発明の指示部材形状認識手段に対応し、ま
た、指示手段対応決定部２２は、本発明の指示部材対応
決定手段に対応する。
【００７８】以上のように構成された第８の実施の形態
の画像合成装置の動作を、図３０のフローチャートを用
いて説明する。本実施の形態の動作をより分かりやすく
説明するために、図３１に示すような文字列と図形が混
在する書類を、２種類のカギ形状のマーカーを用い、カ
ギ形状を認識して対応付けた領域を装飾する例で説明す
る。このようなマーカーは、例えば学校の先生が授業の
予習として、教科書の話すところにあらかじめマークし
ておけばよい。マーカーによる指示は、シールのような
ものを貼るのでもよいし、書類に蛍光ペン等で描いても
よい。
の画像合成装置の動作を、図３０のフローチャートを用
いて説明する。本実施の形態の動作をより分かりやすく
説明するために、図３１に示すような文字列と図形が混
在する書類を、２種類のカギ形状のマーカーを用い、カ
ギ形状を認識して対応付けた領域を装飾する例で説明す
る。このようなマーカーは、例えば学校の先生が授業の
予習として、教科書の話すところにあらかじめマークし
ておけばよい。マーカーによる指示は、シールのような
ものを貼るのでもよいし、書類に蛍光ペン等で描いても
よい。
【００７９】以下、第８の実施の形態の動作手順を説明
する。第８の実施の形態の動作は、第５の実施の形態の
動作のSTEP1eとSTEP2eの間に、以下のSTEP1h〜STEP5hを
挿入したものである。 [STEP1h] カギ形状マーカーの検出：異種複数指示手段
指示位置検出部１４により、画像からカギ形状マーカー
を表す所定の色（所定の範囲のＲＧＢ値）をもつ所定の
大きさの領域をマーカーとして検出する。 [STEP2h] マーカー形状の認識：指示手段形状認識部２
１により検出されたマーカーの種類を認識する。ここで
は図３２に示すような開始マーカーと終了マーカーを認
識する。具体的には、検出されたマーカーの領域を図３
２に示すように４等分し、領域０と３についてマーカー
を表す所定の色（ＲＧＢ値）を持つ画素の数を数え、そ
の数が領域０の方が多ければ開始マーカー、その逆であ
れば終了マーカーと認識する。 [STEP3h] マーカーの対応づけによる記入部分の検出：
指示手段対応決定部２２により、どの開始マーカーがど
の終了マーカーと対応し領域が指定されているかを決定
する。まず、全開始マーカーについて、自分より右下に
あるすべての終了マーカーとの距離を計算する。次に、
距離が最小のマーカーから対応づける。 [STEP4h] 指示情報の特徴量検出：異種複数指示手段対
応指示情報検出部１５により、指示情報の特徴量とし
て、例えば指示領域の白画素の割合を求める。一般に、
指示領域の白画素の割合は、（図面）＜（文字列）＜
（写真）となるので、適当なしきい値によりそれらは識
別できる。 [STEP5h] 記入部分の装飾：異種複数指示手段対応付加
画像生成部１６により、STEP3aで検出された指示情報の
領域について、黒色以外の画素のＲＧＢ値を所定の色の
ＲＧＢ値に置き換えた画像を付加画像として、付加画像
生成部５に記憶する。
する。第８の実施の形態の動作は、第５の実施の形態の
動作のSTEP1eとSTEP2eの間に、以下のSTEP1h〜STEP5hを
挿入したものである。 [STEP1h] カギ形状マーカーの検出：異種複数指示手段
指示位置検出部１４により、画像からカギ形状マーカー
を表す所定の色（所定の範囲のＲＧＢ値）をもつ所定の
大きさの領域をマーカーとして検出する。 [STEP2h] マーカー形状の認識：指示手段形状認識部２
１により検出されたマーカーの種類を認識する。ここで
は図３２に示すような開始マーカーと終了マーカーを認
識する。具体的には、検出されたマーカーの領域を図３
２に示すように４等分し、領域０と３についてマーカー
を表す所定の色（ＲＧＢ値）を持つ画素の数を数え、そ
の数が領域０の方が多ければ開始マーカー、その逆であ
れば終了マーカーと認識する。 [STEP3h] マーカーの対応づけによる記入部分の検出：
指示手段対応決定部２２により、どの開始マーカーがど
の終了マーカーと対応し領域が指定されているかを決定
する。まず、全開始マーカーについて、自分より右下に
あるすべての終了マーカーとの距離を計算する。次に、
距離が最小のマーカーから対応づける。 [STEP4h] 指示情報の特徴量検出：異種複数指示手段対
応指示情報検出部１５により、指示情報の特徴量とし
て、例えば指示領域の白画素の割合を求める。一般に、
指示領域の白画素の割合は、（図面）＜（文字列）＜
（写真）となるので、適当なしきい値によりそれらは識
別できる。 [STEP5h] 記入部分の装飾：異種複数指示手段対応付加
画像生成部１６により、STEP3aで検出された指示情報の
領域について、黒色以外の画素のＲＧＢ値を所定の色の
ＲＧＢ値に置き換えた画像を付加画像として、付加画像
生成部５に記憶する。
【００８０】以上の手順により、カギ形状のマーカーが
正しく対応づけられ、図３３に示すように指定された領
域が装飾される。
正しく対応づけられ、図３３に示すように指定された領
域が装飾される。
【００８１】以上、第８の実施の形態によれば、箇条書
きの文字列だけでなく、文字や図形が混在した図を含む
より複雑な書類に対しても装飾が可能となる。 （実施の形態９）次に本発明の画像合成装置に係る第９
の実施の形態について説明する。
きの文字列だけでなく、文字や図形が混在した図を含む
より複雑な書類に対しても装飾が可能となる。 （実施の形態９）次に本発明の画像合成装置に係る第９
の実施の形態について説明する。
【００８２】第１〜８の実施の形態に対して、第９の実
施の形態では、さらにカメラをズームさせた場合にも、
強調した部分が正しく表示されるよう考慮したものであ
る。
施の形態では、さらにカメラをズームさせた場合にも、
強調した部分が正しく表示されるよう考慮したものであ
る。
【００８３】図３４は第９の実施の形態の構成図であ
り、図１に示した第１の実施の形態と同じ構成部分には
同一番号を付して詳細な説明は省略する。
り、図１に示した第１の実施の形態と同じ構成部分には
同一番号を付して詳細な説明は省略する。
【００８４】第９の実施の形態と第１の実施の形態の主
な相違点は、さらに、カメラ１のズーム倍率を検出する
ズーム倍率検出部２３と、検出されたズーム倍率に基づ
き装飾画像を拡大・縮小する装飾画像拡大・縮小部２４
を付加したことである。
な相違点は、さらに、カメラ１のズーム倍率を検出する
ズーム倍率検出部２３と、検出されたズーム倍率に基づ
き装飾画像を拡大・縮小する装飾画像拡大・縮小部２４
を付加したことである。
【００８５】以上のように構成された第９の実施の形態
の画像合成装置の動作を図３５のフローチャートを用い
て説明する。第９の実施の形態の動作は、第１の実施の
形態の動作のSTEP1aとSTEP2aの間に、以下のSTEP1i〜ST
EP3iを挿入したものである。 [STEP1i] 既存の装飾領域の有無：付加画像拡大・縮小
部２４は、付加画像生成部５を参照し、既存の付加画像
がある場合には、STEP2iへ進み、無ければSTEP2aを実行
する。 [STEP2i] ズーム倍率の検出：ズーム倍率検出部２３に
より、カメラ１のズーム信号を制御部１０００を介して
検出し、付加画像拡大・縮小部２４へ送る。 [STEP3i] 装飾画像の拡大・縮小：STEP2iで検出したズー
ム倍率により、付加画像生成部５に記憶されているすべ
ての画像を拡大または縮小する。
の画像合成装置の動作を図３５のフローチャートを用い
て説明する。第９の実施の形態の動作は、第１の実施の
形態の動作のSTEP1aとSTEP2aの間に、以下のSTEP1i〜ST
EP3iを挿入したものである。 [STEP1i] 既存の装飾領域の有無：付加画像拡大・縮小
部２４は、付加画像生成部５を参照し、既存の付加画像
がある場合には、STEP2iへ進み、無ければSTEP2aを実行
する。 [STEP2i] ズーム倍率の検出：ズーム倍率検出部２３に
より、カメラ１のズーム信号を制御部１０００を介して
検出し、付加画像拡大・縮小部２４へ送る。 [STEP3i] 装飾画像の拡大・縮小：STEP2iで検出したズー
ム倍率により、付加画像生成部５に記憶されているすべ
ての画像を拡大または縮小する。
【００８６】以上の手順により、第９の実施の形態によ
れば、カメラをズームさせた場合にも付加画像をズーム
倍率にあわせて拡大・縮小するので、強調したい部分を
正しく装飾できるので、よりプレゼンテーションの幅を
広げることができる。 （実施の形態１０）次に本発明の画像合成装置に係る第
１０の実施の形態について説明する。
れば、カメラをズームさせた場合にも付加画像をズーム
倍率にあわせて拡大・縮小するので、強調したい部分を
正しく装飾できるので、よりプレゼンテーションの幅を
広げることができる。 （実施の形態１０）次に本発明の画像合成装置に係る第
１０の実施の形態について説明する。
【００８７】第１〜９の実施の形態では、ペン、設置用
マーカー等の複数指示手段で指定した領域を色や下線に
より装飾する例を示した。第１０の実施の形態ではさら
に、所定の色で着色した指定領域を表示させなくするこ
とを考慮したものである。
マーカー等の複数指示手段で指定した領域を色や下線に
より装飾する例を示した。第１０の実施の形態ではさら
に、所定の色で着色した指定領域を表示させなくするこ
とを考慮したものである。
【００８８】図３６は第１０の実施の形態の構成図であ
り、図１に示した第１の実施の形態と同じ構成部分には
同一番号を付して詳細な説明は省略する。
り、図１に示した第１の実施の形態と同じ構成部分には
同一番号を付して詳細な説明は省略する。
【００８９】第１０の実施の形態と第１の実施の形態の
主な相違点は、所定の色で着色あるいは包含された領域
を検出し、その領域の情報の表示を消す着色指定領域消
去部２５を付加したことである。
主な相違点は、所定の色で着色あるいは包含された領域
を検出し、その領域の情報の表示を消す着色指定領域消
去部２５を付加したことである。
【００９０】以上のように構成された第１０の実施の形
態の画像合成装置の動作を説明する。
態の画像合成装置の動作を説明する。
【００９１】指定着色領域消去部２５は、画像をラスタ
ー走査し、所定のＲＧＢ値を持つ近接する（たとえば８
近傍）画素を同一の指定領域であるとして同一のラベル
をつける。次に、同一のラベルがつけられた所定の数以
上の画素のグループに対して、所定の色（ＲＧＢ値）で
ラベルがつけられた同一グループの画素の色をすべて置
き換える。
ー走査し、所定のＲＧＢ値を持つ近接する（たとえば８
近傍）画素を同一の指定領域であるとして同一のラベル
をつける。次に、同一のラベルがつけられた所定の数以
上の画素のグループに対して、所定の色（ＲＧＢ値）で
ラベルがつけられた同一グループの画素の色をすべて置
き換える。
【００９２】以上の手順により、第１０の実施の形態に
よれば、所定の色で着色指定した領域の情報は、表示部
には表示されないため、例えば、先生が教科書にメモし
ている問題の答えやコメント部分を所定の色で塗ってお
けば、聞き手に不必要な情報を見せないようにできる。 （実施の形態１１）次に本発明の画像合成装置に係る第
１１の実施の形態について説明する。
よれば、所定の色で着色指定した領域の情報は、表示部
には表示されないため、例えば、先生が教科書にメモし
ている問題の答えやコメント部分を所定の色で塗ってお
けば、聞き手に不必要な情報を見せないようにできる。 （実施の形態１１）次に本発明の画像合成装置に係る第
１１の実施の形態について説明する。
【００９３】第１〜１０の実施の形態では、書類等を所
定の指示手段で指示するだけで、その指示部分を装飾ま
たは強調する画像を生成し合成表示するので、簡単に効
果的なプレゼンテーションができることを説明したが、
第１１の実施の形態ではさらに、効率のよい教育用シス
テムとして拡張することを考慮したものである。
定の指示手段で指示するだけで、その指示部分を装飾ま
たは強調する画像を生成し合成表示するので、簡単に効
果的なプレゼンテーションができることを説明したが、
第１１の実施の形態ではさらに、効率のよい教育用シス
テムとして拡張することを考慮したものである。
【００９４】図３７は第１１の実施の形態の構成図であ
り、図１に示した第１の実施の形態と同じ構成部分には
同一番号を付して詳細な説明は省略する。
り、図１に示した第１の実施の形態と同じ構成部分には
同一番号を付して詳細な説明は省略する。
【００９５】第１１の実施の形態と第１の実施の形態の
主な相違点は、さらに、画像合成部５により合成された
画像をインターネットのブラウザで表示可能な形式で保
存するブラウザ対応ファイル作成・更新部２６を付加し
たことである。また、２７はホームページが管理されて
いるサーバーで複数の端末にネットワーク等で接続され
ている。
主な相違点は、さらに、画像合成部５により合成された
画像をインターネットのブラウザで表示可能な形式で保
存するブラウザ対応ファイル作成・更新部２６を付加し
たことである。また、２７はホームページが管理されて
いるサーバーで複数の端末にネットワーク等で接続され
ている。
【００９６】以上のように構成された第１１の実施の形
態の画像合成装置の動作を説明する。
態の画像合成装置の動作を説明する。
【００９７】例えば、学校の先生が本実施の形態である
画像合成装置を授業で用いる場合を例として説明する。
制御部１０００は画像を保存するためのメモリを搭載
し、例えば制御部１０００に接続されたキーボードの所
定のキーを押すことにより、画像合成部５で合成された
画像が保存される。あるいは、第３の実施の形態と同様
に、例えばカメラ1の映像に、「画像の保存」という画
像をスーパーインポーズし、それをペン等で指示する方
式をとることもできる。これにより先生は、授業で作成
した画像のうち生徒にとって有用であると思う画像をシ
ステムに保存できる。次に、ブラウザ対応ファイル作成
・更新部２６は、保存された画像をＧＩＦやＪＰＥＧ形
式に変換し、サーバー２７に対して、それを参照できる
例えばＨＴＭＬファイルを作成あるいは更新する。これ
により、生徒は学外等からこの講義資料を閲覧できるよ
うになる。
画像合成装置を授業で用いる場合を例として説明する。
制御部１０００は画像を保存するためのメモリを搭載
し、例えば制御部１０００に接続されたキーボードの所
定のキーを押すことにより、画像合成部５で合成された
画像が保存される。あるいは、第３の実施の形態と同様
に、例えばカメラ1の映像に、「画像の保存」という画
像をスーパーインポーズし、それをペン等で指示する方
式をとることもできる。これにより先生は、授業で作成
した画像のうち生徒にとって有用であると思う画像をシ
ステムに保存できる。次に、ブラウザ対応ファイル作成
・更新部２６は、保存された画像をＧＩＦやＪＰＥＧ形
式に変換し、サーバー２７に対して、それを参照できる
例えばＨＴＭＬファイルを作成あるいは更新する。これ
により、生徒は学外等からこの講義資料を閲覧できるよ
うになる。
【００９８】以上の手順により、第１１の実施の形態に
よれば、作成した合成画像をインターネットのホームペ
ージに登録できるので、大学等の学校の授業に、端末を
介して学外から参加できたり、講義資料を再利用した
り、また先生はレポート課題を与えるなどの効率のよい
教育サポートシステムの実現が可能となる。 （実施の形態１２）次に本発明の画像合成装置に係る第
１２の実施の形態について説明する。
よれば、作成した合成画像をインターネットのホームペ
ージに登録できるので、大学等の学校の授業に、端末を
介して学外から参加できたり、講義資料を再利用した
り、また先生はレポート課題を与えるなどの効率のよい
教育サポートシステムの実現が可能となる。 （実施の形態１２）次に本発明の画像合成装置に係る第
１２の実施の形態について説明する。
【００９９】第１〜１１の実施の形態では、書類等に記
載されている現実の情報をペン等で指示するだけで、そ
の特徴に応じて合成した付加画像をスーパーインポーズ
を表示することにより、効果的なプレゼンテーションシ
ステムが実現できることを示したが、第１２の実施の形
態では、合成に用いるための付加画像として、複数の現
実物を簡単に取込んで加工し、合成した画像をＦＡＸや
ＴＶ等に送信できるよう考慮したものである。
載されている現実の情報をペン等で指示するだけで、そ
の特徴に応じて合成した付加画像をスーパーインポーズ
を表示することにより、効果的なプレゼンテーションシ
ステムが実現できることを示したが、第１２の実施の形
態では、合成に用いるための付加画像として、複数の現
実物を簡単に取込んで加工し、合成した画像をＦＡＸや
ＴＶ等に送信できるよう考慮したものである。
【０１００】図３８は、第１２の実施の形態を示す構成
図であり、図１に示した第１の実施の形態と同じ構成部
分には同一番号を付して詳細な説明は省略する。
図であり、図１に示した第１の実施の形態と同じ構成部
分には同一番号を付して詳細な説明は省略する。
【０１０１】第１２の実施の形態と第１の実施の形態の
主な相違点は、表示部８を入力表示一体型ディスプレイ
２８で置き換え、前記ディスプレイ２８への入力位置を
検出する入力位置検出部２９、ディスプレイ２８の表示
部の少なくとも一部分を撮像するようにカメラ１を設置
し、ディスプレイ２８の表示部の上に置かれた現実物の
輪郭を抽出する現実物抽出部３０、現実物抽出部３０に
より抽出された物体の画像を加工することにより、装飾
や強調用としてディスプレイに表示する付加画像を生成
する装飾画像生成部３１と、生成された付加画像を記憶
する付加画像記憶部３２，生成された付加画像のディス
プレイへの表示方法を選択する装飾機能選択部３３，お
よび、ディスプレイ２８上の現実物と前記ディスプレイ
２８の表示画像とを画像合成部７により合成した画像を
ＦＡＸやテレビに送信または受信する画像送受信部３４
を備えたことである。また、制御部１０００は、ＲＯＭ
やＲＡＭなどのメモリとＣＰＵから構成されており、そ
のメモリには、前記ディスプレイ２６からの入力に対応
した処理が記憶されている。
主な相違点は、表示部８を入力表示一体型ディスプレイ
２８で置き換え、前記ディスプレイ２８への入力位置を
検出する入力位置検出部２９、ディスプレイ２８の表示
部の少なくとも一部分を撮像するようにカメラ１を設置
し、ディスプレイ２８の表示部の上に置かれた現実物の
輪郭を抽出する現実物抽出部３０、現実物抽出部３０に
より抽出された物体の画像を加工することにより、装飾
や強調用としてディスプレイに表示する付加画像を生成
する装飾画像生成部３１と、生成された付加画像を記憶
する付加画像記憶部３２，生成された付加画像のディス
プレイへの表示方法を選択する装飾機能選択部３３，お
よび、ディスプレイ２８上の現実物と前記ディスプレイ
２８の表示画像とを画像合成部７により合成した画像を
ＦＡＸやテレビに送信または受信する画像送受信部３４
を備えたことである。また、制御部１０００は、ＲＯＭ
やＲＡＭなどのメモリとＣＰＵから構成されており、そ
のメモリには、前記ディスプレイ２６からの入力に対応
した処理が記憶されている。
【０１０２】次に本実施の形態の動作について説明す
る。
る。
【０１０３】図３９は第１２の実施の形態の画像合成装
置の動作を示すフローチャートである。図４０は、本実
施の形態における入力表示一体型ディスプレイとカメラ
による撮像範囲の一例である。本実施の形態の動作をよ
り分かりやすく説明するために、ここでは、入社祝いに
時計をもらった人へのお礼のメッセージ画像を合成して
ＦＡＸに送信する場合を例として説明する。
置の動作を示すフローチャートである。図４０は、本実
施の形態における入力表示一体型ディスプレイとカメラ
による撮像範囲の一例である。本実施の形態の動作をよ
り分かりやすく説明するために、ここでは、入社祝いに
時計をもらった人へのお礼のメッセージ画像を合成して
ＦＡＸに送信する場合を例として説明する。
【０１０４】以下に本実施の形態の動作手順を示す。 [STEP1j] 現実物の設置：入力表示一体型ディスプレイ
２８の上方に配置されたカメラ１による撮像領域内に、
メッセージに使用したい現実物を設置する。ここでは、
図４０のように、メッセージを送信しようとする相手か
らもらった時計と、入社して配属が決まり会社からもら
った名札をディスプレイ２８上に置いた例で説明する。
ここで、ディスプレイ２８の入力面として超音波表面弾
性波方式や電磁誘導式の物を利用すれば、時計などの硬
い物体を載せても、ディスプレイ２８に入力があったと
は誤判定されない。また、感圧式や抵抗膜方式の物で
も、軽いものであれば同様に誤判定されない。ディスプ
レイ２６への入力の有無は制御部１０００が管理してい
る。 [STEP2j] 現実物の抽出：図４１に示すように、装飾機
能選択部３３で選択できる機能は、好ましくはディスプ
レイ２８にアイコンとして表示されている。現実物の抽
出アイコン４０１を押せば、取込みたい現実物を選択す
るモードとなる。抽出したい現実物（ここでは時計と名
札）をペン入力により１つの閉曲線で囲む。制御部１０
００はペン入力の終了信号を受けて、まずカメラ１によ
り撮影領域の画像を取り込み、次に現実物抽出部３０を
起動して取り込んだ画像をもとに現実物を抽出する。こ
こで、ペン入力の開始と、終了は、ペン入力アイコン４
１１を押すことにより行う。現実物抽出部３０は、図４
２に示すように１つの閉曲線を物体の数にだけ自動的に
分裂させ（ここでは２つ）、時計と名札をそれぞれ独立
に抽出する。この方法については後に詳細に説明する。
なお、ペン入力は、超音波表面弾性波方式であれば指や
ゴムなどの柔らかいもの、感圧式や抵抗膜方式の物は普
通のボールペンのキャップのような硬いものでも指でも
入力できる。 [STEP3j] 装飾モードの選択：制御部１０００は、装飾
画像生成部３１を起動して、抽出した現実物の画像の色
や形を変化させ、装飾用の画像を生成し、装飾画像記憶
部３２に記憶する。これには種々の方法があるが、ここ
では、縮小を例として説明する。制御部１０００は、装
飾画像生成部３１により生成された装飾画像（図４２で
は、抽出した現実物の縮小画像４２２として表示）と装
飾モードボタン４２１とを図４２に示すようにディスプ
レイ２８に表示する。ここで、装飾画像と装飾モードの
選択はディスプレイ２８に表示されている画像やボタン
のアイコンをペン等により触れることにより行う。これ
らの入力指示は、入力位置検出部２９により処理され
る。
２８の上方に配置されたカメラ１による撮像領域内に、
メッセージに使用したい現実物を設置する。ここでは、
図４０のように、メッセージを送信しようとする相手か
らもらった時計と、入社して配属が決まり会社からもら
った名札をディスプレイ２８上に置いた例で説明する。
ここで、ディスプレイ２８の入力面として超音波表面弾
性波方式や電磁誘導式の物を利用すれば、時計などの硬
い物体を載せても、ディスプレイ２８に入力があったと
は誤判定されない。また、感圧式や抵抗膜方式の物で
も、軽いものであれば同様に誤判定されない。ディスプ
レイ２６への入力の有無は制御部１０００が管理してい
る。 [STEP2j] 現実物の抽出：図４１に示すように、装飾機
能選択部３３で選択できる機能は、好ましくはディスプ
レイ２８にアイコンとして表示されている。現実物の抽
出アイコン４０１を押せば、取込みたい現実物を選択す
るモードとなる。抽出したい現実物（ここでは時計と名
札）をペン入力により１つの閉曲線で囲む。制御部１０
００はペン入力の終了信号を受けて、まずカメラ１によ
り撮影領域の画像を取り込み、次に現実物抽出部３０を
起動して取り込んだ画像をもとに現実物を抽出する。こ
こで、ペン入力の開始と、終了は、ペン入力アイコン４
１１を押すことにより行う。現実物抽出部３０は、図４
２に示すように１つの閉曲線を物体の数にだけ自動的に
分裂させ（ここでは２つ）、時計と名札をそれぞれ独立
に抽出する。この方法については後に詳細に説明する。
なお、ペン入力は、超音波表面弾性波方式であれば指や
ゴムなどの柔らかいもの、感圧式や抵抗膜方式の物は普
通のボールペンのキャップのような硬いものでも指でも
入力できる。 [STEP3j] 装飾モードの選択：制御部１０００は、装飾
画像生成部３１を起動して、抽出した現実物の画像の色
や形を変化させ、装飾用の画像を生成し、装飾画像記憶
部３２に記憶する。これには種々の方法があるが、ここ
では、縮小を例として説明する。制御部１０００は、装
飾画像生成部３１により生成された装飾画像（図４２で
は、抽出した現実物の縮小画像４２２として表示）と装
飾モードボタン４２１とを図４２に示すようにディスプ
レイ２８に表示する。ここで、装飾画像と装飾モードの
選択はディスプレイ２８に表示されている画像やボタン
のアイコンをペン等により触れることにより行う。これ
らの入力指示は、入力位置検出部２９により処理され
る。
【０１０５】装飾モードも種々のものが考えられるが、
ここでは、「背景」、「縁」、「自由」の３モードとし
て説明する。「背景」モードはディスプレイ２８の表示
領域全体に、「縁」モードは前記表示領域の内側に沿っ
て、「自由」モードはペン等でディスプレイ２８に触れ
た任意の場所にそれぞれ装飾画像を表示する。図４３
は、装飾画像として、抽出した現実物の縮小画像４２２
の中から時計の画像を選択し、「縁」のモードに対応す
るボタン４２１−ａをペン等で選択した結果であるが、
制御部１０００は「縁」のモードに対応し、ディスプレ
イ２８の表示領域の内側の縁に沿って縮小された時計の
画像４２２を表示する。 [STEP4j] メッセージ入力：ペン入力により相手に伝え
たいメッセージを入力する。例えば、図４４に示すよう
なメッセージを入力する。ペン入力は、ペンで入力面に
触れた位置のディスプレイの表示を所定の色（例えば
黒）に変更することにより行われる。 [STEP5j] 合成画像の送信：図４４に示すように、ディ
スプレイ２８に表示されている「送信」ボタン４０２を
押すと、制御部１０００は、まず画像合成部７を起動
し、カメラ１により捉えているディスプレイ２８上の現
実物の画像データと、ディスプレイ２８に表示されてい
る装飾画像のデータやメッセージデータとを合成画像と
して、例えばビットマップ形式などで保存する。次に保
存した画像を画像送受信部３４により送信する機器に応
じたデータフォーマットに変換し、合成画像を送信す
る。例えばＦＡＸに送信する場合は画像をランレングス
形式に変換すればよい。
ここでは、「背景」、「縁」、「自由」の３モードとし
て説明する。「背景」モードはディスプレイ２８の表示
領域全体に、「縁」モードは前記表示領域の内側に沿っ
て、「自由」モードはペン等でディスプレイ２８に触れ
た任意の場所にそれぞれ装飾画像を表示する。図４３
は、装飾画像として、抽出した現実物の縮小画像４２２
の中から時計の画像を選択し、「縁」のモードに対応す
るボタン４２１−ａをペン等で選択した結果であるが、
制御部１０００は「縁」のモードに対応し、ディスプレ
イ２８の表示領域の内側の縁に沿って縮小された時計の
画像４２２を表示する。 [STEP4j] メッセージ入力：ペン入力により相手に伝え
たいメッセージを入力する。例えば、図４４に示すよう
なメッセージを入力する。ペン入力は、ペンで入力面に
触れた位置のディスプレイの表示を所定の色（例えば
黒）に変更することにより行われる。 [STEP5j] 合成画像の送信：図４４に示すように、ディ
スプレイ２８に表示されている「送信」ボタン４０２を
押すと、制御部１０００は、まず画像合成部７を起動
し、カメラ１により捉えているディスプレイ２８上の現
実物の画像データと、ディスプレイ２８に表示されてい
る装飾画像のデータやメッセージデータとを合成画像と
して、例えばビットマップ形式などで保存する。次に保
存した画像を画像送受信部３４により送信する機器に応
じたデータフォーマットに変換し、合成画像を送信す
る。例えばＦＡＸに送信する場合は画像をランレングス
形式に変換すればよい。
【０１０６】尚、上述したカメラ１により捉えているデ
ィスプレイ２８上の現実物の画像データは、現実物抽出
部３０で処理された後、画像合成部７へ送られて、装飾
画像記憶部３２から出力されてくる上述した装飾画像の
データなどと共に画像合成部７において合成される。
ィスプレイ２８上の現実物の画像データは、現実物抽出
部３０で処理された後、画像合成部７へ送られて、装飾
画像記憶部３２から出力されてくる上述した装飾画像の
データなどと共に画像合成部７において合成される。
【０１０７】また、上記以外の合成のやり方として、次
のようにしてもよい。
のようにしてもよい。
【０１０８】即ち、ディスプレイ２８上の現実物と、デ
ィスプレイ２８に表示されている装飾画像やメッセージ
とを、そのままカメラ１により撮像する方法である。こ
の場合、カメラ１からの合成画像を画像送受信部３４へ
直接送ることも可能である。また、この場合は、上記の
合成方法と異なり、ディスプレイ２８に表示されている
装飾画像やメッセージ等の画像の品質が低下することに
なる。
ィスプレイ２８に表示されている装飾画像やメッセージ
とを、そのままカメラ１により撮像する方法である。こ
の場合、カメラ１からの合成画像を画像送受信部３４へ
直接送ることも可能である。また、この場合は、上記の
合成方法と異なり、ディスプレイ２８に表示されている
装飾画像やメッセージ等の画像の品質が低下することに
なる。
【０１０９】それでは、上記[STEP2j]における現実物抽
出部３０によるディスプレイ上の現実物の抽出方法につ
いて詳細に説明する。
出部３０によるディスプレイ上の現実物の抽出方法につ
いて詳細に説明する。
【０１１０】図４５は、現実物抽出部３０の詳細な構成
図である。図４５において、３５はカメラ１で撮像した
画像を記憶する画像記憶部、３６はディスプレイ２８に
入力された閉曲線を画像記憶部３５に記憶されている画
像中の対象物の輪郭候補点として離散化し記憶する輪郭
モデル記憶部、３７は輪郭モデル記憶部３６に記憶され
ている輪郭候補点を所定の規則により移動させる輪郭モ
デル変形部、３８は輪郭候補点をあらかじめ定められた
組み合わせで結んだ閉曲線の交差の有無を判定する輪郭
モデル交差判定部、３９は交差判定部３８により交差が
検知された場合に輪郭候補点を複数の組に分類する輪郭
モデル分裂部、４０は交差判定部３８により交差なしと
判定された場合に輪郭候補点を新たに追加あるいは消滅
させる輪郭候補点生成・消滅部、４１は輪郭抽出の完了
を判定する抽出完了判定部である。
図である。図４５において、３５はカメラ１で撮像した
画像を記憶する画像記憶部、３６はディスプレイ２８に
入力された閉曲線を画像記憶部３５に記憶されている画
像中の対象物の輪郭候補点として離散化し記憶する輪郭
モデル記憶部、３７は輪郭モデル記憶部３６に記憶され
ている輪郭候補点を所定の規則により移動させる輪郭モ
デル変形部、３８は輪郭候補点をあらかじめ定められた
組み合わせで結んだ閉曲線の交差の有無を判定する輪郭
モデル交差判定部、３９は交差判定部３８により交差が
検知された場合に輪郭候補点を複数の組に分類する輪郭
モデル分裂部、４０は交差判定部３８により交差なしと
判定された場合に輪郭候補点を新たに追加あるいは消滅
させる輪郭候補点生成・消滅部、４１は輪郭抽出の完了
を判定する抽出完了判定部である。
【０１１１】以上のように構成された現実物抽出部３０
の動作を、図４６のフローチャートを参照しながら説明
する。画像記憶部３５は通常ＲＡＭで構成されており、
カメラ１で撮像された画像がデジタル化され記憶され
る。デジタル化された画像の画素データは、例えば、そ
の輝度を８ビットで表すなどして記憶される。以下に現
実物抽出部３０の動作手順を示す。 [STEP2j_1] 輪郭候補点の初期配置：先に説明した[STE
P2j]でディスプレイ１にペン入力された閉曲線（輪郭モ
デル）を構成するn個の点を、初期の輪郭候補点vi(xi
(0),yi(0))(i=1,2,…,n)として輪郭モデル記憶部３６に
記憶する。iは輪郭候補点を連結した閉曲線（輪郭モデ
ル）を構成するための輪郭候補点の連結順序を表す。こ
の輪郭モデル記憶部３６は通常ＲＡＭで構成されてい
る。 [STEP2j_2] 輪郭モデルの変形：輪郭モデル変形部３７
により、すべての輪郭候補点の位置を1回移動させる。
これにより輪郭候補点を連結した閉曲線が変形する。
尚、この閉曲線は、輪郭候補点を定められた連結順序に
したがい連結したものである。輪郭モデルの変形は、あ
らかじめ輪郭モデルについて定義したエネルギーEsnake
(vi)を最小にするような方向に各輪郭候補点を移動させ
ることにより行う。この定義したエネルギーについて
は、後述する。
の動作を、図４６のフローチャートを参照しながら説明
する。画像記憶部３５は通常ＲＡＭで構成されており、
カメラ１で撮像された画像がデジタル化され記憶され
る。デジタル化された画像の画素データは、例えば、そ
の輝度を８ビットで表すなどして記憶される。以下に現
実物抽出部３０の動作手順を示す。 [STEP2j_1] 輪郭候補点の初期配置：先に説明した[STE
P2j]でディスプレイ１にペン入力された閉曲線（輪郭モ
デル）を構成するn個の点を、初期の輪郭候補点vi(xi
(0),yi(0))(i=1,2,…,n)として輪郭モデル記憶部３６に
記憶する。iは輪郭候補点を連結した閉曲線（輪郭モデ
ル）を構成するための輪郭候補点の連結順序を表す。こ
の輪郭モデル記憶部３６は通常ＲＡＭで構成されてい
る。 [STEP2j_2] 輪郭モデルの変形：輪郭モデル変形部３７
により、すべての輪郭候補点の位置を1回移動させる。
これにより輪郭候補点を連結した閉曲線が変形する。
尚、この閉曲線は、輪郭候補点を定められた連結順序に
したがい連結したものである。輪郭モデルの変形は、あ
らかじめ輪郭モデルについて定義したエネルギーEsnake
(vi)を最小にするような方向に各輪郭候補点を移動させ
ることにより行う。この定義したエネルギーについて
は、後述する。
【０１１２】例えば、各輪郭候補点を所定の範囲で仮に
移動させてみたときにEsnake(vi)が最小になる位置へ移
動させてもよいし、
移動させてみたときにEsnake(vi)が最小になる位置へ移
動させてもよいし、
【０１１３】
【数１０】
【０１１４】上記の数１０で示したEsnake(vi)の最急降
下ベクトルを、輪郭候補点vi(xi,yi)(i=1,2,…,n)ごと
に求め、次式により移動させてもよい。
下ベクトルを、輪郭候補点vi(xi,yi)(i=1,2,…,n)ごと
に求め、次式により移動させてもよい。
【０１１５】
【数１】
【０１１６】ただし、t(i=0,1,…)は各点の移動回数を
表す。また、Kx>0,Ky>0は輪郭候補点の移動量を制御す
る定数である。数１による各輪郭候補点の移動は、輪郭
に沿って逐次的、あるいは各点ごとに独立して並列に行
えばよい。ただし、移動によりエネルギーEsnake(vi)が
増加する場合には移動させない。このとき、移動の有無
をフラグF(vi)(i=1,2,…,n)に記憶する。移動した輪郭
候補点ではF(vi)=1、移動のない輪郭候補点ではF(vi)=0
とする。輪郭モデルのエネルギーEsnake(vi)としては、
例えば、以下の式で表される各エネルギー項の和を用い
ればよい。なお、エネルギーは、対象物の特徴に応じて
種々のものが考えられる。 （１）輪郭モデルの滑らかさを表すEspline：
表す。また、Kx>0,Ky>0は輪郭候補点の移動量を制御す
る定数である。数１による各輪郭候補点の移動は、輪郭
に沿って逐次的、あるいは各点ごとに独立して並列に行
えばよい。ただし、移動によりエネルギーEsnake(vi)が
増加する場合には移動させない。このとき、移動の有無
をフラグF(vi)(i=1,2,…,n)に記憶する。移動した輪郭
候補点ではF(vi)=1、移動のない輪郭候補点ではF(vi)=0
とする。輪郭モデルのエネルギーEsnake(vi)としては、
例えば、以下の式で表される各エネルギー項の和を用い
ればよい。なお、エネルギーは、対象物の特徴に応じて
種々のものが考えられる。 （１）輪郭モデルの滑らかさを表すEspline：
【０１１７】
【数２】
【０１１８】数２を最小にするような輪郭候補点の移動
方向は、輪郭モデルが収縮するような方向である。ここ
で、vi、vi-1、vi+1におけるｉ、i-1、i+1は、それぞれ
ｖの添え字である。以下に示した数式においても同様で
ある。 （２）輪郭モデルの囲む閉領域の面積に相当するEare
a：
方向は、輪郭モデルが収縮するような方向である。ここ
で、vi、vi-1、vi+1におけるｉ、i-1、i+1は、それぞれ
ｖの添え字である。以下に示した数式においても同様で
ある。 （２）輪郭モデルの囲む閉領域の面積に相当するEare
a：
【０１１９】
【数３】
【０１２０】ただし、xn+1=x1,yn+1=y1とする。数３を
最小にするような輪郭候補点の移動方向は、輪郭モデル
に対して垂直な方向である。Eareaを用いれば、くぼん
だ形状の対象物の輪郭が抽出できる。ここで、ｘi、ｘi
+1におけるｉ、i+1は、それぞれｘの添え字であり、ま
た、ｙi、ｙi+1におけるｉ、i+1は、それぞれｙの添え
字である。以下に示した数式においても同様である。 （３)輪郭候補点間の距離を平均化するEdist：
最小にするような輪郭候補点の移動方向は、輪郭モデル
に対して垂直な方向である。Eareaを用いれば、くぼん
だ形状の対象物の輪郭が抽出できる。ここで、ｘi、ｘi
+1におけるｉ、i+1は、それぞれｘの添え字であり、ま
た、ｙi、ｙi+1におけるｉ、i+1は、それぞれｙの添え
字である。以下に示した数式においても同様である。 （３)輪郭候補点間の距離を平均化するEdist：
【０１２１】
【数４】
【０１２２】ただし、davは輪郭候補点間の平均距離で
ある。 （４）画像の輝度I(vi)の勾配の大きさEedge：
ある。 （４）画像の輝度I(vi)の勾配の大きさEedge：
【０１２３】
【数５】
【０１２４】数５を最小にするような輪郭候補点の移動
方向は、輝度勾配の大きくなる方向、すなわち対象物の
輪郭部分へ向かう方向である。 （５）画像の輝度値Eintens：
方向は、輝度勾配の大きくなる方向、すなわち対象物の
輪郭部分へ向かう方向である。 （５）画像の輝度値Eintens：
【０１２５】
【数６】
【０１２６】数６を最小にするような輪郭候補点の移動
方向は、Wntens>0のとき輝度の小さくなる（暗い）方
向、Wintens>0のとき輝度の大きくなる（明るい）方向
である。また、数２〜６のWsp1,Wsp2,Warea,Wdist,Wedg
e,Wintens>0は、それぞれ各エネルギー項の重み係数で
ある。
方向は、Wntens>0のとき輝度の小さくなる（暗い）方
向、Wintens>0のとき輝度の大きくなる（明るい）方向
である。また、数２〜６のWsp1,Wsp2,Warea,Wdist,Wedg
e,Wintens>0は、それぞれ各エネルギー項の重み係数で
ある。
【０１２７】数２〜６のエネルギー項の和を最小化する
ように輪郭モデルを変形すれば、初期輪郭は始め収縮す
るが、対象物の輪郭部分で各エネルギー項による輪郭候
補点を移動させるベクトルがつりあって停止する。この
ときの輪郭候補点を定められた順序で連結された多角形
を対象物の輪郭として抽出することになる。 [STEP2j_3] 輪郭モデルの交差判定:輪郭モデル交差判
定部３８により、輪郭候補点を定められた連結順序で連
結した閉曲線（多角形）について、異なる２辺すべての
組み合わせについて交差の有無を判定する。ただし、連
結している２辺は除く。交差の判定は、例えば次のよう
にすればよい。線分vivi+1と線分vjvj+1が交点を持つな
らば、次式を満たす実数p(0≦p≦1),q(0≦q≦1)が存在
する。
ように輪郭モデルを変形すれば、初期輪郭は始め収縮す
るが、対象物の輪郭部分で各エネルギー項による輪郭候
補点を移動させるベクトルがつりあって停止する。この
ときの輪郭候補点を定められた順序で連結された多角形
を対象物の輪郭として抽出することになる。 [STEP2j_3] 輪郭モデルの交差判定:輪郭モデル交差判
定部３８により、輪郭候補点を定められた連結順序で連
結した閉曲線（多角形）について、異なる２辺すべての
組み合わせについて交差の有無を判定する。ただし、連
結している２辺は除く。交差の判定は、例えば次のよう
にすればよい。線分vivi+1と線分vjvj+1が交点を持つな
らば、次式を満たす実数p(0≦p≦1),q(0≦q≦1)が存在
する。
【０１２８】
【数７】p(vi+1-vi) + vi = q(vj+1-vj) + vj 数７は、p,qに関する連立方程式であり、次式で計算さ
れる行列式detが0でないとき解を持ち、このとき線分vi
vi+1と線分vjvj+1は、ただ1点で交差する。（ただし、d
et=0のとき、線分vivi+1と線分vjvj+1が一致する場合が
あり、この場合の交差は、行列式の計算前に輪郭候補点
の一致により判定しておく。）
れる行列式detが0でないとき解を持ち、このとき線分vi
vi+1と線分vjvj+1は、ただ1点で交差する。（ただし、d
et=0のとき、線分vivi+1と線分vjvj+1が一致する場合が
あり、この場合の交差は、行列式の計算前に輪郭候補点
の一致により判定しておく。）
【０１２９】
【数８】det = (xi - xi+1)(yj+1 - yj) - (xj+1 - xj)
(yi - yi+1) したがって、det≠0のとき次式により算出されるp,q
が、0≦p≦1,0≦q≦1を満たすとき、輪郭候補点を定め
られた連結順序で連結した多角形（輪郭モデル）が交差
したと判定しSTEP4aを実行、それ以外はSTEP5aを実行す
る。
(yi - yi+1) したがって、det≠0のとき次式により算出されるp,q
が、0≦p≦1,0≦q≦1を満たすとき、輪郭候補点を定め
られた連結順序で連結した多角形（輪郭モデル）が交差
したと判定しSTEP4aを実行、それ以外はSTEP5aを実行す
る。
【０１３０】
【数９】p = ( (yj+1 - yj)(xi - xj) + (xj - xj+1)(y
i - yj) ) / det q = ( (yi+1 - yi)(xi - xj) + (xi - xi+1)(yi - yj)
) / det [STEP2j_4] 輪郭モデルの分裂：輪郭モデル分裂部３９
により輪郭モデルを複数に分裂させ、STEP2aへ戻る。輪
郭モデルは、交点を持つ線分を構成する輪郭候補点で分
裂させる。輪郭モデルのエネルギーとしてEareaを用い
た場合に起こる典型的な交差の例を図４７に示す。Eare
aは正または負の値をとるが、その符号が変わらないよ
うに、この例では輪郭候補点viとvj+1、vjとvi+1とをそ
れぞれ連結することにより、輪郭モデルを2つに分裂さ
せる。すなわち、連結順序が{v1,…,vi,vj+1,…,vn}と
{vi+1,…,vj}である輪郭候補点の組を、それぞれ新たに
分裂し独立した輪郭モデルとする。交差は複数箇所で同
時に起こりうるが、2つに分裂させる手続きを再帰的に
繰り返すことにより、複数個の輪郭モデルに分裂させれ
ばよい。 [STEP2j_5] 輪郭候補点の生成・消滅判定：輪郭候補点
生成・消滅部４０により、新たな輪郭候補点の生成・消
滅を行う。例えば、次のような場合に輪郭候補点の生成
・消滅を行えばよい。隣接する輪郭候補点間の距離が|v
i+1-vi|>DTHを満たすとき、2点vi,vi+1間に新たに離散
点を生成する。ただし、DTHはあらかじめ定めておく輪
郭候補点間の最大距離である。生成された離散点があれ
ばGflag=1、なければGflag=0とする。また、cosθ>θTH
（θはvivi-1とvivi+1のなす角）を満たす離散点viを消
滅させる。ただし、θTHはあらかじめ定められた輪郭モ
デルの尖りを判定する閾値である。消滅した離散点があ
ればDflag=1、なければDflag=0とする。輪郭候補点の追
加生成により、分裂により減少する対象物１つあたりの
輪郭候補点の数を補って、複数対象物の輪郭を正しく抽
出できる。また消滅手順によれば、対象物の輪郭以外の
位置で停止している輪郭候補点が削除され、誤った輪郭
抽出を避けることができる。 [STEP2j_6] 抽出完了判定：抽出完了判定部４１によ
り、全輪郭候補点に移動がなく（∀i;F(vi)=0）、か
つ、新たな輪郭候補点の生成・消滅がないとき（Gflag=
0かつDflag=0）、輪郭の抽出を終了する。それ以外はST
EP2aへ戻る。
i - yj) ) / det q = ( (yi+1 - yi)(xi - xj) + (xi - xi+1)(yi - yj)
) / det [STEP2j_4] 輪郭モデルの分裂：輪郭モデル分裂部３９
により輪郭モデルを複数に分裂させ、STEP2aへ戻る。輪
郭モデルは、交点を持つ線分を構成する輪郭候補点で分
裂させる。輪郭モデルのエネルギーとしてEareaを用い
た場合に起こる典型的な交差の例を図４７に示す。Eare
aは正または負の値をとるが、その符号が変わらないよ
うに、この例では輪郭候補点viとvj+1、vjとvi+1とをそ
れぞれ連結することにより、輪郭モデルを2つに分裂さ
せる。すなわち、連結順序が{v1,…,vi,vj+1,…,vn}と
{vi+1,…,vj}である輪郭候補点の組を、それぞれ新たに
分裂し独立した輪郭モデルとする。交差は複数箇所で同
時に起こりうるが、2つに分裂させる手続きを再帰的に
繰り返すことにより、複数個の輪郭モデルに分裂させれ
ばよい。 [STEP2j_5] 輪郭候補点の生成・消滅判定：輪郭候補点
生成・消滅部４０により、新たな輪郭候補点の生成・消
滅を行う。例えば、次のような場合に輪郭候補点の生成
・消滅を行えばよい。隣接する輪郭候補点間の距離が|v
i+1-vi|>DTHを満たすとき、2点vi,vi+1間に新たに離散
点を生成する。ただし、DTHはあらかじめ定めておく輪
郭候補点間の最大距離である。生成された離散点があれ
ばGflag=1、なければGflag=0とする。また、cosθ>θTH
（θはvivi-1とvivi+1のなす角）を満たす離散点viを消
滅させる。ただし、θTHはあらかじめ定められた輪郭モ
デルの尖りを判定する閾値である。消滅した離散点があ
ればDflag=1、なければDflag=0とする。輪郭候補点の追
加生成により、分裂により減少する対象物１つあたりの
輪郭候補点の数を補って、複数対象物の輪郭を正しく抽
出できる。また消滅手順によれば、対象物の輪郭以外の
位置で停止している輪郭候補点が削除され、誤った輪郭
抽出を避けることができる。 [STEP2j_6] 抽出完了判定：抽出完了判定部４１によ
り、全輪郭候補点に移動がなく（∀i;F(vi)=0）、か
つ、新たな輪郭候補点の生成・消滅がないとき（Gflag=
0かつDflag=0）、輪郭の抽出を終了する。それ以外はST
EP2aへ戻る。
【０１３１】以上、[STEP1]〜[STEP5]および[STEP2j_1]
〜[STEP2j_6]で説明した手順により、第１２の実施の形
態によれば、合成したい複数の現実物をディスプレイ上
に置き、それらを包含するような閉曲線を１つ与えるだ
けで、閉曲線の変形に伴う自己交差を検知して複数に分
裂させることにより、それらを独立して抽出することが
できるので、簡単に現実物と仮想物体の合成画像を作成
することができる。また、作成する合成画像が多い場合
でも、ユーザの現実物の抽出における負担を軽減するこ
とができる。
〜[STEP2j_6]で説明した手順により、第１２の実施の形
態によれば、合成したい複数の現実物をディスプレイ上
に置き、それらを包含するような閉曲線を１つ与えるだ
けで、閉曲線の変形に伴う自己交差を検知して複数に分
裂させることにより、それらを独立して抽出することが
できるので、簡単に現実物と仮想物体の合成画像を作成
することができる。また、作成する合成画像が多い場合
でも、ユーザの現実物の抽出における負担を軽減するこ
とができる。
【０１３２】なお、上記[STEP1j]〜[STEP4j]は必ずしも
この順序で行わなければならないものではなく、例え
ば、先に[STEP4j]のメッセージを入力を行ってから[STE
P1j]〜[STEP3j]により現実物をコンピュータ内に取り込
んで装飾画像を生成するというように任意の組み合せで
画像を合成できる。また、上記[STEP1j]〜[STEP4j]を任
意の順に繰り返し実行して画像を合成できることも言う
までもない。ただし、装飾画像やペン入力によるメッセ
ージをディスプレイに表示後、その上に新しく置かれた
現実物を抽出する場合には、ペンによる閉曲線入力に連
動して、カメラ１により画像を取り込む間だけ、ペン入
力された閉曲線を含むディスプレイ２８の表示領域中の
部分領域を所定の色（例えば、白や黒）に変更する。こ
れにより仮想物体に影響されず現実物のみを抽出するこ
とができる。
この順序で行わなければならないものではなく、例え
ば、先に[STEP4j]のメッセージを入力を行ってから[STE
P1j]〜[STEP3j]により現実物をコンピュータ内に取り込
んで装飾画像を生成するというように任意の組み合せで
画像を合成できる。また、上記[STEP1j]〜[STEP4j]を任
意の順に繰り返し実行して画像を合成できることも言う
までもない。ただし、装飾画像やペン入力によるメッセ
ージをディスプレイに表示後、その上に新しく置かれた
現実物を抽出する場合には、ペンによる閉曲線入力に連
動して、カメラ１により画像を取り込む間だけ、ペン入
力された閉曲線を含むディスプレイ２８の表示領域中の
部分領域を所定の色（例えば、白や黒）に変更する。こ
れにより仮想物体に影響されず現実物のみを抽出するこ
とができる。
【０１３３】さらにまた、本発明の実施の形態は、デジ
タルカメラと接続することによりスナップ写真と合成し
たり、マイクと接続することにより音声メッセージを付
加したりという拡張が容易にできるということは言うま
でもない。 （実施の形態１３）次に本発明の画像合成装置に係る第
１３の実施の形態について説明する。
タルカメラと接続することによりスナップ写真と合成し
たり、マイクと接続することにより音声メッセージを付
加したりという拡張が容易にできるということは言うま
でもない。 （実施の形態１３）次に本発明の画像合成装置に係る第
１３の実施の形態について説明する。
【０１３４】第１２の実施の形態では、例えばペンでメ
ッセージを入力する場合には、「ペン」というボタンを
押すことにより、メッセージの入力なのか、現実物を選
択するための閉曲線の入力なのかを区別するコマンド
を、システムにユーザが入力するという形式で説明し
た。第１３の実施の形態は、このようなシステムへの入
力負担をさらに軽減するとともに、選択ボタンをユーザ
が押すのではなく、普段使用している現実のペンや消し
ゴム、あるいはＦＡＸなどのミニチュアモデルを、直感
的にその機能を理解できる立体アイコンとして使用する
インタフェースを提供し、より簡単に画像を合成できる
ように考慮したものである。その際、仮想物体がディス
プレイ２８に表示され、識別すべき複数の現実物と同じ
色を含んでいる場合にも、どの現実物であるかを安定し
て識別できるように考慮したものである。
ッセージを入力する場合には、「ペン」というボタンを
押すことにより、メッセージの入力なのか、現実物を選
択するための閉曲線の入力なのかを区別するコマンド
を、システムにユーザが入力するという形式で説明し
た。第１３の実施の形態は、このようなシステムへの入
力負担をさらに軽減するとともに、選択ボタンをユーザ
が押すのではなく、普段使用している現実のペンや消し
ゴム、あるいはＦＡＸなどのミニチュアモデルを、直感
的にその機能を理解できる立体アイコンとして使用する
インタフェースを提供し、より簡単に画像を合成できる
ように考慮したものである。その際、仮想物体がディス
プレイ２８に表示され、識別すべき複数の現実物と同じ
色を含んでいる場合にも、どの現実物であるかを安定し
て識別できるように考慮したものである。
【０１３５】図４８は第１３の実施の形態の構成図であ
り、図３８に示した第１２の実施の形態と同じ構成部分
には同一番号を付して詳細な説明は省略する。
り、図３８に示した第１２の実施の形態と同じ構成部分
には同一番号を付して詳細な説明は省略する。
【０１３６】第１３の実施の形態と第１２の実施の形態
の主な相違点は、第１２の実施の形態に、システムへの
入力に用いるペンなどの現実物や立体アイコンを登録す
る立体アイコン登録部４２と、ディスプレイ１に入力が
あったとき、それが何による入力なのかを識別する立体
アイコン識別部４３とを付加したことである。
の主な相違点は、第１２の実施の形態に、システムへの
入力に用いるペンなどの現実物や立体アイコンを登録す
る立体アイコン登録部４２と、ディスプレイ１に入力が
あったとき、それが何による入力なのかを識別する立体
アイコン識別部４３とを付加したことである。
【０１３７】以上のように構成された第１３の実施の形
態の画像合成装置の動作を、第１２の実施の形態と異な
る構成部分のみ説明する。
態の画像合成装置の動作を、第１２の実施の形態と異な
る構成部分のみ説明する。
【０１３８】まず、立体アイコン登録部４２の動作を説
明する。立体アイコン登録部４３は、画像を合成する前
に装飾機能選択部３３によりディスプレイ２８に表示さ
れているアイコンを押すことでユーザにより起動され
る。立体アイコン登録部４２が起動されると、「文字入
力」や「消去」などのシステムが持つ機能の一覧表がデ
ィスプレイ１に表示する。ユーザは普段使っているボー
ルペンや消しゴムなどの現実物をカメラ１で撮影してこ
の一覧表にその特徴量を登録する。一覧表は、例えばテ
キスト形式でファイルとして保存しておき、立体アイコ
ン登録部４２が起動されるとき、ディスプレイ２８にそ
の情報を表示すればよい。特徴量としては、例えば、Ｒ
ＧＢ値それぞれの度数分布を記憶しておく。なお、カメ
ラで撮像するときは、実際にそのものを使用する状態で
撮影しておくことが望ましい。また、メーカーは出荷時
に専用のペンや消しゴム、さらにＦＡＸ立体アイコンな
どを付属させ、その色と対応する機能を記憶させてお
き、必ずしもユーザに設定させなくても良い。
明する。立体アイコン登録部４３は、画像を合成する前
に装飾機能選択部３３によりディスプレイ２８に表示さ
れているアイコンを押すことでユーザにより起動され
る。立体アイコン登録部４２が起動されると、「文字入
力」や「消去」などのシステムが持つ機能の一覧表がデ
ィスプレイ１に表示する。ユーザは普段使っているボー
ルペンや消しゴムなどの現実物をカメラ１で撮影してこ
の一覧表にその特徴量を登録する。一覧表は、例えばテ
キスト形式でファイルとして保存しておき、立体アイコ
ン登録部４２が起動されるとき、ディスプレイ２８にそ
の情報を表示すればよい。特徴量としては、例えば、Ｒ
ＧＢ値それぞれの度数分布を記憶しておく。なお、カメ
ラで撮像するときは、実際にそのものを使用する状態で
撮影しておくことが望ましい。また、メーカーは出荷時
に専用のペンや消しゴム、さらにＦＡＸ立体アイコンな
どを付属させ、その色と対応する機能を記憶させてお
き、必ずしもユーザに設定させなくても良い。
【０１３９】次に、立体アイコン識別部４３の動作を説
明する。立体アイコン識別部４３は、ディスプレイ２８
への入力があるごとに起動される。ディスプレイ２８へ
の入力の有無とその位置座標は、制御部１０００が管理
している。立体アイコン識別部４３は、まず、制御部１
０００からディスプレイ２８への入力位置座標を受け取
り、その位置に立体アイコンの大きさに応じた所定の色
（例えば白）と大きさ（例えば１２０画素四方の正方
形）の領域を表示し、カメラ１により画像を取り込む。
次に、取り込んだ画像について先の領域のみについて各
画素のＲＧＢ値を調べて度数分布を作成し、立体アイコ
ン登録部４２に登録されている度数分布と最も類似度が
高いものの立体アイコンが使用されていると判定する。
類似度としては、例えば度数分布の各クラスの差の絶対
値の総和を用いる。その結果、ペンと識別されたなら
ば、文字入力としてペンの移動した軌跡をディスプレイ
２８に表示し、消しゴムと識別されたならば、消しゴム
の移動した軌跡の部分を消去する。また、ＦＡＸのミニ
チュアアイコンならば、合成画像を送信する。ただし、
ＦＡＸのアイコンなどを用いる場合は、カメラの視野角
を画像の合成領域よりも広げ、その部分に置くことによ
り合成画像に影響を与えないようにする。
明する。立体アイコン識別部４３は、ディスプレイ２８
への入力があるごとに起動される。ディスプレイ２８へ
の入力の有無とその位置座標は、制御部１０００が管理
している。立体アイコン識別部４３は、まず、制御部１
０００からディスプレイ２８への入力位置座標を受け取
り、その位置に立体アイコンの大きさに応じた所定の色
（例えば白）と大きさ（例えば１２０画素四方の正方
形）の領域を表示し、カメラ１により画像を取り込む。
次に、取り込んだ画像について先の領域のみについて各
画素のＲＧＢ値を調べて度数分布を作成し、立体アイコ
ン登録部４２に登録されている度数分布と最も類似度が
高いものの立体アイコンが使用されていると判定する。
類似度としては、例えば度数分布の各クラスの差の絶対
値の総和を用いる。その結果、ペンと識別されたなら
ば、文字入力としてペンの移動した軌跡をディスプレイ
２８に表示し、消しゴムと識別されたならば、消しゴム
の移動した軌跡の部分を消去する。また、ＦＡＸのミニ
チュアアイコンならば、合成画像を送信する。ただし、
ＦＡＸのアイコンなどを用いる場合は、カメラの視野角
を画像の合成領域よりも広げ、その部分に置くことによ
り合成画像に影響を与えないようにする。
【０１４０】以上の手順により、現実物の特徴量のみを
調べることにより、表示画像の影響を受けず、どの立体
アイコンであるかを正しく識別できるため、安定して登
録した立体アイコンを使用でき、より直感的な操作で画
像を合成できる。
調べることにより、表示画像の影響を受けず、どの立体
アイコンであるかを正しく識別できるため、安定して登
録した立体アイコンを使用でき、より直感的な操作で画
像を合成できる。
【０１４１】以上、第１３の実施の形態によれば、ディ
スプレイへの入力位置に、所定の色と大きさの領域を表
示した後に画像を取り込み、その領域のみについて色を
調べるので、表示画像に影響されず現実物の特徴量のみ
を調べることができ、ディスプレイに表示された仮想物
体が、識別すべき複数の現実物と同じ色を含んでいる場
合にも、どの現実物であるかを正しく識別できるため、
安定して登録した立体アイコンを使用することができ、
より直感的な操作で画像を合成することができる。 （実施の形態１４）次に本発明の画像合成装置に係る第
１４の実施の形態について説明する。
スプレイへの入力位置に、所定の色と大きさの領域を表
示した後に画像を取り込み、その領域のみについて色を
調べるので、表示画像に影響されず現実物の特徴量のみ
を調べることができ、ディスプレイに表示された仮想物
体が、識別すべき複数の現実物と同じ色を含んでいる場
合にも、どの現実物であるかを正しく識別できるため、
安定して登録した立体アイコンを使用することができ、
より直感的な操作で画像を合成することができる。 （実施の形態１４）次に本発明の画像合成装置に係る第
１４の実施の形態について説明する。
【０１４２】第１２の実施の形態では、ペンでメッセー
ジを入力する場合には、文字の色は黒として説明した。
一般にペン入力システムの場合、ユーザが好みの色をメ
ニュー等により選択する形式をとっている。例えば、合
成画像の送信先がモノクロのＦＡＸの場合、明るめの画
像に文字を入力する場合にはペンの色は黒に、暗めの画
像のときは白にする方が見やすい画像となる。第１４の
実施の形態は、表示画像の明るさに応じてペンの色を自
動的に変更し、システムへのモード変更入力負担をさら
に軽減するとともに、より見やすい画像を合成できるよ
うに考慮したものである。
ジを入力する場合には、文字の色は黒として説明した。
一般にペン入力システムの場合、ユーザが好みの色をメ
ニュー等により選択する形式をとっている。例えば、合
成画像の送信先がモノクロのＦＡＸの場合、明るめの画
像に文字を入力する場合にはペンの色は黒に、暗めの画
像のときは白にする方が見やすい画像となる。第１４の
実施の形態は、表示画像の明るさに応じてペンの色を自
動的に変更し、システムへのモード変更入力負担をさら
に軽減するとともに、より見やすい画像を合成できるよ
うに考慮したものである。
【０１４３】図４９は第１４の実施の形態の構成図であ
り、図３８に示した第１２の実施の形態と同じ構成部分
には同一番号を付して詳細な説明は省略する。第１４の
実施の形態と第１２の実施の形態の主な相違点は、第１
２の実施の形態に、表示画像の明るさを算出する表示画
像明るさ算出部４４と、表示画像明るさ算出部４４によ
り算出された明るさに応じてペン入力の色を変更するペ
ン入力色変更部４５とを付加したことである。
り、図３８に示した第１２の実施の形態と同じ構成部分
には同一番号を付して詳細な説明は省略する。第１４の
実施の形態と第１２の実施の形態の主な相違点は、第１
２の実施の形態に、表示画像の明るさを算出する表示画
像明るさ算出部４４と、表示画像明るさ算出部４４によ
り算出された明るさに応じてペン入力の色を変更するペ
ン入力色変更部４５とを付加したことである。
【０１４４】以上のように構成された第１４の実施の形
態の画像合成装置の動作を、第１２の実施の形態と異な
る表示画像明るさ算出部４４とペン入力色変更部４５に
ついてのみ説明する。
態の画像合成装置の動作を、第１２の実施の形態と異な
る表示画像明るさ算出部４４とペン入力色変更部４５に
ついてのみ説明する。
【０１４５】表示画像明るさ判定部４４は、ディスプレ
イ２８に対してペン入力があるごとに起動され、表示画
像全体の平均輝度を算出する。ペン入力か否かの判定
は、第１３の実施の形態の方法による。ペン入力色変更
部４５は、表示画像明るさ算出部４４が算出した平均輝
度を参照し、例えば、平均輝度が２５６階調の１８０以
上ならペン入力の色を黒、それ以外は白と決定する。こ
れにより、明るめの画像に文字を入力する場合にはペン
の色は黒に、暗めの画像のときは白に自動的に変更さ
れ、ユーザにペン入力色の選択モードを意識させずに、
文字の見やすい画像を合成することができる。
イ２８に対してペン入力があるごとに起動され、表示画
像全体の平均輝度を算出する。ペン入力か否かの判定
は、第１３の実施の形態の方法による。ペン入力色変更
部４５は、表示画像明るさ算出部４４が算出した平均輝
度を参照し、例えば、平均輝度が２５６階調の１８０以
上ならペン入力の色を黒、それ以外は白と決定する。こ
れにより、明るめの画像に文字を入力する場合にはペン
の色は黒に、暗めの画像のときは白に自動的に変更さ
れ、ユーザにペン入力色の選択モードを意識させずに、
文字の見やすい画像を合成することができる。
【０１４６】以上、第１４の実施の形態によれば、表示
画像の明るさに応じてペン入力の色を変化させるので、
より入力文字が見やすい画像を合成することができる。 （実施の形態１５）次に本発明の画像合成装置に係る第
１５の実施の形態について説明する。
画像の明るさに応じてペン入力の色を変化させるので、
より入力文字が見やすい画像を合成することができる。 （実施の形態１５）次に本発明の画像合成装置に係る第
１５の実施の形態について説明する。
【０１４７】第１２の実施の形態では、抽出した画像の
大きさや色を変換した装飾画像を表示した。また、第１
４の実施の形態では、表示画像の明るさに応じてペン入
力の色を変更し、文字情報の見やすい画像を合成した。
第１５の実施の形態ではさらに、ディスプレイ１上に置
かれた現実物の色や明るさに応じて表示画像の色や明る
さを変化させることにより、より見やすい画像を合成す
るように考慮したものである。
大きさや色を変換した装飾画像を表示した。また、第１
４の実施の形態では、表示画像の明るさに応じてペン入
力の色を変更し、文字情報の見やすい画像を合成した。
第１５の実施の形態ではさらに、ディスプレイ１上に置
かれた現実物の色や明るさに応じて表示画像の色や明る
さを変化させることにより、より見やすい画像を合成す
るように考慮したものである。
【０１４８】図５０は第１５の実施の形態の構成図であ
り、図３８に示した第１２の実施の形態と同じ構成部分
には同一番号を付して詳細な説明は省略する。
り、図３８に示した第１２の実施の形態と同じ構成部分
には同一番号を付して詳細な説明は省略する。
【０１４９】第１５の実施の形態と第１２の実施の形態
の主な相違点は、第１２の実施の形態に、現実物の明る
さや色に応じて表示画像の明るさや色を変化させる表示
画像補正部４６を付加したことである。
の主な相違点は、第１２の実施の形態に、現実物の明る
さや色に応じて表示画像の明るさや色を変化させる表示
画像補正部４６を付加したことである。
【０１５０】以上のように構成された第５の実施の形態
の画像合成装置の動作を第１２の実施の形態と異なる表
示画像補正部４６についてのみ説明する。
の画像合成装置の動作を第１２の実施の形態と異なる表
示画像補正部４６についてのみ説明する。
【０１５１】表示画像補正部４６は、例えば、画像の合
成が終了し、送信ボタンが押された時に起動する。ま
ず、表示画像補正部４６は、現実物抽出部３０を起動
し、カメラ１の撮像領域と同じ大きさの長方形を初期の
輪郭モデルとすることにより、ディスプレイ上の現実物
をすべて抽出する。次に、表示画像補正部４６は、抽出
された物体すべての平均輝度を算出する。最後にこの平
均輝度の値に応じて、ディスプレイ２８の表示画像の輝
度を変化させる。例えば、現実物が明るい場合（例え
ば、平均輝度）以上には、表示画像も明るくする（例え
ば、各画素値の輝度を２０％上げる）ことにより全体と
して見やすい合成画像となる。
成が終了し、送信ボタンが押された時に起動する。ま
ず、表示画像補正部４６は、現実物抽出部３０を起動
し、カメラ１の撮像領域と同じ大きさの長方形を初期の
輪郭モデルとすることにより、ディスプレイ上の現実物
をすべて抽出する。次に、表示画像補正部４６は、抽出
された物体すべての平均輝度を算出する。最後にこの平
均輝度の値に応じて、ディスプレイ２８の表示画像の輝
度を変化させる。例えば、現実物が明るい場合（例え
ば、平均輝度）以上には、表示画像も明るくする（例え
ば、各画素値の輝度を２０％上げる）ことにより全体と
して見やすい合成画像となる。
【０１５２】以上、第１５の実施の形態によれば、ディ
スプレイ上の現実物の色や明るさに応じて表示画像の色
や明るさを変化させるので、より見やすい画像を合成す
ることができる。
スプレイ上の現実物の色や明るさに応じて表示画像の色
や明るさを変化させるので、より見やすい画像を合成す
ることができる。
【０１５３】ところで、上述した各実施の形態の何れか
一つに記載の各ステップ（又は、各手段）の全部又は一
部のステップ（又は、処理動作）をコンピュータに実行
させるためのプログラムを記録した磁気記録媒体や光記
録媒体などを作成し、その記録媒体を利用して、上記と
同様の動作を実現させてもよい。
一つに記載の各ステップ（又は、各手段）の全部又は一
部のステップ（又は、処理動作）をコンピュータに実行
させるためのプログラムを記録した磁気記録媒体や光記
録媒体などを作成し、その記録媒体を利用して、上記と
同様の動作を実現させてもよい。
【０１５４】尚、本発明の個別抽出手段は、以上述べた
実施の形態では現実物抽出部であり、入力表示一体型デ
ィスプレイに応用した場合について述べたが、これに限
らず例えば、次の様な画像合成装置でも良い。
実施の形態では現実物抽出部であり、入力表示一体型デ
ィスプレイに応用した場合について述べたが、これに限
らず例えば、次の様な画像合成装置でも良い。
【０１５５】即ち、この場合の画像合成装置は、写真や
イラストなど複数の情報が表された書類などの面、及び
／又は物体を撮像するカメラなどの撮像手段と、前記撮
像手段により撮像された複数の写真やイラストなどの情
報又は複数の物体の内、画像抽出の対象の候補となるべ
き複数のイラストなどの抽出対象候補を取り囲む閉曲線
情報を検出する閉曲線情報検出手段と、前記検出された
閉曲線情報と前記イラストなどの抽出対象候補の画像の
情報とに基づいて、前記取り囲まれた複数のイラストな
どの抽出対象候補の画像から、それらイラストなどの画
像を個別的に抽出する個別抽出手段と、前記個別的に抽
出されたイラストなどの画像を利用して、メッセージな
どの別の画像との画像合成を行う画像合成手段とを備え
たものである。これにより、所定の面に表された情報及
び／又は複数の物体を撮像し、前記撮像された前記情報
及び／又は前記複数の物体の内、画像抽出の対象の候補
となるべき複数の抽出対象候補を取り囲む閉曲線を与
え、前記与えられた閉曲線情報を検出し、前記検出され
た閉曲線情報と前記抽出対象候補の画像の情報とに基づ
いて、前記取り囲まれた複数の抽出対象候補の画像か
ら、それぞれの抽出対象候補の画像を個別的に抽出し、
前記個別的に抽出された画像を利用して画像合成を行う
ことが出来る。
イラストなど複数の情報が表された書類などの面、及び
／又は物体を撮像するカメラなどの撮像手段と、前記撮
像手段により撮像された複数の写真やイラストなどの情
報又は複数の物体の内、画像抽出の対象の候補となるべ
き複数のイラストなどの抽出対象候補を取り囲む閉曲線
情報を検出する閉曲線情報検出手段と、前記検出された
閉曲線情報と前記イラストなどの抽出対象候補の画像の
情報とに基づいて、前記取り囲まれた複数のイラストな
どの抽出対象候補の画像から、それらイラストなどの画
像を個別的に抽出する個別抽出手段と、前記個別的に抽
出されたイラストなどの画像を利用して、メッセージな
どの別の画像との画像合成を行う画像合成手段とを備え
たものである。これにより、所定の面に表された情報及
び／又は複数の物体を撮像し、前記撮像された前記情報
及び／又は前記複数の物体の内、画像抽出の対象の候補
となるべき複数の抽出対象候補を取り囲む閉曲線を与
え、前記与えられた閉曲線情報を検出し、前記検出され
た閉曲線情報と前記抽出対象候補の画像の情報とに基づ
いて、前記取り囲まれた複数の抽出対象候補の画像か
ら、それぞれの抽出対象候補の画像を個別的に抽出し、
前記個別的に抽出された画像を利用して画像合成を行う
ことが出来る。
【０１５６】この構成により、上記の場合と同様に、画
像抽出の対象が複数ある場合でも、それら抽出対象を指
示するための作業の負担が従来に比べてより一層軽くな
るという効果を発揮する。即ち、指示領域の指定が従来
に比べてより一層容易に行える。
像抽出の対象が複数ある場合でも、それら抽出対象を指
示するための作業の負担が従来に比べてより一層軽くな
るという効果を発揮する。即ち、指示領域の指定が従来
に比べてより一層容易に行える。
【０１５７】あるいは、次の様な画像合成装置でも良
い。
い。
【０１５８】即ち、この場合の画像合成装置は、写真、
イラスト、文字列などの情報が表された面を撮像する撮
像手段と、前記撮像手段により撮像された複数の前記情
報の内、指示対象となるべき複数の指示対象情報を取り
囲む閉曲線情報を検出する閉曲線情報検出手段と、前記
検出された閉曲線情報と前記指示対象情報の画像情報と
に基づいて、前記取り囲まれた複数の指示対象情報の画
像から、それぞれの指示対象情報の画像を個別的に抽出
する個別抽出手段と、前記個別的に抽出された画像の領
域及び／又はその画像の特徴量を検出する指示情報検出
部と、前記検出された前記画像の領域及び／又は前記画
像の特徴量に基づき、前記指示対象情報の画像に付加す
る付加画像を生成する付加画像生成部と、前記生成され
た付加画像を記憶する付加画像記憶部と、前記撮像手段
により得られた前記指示対象情報の画像と、前記生成さ
れた付加画像とを合成する画像合成部とを備えた構成で
ある。この構成は、例えば、実施の形態８で述べた画像
合成装置の変形例としてとらえても良い。即ち、図３１
に示すように、抽出対象が多角形の図形の集合と、写真
の２つであった場合、実施の形態８で述べたように、そ
れぞれの対象について、個別に指示するのではなく、双
方の対象を取り囲むような一つの閉曲線を与えるのであ
る。個別抽出手段の構成は、上述したものと同様であ
る。
イラスト、文字列などの情報が表された面を撮像する撮
像手段と、前記撮像手段により撮像された複数の前記情
報の内、指示対象となるべき複数の指示対象情報を取り
囲む閉曲線情報を検出する閉曲線情報検出手段と、前記
検出された閉曲線情報と前記指示対象情報の画像情報と
に基づいて、前記取り囲まれた複数の指示対象情報の画
像から、それぞれの指示対象情報の画像を個別的に抽出
する個別抽出手段と、前記個別的に抽出された画像の領
域及び／又はその画像の特徴量を検出する指示情報検出
部と、前記検出された前記画像の領域及び／又は前記画
像の特徴量に基づき、前記指示対象情報の画像に付加す
る付加画像を生成する付加画像生成部と、前記生成され
た付加画像を記憶する付加画像記憶部と、前記撮像手段
により得られた前記指示対象情報の画像と、前記生成さ
れた付加画像とを合成する画像合成部とを備えた構成で
ある。この構成は、例えば、実施の形態８で述べた画像
合成装置の変形例としてとらえても良い。即ち、図３１
に示すように、抽出対象が多角形の図形の集合と、写真
の２つであった場合、実施の形態８で述べたように、そ
れぞれの対象について、個別に指示するのではなく、双
方の対象を取り囲むような一つの閉曲線を与えるのであ
る。個別抽出手段の構成は、上述したものと同様であ
る。
【０１５９】この構成により、上記の場合と同様に、画
像抽出の対象が複数ある場合でも、それら抽出対象を指
示するための作業の負担が従来に比べてより一層軽くな
るという効果を発揮する。
像抽出の対象が複数ある場合でも、それら抽出対象を指
示するための作業の負担が従来に比べてより一層軽くな
るという効果を発揮する。
【０１６０】また、本発明の画像合成装置は、上記実施
の形態では、現実物抽出部を有する入力表示一体型ディ
スプレイに応用した場合について述べたが、これに限ら
ず例えば、次の様な画像合成装置でも良い。
の形態では、現実物抽出部を有する入力表示一体型ディ
スプレイに応用した場合について述べたが、これに限ら
ず例えば、次の様な画像合成装置でも良い。
【０１６１】即ち、この画像合成装置は、入力表示一体
型ディスプレイと、前記ディスプレイの表示部の少なく
とも一部を撮像する撮像手段と、前記ディスプレイ上に
置かれた現実の物体を指示するための指示位置情報を検
出する指示位置検出部と、前記検出された指示位置情報
に基づいて、前記撮像手段により撮像された画像から、
前記現実の物体の画像を抽出する現実物抽出手段と、前
記抽出された画像を用いて、前記ディスプレイに表示す
る付加画像を生成する付加画像生成部と、前記生成され
た付加画像を記憶する付加画像記憶部と、前記生成され
た付加画像のディスプレイへの表示方法を選択する表示
方法選択部と、前記選択された表示方法に基づき前記付
加画像と前記現実の物体の画像とを合成する画像合成部
とを備えた構成である。これにより、従来にないやり方
で、簡単に現実物と仮想物体の合成画像を作成すること
ができるという効果を発揮する。
型ディスプレイと、前記ディスプレイの表示部の少なく
とも一部を撮像する撮像手段と、前記ディスプレイ上に
置かれた現実の物体を指示するための指示位置情報を検
出する指示位置検出部と、前記検出された指示位置情報
に基づいて、前記撮像手段により撮像された画像から、
前記現実の物体の画像を抽出する現実物抽出手段と、前
記抽出された画像を用いて、前記ディスプレイに表示す
る付加画像を生成する付加画像生成部と、前記生成され
た付加画像を記憶する付加画像記憶部と、前記生成され
た付加画像のディスプレイへの表示方法を選択する表示
方法選択部と、前記選択された表示方法に基づき前記付
加画像と前記現実の物体の画像とを合成する画像合成部
とを備えた構成である。これにより、従来にないやり方
で、簡単に現実物と仮想物体の合成画像を作成すること
ができるという効果を発揮する。
【０１６２】以上のように、第１の実施の形態によれ
ば、プレゼンテーションしている人は、自分の書いた情
報の強調したい部分を指示棒で指示するだけで、その部
分の領域や特徴を自動抽出して適切な装飾用の画像がス
ーパーインポーズされるので、いろんな色のペンを持ち
替えて使い分けるなどの必要がない。さらに、ペン等に
よる指示位置により、装飾方法を簡単に変更でき、例え
ば、書類の端のあたりを指示すれば自動的に枠や所属、
日時等を付与したり、既に装飾されている情報部分につ
いては、その指示位置により装飾を消したり、点滅させ
ることができるので、プレゼンテーション用のＯＨＰシ
ートをあらかじめ作成しなくとも、その場で効果的なプ
レゼンテーションが可能となる。
ば、プレゼンテーションしている人は、自分の書いた情
報の強調したい部分を指示棒で指示するだけで、その部
分の領域や特徴を自動抽出して適切な装飾用の画像がス
ーパーインポーズされるので、いろんな色のペンを持ち
替えて使い分けるなどの必要がない。さらに、ペン等に
よる指示位置により、装飾方法を簡単に変更でき、例え
ば、書類の端のあたりを指示すれば自動的に枠や所属、
日時等を付与したり、既に装飾されている情報部分につ
いては、その指示位置により装飾を消したり、点滅させ
ることができるので、プレゼンテーション用のＯＨＰシ
ートをあらかじめ作成しなくとも、その場で効果的なプ
レゼンテーションが可能となる。
【０１６３】即ち、画像の領域や特徴量等に基づいた装
飾又は強調等の処理がより一層容易に行えると言う長所
を有する。
飾又は強調等の処理がより一層容易に行えると言う長所
を有する。
【０１６４】また、第２の実施の形態によれば、ペン等
に付与した複数種類のマーカーを識別することにより装
飾方法を切り替えられるので、複数種類の色のペンを持
ち替えて記入するなどの手間が省け、プレゼンテーショ
ンを円滑に進めることが可能となる。
に付与した複数種類のマーカーを識別することにより装
飾方法を切り替えられるので、複数種類の色のペンを持
ち替えて記入するなどの手間が省け、プレゼンテーショ
ンを円滑に進めることが可能となる。
【０１６５】第３の実施の形態によれば、既存の装飾画
像をスーパーインポーズで一覧表示し、それらを指示棒
で指示してコピーできるので、書類を複数枚使う場合で
も、同じ文字列を何度も書類に書く必要がなく、プレゼ
ンテーションを円滑に進めることが可能となる。
像をスーパーインポーズで一覧表示し、それらを指示棒
で指示してコピーできるので、書類を複数枚使う場合で
も、同じ文字列を何度も書類に書く必要がなく、プレゼ
ンテーションを円滑に進めることが可能となる。
【０１６６】第４の実施の形態によれば、装飾画像の一
部をテンプレートとして連続するフレーム間でテンプレ
ートマッチングすることで書類の移動パラメータを求め
て装飾画像を変形するので、プレゼンテーション中に書
類が移動した場合でも、強調したい部分を正しく装飾す
ることができ、ユーザは書類の移動を気にせずプレゼン
テーションを行うことができる。
部をテンプレートとして連続するフレーム間でテンプレ
ートマッチングすることで書類の移動パラメータを求め
て装飾画像を変形するので、プレゼンテーション中に書
類が移動した場合でも、強調したい部分を正しく装飾す
ることができ、ユーザは書類の移動を気にせずプレゼン
テーションを行うことができる。
【０１６７】第５の実施の形態によれば、マーカーを置
けば装飾、取り去れば消去という直感的にわかりやすい
操作ができるので、誰でも簡単に効果的なプレゼンテー
ションができる。
けば装飾、取り去れば消去という直感的にわかりやすい
操作ができるので、誰でも簡単に効果的なプレゼンテー
ションができる。
【０１６８】第６の実施の形態によれば、設置用マーカ
ーを用いて記入部分や書類の傾きを検出するので、推定
すべき書類の移動パラメータの数を減らすことができ、
より高速に書類の移動に対応した付加画像が合成できる
ので、合成画像の提示遅れによる違和感を低減できる。
ーを用いて記入部分や書類の傾きを検出するので、推定
すべき書類の移動パラメータの数を減らすことができ、
より高速に書類の移動に対応した付加画像が合成できる
ので、合成画像の提示遅れによる違和感を低減できる。
【０１６９】第７の実施の形態によれば、マーカー数の
増減を検知することにより、マーカーが置かれた場合と
取り去られた場合を識別し、それに応じた効果音をなら
すことにより、より効果的なプレゼンテーションができ
る。
増減を検知することにより、マーカーが置かれた場合と
取り去られた場合を識別し、それに応じた効果音をなら
すことにより、より効果的なプレゼンテーションができ
る。
【０１７０】第８の実施の形態によれば、複数のマーカ
ー形状を認識し、それらを対応づけることにより図形や
文字が混在する複雑な書類も装飾することができ、より
プレゼンテーション効果が高まる。
ー形状を認識し、それらを対応づけることにより図形や
文字が混在する複雑な書類も装飾することができ、より
プレゼンテーション効果が高まる。
【０１７１】第９の実施の形態によれば、カメラのズー
ム倍率にあわせて装飾画像を拡大・縮小するので、カメ
ラをズームさせた場合についても正しく強調した部分を
装飾でき、よりプレゼンテーションの幅を広げることが
できる。
ム倍率にあわせて装飾画像を拡大・縮小するので、カメ
ラをズームさせた場合についても正しく強調した部分を
装飾でき、よりプレゼンテーションの幅を広げることが
できる。
【０１７２】第１０の実施の形態によれば、蛍光ペン等
で表示したくない部分を着色しておくだけで、その着色
部分を画像から消去するので、聞き手に見せたくない部
分を隠すことができる。
で表示したくない部分を着色しておくだけで、その着色
部分を画像から消去するので、聞き手に見せたくない部
分を隠すことができる。
【０１７３】第１１の実施の形態によれば、作成した合
成画像をインターネットのホームページに登録できるの
で、大学等の学校の授業に、端末を介して学外から参加
できたり、講義メモを再利用したり、また先生はレポー
ト課題を与えたりといった、効率のよい教育サポートシ
ステムの実現が可能となる。
成画像をインターネットのホームページに登録できるの
で、大学等の学校の授業に、端末を介して学外から参加
できたり、講義メモを再利用したり、また先生はレポー
ト課題を与えたりといった、効率のよい教育サポートシ
ステムの実現が可能となる。
【０１７４】第１２の実施の形態によれば、合成したい
複数の現実物をディスプレイ上に置き、それらを包含す
るような閉曲線を１つ与えるだけで、閉曲線の変形に伴
う自己交差を検知して複数に分裂させることにより、そ
れらを独立して抽出することができるので、簡単に現実
物と仮想物体の合成画像を作成することができる。
複数の現実物をディスプレイ上に置き、それらを包含す
るような閉曲線を１つ与えるだけで、閉曲線の変形に伴
う自己交差を検知して複数に分裂させることにより、そ
れらを独立して抽出することができるので、簡単に現実
物と仮想物体の合成画像を作成することができる。
【０１７５】第１３の実施の形態によれば、ディスプレ
イへの入力位置に対応した所定の領域でのみ立体アイコ
ンの識別用の色を調べるので、表示画像に影響されず、
どの立体アイコンであるかを正しく識別できるため、安
定して登録した立体アイコンを使用することができ、よ
り直感的な操作で画像を合成することができる。
イへの入力位置に対応した所定の領域でのみ立体アイコ
ンの識別用の色を調べるので、表示画像に影響されず、
どの立体アイコンであるかを正しく識別できるため、安
定して登録した立体アイコンを使用することができ、よ
り直感的な操作で画像を合成することができる。
【０１７６】第１４の実施の形態によれば、表示画像の
明るさに応じてペン入力の色を変化させるので、より入
力文字が見やすい画像を合成することができる。
明るさに応じてペン入力の色を変化させるので、より入
力文字が見やすい画像を合成することができる。
【０１７７】第１５の実施の形態によれば、ディスプレ
イ上の現実物の色や明るさに応じて表示画像の色や明る
さを変化させるので、より見やすい画像を合成できる。
イ上の現実物の色や明るさに応じて表示画像の色や明る
さを変化させるので、より見やすい画像を合成できる。
【０１７８】
【発明の効果】以上述べたところから明らかなように本
発明は、合成画像を作成する上での制限が従来に比べて
少ないという長所を有する。
発明は、合成画像を作成する上での制限が従来に比べて
少ないという長所を有する。
【０１７９】又、本発明は、現実物と仮想物の合成画像
をより簡単に作成することができるという長所を有す
る。
をより簡単に作成することができるという長所を有す
る。
【図１】本発明の第１の実施の形態のブロック図
【図２】本発明の第１の実施の形態の動作手順を示すフ
ローチャート
ローチャート
【図３】本実施の形態における書類の一例を示す図
【図４】本実施の形態における枠画像による装飾の一例
を示す図
を示す図
【図５】本実施の形態のペン型指示手段による指示位置
および指示領域検出の一例を示す図
および指示領域検出の一例を示す図
【図６】本実施の形態のペン型指示手段による文字領域
および写真領域の装飾の一例を示す図
および写真領域の装飾の一例を示す図
【図７】本実施の形態のペン型指示手段による既存装飾
領域の表示変更方法の一例を示す図
領域の表示変更方法の一例を示す図
【図８】本発明の第２の実施の形態のブロック図
【図９】本発明の第２の実施の形態の動作手順を示すフ
ローチャート
ローチャート
【図１０】本実施の形態のペン型指示手段に取り付ける
複数マーカーと取り付け方法の一例を示す図
複数マーカーと取り付け方法の一例を示す図
【図１１】本実施の形態のマーカー種類の認識による装
飾の一例を示す図
飾の一例を示す図
【図１２】本発明の第３の実施の形態のブロック図
【図１３】本発明の第３の実施の形態の動作手順を示す
フローチャート
フローチャート
【図１４】本実施の形態の既存装飾画像の表示方法の一
例を示す図
例を示す図
【図１５】本実施の形態の既存装飾画像の選択方法の一
例を示す図
例を示す図
【図１６】本実施の形態の既存装飾画像の複写方法の一
例を示す図
例を示す図
【図１７】本発明の第４の実施の形態のブロック図
【図１８】本発明の第４の実施の形態の動作手順を示す
フローチャート
フローチャート
【図１９】本実施の形態のテンプレートマッチングによ
る書類移動パラメータ推定の一例を示す図
る書類移動パラメータ推定の一例を示す図
【図２０】本発明の第５の実施の形態のブロック図
【図２１】本発明の第５の実施の形態の動作手順を示す
フローチャート
フローチャート
【図２２】本実施の形態の設置用マーカーによる装飾の
一例を示す図
一例を示す図
【図２３】本実施の形態の設置用マーカーの除去による
装飾画像の消去の一例を示す図
装飾画像の消去の一例を示す図
【図２４】本発明の第６の実施の形態のブロック図
【図２５】本発明の第６の実施の形態の動作手順を示す
フローチャート
フローチャート
【図２６】本実施の形態の設置用指示手段を用いた書類
の傾斜を補正した指示情報領域の検出の一例を示す図
の傾斜を補正した指示情報領域の検出の一例を示す図
【図２７】本発明の第７の実施の形態のブロック図
【図２８】本発明の第７の実施の形態の動作手順を示す
フローチャート
フローチャート
【図２９】本発明の第８の実施の形態のブロック図
【図３０】本発明の第８の実施の形態の動作手順を示す
フローチャート
フローチャート
【図３１】本実施の形態のカギ形状指示手段による装飾
領域指定方法の一例を示す図
領域指定方法の一例を示す図
【図３２】本実施の形態のカギ形状指示手段の一例を示
す図
す図
【図３３】本実施の形態のカギ形状指示手段による装飾
結果の一例を示す図
結果の一例を示す図
【図３４】本発明の第９の実施の形態のブロック図
【図３５】本発明の第９の実施の形態の動作手順を示す
フローチャート
フローチャート
【図３６】本発明の第１０の実施の形態のブロック図
【図３７】本発明の第１１の実施の形態のブロック図
【図３８】本発明の第１２の実施の形態のブロック図
【図３９】本発明の第１２の実施の形態の動作手順を示
すフローチャート
すフローチャート
【図４０】本実施の形態のディスプレイ上への現実物の
設置の一例を示す図
設置の一例を示す図
【図４１】本実施の形態のペン入力による現実物の選択
の一例を示す図
の一例を示す図
【図４２】本実施の形態の現実物抽出結果の一例を示す
図
図
【図４３】本実施の形態の取り込んだ現実物による装飾
の一例を示す図
の一例を示す図
【図４４】本実施の形態のペン入力によるメッセージ記
入の一例を示す図
入の一例を示す図
【図４５】本実施の形態の現実物抽出部３０の詳細な構
成を示すブロック図
成を示すブロック図
【図４６】本実施の形態の現実物抽出手順を示すフロー
チャート
チャート
【図４７】本実施の形態の輪郭モデルの交差の一例を示
す図
す図
【図４８】本発明の第１３の実施の形態のブロック図
【図４９】本発明の第１４の実施の形態のブロック図
【図５０】本発明の第１５の実施の形態のブロック図
１ カメラ ２ 指示位置検出部 ３ 指示情報検出部 ４ 付加画像生成部 ５ 付加画像記憶部 ６ 指示位置別情報付加方法決定部 ７ 画像合成部 ８ 表示部 ９ マーカー種類、指示位置判定部 １０ 異種マーカー対応付加画像生成部 １１ 既存付加画像複写部 １２ 移動パラメータ推定部 １３ 付加画像変形部 １４ 異種複数指示手段指示位置検出部 １５ 異種複数指示手段対応指示情報検出部 １６ 異種複数指示手段対応付加画像生成部 １７ 設置用マーカー利用移動パラメータ算出部 １８ 設置用指示手段数増減検出部 １９ 音声データ記憶部 ２０ スピーカー ２１ 指示手段形状認識部 ２２ 指示手段対応決定部 ２３ ズーム倍率検出部 ２４ 付加画像拡大・縮小部 ２５ 着色指定領域消去部 ２６ ＨＴＭＬファイル作成・更新部 ２７ サーバーおよび端末 ２８ 入力表示一体型ディスプレイ ３０ 現実物抽出部 ３２ 装飾画像記憶部 ３３ 装飾機能選択部 ３４ 画像送受信部 ３６ 輪郭モデル記憶部 ３７ 輪郭モデル変形部 ３８ 輪郭モデル交差判定部 ３９ 輪郭モデル分裂部 ４０ 輪郭候補点生成消滅部 ４１ 抽出完了判定部 ４２ 立体アイコン登録部 ４３ 立体アイコン識別部 ４４ 表示画像明るさ算出部 ４５ ペン入力色変更部 ４６ 表示画像補正部 １００ ペン、指示棒 １００ａ マーカー １００ｂ 指示位置検出開始スイッチ ２００ 設置用指示手段 ３００ カギ形状指示手段 １０００ 制御部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ０６Ｆ 15/66 ４７０Ａ 特許法第64条第２項ただし書の規定により図面第４図, ５図，６図，７図，11図，14図，15図，16図の一部は不 掲載とした。
Claims (28)
- 【請求項１】 所定の撮像手段と、 情報が表された面に与えられる指示情報の位置を、前記
撮像手段により撮像された画像から検出する指示位置検
出手段と、 前記指示位置検出手段により検出された指示位置に対応
して前記面上に表されている指示対象の情報の領域及び
／又はその指示対象の情報の特徴量を検出する指示対象
情報検出手段と、 前記領域及び／又は前記特徴量に基づき前記指示対象情
報の画像に付加する付加画像を生成する付加画像生成手
段と、 前記撮像手段により得られた前記指示対象情報の画像
と、前記生成された付加画像とを合成する画像合成手段
と、を備えたことを特徴とする画像合成装置。 - 【請求項２】 前記検出された前記指示位置に基づき、
前記付加画像の合成方法及び／又は表示方法を決定する
指示位置別の情報付加方法決定部を備え、 前記画像合成手段は、前記合成の際に、前記情報付加方
法決定部による決定結果を利用することを特徴とする請
求項１記載の画像合成装置。 - 【請求項３】 前記付加画像は、前記指示対象情報の画
像を装飾及び／又は強調する画像であることを特徴とす
る請求項１記載の画像合成装置。 - 【請求項４】 単数又は複数種類の前記指示情報を有す
る、前記指示対象を指示する指示手段を有し、 前記指示位置検出手段が、更に、前記撮像手段により撮
像された前記画像から得られた前記指示情報を利用し
て、その指示情報の種類を判定し、 前記付加画像生成手段が、前記判定された指示情報の種
類をも加味して、前記付加画像の生成を行うことを特徴
とする請求項１記載の画像合成装置。 - 【請求項５】 前記生成された付加画像を記憶する付加
画像記憶部と、 前記付加画像記憶部に記憶されている前記付加画像を前
記撮像手段により得られた画像と合成して一覧表示し、
その一覧表示から選択された前記付加画像を前記指示位
置に合成して表示する既存付加画像複写部と、を備えた
ことを特徴とする請求項１〜４の何れか一つに記載の画
像合成装置。 - 【請求項６】 前記情報が表された面の移動後の位置を
推定する移動パラメータ推定部と、 前記推定された移動パラメータに基づいて、前記付加画
像を変形させる付加画像変形部と、を備えたことを特徴
とする請求項１〜５の何れか一つに記載の画像合成装
置． - 【請求項７】 前記指示手段は、複数の指示部材を有
し、 前記指示位置検出手段は、前記複数の指示部材ごとに前
記指示位置を検出するものであり、 前記指示対象情報検出部は、前記複数の指示部材ごとに
前記検出を行い、 また、前記付加画像生成手段は、前記複数の指示部材ご
とに前記生成を行うことを特徴とする請求項１〜６の何
れか一つに記載の画像合成装置。 - 【請求項８】 前記複数の指示部材の内、少なくとも一
つの指示部材は、前記情報が表された面上に設置するこ
とにより前記指示対象を指示する設置用指示部材である
ことを特徴とする請求項７記載の画像合成装置。 - 【請求項９】 前記指示対象情報検出手段は、前記設置
用指示部材の設置位置に基づき、前記指示対象情報の領
域の、前記撮像手段の座標系に対する傾斜角度を推定
し、その推定した傾斜角度を利用して、前記指示対象情
報の領域及び／又は前記指示対象情報の特徴量を算出す
るものであり、 前記推定された傾斜角度を用いて前記情報が表された面
の平行移動パラメータを推定する移動パラメータ算出部
が設けられていることを特徴とする請求項８記載の画像
合成装置。 - 【請求項１０】 前記情報が表された面上に配置された
前記設置用指示部材の数の増減を検出する設置用指示部
材増減検出手段と、 前記設置用指示部材の数の増減に対応した音声データを
記憶する音声データ記憶部と、 前記音声データ記憶部の音声データを前記設置用指示部
材の数の増減にあわせて出力するスピーカーと、 を備えたことを特徴とする請求項７、８又は９記載の画
像合成装置。 - 【請求項１１】 前記指示手段は、異なる形状の指示部
材を有し、 前記異なる形状の指示部材を識別する指示部材形状認識
手段と、 所定の組み合わせ基準に基づいて、前記異なる形状の指
示部材同士を対応づける指示部材対応決定手段と、を備
えたことを特徴とする請求項７〜１０の何れか一つに記
載の画像合成装置。 - 【請求項１２】 前記撮像手段はカメラであり、 そのカメラのズーム倍率を検出するズーム倍率検出部
と、 前記検出されたズーム倍率に基づき、前記付加画像を拡
大・縮小する付加画像拡大・縮小部と，を備えたことを
特徴とする請求項１〜１１の何れか一つに記載の画像合
成装置。 - 【請求項１３】 前記情報が表された面上の所定の色の
領域を，前記所定の色とは異なる色で置き換える着色指
定領域消去部を備えたことを特徴とする請求項１〜１２
の何れか一つに記載の画像合成装置。 - 【請求項１４】 前記画像合成手段により合成された画
像をインターネットのブラウザで表示可能な形式により
保存するブラウザ対応ファイル作成・更新部を備えたこ
とを特徴とする請求項１〜１３の何れか一つに記載の画
像合成装置。 - 【請求項１５】 所定の撮像手段と、 前記撮像手段により撮像された、所定の面に表された情
報及び／又は複数の物体の内、画像抽出の対象の候補と
なるべき複数の抽出対象候補を取り囲む閉曲線情報を検
出する閉曲線情報検出手段と、 前記検出された閉曲線情報と前記抽出対象候補の画像の
情報とに基づいて、前記取り囲まれた複数の抽出対象候
補の画像から、それぞれの抽出対象候補の画像を個別的
に抽出する個別抽出手段と、 前記個別的に抽出された画像を利用して画像合成を行う
画像合成手段と、を備えたことを特徴とする画像合成装
置。 - 【請求項１６】 所定の撮像手段と、 前記撮像手段により撮像された情報の内、指示対象とな
るべき複数の指示対象情報を取り囲む閉曲線情報を検出
する閉曲線情報検出手段と、 前記検出された閉曲線情報と前記指示対象情報の画像情
報とに基づいて、前記取り囲まれた複数の指示対象情報
の画像から、それぞれの指示対象情報の画像を個別的に
抽出する個別抽出手段と、 前記個別的に抽出された画像の領域及び／又はその画像
の特徴量を検出する指示情報検出部と、 前記検出された前記画像の領域及び／又は前記画像の特
徴量に基づき、前記指示対象情報の画像に付加する付加
画像を生成する付加画像生成部と、 前記撮像手段により得られた前記指示対象情報の画像
と、前記生成された付加画像とを合成する画像合成手段
と、を備えたことを特徴とする画像合成装置。 - 【請求項１７】 入力表示一体型ディスプレイと、 前記ディスプレイの表示部の少なくとも一部を撮像する
撮像手段と、 前記ディスプレイ上に置かれた複数の現実の物体の内、
画像抽出の対象の候補となるべき複数の物体を取り囲む
閉曲線情報を検出する閉曲線情報検出手段と、 前記検出された閉曲線情報と、前記撮像手段により撮像
された前記取り囲まれた複数の物体の画像の情報とに基
づいて、前記取り囲まれた複数の物体の画像から、それ
ぞれの物体の画像を個別的に抽出する個別抽出手段と、 前記個別的に抽出された画像を用いて、前記ディスプレ
イに表示する付加画像を生成する付加画像生成部と、 前記生成された付加画像のディスプレイへの表示方法を
選択する表示方法選択部と、 前記選択された表示方法に基づき前記付加画像と前記現
実の物体の画像とを合成する画像合成手段と、を備えた
ことを特徴とする画像合成装置。 - 【請求項１８】 入力表示一体型ディスプレイと、 前記ディスプレイの表示部の少なくとも一部を撮像する
カメラと、 前記ディスプレイ上に置かれた複数の現実の物体の内、
画像抽出の対象の候補となるべき複数の物体を取り囲む
閉曲線情報を検出する閉曲線情報検出手段と、 前記検出された閉曲線情報と、前記撮像手段により撮像
された前記取り囲まれた複数の物体の画像の情報とに基
づいて、前記取り囲まれた複数の物体の画像から、それ
ぞれの物体の画像を個別的に抽出する個別抽出手段と、 前記個別的に抽出された画像を用いて、前記ディスプレ
イに表示する付加画像を生成する付加画像生成部と、 前記生成された付加画像のディスプレイへの表示方法を
選択する表示方法選択部と、 前記選択された表示方法に基づき前記ディスプレイ上に
表示された前記付加画像と、前記ディスプレイ上に置か
れた現実の物体とを前記カメラに撮像させる制御部と、
を備えたことを特徴とする画像合成装置。 - 【請求項１９】 入力表示一体型ディスプレイと、 前記ディスプレイの表示部の少なくとも一部を撮像する
撮像手段と、 前記ディスプレイ上に置かれた現実の物体を指示するた
めの指示位置情報を検出する指示位置検出部と、 前記検出された指示位置情報に基づいて、前記撮像手段
により撮像された画像から、前記現実の物体の画像を抽
出する現実物抽出手段と、 前記抽出された画像を用いて、前記ディスプレイに表示
する付加画像を生成する付加画像生成部と、 前記生成された付加画像のディスプレイへの表示方法を
選択する表示方法選択部と、 前記選択された表示方法に基づき前記付加画像と前記現
実の物体の画像とを合成する画像合成手段と、を備えた
ことを特徴とする画像合成装置。 - 【請求項２０】 前記個別抽出手段は、前記撮像手段に
より撮像された画像を記憶する画像記憶部と、 前記閉曲線情報を候補輪郭として記憶する輪郭モデル記
憶部と、 前記輪郭モデル記憶部に記憶されている候補輪郭を所定
の規則により変形する輪郭モデル変形部と、 前記候補輪郭の交差の有無を検知する輪郭モデル交差検
知部と、 前記交差検知部により交差有りと判定された場合に、前
記輪郭モデル記憶部に記憶されている候補輪郭を複数に
分裂させる輪郭モデル分裂部と、 前記分裂結果に基づいて、輪郭抽出の完了を判定する抽
出完了判定部と、を備え、 前記輪郭抽出の完了した後、前記分裂により生成された
輪郭に囲まれた画像を抽出することを特徴とする請求項
１５〜１７の何れか一つに記載の画像合成装置。 - 【請求項２１】 前記ディスプレイへの入力に用いる現
実物の特徴量とその機能を登録する立体アイコン登録部
と、 前記ディスプレイに入力があったとき、その入力に用い
ている現実物をその特徴量により識別する立体アイコン
識別部と、を備えたことを特徴とする請求項１７、１８
又は１９記載の画像合成装置。 - 【請求項２２】 前記ディスプレイの表示画像の明るさ
を算出する表示画像明るさ算出部と、 前記表示画像明るさ算出部により算出された明るさに応
じてペン入力の色を変更するペン入力色変更部と、備え
たことを特徴とする請求項１７、１８又は１９記載の画
像合成装置。 - 【請求項２３】 前記ディスプレイ上に置かれた現実物
の明るさや色に応じて表示画像の明るさや色を変化させ
る表示画像補正部を付加したことを特徴とする請求項１
７、１８又は１９記載の画像合成装置。 - 【請求項２４】 請求項１〜２３のいずれか１つの請求
項に記載の各手段の全部又は一部を手段の機能をコンピ
ュータに実行させるためのプログラムを記録したことを
特徴とする媒体。 - 【請求項２５】 情報が表された面の所定の位置を指示
情報により指示し、 前記面に表された前記情報と、前記指示情報とを撮像
し、 その撮像結果から前記指示情報により指示された指示位
置を検出し，前記指示位置に対応して前記面上に表され
ている指示対象の情報の領域及び／又は特徴量を検出
し、 前記指示対象情報の領域及び／又は特徴量に基づき、前
記指示対象情報の画像に付加する付加画像を生成し、 前記指示対象情報の画像と前記生成された付加画像とを
合成することを特徴とする画像合成方法。 - 【請求項２６】 前記画像を合成する場合、前記指示位
置に基づいて前記付加画像の合成方法及び／又は表示方
法を決定し、その決定結果を利用して前記合成を行うこ
とを特徴とする請求項２５記載の画像合成方法。 - 【請求項２７】 所定の面に表された情報及び／又は複
数の物体を撮像し、 前記撮像された前記情報及び／又は前記複数の物体の
内、画像抽出の対象の候補となるべき複数の抽出対象候
補を取り囲む閉曲線を与え、 前記与えられた閉曲線情報を検出し、 前記検出された閉曲線情報と前記抽出対象候補の画像の
情報とに基づいて、前記取り囲まれた複数の抽出対象候
補の画像から、それぞれの抽出対象候補の画像を個別的
に抽出し、 前記個別的に抽出された画像を利用して画像合成を行う
ことを特徴とする画像合成方法。 - 【請求項２８】 請求項２５〜２７の何れか一つに記載
の各ステップの全部又は一部のステップをコンピュータ
に実行させるためのプログラムを記録したことを特徴と
する媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30125497A JPH11144024A (ja) | 1996-11-01 | 1997-10-31 | 画像合成装置、画像合成方法及び媒体 |
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29143696 | 1996-11-01 | ||
| JP21103997 | 1997-08-05 | ||
| JP23699297 | 1997-09-02 | ||
| JP9-236992 | 1997-09-02 | ||
| JP8-291436 | 1997-09-02 | ||
| JP9-211039 | 1997-09-02 | ||
| JP30125497A JPH11144024A (ja) | 1996-11-01 | 1997-10-31 | 画像合成装置、画像合成方法及び媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11144024A true JPH11144024A (ja) | 1999-05-28 |
Family
ID=27476525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30125497A Pending JPH11144024A (ja) | 1996-11-01 | 1997-10-31 | 画像合成装置、画像合成方法及び媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11144024A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001175374A (ja) * | 1999-12-21 | 2001-06-29 | Sony Corp | 情報入出力システム及び情報入出力方法 |
| JP2006065754A (ja) * | 2004-08-30 | 2006-03-09 | Toshiba Corp | 情報処理装置、情報処理方法及びプログラム |
| JP2007011276A (ja) * | 2005-06-03 | 2007-01-18 | Ricoh Co Ltd | 画像表示装置、画像表示方法及びコマンド入力方法 |
| JP2008027080A (ja) * | 2006-07-19 | 2008-02-07 | Casio Comput Co Ltd | プレゼンテーションシステム |
| JP2011204059A (ja) * | 2010-03-26 | 2011-10-13 | Seiko Epson Corp | 情報入力システムおよび情報入力装置 |
| JP2012098766A (ja) * | 2010-10-29 | 2012-05-24 | Konami Digital Entertainment Co Ltd | 検出システム、それが適用された電子黒板装置、その制御方法及び、コンピュータプログラム |
| CN102693592A (zh) * | 2011-03-25 | 2012-09-26 | 王明海 | 图书馆书本登记装置 |
| JP2012212448A (ja) * | 2012-06-01 | 2012-11-01 | Toshiba Corp | 情報処理装置およびプログラム |
| US8957876B2 (en) | 2011-02-28 | 2015-02-17 | Kabushiki Kaisha Toshiba | Information processing apparatus and computer-readable storage medium |
| JPWO2014073346A1 (ja) * | 2012-11-09 | 2016-09-08 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体 |
| US9881402B2 (en) | 2013-04-09 | 2018-01-30 | Sony Corporation | Image processor and storage medium |
-
1997
- 1997-10-31 JP JP30125497A patent/JPH11144024A/ja active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001175374A (ja) * | 1999-12-21 | 2001-06-29 | Sony Corp | 情報入出力システム及び情報入出力方法 |
| US8402365B2 (en) | 2004-08-30 | 2013-03-19 | Kabushiki Kaisha Toshiba | Information processing method and apparatus |
| JP2006065754A (ja) * | 2004-08-30 | 2006-03-09 | Toshiba Corp | 情報処理装置、情報処理方法及びプログラム |
| JP2007011276A (ja) * | 2005-06-03 | 2007-01-18 | Ricoh Co Ltd | 画像表示装置、画像表示方法及びコマンド入力方法 |
| JP2008027080A (ja) * | 2006-07-19 | 2008-02-07 | Casio Comput Co Ltd | プレゼンテーションシステム |
| JP2011204059A (ja) * | 2010-03-26 | 2011-10-13 | Seiko Epson Corp | 情報入力システムおよび情報入力装置 |
| JP2012098766A (ja) * | 2010-10-29 | 2012-05-24 | Konami Digital Entertainment Co Ltd | 検出システム、それが適用された電子黒板装置、その制御方法及び、コンピュータプログラム |
| US8957876B2 (en) | 2011-02-28 | 2015-02-17 | Kabushiki Kaisha Toshiba | Information processing apparatus and computer-readable storage medium |
| CN102693592A (zh) * | 2011-03-25 | 2012-09-26 | 王明海 | 图书馆书本登记装置 |
| JP2012212448A (ja) * | 2012-06-01 | 2012-11-01 | Toshiba Corp | 情報処理装置およびプログラム |
| JPWO2014073346A1 (ja) * | 2012-11-09 | 2016-09-08 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体 |
| US11132063B2 (en) | 2012-11-09 | 2021-09-28 | Sony Corporation | Information processing apparatus for interactively performing work based on input content in extended work space |
| US9881402B2 (en) | 2013-04-09 | 2018-01-30 | Sony Corporation | Image processor and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5511148A (en) | Interactive copying system | |
| JP4991154B2 (ja) | 画像表示装置、画像表示方法及びコマンド入力方法 | |
| JP3746378B2 (ja) | 電子メモ処理装置、電子メモ処理方法、および電子メモ処理プログラムを記録したコンピュータ読取り可能な記録媒体 | |
| US7355583B2 (en) | Motion-based text input | |
| US6774889B1 (en) | System and method for transforming an ordinary computer monitor screen into a touch screen | |
| JP2001282456A (ja) | マンマシーン・インターフェース・システム | |
| WO2016121401A1 (en) | Information processing apparatus and program | |
| JP2009020614A (ja) | 複合現実感システムに用いるマーカユニット、複合現実感システム、マーカユニット作成支援システム、及び、マーカユニット作成支援プログラム | |
| TW201535233A (zh) | 運用手動輔助之便箋擷取及辨識 | |
| JPH11144024A (ja) | 画像合成装置、画像合成方法及び媒体 | |
| US11514696B2 (en) | Display device, display method, and computer-readable recording medium | |
| JP4021249B2 (ja) | 情報処理装置及び情報処理方法 | |
| JP3860560B2 (ja) | 表示インタフェース方法および装置 | |
| JP7155781B2 (ja) | 情報処理装置及び情報処理プログラム | |
| WO2023024536A1 (zh) | 一种绘图方法、装置、计算机设备及存储介质 | |
| JP2005165864A (ja) | コマンド入力方法、画像表示方法及び画像表示装置 | |
| JP4266076B2 (ja) | 電子黒板システム | |
| JP2003099196A (ja) | 会議等支援用画像投影装置 | |
| JP2008117083A (ja) | 座標指示装置、電子機器、座標指示方法、座標指示プログラム、及び座標指示プログラムを記録した記録媒体 | |
| JP7683253B2 (ja) | 表示装置、プログラム、変換方法、表示システム | |
| JP2862080B1 (ja) | 画像処理装置と画像処理方法 | |
| KR19980042016A (ko) | 화상 합성장치, 화상 합성방법 및 매체 | |
| JP2009259254A (ja) | コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラム | |
| JP2005284882A (ja) | コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体、コンテンツ表現制御方法、コンテンツ表現制御プログラム、およびコンテンツ表現制御プログラムを記録した記録媒体 | |
| US20210031014A1 (en) | Touch and Virtual Application for Art, Designs and Tattoos |