JPH04102178A - 物体モデル入力装置 - Google Patents
物体モデル入力装置Info
- Publication number
- JPH04102178A JPH04102178A JP2219010A JP21901090A JPH04102178A JP H04102178 A JPH04102178 A JP H04102178A JP 2219010 A JP2219010 A JP 2219010A JP 21901090 A JP21901090 A JP 21901090A JP H04102178 A JPH04102178 A JP H04102178A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- data
- shape
- input device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、物体の3次元形状や色彩情報を画像として入
力、識別する装置に係り、特に物体そのもの、あるいは
その物体の写真が存在する場合には、それを用い容易に
その物体のモデルを入力、識別し得る物体モデル入力装
置に関するものである。
力、識別する装置に係り、特に物体そのもの、あるいは
その物体の写真が存在する場合には、それを用い容易に
その物体のモデルを入力、識別し得る物体モデル入力装
置に関するものである。
従来、この種の装置に関するものとしては、特開昭60
−134979号公報に記載のように、入力対象として
の物体の図面から、その物体各部での寸法形状が入力さ
れるようになっている。
−134979号公報に記載のように、入力対象として
の物体の図面から、その物体各部での寸法形状が入力さ
れるようになっている。
しかしながら、上記従来技術による場合には、物体の図
面が利用できる場合はそれなりに有効であるが、図面を
入手できない場合など、各部での寸法形状が予め知れて
いない場合には、その物体についての寸法形状は入力さ
れ得ないものとなっている。
面が利用できる場合はそれなりに有効であるが、図面を
入手できない場合など、各部での寸法形状が予め知れて
いない場合には、その物体についての寸法形状は入力さ
れ得ないものとなっている。
一方、物体のグラフィックモデルを計算機に入力せしめ
ることの必要性は、近年、CAD/CAMではもとより
、アニメーション作成やビジュアルシミュレーション等
、多種多様な分野に亘って生じているのが現状である。
ることの必要性は、近年、CAD/CAMではもとより
、アニメーション作成やビジュアルシミュレーション等
、多種多様な分野に亘って生じているのが現状である。
しかしながら、その際、物体は必ず(7も図面としてそ
の寸法形状が明らかにされておらず、むしろ、図面とし
て明らかにされている物体は極く稀である。したがって
、このような場合、物体のグラフィックモデルを計算機
に入力するためには、物体各部での寸法や色彩を明らか
にしたうえ、それら寸法形状、色彩に関しての情報を順
次入力せねばならず、多くの時間が要されるようになっ
ている。
の寸法形状が明らかにされておらず、むしろ、図面とし
て明らかにされている物体は極く稀である。したがって
、このような場合、物体のグラフィックモデルを計算機
に入力するためには、物体各部での寸法や色彩を明らか
にしたうえ、それら寸法形状、色彩に関しての情報を順
次入力せねばならず、多くの時間が要されるようになっ
ている。
本発明の目的は、物体そのもの、あるいは写真があれば
、その画像を処理することにより容易に物体のグラフィ
ックモデルを計算機に入力し得る物体モデル入力装置を
供するにある。
、その画像を処理することにより容易に物体のグラフィ
ックモデルを計算機に入力し得る物体モデル入力装置を
供するにある。
また、本発明の他の目的は、そのグラフィックモデルか
ら別のモデルを容易に作成し得る物体モデル入力装置を
供するにある。
ら別のモデルを容易に作成し得る物体モデル入力装置を
供するにある。
」二足目的は、物体の画像を入力する手段と、その画像
から外部からの指示に基づき上記物体を構成する面を面
単位に認識し、その画像上での面対応の形状データおよ
び色彩データを保持する手段と、それら面対応の形状お
よび色彩をディスプレイに表示するとともに、外部から
の操作入力に基づき変更する手段と、上記画像上での面
の形状および色彩データを3次元空間上の形状および色
彩データに変換する手段と、その変換に必要な情報を外
部から入力する手段と、3次元空間上に変換されたデー
タをディスプレイに3次元的に表示するとともに、外部
からの操作入力に基づき変更する手段と、入力された画
像には存在しない面を、外部からの操作入力に基づき既
に得られている面に付加する手段とが具備されることで
達成される。
から外部からの指示に基づき上記物体を構成する面を面
単位に認識し、その画像上での面対応の形状データおよ
び色彩データを保持する手段と、それら面対応の形状お
よび色彩をディスプレイに表示するとともに、外部から
の操作入力に基づき変更する手段と、上記画像上での面
の形状および色彩データを3次元空間上の形状および色
彩データに変換する手段と、その変換に必要な情報を外
部から入力する手段と、3次元空間上に変換されたデー
タをディスプレイに3次元的に表示するとともに、外部
からの操作入力に基づき変更する手段と、入力された画
像には存在しない面を、外部からの操作入力に基づき既
に得られている面に付加する手段とが具備されることで
達成される。
また、他の目的は、以上のようにしてなる物体モデル入
力装置に更に、認識された、物体を構成する面の1以上
を1グループとして、1以上のグループに定義する手段
と、グループ各々に属する1以上の面に対して該面対応
の形状、位置、色彩データを一括して変更する手段とを
具備せしめることで達成される。
力装置に更に、認識された、物体を構成する面の1以上
を1グループとして、1以上のグループに定義する手段
と、グループ各々に属する1以上の面に対して該面対応
の形状、位置、色彩データを一括して変更する手段とを
具備せしめることで達成される。
一般に、物体の画像は、その物体の形状、色彩等の物理
的情報を画像入力に用いたセンサの解像度の範囲内で正
確に捉えていると考えられる。しかしながら、3次元物
体と通常の2次元画像との関係は、いわゆる1対n変換
の関係にあり、2次元画像から3次元物体のモデルを一
意に作成することは不可能である。ところが、多くの物
体の形状、色彩には規則性があり、これを制約条件とし
て用いるようにすれば、3次元物体のモデルを作成する
ことは比較的容易となっている。その際に、その規則性
を計算機に理解させることは難しいが、人間にとっては
その規則性は常識であることが多い。したがって、物体
モデル作成の過程において、−意に決定し得ない状況が
生じたならば、オペレータに質問や確認を行ない、その
オペレータからの応答指示にしたがって処理を継続する
ようにすれば、3次元物体のモデルを比較的容易に入力
することが可能となるものである。
的情報を画像入力に用いたセンサの解像度の範囲内で正
確に捉えていると考えられる。しかしながら、3次元物
体と通常の2次元画像との関係は、いわゆる1対n変換
の関係にあり、2次元画像から3次元物体のモデルを一
意に作成することは不可能である。ところが、多くの物
体の形状、色彩には規則性があり、これを制約条件とし
て用いるようにすれば、3次元物体のモデルを作成する
ことは比較的容易となっている。その際に、その規則性
を計算機に理解させることは難しいが、人間にとっては
その規則性は常識であることが多い。したがって、物体
モデル作成の過程において、−意に決定し得ない状況が
生じたならば、オペレータに質問や確認を行ない、その
オペレータからの応答指示にしたがって処理を継続する
ようにすれば、3次元物体のモデルを比較的容易に入力
することが可能となるものである。
より具体的には、外部から入力された画像を色彩によっ
て領域分割すれば、色彩の異なる分割領域を面として検
出し得るものである。また、同一色の面であっても、折
れ曲がっている部分では明るさが異なるので、画像の濃
淡上でのエツジを求めることで、面の輪郭形状を検出し
得るものである。このようにして、画像から物体を構成
する面各々を検出し得るが、一般に画像にはノイズが含
まれており、また、物体そのものの表面にも本来ならば
無視されるべき汚れ等があるので、このような事情を考
慮すれば、検出された面が必ずしも全て正しいとは限ら
ないものとなっている。このような問題に対しては、検
出された面をディスプレイ上に表示せしめることで、そ
の面を容易に確認し得るものとなっている。もしも、こ
の確認で誤りがあれば、オペレータより面検出のための
画像処理の方法やしきい値を指示したり、あるいは面の
形状や、色彩をエディタを用い直接画像上で修正するよ
うにすれば、面各々は正しく検出され得るものである。
て領域分割すれば、色彩の異なる分割領域を面として検
出し得るものである。また、同一色の面であっても、折
れ曲がっている部分では明るさが異なるので、画像の濃
淡上でのエツジを求めることで、面の輪郭形状を検出し
得るものである。このようにして、画像から物体を構成
する面各々を検出し得るが、一般に画像にはノイズが含
まれており、また、物体そのものの表面にも本来ならば
無視されるべき汚れ等があるので、このような事情を考
慮すれば、検出された面が必ずしも全て正しいとは限ら
ないものとなっている。このような問題に対しては、検
出された面をディスプレイ上に表示せしめることで、そ
の面を容易に確認し得るものとなっている。もしも、こ
の確認で誤りがあれば、オペレータより面検出のための
画像処理の方法やしきい値を指示したり、あるいは面の
形状や、色彩をエディタを用い直接画像上で修正するよ
うにすれば、面各々は正しく検出され得るものである。
しかしながら、以上のようにして検出された面各々の形
状はあくまでも2次元画像上でのものであり、物体本来
の3次元形状ではなく、2次元形状の線画は画像を入力
したセンサと物体の位置関係によって生じる透視画法的
形状になっている。
状はあくまでも2次元画像上でのものであり、物体本来
の3次元形状ではなく、2次元形状の線画は画像を入力
したセンサと物体の位置関係によって生じる透視画法的
形状になっている。
したがって、3次元形状への変換に必要な拘束条件とな
る、実際の物体における平行な線や、直角な線をオペレ
ータに尋ね、それからの応答指示を用いるようにすれば
、この情報から面の方向等か知れることから、3次元空
間上での形状が求められることになる。−旦、いくつか
の面の3次元空間上での形状が求まれば、それに隣接す
る面の稜線も決定されるので、オペレータからの、数少
ない指示により物体を構成する全ての面と、それぞれの
3次元形状とが求まるものである。なお、この3次元形
状への変換結果を、オペレータが修正することは容易と
なっている。オペレータによって適当な修正が行なわれ
る場合は、3次元空間上での正しい形状結果が容易に得
られるものである。
る、実際の物体における平行な線や、直角な線をオペレ
ータに尋ね、それからの応答指示を用いるようにすれば
、この情報から面の方向等か知れることから、3次元空
間上での形状が求められることになる。−旦、いくつか
の面の3次元空間上での形状が求まれば、それに隣接す
る面の稜線も決定されるので、オペレータからの、数少
ない指示により物体を構成する全ての面と、それぞれの
3次元形状とが求まるものである。なお、この3次元形
状への変換結果を、オペレータが修正することは容易と
なっている。オペレータによって適当な修正が行なわれ
る場合は、3次元空間上での正しい形状結果が容易に得
られるものである。
ところで、物体を撮像することで得られる画像は、あく
までもその物体の表側部分に対するものであり、その物
体の裏側部分に対する画像は得られないが、この見えな
い部分の形状も3次元形状の編集手段により容易に入力
し得るものとなっている。一般に物体は対称であったり
、一定の幅をもっていることが多く、したがって、物体
の半分の形状色彩が得られていれば、簡単な図形編集操
作で残りの部分の形状色彩を容易に定義し得るというも
のである。尤も、物体の全ての面か画像上に表れるべく
、その物体を相異なる複数の方向から撮像(7、同一物
体について複数の画像を得るようにすれば、同等図形編
集操作を行なうことなく物体全体のモデルを入力するこ
とも可能きなっている。また、自由曲面を持つ物体に対
しては、レンジファインダ(例えばレーザ測距器)を用
い直接距離データを求めるようにすれば、曲面形状も容
易に補完され得るものとなっている。
までもその物体の表側部分に対するものであり、その物
体の裏側部分に対する画像は得られないが、この見えな
い部分の形状も3次元形状の編集手段により容易に入力
し得るものとなっている。一般に物体は対称であったり
、一定の幅をもっていることが多く、したがって、物体
の半分の形状色彩が得られていれば、簡単な図形編集操
作で残りの部分の形状色彩を容易に定義し得るというも
のである。尤も、物体の全ての面か画像上に表れるべく
、その物体を相異なる複数の方向から撮像(7、同一物
体について複数の画像を得るようにすれば、同等図形編
集操作を行なうことなく物体全体のモデルを入力するこ
とも可能きなっている。また、自由曲面を持つ物体に対
しては、レンジファインダ(例えばレーザ測距器)を用
い直接距離データを求めるようにすれば、曲面形状も容
易に補完され得るものとなっている。
さて、以上のような物体モデル入力過程において、物体
の特定要素を構成する複数の面を1つのグループとして
名前をつけて定義しておけば、その特定要素を一括して
変形したり、ずらしたりすることが可能となり、これを
利用して入力されたモデルを基にして、これから別の変
形物体モデルを作成することが容易に可能となるもので
ある。
の特定要素を構成する複数の面を1つのグループとして
名前をつけて定義しておけば、その特定要素を一括して
変形したり、ずらしたりすることが可能となり、これを
利用して入力されたモデルを基にして、これから別の変
形物体モデルを作成することが容易に可能となるもので
ある。
以下、本発明を第1図から第13図により詳細に説明す
る。
る。
先ず本発明による物体モデル入力装置の構成と動作の概
要について説明すれば、第1図はその一例での概要構成
を示したものである。これによる場合、カラーTVカメ
ラ(以下、単にカメラと称す)55対応に設けられたカ
ラー画像認識部1ては1枚のカラー画像から物体を構成
する重合々の形状、色彩が認識されるようになっている
。画像入力部2からは、カメラ55で撮像された対象物
体体くカラー写真等の2次元状のものも含む)のカラー
画像が、一般に3原色の色データ、即ち、赤(R)、緑
(G)、青(B)データとして出力されるが、これら色
データはカラー領域分割部3で色相、彩度データに変換
されたうえ、画像の領域分割が行なわれるようになって
いる。一方、画像入力部2からの色データは濃淡画像微
分処理部4で明度データに変換された状態で微分処理さ
れ、この微分処理によってエツジ候補点の抽出が行なわ
れるものとなっている。その後、カラー領域分割部3、
濃淡画像微分処理部4各々からの処理結果としての線画
データは線画編集部5で編集、修正され、更に線画モデ
リング部6では編集、修正済みの線画が直線や円弧、楕
円弧、2次曲線等に近似され、線画はパラメータを以て
表現されるようになっている。この線画で閉じられてい
る領域名々を、閉面抽出部7では対象物体を構成する重
合々として切り出すようになっているわけである。
要について説明すれば、第1図はその一例での概要構成
を示したものである。これによる場合、カラーTVカメ
ラ(以下、単にカメラと称す)55対応に設けられたカ
ラー画像認識部1ては1枚のカラー画像から物体を構成
する重合々の形状、色彩が認識されるようになっている
。画像入力部2からは、カメラ55で撮像された対象物
体体くカラー写真等の2次元状のものも含む)のカラー
画像が、一般に3原色の色データ、即ち、赤(R)、緑
(G)、青(B)データとして出力されるが、これら色
データはカラー領域分割部3で色相、彩度データに変換
されたうえ、画像の領域分割が行なわれるようになって
いる。一方、画像入力部2からの色データは濃淡画像微
分処理部4で明度データに変換された状態で微分処理さ
れ、この微分処理によってエツジ候補点の抽出が行なわ
れるものとなっている。その後、カラー領域分割部3、
濃淡画像微分処理部4各々からの処理結果としての線画
データは線画編集部5で編集、修正され、更に線画モデ
リング部6では編集、修正済みの線画が直線や円弧、楕
円弧、2次曲線等に近似され、線画はパラメータを以て
表現されるようになっている。この線画で閉じられてい
る領域名々を、閉面抽出部7では対象物体を構成する重
合々として切り出すようになっているわけである。
なお、第1図中には複数のカメラ55が配置されている
が、予め相対位置関係が知れているこれら複数のカメラ
55各々では、対象物体体の3次元形状をより確実に検
出すべく相異なる方向からその対象物体体が撮像される
ようになっている。これらカメラ55各々で撮像された
画像は対応するカラー画像認識部1で、以上のように所
定に処理されているものである。尤も、それらカメラ5
5からの撮像信号を順次共通カラー画像認識部に取込む
ようにする場合は、カメラ対応にカラー画像認識部を設
けることは不要である。
が、予め相対位置関係が知れているこれら複数のカメラ
55各々では、対象物体体の3次元形状をより確実に検
出すべく相異なる方向からその対象物体体が撮像される
ようになっている。これらカメラ55各々で撮像された
画像は対応するカラー画像認識部1で、以上のように所
定に処理されているものである。尤も、それらカメラ5
5からの撮像信号を順次共通カラー画像認識部に取込む
ようにする場合は、カメラ対応にカラー画像認識部を設
けることは不要である。
以上のようにして、対象物体体を構成している而各々の
2次元画像上での位置が知れるか、これと実際の3次元
空間上での位置との対応関係は視覚座標校正処理によっ
て求められるものとなっている。複数のカメラ55によ
って対象物体体か撮像される場合、カラー画像認識部1
各々で生成された線画データは視覚座標校正処理され2
次元データ記憶部9に一旦記憶された後、面対応決定部
1−Oで複数画像間での面の対応付けが行なわれ、その
後平面処理部11で3次元座標値が求められるようにな
っている。しかしながら、カメラ55が1つのみで、し
たがって、2次元画像が1つしか得られていない場合に
は、線画データは視覚座標校正部8で処理された後は、
面対応決定部10で何等処理が行なわれることなく、そ
のまま面対応決定部10を介し平面処理部11で3次元
座標値が求められるものとなっている。面対応決定部1
0で何等処理が行なわれていないのは、これは、2次元
画像が1つのみでは、面の対応関係を求めようにも求め
得ないからである。さて、2次元画像が複数得られる場
合、線画データについての2次元座標値は同時に複数得
られる場合が多いと考えられるが、このような2次元座
標値については平面処理部11内の複視面3次元データ
検出部13で3次元座標値が検出されるようになってい
る。
2次元画像上での位置が知れるか、これと実際の3次元
空間上での位置との対応関係は視覚座標校正処理によっ
て求められるものとなっている。複数のカメラ55によ
って対象物体体か撮像される場合、カラー画像認識部1
各々で生成された線画データは視覚座標校正処理され2
次元データ記憶部9に一旦記憶された後、面対応決定部
1−Oで複数画像間での面の対応付けが行なわれ、その
後平面処理部11で3次元座標値が求められるようにな
っている。しかしながら、カメラ55が1つのみで、し
たがって、2次元画像が1つしか得られていない場合に
は、線画データは視覚座標校正部8で処理された後は、
面対応決定部10で何等処理が行なわれることなく、そ
のまま面対応決定部10を介し平面処理部11で3次元
座標値が求められるものとなっている。面対応決定部1
0で何等処理が行なわれていないのは、これは、2次元
画像が1つのみでは、面の対応関係を求めようにも求め
得ないからである。さて、2次元画像が複数得られる場
合、線画データについての2次元座標値は同時に複数得
られる場合が多いと考えられるが、このような2次元座
標値については平面処理部11内の複視面3次元データ
検出部13で3次元座標値が検出されるようになってい
る。
2次元座標値が1つだけである場合、または2次元画像
が1つしか得られていない場合での2次元座標値につい
ては、単視面処理部14内の面法線決定部15で先ず面
の法線が決定された後、単視面3次元データ検出部16
で3次元座標値が検出されるようになっているものであ
る。このようにして、平面処理部11からは3次元座標
値が得られるか、これら3次元座標値は3次元データ統
合部19で自由曲面処理部12からの3次元データと統
合されるようになっている。対象物体体の少なくとも一
部が曲面で以て構成されている場合、その曲面について
の3次元座標値は自由曲面処理部12内のレンジファイ
ンダ入力部17より曲面形状入力部18を介し得られる
が、これらのデータは3次元データ統合部19で平面処
理部11からのものと統合されているものである。3次
元データ統合部19で3次元座標値が統合されることで
、入力された対象物体体ついての全体モデル形状が知れ
るものであるが、更に構造定義部20てはそのモデル構
造が定義され、定義結果は認識結果出力部21で外部か
ら指定された部位毎に、視点を変えた任意の方向から表
示されるようになっているものである。なお、以上での
各種処理を実行するに際しては、必要に応じて外部から
オペレータによる操作によって各種コマンドがコマンド
入力部57から入力されるが、この操作は全てディスプ
レイ56上に表示されるようになっている。
が1つしか得られていない場合での2次元座標値につい
ては、単視面処理部14内の面法線決定部15で先ず面
の法線が決定された後、単視面3次元データ検出部16
で3次元座標値が検出されるようになっているものであ
る。このようにして、平面処理部11からは3次元座標
値が得られるか、これら3次元座標値は3次元データ統
合部19で自由曲面処理部12からの3次元データと統
合されるようになっている。対象物体体の少なくとも一
部が曲面で以て構成されている場合、その曲面について
の3次元座標値は自由曲面処理部12内のレンジファイ
ンダ入力部17より曲面形状入力部18を介し得られる
が、これらのデータは3次元データ統合部19で平面処
理部11からのものと統合されているものである。3次
元データ統合部19で3次元座標値が統合されることで
、入力された対象物体体ついての全体モデル形状が知れ
るものであるが、更に構造定義部20てはそのモデル構
造が定義され、定義結果は認識結果出力部21で外部か
ら指定された部位毎に、視点を変えた任意の方向から表
示されるようになっているものである。なお、以上での
各種処理を実行するに際しては、必要に応じて外部から
オペレータによる操作によって各種コマンドがコマンド
入力部57から入力されるが、この操作は全てディスプ
レイ56上に表示されるようになっている。
即ち、以上での各種処理はコマンド入力部57やディス
プレイ56を介しオペレータと対話形式で行なわれるも
のである。
プレイ56を介しオペレータと対話形式で行なわれるも
のである。
以上、本発明による物体モデル入力装置について、その
構成と動作の概要について説明したが、その構成におけ
る各部分での動作を、より詳細に説明すれば以下のよう
である。
構成と動作の概要について説明したが、その構成におけ
る各部分での動作を、より詳細に説明すれば以下のよう
である。
即ち、先ず対象物体体はカメラ55によって側面方向等
から撮像されるが、カメラ55からの撮像信号は画像入
力部2を介しカラー画像データとして得られるようにな
っている。このカラー画像データは3原色の色データ(
R,G、B)として表現されているが、カラー画像デー
タはカラー領域分割部3と濃淡画像微分処理部4に分岐
して入力されるようになっている。このうち、カラー領
域分割部3では色相の相違によって、対象物体体を構成
している面各々をカラー領域として分割しているが、第
2図は色相によるカラー領域分割の方法手順を、第3図
はその際での表示画面例を示したものである。その方法
手順に基づき第3図の画面上での操作方法を説明すれば
、カラー領域分割部3にカラー画像データが取り込まれ
れば(ステップ100)、そのカラー画像データは色相
、彩度データに変換されたうえ(ステップ102)、画
像表示ウィンドウ22にその対象物体体についての原画
像が表示されるようになっている(ステップ104)。
から撮像されるが、カメラ55からの撮像信号は画像入
力部2を介しカラー画像データとして得られるようにな
っている。このカラー画像データは3原色の色データ(
R,G、B)として表現されているが、カラー画像デー
タはカラー領域分割部3と濃淡画像微分処理部4に分岐
して入力されるようになっている。このうち、カラー領
域分割部3では色相の相違によって、対象物体体を構成
している面各々をカラー領域として分割しているが、第
2図は色相によるカラー領域分割の方法手順を、第3図
はその際での表示画面例を示したものである。その方法
手順に基づき第3図の画面上での操作方法を説明すれば
、カラー領域分割部3にカラー画像データが取り込まれ
れば(ステップ100)、そのカラー画像データは色相
、彩度データに変換されたうえ(ステップ102)、画
像表示ウィンドウ22にその対象物体体についての原画
像が表示されるようになっている(ステップ104)。
次に、この表示にもとづきオペレータによってマウス2
6を介し、同一色とみなされる領域部分が影のかかった
部分も含め指定されるようになっている(ステップ10
6)。領域指定が完了すれば(ステップ108)、指定
領域部分での色相が色相グラフウィンドウ24に原画像
の色で表示されるが(ステップ110)、オペレータは
その色相分布状態を見ながら、他の色相と分離し得る色
相範囲とその範囲内での代表色を色相グラフウィンドウ
24に設定することによって、カラーパレットを作成す
るようになっている(ステップ112)。それら設定結
果として設定範囲内の色相をもつ領域がその代表色で塗
り潰された状態で、領域分割ウィンドウ25に表示され
るものである(ステップ114)。次には、領域分割ウ
ィンドウ25内表示において、ある一定値以上の画素数
を持つ部分のみを領域と認め、細かな雑音は除去される
ようになっている(ステップ116)。その際でのしき
い値としての画素数の値はダイヤル27によって可変と
して調節され得、領域分割ウィンドウ25での表示画面
はそのしきい値とともに連続的に変化するが、適当に雑
音が除去された状態でダイヤル操作は停止されるように
なっている。雑音として除去された領域は周囲の領域と
同一カラー領域とみなされ、その色で以て補間されるも
のである。以」二のように、カラー領域分割が完了[7
たと判断されるまで(ステップ118)、同一色とみな
される領域部分が指定される度に、以上の処理(カラー
パレット作成処理、雑音除去処理)を繰り返すようにす
れば、その都度領域分割ウィンドウ25には新たなカラ
ー領域が加えられるものである。これらマウス、ダイア
ル等の操作方法およびメニュー選択は全てメニュー表示
ウィンドウ23に表示されるので、ユーザはその表示の
指示に従いながらカラー領域分割を行ない得るものであ
る。
6を介し、同一色とみなされる領域部分が影のかかった
部分も含め指定されるようになっている(ステップ10
6)。領域指定が完了すれば(ステップ108)、指定
領域部分での色相が色相グラフウィンドウ24に原画像
の色で表示されるが(ステップ110)、オペレータは
その色相分布状態を見ながら、他の色相と分離し得る色
相範囲とその範囲内での代表色を色相グラフウィンドウ
24に設定することによって、カラーパレットを作成す
るようになっている(ステップ112)。それら設定結
果として設定範囲内の色相をもつ領域がその代表色で塗
り潰された状態で、領域分割ウィンドウ25に表示され
るものである(ステップ114)。次には、領域分割ウ
ィンドウ25内表示において、ある一定値以上の画素数
を持つ部分のみを領域と認め、細かな雑音は除去される
ようになっている(ステップ116)。その際でのしき
い値としての画素数の値はダイヤル27によって可変と
して調節され得、領域分割ウィンドウ25での表示画面
はそのしきい値とともに連続的に変化するが、適当に雑
音が除去された状態でダイヤル操作は停止されるように
なっている。雑音として除去された領域は周囲の領域と
同一カラー領域とみなされ、その色で以て補間されるも
のである。以」二のように、カラー領域分割が完了[7
たと判断されるまで(ステップ118)、同一色とみな
される領域部分が指定される度に、以上の処理(カラー
パレット作成処理、雑音除去処理)を繰り返すようにす
れば、その都度領域分割ウィンドウ25には新たなカラ
ー領域が加えられるものである。これらマウス、ダイア
ル等の操作方法およびメニュー選択は全てメニュー表示
ウィンドウ23に表示されるので、ユーザはその表示の
指示に従いながらカラー領域分割を行ない得るものであ
る。
ところで、カラー領域分割は色相だけではなく、他には
RGB値の強度や、彩度、輝度によって行なうことも可
能となっている。対蒙物体体の周囲環境条件、例えば照
明条件を考慮した場合、色相によってカラー領域分割を
行なうのが一般に望ましいと云えるが、色相によるカラ
ー領域分割が良好に行ない得ない場合には、色相以外の
ものを選択的に使用するようにすれば、カラー領域分割
が良好に行なわれる場合があるからである。色相以外の
ものによる場合も、第2図、第3図に示すようにして、
カラー領域分割が行なわれるものとなっている。例えば
RGB値による場合について説明すれば、指定された領
域内で3原色成分R、G。
RGB値の強度や、彩度、輝度によって行なうことも可
能となっている。対蒙物体体の周囲環境条件、例えば照
明条件を考慮した場合、色相によってカラー領域分割を
行なうのが一般に望ましいと云えるが、色相によるカラ
ー領域分割が良好に行ない得ない場合には、色相以外の
ものを選択的に使用するようにすれば、カラー領域分割
が良好に行なわれる場合があるからである。色相以外の
ものによる場合も、第2図、第3図に示すようにして、
カラー領域分割が行なわれるものとなっている。例えば
RGB値による場合について説明すれば、指定された領
域内で3原色成分R、G。
B各々の平均と分散を求め、その分散から算出された範
囲にもとづきカラーパレットが作成されたうえ、カラー
領域分割が行なわれるようになっている。RGB値によ
る分割は主に、色相では良好に領域分割し得ない低色彩
部分を補うために必要となっている。1.たがって、例
えば以上のようにして、最終的に得られた2種類の領域
分割結果(例えば色相とRGB値による領域分割結果)
と原画像とを画面に同時表示するようにすれば、オペレ
ータは2種類の領域分割結果のうちから、妥当な部分を
選択しつつ1つの領域分割画を編集し得るものである。
囲にもとづきカラーパレットが作成されたうえ、カラー
領域分割が行なわれるようになっている。RGB値によ
る分割は主に、色相では良好に領域分割し得ない低色彩
部分を補うために必要となっている。1.たがって、例
えば以上のようにして、最終的に得られた2種類の領域
分割結果(例えば色相とRGB値による領域分割結果)
と原画像とを画面に同時表示するようにすれば、オペレ
ータは2種類の領域分割結果のうちから、妥当な部分を
選択しつつ1つの領域分割画を編集し得るものである。
例えば片方の採用すべき領域内をマウスでクリックすれ
ば、もう一方の分割画にはクリックされた領域が上書き
される、といった具合にして領域分割画が編集されるも
のである。このように(7て、簡単容易に2種類の分割
画が編集され得るものであり、これら分割画において分
割された領域の境界はエツジとして抽出され得るわけで
ある。
ば、もう一方の分割画にはクリックされた領域が上書き
される、といった具合にして領域分割画が編集されるも
のである。このように(7て、簡単容易に2種類の分割
画が編集され得るものであり、これら分割画において分
割された領域の境界はエツジとして抽出され得るわけで
ある。
一方、画像入力部2からのカラー画像データは同時に濃
淡画像微分処理部4で処理されることによって、エツジ
が検出され5るようになっている。
淡画像微分処理部4で処理されることによって、エツジ
が検出され5るようになっている。
カラー画像データは濃淡値を示す明度データに変換され
た後、微分処理されることによって微分画像が得られて
いるわけであるが、その際使用される微分処理方法はい
くつか用意されたものとなっている。オペレータはメニ
ュー表示されたそれらの微分処理方法から、任意のもの
を複数選択したうえ同時に微分処理を行なわしめるが、
その結果得られる微分画像はあるしきい値で2値化され
るようになっている。2値化処理の結果として得られた
エツジ画像は全てマルチウィンドウで同時に画面表示さ
れるが、その際、しきい値はオペレータによって可変と
してダイアルで調節され得るものとなっている。そのし
きい値に応じてエツジ画像も変化するが、マルチウィン
ドウ上での処理結果を見ながら、しきい値の変化を停止
せしめることで、エツジ画像の変化もまた停止され得る
ものとなっている。このようにして抽出されたエツジ画
像からは次に雑音が除去されるべく、ある一定値以上の
長さを持つエツジのみを線分と認め、その長さ未満のも
のは雑音として除去されるようになっている。雑音除去
のためのしきい値も連続的にオペレータによって可変設
定されるようにすれば、可変設定されたしきい値に応じ
たウィンドウ上での処理結果を見ながら、しきい値が任
意に設定され得るものである。以上のようにして得られ
る複数のエツジ画像は指定された数に画面分割(例えば
9分割、16分割、25分割)された後は、オペレータ
が相対応する分割部分の中から任意の何れか1つを選択
する、といった具合に他に選択されたものと組合せるよ
うにすれば、1つのエツジ画像が容易に作成され得るも
のである。
た後、微分処理されることによって微分画像が得られて
いるわけであるが、その際使用される微分処理方法はい
くつか用意されたものとなっている。オペレータはメニ
ュー表示されたそれらの微分処理方法から、任意のもの
を複数選択したうえ同時に微分処理を行なわしめるが、
その結果得られる微分画像はあるしきい値で2値化され
るようになっている。2値化処理の結果として得られた
エツジ画像は全てマルチウィンドウで同時に画面表示さ
れるが、その際、しきい値はオペレータによって可変と
してダイアルで調節され得るものとなっている。そのし
きい値に応じてエツジ画像も変化するが、マルチウィン
ドウ上での処理結果を見ながら、しきい値の変化を停止
せしめることで、エツジ画像の変化もまた停止され得る
ものとなっている。このようにして抽出されたエツジ画
像からは次に雑音が除去されるべく、ある一定値以上の
長さを持つエツジのみを線分と認め、その長さ未満のも
のは雑音として除去されるようになっている。雑音除去
のためのしきい値も連続的にオペレータによって可変設
定されるようにすれば、可変設定されたしきい値に応じ
たウィンドウ上での処理結果を見ながら、しきい値が任
意に設定され得るものである。以上のようにして得られ
る複数のエツジ画像は指定された数に画面分割(例えば
9分割、16分割、25分割)された後は、オペレータ
が相対応する分割部分の中から任意の何れか1つを選択
する、といった具合に他に選択されたものと組合せるよ
うにすれば、1つのエツジ画像が容易に作成され得るも
のである。
したがって、カラー領域分割部3で領域の境界として抽
出された色彩付きエツジ画像と、濃淡画像微分処理部4
で抽出されたエツジ画像とを線画編集部5で編集、修正
するようにすれば、色彩情報を持つ1つの線画が容易に
生成され得るものである。即ち、先ずそれら2つの画像
を重ね合わせて表示、つまり2つの画像の和(論理和:
OR)が求められたうえ表示されるようになっている。
出された色彩付きエツジ画像と、濃淡画像微分処理部4
で抽出されたエツジ画像とを線画編集部5で編集、修正
するようにすれば、色彩情報を持つ1つの線画が容易に
生成され得るものである。即ち、先ずそれら2つの画像
を重ね合わせて表示、つまり2つの画像の和(論理和:
OR)が求められたうえ表示されるようになっている。
この表示から誤認識された線は容易に識別されるが、誤
認識された線についてはマウスでその端点を指定し、そ
の周囲の画素と同じ色で塗り潰すことにより削除される
ようになっている。このようにして、線画編集部5で編
集された線画に対しては、その線画を構成している線番
々が線画モデリング部6で直線や、各種曲線に近似され
たうえパラメータで表現されるようになっている。第4
図は線画編集部5での処理を、また、その処理による作
用を第5図(a)〜(C)に示すが、これによる場合、
先ずばらつき評価のためのしきい値T、、2次の項の係
数評価のためのしきい値T、が設定されるようになって
いる(ステップ200)。次に着目している線分区間に
おいて最小2乗法によりその線分が2次曲線で近似され
るが(ステップ202)、その際、その線分の、近似2
次曲線に対するばらつきがその線分区間内における誤差
の2乗の平均値により求められるようになっている(ス
テップ204)。第5図(a)に示すように、線分P、
P、間の近似2次曲線に対する誤差が示されているが、
求められたばらつきがしきい値T1より小さいと判定さ
れた場合には(ステップ206)、近似2次曲線の2次
の項の係数により直線性が評価されるようになっている
(ステップ212)。
認識された線についてはマウスでその端点を指定し、そ
の周囲の画素と同じ色で塗り潰すことにより削除される
ようになっている。このようにして、線画編集部5で編
集された線画に対しては、その線画を構成している線番
々が線画モデリング部6で直線や、各種曲線に近似され
たうえパラメータで表現されるようになっている。第4
図は線画編集部5での処理を、また、その処理による作
用を第5図(a)〜(C)に示すが、これによる場合、
先ずばらつき評価のためのしきい値T、、2次の項の係
数評価のためのしきい値T、が設定されるようになって
いる(ステップ200)。次に着目している線分区間に
おいて最小2乗法によりその線分が2次曲線で近似され
るが(ステップ202)、その際、その線分の、近似2
次曲線に対するばらつきがその線分区間内における誤差
の2乗の平均値により求められるようになっている(ス
テップ204)。第5図(a)に示すように、線分P、
P、間の近似2次曲線に対する誤差が示されているが、
求められたばらつきがしきい値T1より小さいと判定さ
れた場合には(ステップ206)、近似2次曲線の2次
の項の係数により直線性が評価されるようになっている
(ステップ212)。
即ち、2次の項の係数がしきい値T2より小さい場合に
は直線であるとして、最小2乗法により直線が求め直さ
れているものである(ステップ214)。また、もしも
、その2次の項の係数が12以上の場合は、そのまま近
似2次曲線がその線分についてのものとして記憶される
ものとなっている(ステップ216)。しかしながら、
求められたばらつきがしきい値T1以上の場合には、そ
の線分の2次微分関数から線分の変曲点を求められ(ス
テップ208)、その区間が変曲点で分割されるように
なっている(ステップ210)。変曲点で分割された線
分区間各々に対しては、上記と同様の処理が全ての区間
においてばらつきがしきい値T□以内となるまで、即ち
、2次曲線、あるいは直線に近似され得るまで繰返され
るものとなっている。第5図(b)は線分P。P、での
変曲点P2゜P3を求めたうえ、線分P。28間に対し
近似を行なった場合を示したものである。第5図(c)
はまたP。23間に対し近似を行なった場合を示したも
のである。しかしながら、座標変換を行なったにも拘ら
ずなお2次曲線、あるいは直線に近似し得ない線(閉じ
た曲線など)に対しては、円弧や楕円弧に最小2乗法で
近似されるようになっている。
は直線であるとして、最小2乗法により直線が求め直さ
れているものである(ステップ214)。また、もしも
、その2次の項の係数が12以上の場合は、そのまま近
似2次曲線がその線分についてのものとして記憶される
ものとなっている(ステップ216)。しかしながら、
求められたばらつきがしきい値T1以上の場合には、そ
の線分の2次微分関数から線分の変曲点を求められ(ス
テップ208)、その区間が変曲点で分割されるように
なっている(ステップ210)。変曲点で分割された線
分区間各々に対しては、上記と同様の処理が全ての区間
においてばらつきがしきい値T□以内となるまで、即ち
、2次曲線、あるいは直線に近似され得るまで繰返され
るものとなっている。第5図(b)は線分P。P、での
変曲点P2゜P3を求めたうえ、線分P。28間に対し
近似を行なった場合を示したものである。第5図(c)
はまたP。23間に対し近似を行なった場合を示したも
のである。しかしながら、座標変換を行なったにも拘ら
ずなお2次曲線、あるいは直線に近似し得ない線(閉じ
た曲線など)に対しては、円弧や楕円弧に最小2乗法で
近似されるようになっている。
以上のように、パラメータ表現された線分各々に対して
は更に端点が検索され、各線分の端点の色が線分とは異
なる色で表示される。その際、端点からオペレータが指
定したある一定の画素数以内に他の線が存在する場合や
、数本の線の延長線がある一定の画素数以内で交わる場
合、自動的にその位置まで線を延長され、その結果が改
めて表示されるようになっている。更に一部が欠けてい
る線に対しては、オペレータが端点と延長光の点をマウ
ス等で指定することによって、これら2点を結ぶように
してその欠けが補完され、欠けが補完された線について
はその端点の座標が記憶改めて記憶されるようになって
いる。
は更に端点が検索され、各線分の端点の色が線分とは異
なる色で表示される。その際、端点からオペレータが指
定したある一定の画素数以内に他の線が存在する場合や
、数本の線の延長線がある一定の画素数以内で交わる場
合、自動的にその位置まで線を延長され、その結果が改
めて表示されるようになっている。更に一部が欠けてい
る線に対しては、オペレータが端点と延長光の点をマウ
ス等で指定することによって、これら2点を結ぶように
してその欠けが補完され、欠けが補完された線について
はその端点の座標が記憶改めて記憶されるようになって
いる。
以上の一連の処理によって得られた線画は閉面抽出部7
で閉じた面として抽出され、2次元画像上での面形状と
して認識されるが、面の抽出は第6図に示すようにして
行なわれる。即ち、第6図(a)に示されている線画を
例にとれば、先ずその線画を構成する線番々に対しては
、向きの異なる矢印が付され、その後は点aから点すの
方向へ矢印を追うようにし、通過済み部分の矢印は消去
されるようになっている。もしも、その通過の際、ある
点で道が敵手に分岐している場合は、進行方向に対して
最も左側の進路をとるようにして、追跡が行なわれるよ
うになっている。例えば点すでは点Cの方向へ向って追
跡が行なわれるものである。これにより閉面a−b−c
−d−e−f−aが抽出されるが、この閉面の抽出はと
りもなおさず背景の抽出と等価となっている。その閉面
以外は背景とされているからである。次には、第6図(
b)に示すように、点aから再び残りの矢印を追うよう
にすれば、閉面a−f−b−aが抽出されることになる
。以下、以上のような規則に従って矢印が全て消去され
るまで線を追うようにすれば、背景(第6図(a)に示
す閉面a−b−c−d−e −f−a以外の部分)と閉
面(第6図(e)〜(e)にそれぞれ示す閉面)か抽出
されるものである。抽出された閉面各々に対しては、そ
れ自体を構成する線の集合としてラベル付けされるもの
となっている。その後は抽出された閉面のうち、模様を
含むものがオペレータによって指定されるようになって
いる。その結果、模様を含む面はそのままその面内での
各画素のRGB値が記憶される。つまり模様は保存され
、模様指定のなかった単色の面はその面内での各画素の
RGB値それぞれのの平均値が記憶されるものである。
で閉じた面として抽出され、2次元画像上での面形状と
して認識されるが、面の抽出は第6図に示すようにして
行なわれる。即ち、第6図(a)に示されている線画を
例にとれば、先ずその線画を構成する線番々に対しては
、向きの異なる矢印が付され、その後は点aから点すの
方向へ矢印を追うようにし、通過済み部分の矢印は消去
されるようになっている。もしも、その通過の際、ある
点で道が敵手に分岐している場合は、進行方向に対して
最も左側の進路をとるようにして、追跡が行なわれるよ
うになっている。例えば点すでは点Cの方向へ向って追
跡が行なわれるものである。これにより閉面a−b−c
−d−e−f−aが抽出されるが、この閉面の抽出はと
りもなおさず背景の抽出と等価となっている。その閉面
以外は背景とされているからである。次には、第6図(
b)に示すように、点aから再び残りの矢印を追うよう
にすれば、閉面a−f−b−aが抽出されることになる
。以下、以上のような規則に従って矢印が全て消去され
るまで線を追うようにすれば、背景(第6図(a)に示
す閉面a−b−c−d−e −f−a以外の部分)と閉
面(第6図(e)〜(e)にそれぞれ示す閉面)か抽出
されるものである。抽出された閉面各々に対しては、そ
れ自体を構成する線の集合としてラベル付けされるもの
となっている。その後は抽出された閉面のうち、模様を
含むものがオペレータによって指定されるようになって
いる。その結果、模様を含む面はそのままその面内での
各画素のRGB値が記憶される。つまり模様は保存され
、模様指定のなかった単色の面はその面内での各画素の
RGB値それぞれのの平均値が記憶されるものである。
以上のように、対象物体体の2次元的な形状情報を得た
後は、3次元データに展開するために以下の処理が行な
われるものとなっている。
後は、3次元データに展開するために以下の処理が行な
われるものとなっている。
先ず視覚座標校正部8において、基準となる3次元座標
系(カメラ座標系)を設け、この3次元座標系での点P
(X、Y、Z)から、その点に対応する画像上での座
標v(1,J)への変換式(A)を求める。このために
、先ず視覚系のモデル化を行なう。
系(カメラ座標系)を設け、この3次元座標系での点P
(X、Y、Z)から、その点に対応する画像上での座
標v(1,J)への変換式(A)を求める。このために
、先ず視覚系のモデル化を行なう。
その−例として、第7図に示すように、カメラ視点(レ
ンズ焦点)の位置をcxo、yo、zo)を原点と(2
、視軸(レンズの視軸)をZ軸とする3次元座標系(カ
メラ座標系)Cをとる。また、視点から距離fのところ
に視軸と原点で直交するイメージ画面を想定し、これを
イメージ座標系■とする。この場合、イメージ座標系と
3次元座標系の間の関係は、V=M’ *P ・
・・ ・・・変換式(A)但し、■ イメージ座標 P:3次元座標 M′ :透視変換マトリックス で表される。ここで、透視変換マトリックスM′が判れ
ば、3次元座標上の点Pが画像上のどの位置に投影され
るか、逆に、画像上の点Vに投影される3次元空間の直
線(視線L)上にある点の位置を知れるものである。
ンズ焦点)の位置をcxo、yo、zo)を原点と(2
、視軸(レンズの視軸)をZ軸とする3次元座標系(カ
メラ座標系)Cをとる。また、視点から距離fのところ
に視軸と原点で直交するイメージ画面を想定し、これを
イメージ座標系■とする。この場合、イメージ座標系と
3次元座標系の間の関係は、V=M’ *P ・
・・ ・・・変換式(A)但し、■ イメージ座標 P:3次元座標 M′ :透視変換マトリックス で表される。ここで、透視変換マトリックスM′が判れ
ば、3次元座標上の点Pが画像上のどの位置に投影され
るか、逆に、画像上の点Vに投影される3次元空間の直
線(視線L)上にある点の位置を知れるものである。
そこで、次に透視変換マトリックスM′を求めるため、
第8図に示す処理を行う。
第8図に示す処理を行う。
先ず画像上に見える相互の空間上の位置関係が明らかな
4点を選択し、画像上での位置を求める(802)。こ
こでは、互いの位置関係が明らかなように30cm四方
の正方形の各頂点に赤、青、緑、黄のマークの描かれた
視覚校正用マットを用意し、このマットを対象物と一緒
に見させ、これらマークのイメージ画面上での各重心位
置V r(Ir、Jr) 、 Vb(Ib、Jb)、V
g(Ig、Jg)、Vy(Iy、Jy)04点を算出す
る。
4点を選択し、画像上での位置を求める(802)。こ
こでは、互いの位置関係が明らかなように30cm四方
の正方形の各頂点に赤、青、緑、黄のマークの描かれた
視覚校正用マットを用意し、このマットを対象物と一緒
に見させ、これらマークのイメージ画面上での各重心位
置V r(Ir、Jr) 、 Vb(Ib、Jb)、V
g(Ig、Jg)、Vy(Iy、Jy)04点を算出す
る。
そして、次に、V=M’ *Pの式からこれら4点の3
次元座標系C上での位置を以下に示すように求める(8
03)。第8図において、画像上のVr。
次元座標系C上での位置を以下に示すように求める(8
03)。第8図において、画像上のVr。
vb、vg、vyを通るような4つの視線方程式Lr(
Kr) 、 L b(Kb) 、 L g(Kg) 、
L y(Ky)をV=M’ *Pがら算出する。ここ
で、空間上のP r’ 、 P b’ 、 P g’P
y′はそれぞれ視線方程式L r(Kr) 、 L b
(Kb) 、 Lg(Kg) 、 L y(Ky)で表
される直線上の点であり、相互の位置関係から辺Pr’
Pb’ と辺Py′Pg′が平行で長さが等しく(ベ
クトルが等しい)、辺Pr’Pb’ と辺Pg’ Pb
’のなす角度は90度(内積0)、Pr’ とPb’の
空間距離が30r−rnという3つの条件式が成立つ。
Kr) 、 L b(Kb) 、 L g(Kg) 、
L y(Ky)をV=M’ *Pがら算出する。ここ
で、空間上のP r’ 、 P b’ 、 P g’P
y′はそれぞれ視線方程式L r(Kr) 、 L b
(Kb) 、 Lg(Kg) 、 L y(Ky)で表
される直線上の点であり、相互の位置関係から辺Pr’
Pb’ と辺Py′Pg′が平行で長さが等しく(ベ
クトルが等しい)、辺Pr’Pb’ と辺Pg’ Pb
’のなす角度は90度(内積0)、Pr’ とPb’の
空間距離が30r−rnという3つの条件式が成立つ。
よって、これらからKr、Kb、Kg、Kyを解くこと
によって、3次元座標系C上での位置Pr 、 P
b’ 、 P g’ 、 P y’とfを決定し得る。
によって、3次元座標系C上での位置Pr 、 P
b’ 、 P g’ 、 P y’とfを決定し得る。
以上のようにして、仮の3次元座標系x’−y ’−z
’での変換式V=M’*Pを求めた後は、他の視点がら
見た画像との対応関係を明らかにするため、3次元座標
系の原点および方向を合せておく (ステップ804)
。このため、4つのマークの中心位置を原点にとり、赤
から青の方向を+Yに、緑がら青の方向を+X5となる
ような3次元座標系X−Y−Zに座標変換を行ない変換
式V=M*Pを求める。そ]7て、この変換行列式Mを
視覚校正データとして全ての画像毎に記憶17ておく。
’での変換式V=M’*Pを求めた後は、他の視点がら
見た画像との対応関係を明らかにするため、3次元座標
系の原点および方向を合せておく (ステップ804)
。このため、4つのマークの中心位置を原点にとり、赤
から青の方向を+Yに、緑がら青の方向を+X5となる
ような3次元座標系X−Y−Zに座標変換を行ない変換
式V=M*Pを求める。そ]7て、この変換行列式Mを
視覚校正データとして全ての画像毎に記憶17ておく。
このように互いの画像の3次元座標系を合せることによ
り、2つの画像で空間上のある同一の点が見えている場
合には、それら2つの視線方程式の交点を解くことで、
3次元座標系X −Y −Z上での座標が決定され得る
ものである。なお、以上の例では視覚校正用マットが用
いられているが、それを用い得ない場合には、画像上で
見えている対象物体の1つの平面を選択し、その平面の
実際の3次元空間上でのサイズ、形状をオペレータが指
示するようにすればよい。例えば、長方形のような単純
な基準面を選択し、オペレータが辺のサイズなどを指示
するようにすれば、視覚校正用マットを用いた場合と同
様の結果が得られるものである。
り、2つの画像で空間上のある同一の点が見えている場
合には、それら2つの視線方程式の交点を解くことで、
3次元座標系X −Y −Z上での座標が決定され得る
ものである。なお、以上の例では視覚校正用マットが用
いられているが、それを用い得ない場合には、画像上で
見えている対象物体の1つの平面を選択し、その平面の
実際の3次元空間上でのサイズ、形状をオペレータが指
示するようにすればよい。例えば、長方形のような単純
な基準面を選択し、オペレータが辺のサイズなどを指示
するようにすれば、視覚校正用マットを用いた場合と同
様の結果が得られるものである。
以上のようにして視覚系の校正が行なわれた後は、面対
応決定部10では複数の画像から得られた面間の対応付
けが行なわれるが、1枚の画像のみで認識し得る場合に
は、面対応部10では何等の処理も行なわれないものと
なっている。しかしながら、そうでない場合には面間で
の対応付は処理が行なわれるが、この処理を第9図に示
すような例について説明すれば、第10図はその場合で
の処理を示したものである。先ず2つ以上の画像で同一
の平面が見えている場合、そのような平面のうちの1組
がオペレータによって指示されるようになっている。よ
り具体的には、先ずオペレータによって画像91での平
面SOおよび画像92での平面SO′がマウスによりク
リックされ、これで1組の平面の対応関係が指示される
(ステ、ノブ901)。次に、それら平面での頂点の対
応関係が求められる(ステップ902)。この場合、そ
れぞれの平面での頂点の並びは2次元画像データより既
知であることから、後は平面SOでの1つの頂点(例え
ばVO)が、平面SO°での頂点■0゜〜V3’のうち
何れかに対応しているかを決めれば、その平面上での全
ての頂点の対応関係が知れることになる。そこで、頂点
vOが平面SO′上での頂点VO°〜V3°のうちの何
れにより対応しているかが評価される必要があるが、こ
の評価方法について説明すれば、例えば第9図において
頂点VO,Vl′が実際に対応している場合には、画像
91での頂点VOを通る視線と、画像92での頂点Vl
’を通る視線とは3次元空間上で交わるか、あるいは近
くで接近することになる(演算誤差等の為)。即ち、互
いの視線間の最短距離は短いはずである。
応決定部10では複数の画像から得られた面間の対応付
けが行なわれるが、1枚の画像のみで認識し得る場合に
は、面対応部10では何等の処理も行なわれないものと
なっている。しかしながら、そうでない場合には面間で
の対応付は処理が行なわれるが、この処理を第9図に示
すような例について説明すれば、第10図はその場合で
の処理を示したものである。先ず2つ以上の画像で同一
の平面が見えている場合、そのような平面のうちの1組
がオペレータによって指示されるようになっている。よ
り具体的には、先ずオペレータによって画像91での平
面SOおよび画像92での平面SO′がマウスによりク
リックされ、これで1組の平面の対応関係が指示される
(ステ、ノブ901)。次に、それら平面での頂点の対
応関係が求められる(ステップ902)。この場合、そ
れぞれの平面での頂点の並びは2次元画像データより既
知であることから、後は平面SOでの1つの頂点(例え
ばVO)が、平面SO°での頂点■0゜〜V3’のうち
何れかに対応しているかを決めれば、その平面上での全
ての頂点の対応関係が知れることになる。そこで、頂点
vOが平面SO′上での頂点VO°〜V3°のうちの何
れにより対応しているかが評価される必要があるが、こ
の評価方法について説明すれば、例えば第9図において
頂点VO,Vl′が実際に対応している場合には、画像
91での頂点VOを通る視線と、画像92での頂点Vl
’を通る視線とは3次元空間上で交わるか、あるいは近
くで接近することになる(演算誤差等の為)。即ち、互
いの視線間の最短距離は短いはずである。
そこで、頂点vOを平面SO°上での頂点VO°から頂
点V3°へと順次対応させていき、それぞれの場合での
各4頂点における視線間の最短距離の和を誤差量として
算出し、この誤差量の最少のものを選ぶことによって、
最も対応関係がよくとれている頂点の組み合せが求めら
れるものである。次に、1組の平面の対応関係(頂点関
係も含む)を決めた後は、画像91および画像92上で
のそれぞれの線と面の接続関係から、その面を始点とし
て画像91および画像92上での面間の対応関係が拡張
されるようになっている(ステップ903)。
点V3°へと順次対応させていき、それぞれの場合での
各4頂点における視線間の最短距離の和を誤差量として
算出し、この誤差量の最少のものを選ぶことによって、
最も対応関係がよくとれている頂点の組み合せが求めら
れるものである。次に、1組の平面の対応関係(頂点関
係も含む)を決めた後は、画像91および画像92上で
のそれぞれの線と面の接続関係から、その面を始点とし
て画像91および画像92上での面間の対応関係が拡張
されるようになっている(ステップ903)。
例えば画像91および画像92上で頂点の対応関係から
は、辺L2、Lloの対応関係が求められるものである
。この辺L2、Lloの対応関係からは、これら辺L2
、Ll’各々に接している面S2、St’が容易に探索
され得るものである。これら面S2、S1°は2次元画
像表示からの解釈では実際に対応しているように見える
が、第11図に示すように、面の接続が不連続的に表示
されている場合は、実際に対応していない場合もあり得
るものとなっている。また、2次元画像で線画を作成す
る際に、稜線の切り出しが良好に行なわれなかった場合
もある。そこで、探索された面S2、SL’が実際に対
応関係にあるか否かが評価されるようになっている(ス
テップ904)。先ず探索された面S2、SL’の頂点
数が異なる場合には対応関係は無いものと判断されるが
、頂点数が同一である場合には、対応する各頂点におけ
る視線間の最短距離の和が求められるようになっている
。この和が大きい場合には、これらの面間の対応関係は
無いものとして判断されるが、もしも、十分小さい場合
には対応関係が存在すると判断されるものである。対応
関係が存在すると判断された場合には、それら面の対応
関係が記憶されているものである。以上からも判るよう
に、面S2、Sl’のような、新たな面間の対応関係が
知れる度に、それら面に隣接している而での対応関係が
上記と同様に調へられることで、次々、と面間での対応
関係が拡張されるものである。問題は、この対応関係の
拡張過程において、面間での対応関係の検出が行き詰ま
った場合である。このような場合には、それまでに検出
されている対応面がディスプレイ画面に表示されるよう
になっている(ステップ905)。この表示に基づきま
だ他に対応している面が存在[7ているならば、オペレ
ータによってそれら面が指示されるようになっている。
は、辺L2、Lloの対応関係が求められるものである
。この辺L2、Lloの対応関係からは、これら辺L2
、Ll’各々に接している面S2、St’が容易に探索
され得るものである。これら面S2、S1°は2次元画
像表示からの解釈では実際に対応しているように見える
が、第11図に示すように、面の接続が不連続的に表示
されている場合は、実際に対応していない場合もあり得
るものとなっている。また、2次元画像で線画を作成す
る際に、稜線の切り出しが良好に行なわれなかった場合
もある。そこで、探索された面S2、SL’が実際に対
応関係にあるか否かが評価されるようになっている(ス
テップ904)。先ず探索された面S2、SL’の頂点
数が異なる場合には対応関係は無いものと判断されるが
、頂点数が同一である場合には、対応する各頂点におけ
る視線間の最短距離の和が求められるようになっている
。この和が大きい場合には、これらの面間の対応関係は
無いものとして判断されるが、もしも、十分小さい場合
には対応関係が存在すると判断されるものである。対応
関係が存在すると判断された場合には、それら面の対応
関係が記憶されているものである。以上からも判るよう
に、面S2、Sl’のような、新たな面間の対応関係が
知れる度に、それら面に隣接している而での対応関係が
上記と同様に調へられることで、次々、と面間での対応
関係が拡張されるものである。問題は、この対応関係の
拡張過程において、面間での対応関係の検出が行き詰ま
った場合である。このような場合には、それまでに検出
されている対応面がディスプレイ画面に表示されるよう
になっている(ステップ905)。この表示に基づきま
だ他に対応している面が存在[7ているならば、オペレ
ータによってそれら面が指示されるようになっている。
指示された面を新たな始点
として、以上の処理を繰り返せばよいものである。
もしも、面対応の検出が行き詰まった原因が線画編集に
あるならば、オペレータは線画編集部5に戻り線画を修
正すればよいものである。この場合、何れの部分が間違
っているかは、何れの面まで対応関係が検出されたか、
に基づき容易に知れるものとなっている。
あるならば、オペレータは線画編集部5に戻り線画を修
正すればよいものである。この場合、何れの部分が間違
っているかは、何れの面まで対応関係が検出されたか、
に基づき容易に知れるものとなっている。
さて、複数の画像間での面の対応関係を求めた後は、平
面処理部11で平面部の3次元座標が求められるものと
なっている。平面処理部11では先ず被視面3次元デー
タ検出部13て、面法線決定部10で求められた複数の
視点から見える平面について、対応する各頂点の視線の
交点を解くことで、平面部々での頂点対応の3次元座標
値か算出されるようになっている。1つの画像でしか見
えない平面については、重視面処理部14で頂点対応の
3次元座標値が求められるものである。
面処理部11で平面部の3次元座標が求められるものと
なっている。平面処理部11では先ず被視面3次元デー
タ検出部13て、面法線決定部10で求められた複数の
視点から見える平面について、対応する各頂点の視線の
交点を解くことで、平面部々での頂点対応の3次元座標
値か算出されるようになっている。1つの画像でしか見
えない平面については、重視面処理部14で頂点対応の
3次元座標値が求められるものである。
重視面処理部14では、先ず面法線決定部15において
、重視面全てについて面の法線方向が与えられるように
なっている。ところで、この法線方向に関し注意すべき
は、実際なところ、多くの平面の法線方向はある重視面
での法線方向が決まれば、それと同一方向か、あるいは
垂直な方向であることが多い、という事実である。そこ
で、先ず被視面3次元データ検出部13で求められた、
既に空間上で位置、姿勢が明らかな平面と同じ法線方向
を持つ重視面については、オペレータからの指示によっ
て法線方向がコピーされるようになっている。また、位
置、姿勢が明らかな平面との角度が知れている場合には
、オペレータからはその角度が与えられるようになって
いる。このように簡単な操作で、殆どの重視面について
はその面での法線方向が容易に決定され得るものである
。しかしながら、上記のようにして法線が簡単に決まら
ない平面については、オペレータによってその平面上で
の任意の3頂点が選択されたうえ、それら頂点の位置関
係が指示されるものとなっている(例えば2辺とその間
の角度)。このように平面上での3つの頂点について、
画像上での座標と3次元空間上での位置関係が知れるこ
とで、視覚座標校正部8で述べたのと同様に、この平面
の3次元座標上での位置、姿勢が座標変換式(A)から
求められるものである。また、その際、必要に応じオペ
レータからは、面が長方形のような場合には、並行な辺
の組が指示されたり、対称性など面の形状の特徴が指示
されるようになっている。
、重視面全てについて面の法線方向が与えられるように
なっている。ところで、この法線方向に関し注意すべき
は、実際なところ、多くの平面の法線方向はある重視面
での法線方向が決まれば、それと同一方向か、あるいは
垂直な方向であることが多い、という事実である。そこ
で、先ず被視面3次元データ検出部13で求められた、
既に空間上で位置、姿勢が明らかな平面と同じ法線方向
を持つ重視面については、オペレータからの指示によっ
て法線方向がコピーされるようになっている。また、位
置、姿勢が明らかな平面との角度が知れている場合には
、オペレータからはその角度が与えられるようになって
いる。このように簡単な操作で、殆どの重視面について
はその面での法線方向が容易に決定され得るものである
。しかしながら、上記のようにして法線が簡単に決まら
ない平面については、オペレータによってその平面上で
の任意の3頂点が選択されたうえ、それら頂点の位置関
係が指示されるものとなっている(例えば2辺とその間
の角度)。このように平面上での3つの頂点について、
画像上での座標と3次元空間上での位置関係が知れるこ
とで、視覚座標校正部8で述べたのと同様に、この平面
の3次元座標上での位置、姿勢が座標変換式(A)から
求められるものである。また、その際、必要に応じオペ
レータからは、面が長方形のような場合には、並行な辺
の組が指示されたり、対称性など面の形状の特徴が指示
されるようになっている。
以上のようにして、面法線決定部15で単視面各々での
法線が決定された後は、重視面3次元データ検出部16
において、それら単視面各々での頂点の3次元座標値が
求められるようになっている。この処理においては、先
ず被視面3次元データ検出部13において既に位置、姿
勢が決定されている面SOに接している重視面Slが検
出され、検出された重視面S1での辺Llの3次元座標
値と、面法線決定部15で得られたその面についての法
線データとから、面S1の3次元空間−ヒでの位置、姿
勢が求められるものとなっている。次に、その面81の
平面方程式と81の各頂点を通る視線方程式の解と、各
頂点■4、■5の3次元座標値を求め、これらは3次元
データ記憶部に記憶されるようになっている。このよう
に、重視面Slにっての3次元データか求められた後は
、次の面S3へと同様に順次展開していけばよいもので
ある。
法線が決定された後は、重視面3次元データ検出部16
において、それら単視面各々での頂点の3次元座標値が
求められるようになっている。この処理においては、先
ず被視面3次元データ検出部13において既に位置、姿
勢が決定されている面SOに接している重視面Slが検
出され、検出された重視面S1での辺Llの3次元座標
値と、面法線決定部15で得られたその面についての法
線データとから、面S1の3次元空間−ヒでの位置、姿
勢が求められるものとなっている。次に、その面81の
平面方程式と81の各頂点を通る視線方程式の解と、各
頂点■4、■5の3次元座標値を求め、これらは3次元
データ記憶部に記憶されるようになっている。このよう
に、重視面Slにっての3次元データか求められた後は
、次の面S3へと同様に順次展開していけばよいもので
ある。
ところで、以上では主に平面で構成される面を対象にし
ているが、自由曲面の部分にはそのまま適用し得ないも
のとなっている。そこで、対象物体か自由曲面を持つ場
合には、自由曲面処理部1゜2において、レンジファイ
ンダ入力部17より得られる3次元データを直接用いる
か、あるいは曲面形状入力部18において、曲面が球や
円筒など簡単な形状を表すものである場合には、オペレ
ータからはその形状が指示されるようになっている。そ
の形状が明かとなれば、画像上で最もフィツトする姿勢
が求められ、更に、その曲面と接している面についての
3次元位置データからは、その曲面についての3次元空
間上での位置が求められるものとなっている。
ているが、自由曲面の部分にはそのまま適用し得ないも
のとなっている。そこで、対象物体か自由曲面を持つ場
合には、自由曲面処理部1゜2において、レンジファイ
ンダ入力部17より得られる3次元データを直接用いる
か、あるいは曲面形状入力部18において、曲面が球や
円筒など簡単な形状を表すものである場合には、オペレ
ータからはその形状が指示されるようになっている。そ
の形状が明かとなれば、画像上で最もフィツトする姿勢
が求められ、更に、その曲面と接している面についての
3次元位置データからは、その曲面についての3次元空
間上での位置が求められるものとなっている。
ところで、以上の手段各々によっては、固定状態にある
対象物体を様々な視点で撮像し、これによって得られた
画像からその対象物体についての3次元モデルが作成さ
れているが(視覚校正において全ての3次元座標系を共
通にした)、対象物体の形状が大き過ぎる場合は問題で
ある。このように、各画像上で共通の基準座標系がとれ
ないような場合には、3次元データ統合部19ではそれ
に対する処理が行なわれるようになっている。即ち、そ
の処理においては、先ず2つの画像間で重なっている部
分が探索され、その部分での直線上にない3点について
、各画像上での対応点がオペレータから指示されるよう
になっている。そして、それらの対応から、それら画像
間での座標系の対応が求められるものとなっている。し
たがって、順次、このような画像間での校正を積み重ね
ていくようにすればよいものである。より具体的に説明
すれば、形状が非常に大きい対象物体、例えば風景を例
にとれば、風景が僅かづつ重複するようにして数枚の部
分画像を得るようにし、それら部分画像を繋ぐことによ
って、全体としての風景を得ることも可能となるわけで
ある。
対象物体を様々な視点で撮像し、これによって得られた
画像からその対象物体についての3次元モデルが作成さ
れているが(視覚校正において全ての3次元座標系を共
通にした)、対象物体の形状が大き過ぎる場合は問題で
ある。このように、各画像上で共通の基準座標系がとれ
ないような場合には、3次元データ統合部19ではそれ
に対する処理が行なわれるようになっている。即ち、そ
の処理においては、先ず2つの画像間で重なっている部
分が探索され、その部分での直線上にない3点について
、各画像上での対応点がオペレータから指示されるよう
になっている。そして、それらの対応から、それら画像
間での座標系の対応が求められるものとなっている。し
たがって、順次、このような画像間での校正を積み重ね
ていくようにすればよいものである。より具体的に説明
すれば、形状が非常に大きい対象物体、例えば風景を例
にとれば、風景が僅かづつ重複するようにして数枚の部
分画像を得るようにし、それら部分画像を繋ぐことによ
って、全体としての風景を得ることも可能となるわけで
ある。
さて、構造定義部20では入力された物体モデルを各部
位に分解することによって、そのモデルの構造が定義さ
れるようになっている。具体的は、同一部位とみなされ
る部分の面が全てマウスでクリックされるようにして、
部位各々に対しては固有な名前が付されるようになって
いる。表示されたモデルの各部位をくそれを構成する要
素として面をグループ化することで、モデル構造が定義
されているわけである。例えばモデルが飛行機である場
合を想定すれば、主翼を構成する面、胴体を構成する面
、尾翼を構成する面等に個々の面が1以上のグループに
グループ化されているものである。
位に分解することによって、そのモデルの構造が定義さ
れるようになっている。具体的は、同一部位とみなされ
る部分の面が全てマウスでクリックされるようにして、
部位各々に対しては固有な名前が付されるようになって
いる。表示されたモデルの各部位をくそれを構成する要
素として面をグループ化することで、モデル構造が定義
されているわけである。例えばモデルが飛行機である場
合を想定すれば、主翼を構成する面、胴体を構成する面
、尾翼を構成する面等に個々の面が1以上のグループに
グループ化されているものである。
以上のように、3次元データ統合部19で3次元座標値
が統合されることで、入力された対象物体体ついての全
体モデル形状が知れ、更に構造定義部20ではそのモデ
ル構造が定義されているが、定義結果は認識結果出力部
21で外部から指定された部位毎に、視点を変えた任意
の方向から強調表示可能となっている。認識結果出力部
21では表示されたモデルのある部分がマウスで指定さ
れれば、その部分を含む部位全体が他の部位とは異なる
色でディスプレイ15上に表示可とされているわけであ
るが、第12図はサンプルとしての飛行機50が、本発
明による物体モデル入力装置によりモデルとして入力さ
れた後、処理結果としてその主翼を出力表示させた場合
を示したものである。図のように、マウスにより視点を
移動させれば、任意の方向からの表示が可能となってい
る。
が統合されることで、入力された対象物体体ついての全
体モデル形状が知れ、更に構造定義部20ではそのモデ
ル構造が定義されているが、定義結果は認識結果出力部
21で外部から指定された部位毎に、視点を変えた任意
の方向から強調表示可能となっている。認識結果出力部
21では表示されたモデルのある部分がマウスで指定さ
れれば、その部分を含む部位全体が他の部位とは異なる
色でディスプレイ15上に表示可とされているわけであ
るが、第12図はサンプルとしての飛行機50が、本発
明による物体モデル入力装置によりモデルとして入力さ
れた後、処理結果としてその主翼を出力表示させた場合
を示したものである。図のように、マウスにより視点を
移動させれば、任意の方向からの表示が可能となってい
る。
入力モデルの構造を理解させれば、部位毎の車なる強調
表示だけではなく、該当部位が指定されれば、その全体
としての形状や位置、色彩データ等も一括的に変更可能
となるものである。したがって、入力されたモデルを基
本にして、これより新たなモデルを変形モデルとして様
々に生成することも容易となっている。
表示だけではなく、該当部位が指定されれば、その全体
としての形状や位置、色彩データ等も一括的に変更可能
となるものである。したがって、入力されたモデルを基
本にして、これより新たなモデルを変形モデルとして様
々に生成することも容易となっている。
最後に、カメラ等の各種センサの対象物体に対する配置
について簡単ながら説明すれば、第13図は各種センサ
の一例での配置態様を示したものである。図示のように
、ステージ51のフレーム内側には透明ネット52が取
り付けされているが、サンプル(本例では模型飛行機)
50はその透明ネット52上に載置された状態で、サン
プル5oのカラー画像が1台以上のカメラ55各々より
得られるようになっている。また、それらカメラ55の
周囲にはスリット投光器59が適当に配置されるように
なっており、更に必要な場合は、距離測定用のレンジフ
ァインダや、平面上に描かれた2次元情報(特に模様)
読取り用のスキャナも配置されるものとなっている。カ
メラ55がらの画像デ−夕や、レンジファインダからの
曲面形状データ、スキャナからの2次元情報は画像処理
手段58で、コマンド入力部57を介された、オペレー
タからのマニュアル操作に応じて適宜処理され、その処
理結果はディスプレイ56上に出力表示されるものとな
っている。
について簡単ながら説明すれば、第13図は各種センサ
の一例での配置態様を示したものである。図示のように
、ステージ51のフレーム内側には透明ネット52が取
り付けされているが、サンプル(本例では模型飛行機)
50はその透明ネット52上に載置された状態で、サン
プル5oのカラー画像が1台以上のカメラ55各々より
得られるようになっている。また、それらカメラ55の
周囲にはスリット投光器59が適当に配置されるように
なっており、更に必要な場合は、距離測定用のレンジフ
ァインダや、平面上に描かれた2次元情報(特に模様)
読取り用のスキャナも配置されるものとなっている。カ
メラ55がらの画像デ−夕や、レンジファインダからの
曲面形状データ、スキャナからの2次元情報は画像処理
手段58で、コマンド入力部57を介された、オペレー
タからのマニュアル操作に応じて適宜処理され、その処
理結果はディスプレイ56上に出力表示されるものとな
っている。
以上説明したように、請求項1によれば、画像上での面
の形状、色彩データから3次元空間上での形状、色彩デ
ータに変換する際に、計算機だけでは理解し得ない拘束
条件を外部から教示することによって、対象物体につい
てのモデルが一意的に得られるものとなっている。例え
ば1枚の画像から形状の半分が求まれば、対象性を教示
するだけで、画像上明らかでない部分についての形状も
併せて得られるようになっている。
の形状、色彩データから3次元空間上での形状、色彩デ
ータに変換する際に、計算機だけでは理解し得ない拘束
条件を外部から教示することによって、対象物体につい
てのモデルが一意的に得られるものとなっている。例え
ば1枚の画像から形状の半分が求まれば、対象性を教示
するだけで、画像上明らかでない部分についての形状も
併せて得られるようになっている。
また、請求項2.3による場合は、3次元モデル入力後
、入力モデルの構造をそれを構成する面をグループ単位
に定義することによって、対象物体のある特定の部分が
任意の方向から強調表示されるばかりか、−括変形する
ことか可能となり、この−括変形によって入力モデルか
ら新たに別のモデルを簡単容易に作成し得るものとなっ
ている。
、入力モデルの構造をそれを構成する面をグループ単位
に定義することによって、対象物体のある特定の部分が
任意の方向から強調表示されるばかりか、−括変形する
ことか可能となり、この−括変形によって入力モデルか
ら新たに別のモデルを簡単容易に作成し得るものとなっ
ている。
更に、請求項4.5によれば、対象物体が2次元形状で
あっても、即ち、カラー写真等であったとしても、また
、対象物体の一部等が曲面であったとしても、その対象
物体の形状が得られるようになっている。
あっても、即ち、カラー写真等であったとしても、また
、対象物体の一部等が曲面であったとしても、その対象
物体の形状が得られるようになっている。
更にまた、請求項6によれば、複数の画像が得られる場
合は、それら画像各々から得られたその画像上での面形
状および色彩データを組合せることによって、また、1
つの画像だけの場合には、外部からの面の法線方向の教
示によって、対象物体についての3次元物体モデルが容
易に得られることになる。
合は、それら画像各々から得られたその画像上での面形
状および色彩データを組合せることによって、また、1
つの画像だけの場合には、外部からの面の法線方向の教
示によって、対象物体についての3次元物体モデルが容
易に得られることになる。
請求項7による場合は、面上に描かれた模様を保存しつ
つ3次元物体モデルか得られることになる。
つ3次元物体モデルか得られることになる。
また、請求項8〜16による場合は、対象物体を構成す
る面を認識するに際し、カラー画像からのカラー領域分
割と濃淡画像から抽出されたエツジとによって、画像上
での面形状データが容易に、しかも確実に得られるよう
になっている。
る面を認識するに際し、カラー画像からのカラー領域分
割と濃淡画像から抽出されたエツジとによって、画像上
での面形状データが容易に、しかも確実に得られるよう
になっている。
第1図は、本発明による物体モデル入力装置の一例での
概要構成を示す図、第2図は、その1構成要素での色相
によるカラー領域分割処理を示す図、第3図は、その処
理を説明するための表示画面の例を示す図、第4図は、
同じく1構成要素としての線画モデリング部での曲線近
似処理を示す図、第5図(a)〜(e)は、その処理内
容を説明するための図、第6図(a)〜(e)は、閉面
抽出方法を具体例を以て説明するための図、第7図は、
同じく1構成要素としての視覚座標校正部での視覚系モ
デルの例を示す図、第8図(a) 、 (b)は、第7
図に示されている変換式を求めるための方法と処理を説
明するための図、第9図、第11図は、同じく1構成要
素としての面対応決定部での処理を説明するための図、
第10図は、その面対応決定処理を示す図、第12図は
、同じく1構成要素とじての認識結果出力部での認識結
果表示例を示す図、第13図は、同じく1構成要素と1
2でのカメラ等の各種センサの対象物体に対する配置態
様を示す図である。 1・・・カラー画像認識部、2・・・画像人ツノ部、3
・・・カラー領域分割部、4・・・濃淡画像微分処理部
、5・・・線画編集部、6・・・線画モデリング部、7
・・・閉面抽出部、8・・・視覚座標校正部、9・・・
2次元データ記憶部、10・・・面対応決定部、11・
・・平面処理部、コ2・・・自由曲面処理部、13・・
・被視面3次元データ検出部、14・・・単視面処理部
、15・・・面法線決定部、16・・・重視而3次元デ
ータ検出部、17・・・レンジファインダデータ入力部
、】、8・・・曲面形状入力部、19・・・3次元デー
タ統合部、20・・・構造定義部、21・・・認識結果
出力部、55・・・カラーTVカメラ
概要構成を示す図、第2図は、その1構成要素での色相
によるカラー領域分割処理を示す図、第3図は、その処
理を説明するための表示画面の例を示す図、第4図は、
同じく1構成要素としての線画モデリング部での曲線近
似処理を示す図、第5図(a)〜(e)は、その処理内
容を説明するための図、第6図(a)〜(e)は、閉面
抽出方法を具体例を以て説明するための図、第7図は、
同じく1構成要素としての視覚座標校正部での視覚系モ
デルの例を示す図、第8図(a) 、 (b)は、第7
図に示されている変換式を求めるための方法と処理を説
明するための図、第9図、第11図は、同じく1構成要
素としての面対応決定部での処理を説明するための図、
第10図は、その面対応決定処理を示す図、第12図は
、同じく1構成要素とじての認識結果出力部での認識結
果表示例を示す図、第13図は、同じく1構成要素と1
2でのカメラ等の各種センサの対象物体に対する配置態
様を示す図である。 1・・・カラー画像認識部、2・・・画像人ツノ部、3
・・・カラー領域分割部、4・・・濃淡画像微分処理部
、5・・・線画編集部、6・・・線画モデリング部、7
・・・閉面抽出部、8・・・視覚座標校正部、9・・・
2次元データ記憶部、10・・・面対応決定部、11・
・・平面処理部、コ2・・・自由曲面処理部、13・・
・被視面3次元データ検出部、14・・・単視面処理部
、15・・・面法線決定部、16・・・重視而3次元デ
ータ検出部、17・・・レンジファインダデータ入力部
、】、8・・・曲面形状入力部、19・・・3次元デー
タ統合部、20・・・構造定義部、21・・・認識結果
出力部、55・・・カラーTVカメラ
Claims (1)
- 【特許請求の範囲】 1、物体の画像を入力する手段と、該画像から外部から
の指示に基づき上記物体を構成する面を面単位に認識し
、該画像上での面対応の形状データおよび色彩データを
保持する手段と、該面対応の形状および色彩をディスプ
レイに表示するとともに、外部からの操作入力に基づき
変更する手段と、上記画像上での面の形状および色彩デ
ータを3次元空間上の形状および色彩データに変換する
手段と、該変換に必要な情報を外部から入力する手段と
、3次元空間上に変換されたデータをディスプレイに3
次元的に表示するとともに、外部からの操作入力に基づ
き変更する手段と、入力された画像には存在しない面を
、外部からの操作入力に基づき既に得られている面に付
加する手段とが具備されている構成の物体モデル入力装
置。 2、認識された、物体を構成する面の1以上を1グルー
プとして、1以上のグループに定義する手段と、グルー
プ各々に属する1以上の面に対して該面対応の形状、位
置、色彩データを一括して変更する手段が具備されてな
る、請求項1記載の物体モデル入力装置。 3、認識された、物体を構成する面の1以上を1グルー
プとして、1以上のグループに定義する手段に関連して
、定義された面のグループ各々に対し、物体の構成部品
として部位名を定義する手段と、同グループの面全てを
一部位として3次元空間上の任意の方向から強調表示す
る手段が具備されている、請求項2に記載の物体モデル
入力装置。 4、物体の画像を入力する手段は、レンジファインダ、
スキャナ、1つあるいは相対的位置関係が予め知れてい
る複数のカラーTVカメラの何れか、あるいはこれらを
組み合わせたものとされる、請求項1〜3の何れかに記
載の物体モデル入力装置。 5、画像上での面の形状および色彩データを3次元空間
上の形状および色彩データに変換する手段に関連して、
自由曲面の部分での3次元形状データを、レンジファイ
ンダより直接得る手段と、基本プリミティブに曲面をフ
ィットさせ3次元データを求める手段とが具備されてな
る、請求項4記載の物体モデル入力装置。 6、画像上での面の形状および色彩データを3次元空間
上の形状および色彩データに変換する手段に関連して、
視覚校正用マットを用いるか、あるいは外部から基準と
なる面の形状を教示して、各々の画像から求められる視
線方程式を解くことにより、形状を与えられた基準面の
3次元座標位置を決定する手段と、他の面に対し画像間
での対応関係を見つけ出し、3次元座標位置を決定、あ
るいは算出してこれらをディスプレイ表示する手段と、
誤認識があった場合、外部からの指示によりその原因と
なった線画の修正を行なう手段と、画像が1枚の場合に
、外部からの面の法線方向の教示により3次元空間上の
データに変換する手段とが具備されてなる、請求項1〜
5の何れかに記載の物体モデル入力装置。 7、入力された画像から、外部からの指示に基づき物体
を構成する面を面単位に認識し、該画像上での面の形状
および色彩データを保持する手段に関連して、形状デー
タが作成された面の色彩データとして、単色か模様かを
外部から指定する手段と、単色として指定された場合に
、該面内での各画素のRGB値からその面のRGB値を
求め保持する手段と、模様と指定された場合に、該面内
での各画素のRGB値をそのまま保持する手段とが具備
されている、請求項1〜6の何れかに記載の物体モデル
入力装置。 8、入力された画像から外部からの指示に基づき物体を
構成する面を面単位に認識し、該画像上での面の形状お
よび色彩データを保持する手段に関連して、カラー画像
から色相、RGB値の強度、彩度、輝度を用いカラー領
域分割を行なう手段と、濃淡画像からエッジを抽出する
手段と、抽出されたカラー領域境界線と濃淡エッジのデ
ータを組み合わせて画像上での面の形状データを作成す
る手段が具備されている、請求項1〜7の何れかに記載
の物体モデル入力装置。 9、カラー領域分割を行なう手段に関連して、外部から
画像上で指定された同色とする領域範囲からカラー領域
分割に用いるカラーパレットを作成する手段と、該カラ
ーパレットに含まれる色の領域を表示する手段と、カラ
ー領域分割が不適切な領域範囲を外部から指定する手段
と、指定された領域領域内に対して、新たなカラーパレ
ットを作成する手段が具備されている、請求項8に記載
の物体モデル入力装置。 10、カラー領域分割を行なう手段に関連して、指定さ
れた画素数以下の領域は周囲の領域と同じカラー領域に
する手段と、上記指定された画素数を外部から入力する
手段と、入力される画素数に応じて変化するカラー領域
分割の結果を逐次表示する手段が具備されている、請求
項8、9の何れかに記載の物体モデル入力装置。 11、カラー領域分割を行なう手段に関連して、画像全
体、あるいは特定の領域に対し、色相、RGB値の強度
、彩度、輝度の情報を選択的にいカラー領域分割を行な
う手段が具備されている、請求項8〜10の何れかに記
載の物体モデル入力装置。 12、カラー領域分割を行なう手段に関連して、色相、
RGBの強度、彩度、輝度の情報を異なる方法で処理す
る手段と、その複数のカラー領域分割結果をマルチウィ
ンドウで同時に画面表示する手段と、その複数のカラー
領域分割結果において選択される部分を外部から指定す
る手段と、指定された部分を組み合わせて1つのカラー
領域分割結果を得る手段が具備されている、請求項8〜
11の何れかに記載の物体モデル入力装置。 13、濃淡画像からエッジを抽出する手段に関連して、
濃淡画像を微分して微分画像を得る1辺上の手段と、微
分画像をしきい値で2値化し2値化エッジ画像を表示す
る手段と、外部から可変として指定された上記しきい値
に応じた2値化エッジ画像を逐次表示する手段と、微分
画像を得る手段が複数ある場合に、該手段の何れかを外
部から選択的に指定する手段と、微分画像を得る手段対
応の2値化エッジ画像をマルチウィンドウで同時に画面
表示する手段と、表示されたエッジ画像の任意の部分を
外部から選択する手段と、選択された部分を組み合わせ
て1つの2値化エッジ画像を得る手段が具備されている
、請求項8〜12の何れかに記載の物体モデル入力装置
。 14、濃淡画像からエッジを抽出する手段に関連して、
抽出されたエッジの中からしきい値以下の長さの線分を
除去する手段と、外部から可変として指定された上記し
きい値に応じたエッジ画像を逐次表示する手段が具備さ
れている、請求項7〜12の何れかに記載の物体モデル
入力装置。 15、画像上での面の形状データを作成する手段に関連
して、線の端点を検出する手段と、端点から、外部から
指定された一定の画素数以内の場所に他の線が存在する
場合に、該存在位置まで線を延長し結果を表示する手段
と、端点を表示する手段と、端点を他の線と接続する外
部操作を受け付ける手段と、端点が接続されたら線によ
って囲まれる面の抽出を行ない、該面にラベル付けを行
なう手段が具備されている請求項8〜14の何れかに記
載の物体モデル入力装置。 16、画像上での面の形状データを作成する手段に関連
して、抽出された線を分割して直線、円弧、楕円弧、2
次曲線の何れかに近似する手段と、近似された線のパラ
メタ記憶、保持する手段が具備されている請求項8〜1
5の何れかに記載の物体モデル入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2219010A JPH04102178A (ja) | 1990-08-22 | 1990-08-22 | 物体モデル入力装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2219010A JPH04102178A (ja) | 1990-08-22 | 1990-08-22 | 物体モデル入力装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH04102178A true JPH04102178A (ja) | 1992-04-03 |
Family
ID=16728847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2219010A Pending JPH04102178A (ja) | 1990-08-22 | 1990-08-22 | 物体モデル入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH04102178A (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002175539A (ja) * | 2000-12-06 | 2002-06-21 | Data Keekibeeka Kk | 画像処理方法およびそのプログラムと画像処理装置 |
| JP2002175521A (ja) * | 2000-09-12 | 2002-06-21 | Sony Corp | 三次元データ処理装置および三次元データ処理方法、並びにプログラム提供媒体 |
| US6529626B1 (en) | 1998-12-01 | 2003-03-04 | Fujitsu Limited | 3D model conversion apparatus and method |
| JP2003219389A (ja) * | 2002-01-18 | 2003-07-31 | Nippon Telegr & Teleph Corp <Ntt> | 映像配信方法及びシステム及び装置及びユーザ端末及び映像配信プログラム及び映像配信プログラムを格納した記憶媒体 |
| US6992763B2 (en) | 2001-06-27 | 2006-01-31 | Canon Kabushiki Kaisha | Beam splitting apparatus, transmittance measurement apparatus, and exposure apparatus |
| US7251029B2 (en) | 2002-07-01 | 2007-07-31 | Canon Kabushiki Kaisha | Birefringence measurement apparatus, strain remover, polarimeter and exposure apparatus |
| JP2008164493A (ja) * | 2006-12-28 | 2008-07-17 | Pulstec Industrial Co Ltd | 3次元形状測定方法および校正用物体 |
| JP2009014500A (ja) * | 2007-07-04 | 2009-01-22 | Mazda Motor Corp | 車両の3次元形状モデルデータ作成方法 |
| JP2009014501A (ja) * | 2007-07-04 | 2009-01-22 | Mazda Motor Corp | 製品の3次元形状モデルデータ作成方法 |
| JP2010102586A (ja) * | 2008-10-24 | 2010-05-06 | Hiroshima Univ | 物体追跡装置および物体追跡方法 |
| JP2011095858A (ja) * | 2009-10-27 | 2011-05-12 | Panasonic Electric Works Co Ltd | 3次元デジタイザ |
| CN103465440A (zh) * | 2013-09-10 | 2013-12-25 | 上海康耐特光学股份有限公司 | 一种镜片模具的制作方法和产品 |
| JP5948479B1 (ja) * | 2015-09-11 | 2016-07-06 | 大豊精機株式会社 | 2次元または3次元の物体データを表示操作するシステム、方法及びコンピュータソフトウエアプログラム |
| JP6005317B1 (ja) * | 2016-05-20 | 2016-10-12 | 大豊精機株式会社 | 2次元又は3次元の物体データを表示操作するシステムを用いた図面データ作成方法 |
| WO2017056484A1 (ja) * | 2015-09-28 | 2017-04-06 | 京セラ株式会社 | 画像処理装置、ステレオカメラ装置、車両及び画像処理方法 |
-
1990
- 1990-08-22 JP JP2219010A patent/JPH04102178A/ja active Pending
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6529626B1 (en) | 1998-12-01 | 2003-03-04 | Fujitsu Limited | 3D model conversion apparatus and method |
| JP2002175521A (ja) * | 2000-09-12 | 2002-06-21 | Sony Corp | 三次元データ処理装置および三次元データ処理方法、並びにプログラム提供媒体 |
| JP2002175539A (ja) * | 2000-12-06 | 2002-06-21 | Data Keekibeeka Kk | 画像処理方法およびそのプログラムと画像処理装置 |
| US6992763B2 (en) | 2001-06-27 | 2006-01-31 | Canon Kabushiki Kaisha | Beam splitting apparatus, transmittance measurement apparatus, and exposure apparatus |
| US7095497B2 (en) | 2001-06-27 | 2006-08-22 | Canon Kabushiki Kaisha | Beam splitting apparatus, transmittance measurement apparatus, and exposure apparatus |
| US7161675B2 (en) | 2001-06-27 | 2007-01-09 | Canon Kabushiki Kaisha | Beam splitting apparatus, transmittance measurement apparatus, and exposure apparatus |
| JP2003219389A (ja) * | 2002-01-18 | 2003-07-31 | Nippon Telegr & Teleph Corp <Ntt> | 映像配信方法及びシステム及び装置及びユーザ端末及び映像配信プログラム及び映像配信プログラムを格納した記憶媒体 |
| US7251029B2 (en) | 2002-07-01 | 2007-07-31 | Canon Kabushiki Kaisha | Birefringence measurement apparatus, strain remover, polarimeter and exposure apparatus |
| JP2008164493A (ja) * | 2006-12-28 | 2008-07-17 | Pulstec Industrial Co Ltd | 3次元形状測定方法および校正用物体 |
| JP2009014500A (ja) * | 2007-07-04 | 2009-01-22 | Mazda Motor Corp | 車両の3次元形状モデルデータ作成方法 |
| JP2009014501A (ja) * | 2007-07-04 | 2009-01-22 | Mazda Motor Corp | 製品の3次元形状モデルデータ作成方法 |
| JP2010102586A (ja) * | 2008-10-24 | 2010-05-06 | Hiroshima Univ | 物体追跡装置および物体追跡方法 |
| JP2011095858A (ja) * | 2009-10-27 | 2011-05-12 | Panasonic Electric Works Co Ltd | 3次元デジタイザ |
| CN103465440A (zh) * | 2013-09-10 | 2013-12-25 | 上海康耐特光学股份有限公司 | 一种镜片模具的制作方法和产品 |
| JP5948479B1 (ja) * | 2015-09-11 | 2016-07-06 | 大豊精機株式会社 | 2次元または3次元の物体データを表示操作するシステム、方法及びコンピュータソフトウエアプログラム |
| WO2017056484A1 (ja) * | 2015-09-28 | 2017-04-06 | 京セラ株式会社 | 画像処理装置、ステレオカメラ装置、車両及び画像処理方法 |
| JPWO2017056484A1 (ja) * | 2015-09-28 | 2018-04-19 | 京セラ株式会社 | 画像処理装置、ステレオカメラ装置、車両及び画像処理方法 |
| US10558867B2 (en) | 2015-09-28 | 2020-02-11 | Kyocera Corporation | Image processing apparatus, stereo camera apparatus, vehicle, and image processing method |
| JP6005317B1 (ja) * | 2016-05-20 | 2016-10-12 | 大豊精機株式会社 | 2次元又は3次元の物体データを表示操作するシステムを用いた図面データ作成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6125197A (en) | Method and apparatus for the processing of stereoscopic electronic images into three-dimensional computer models of real-life objects | |
| Pusztai et al. | Accurate calibration of LiDAR-camera systems using ordinary boxes | |
| US6377700B1 (en) | Method and apparatus for capturing stereoscopic images using image sensors | |
| US9436987B2 (en) | Geodesic distance based primitive segmentation and fitting for 3D modeling of non-rigid objects from 2D images | |
| CN104778694B (zh) | 一种面向多投影拼接显示的参数化自动几何校正方法 | |
| US7522163B2 (en) | Method and apparatus for determining offsets of a part from a digital image | |
| CN110648274B (zh) | 鱼眼图像的生成方法及装置 | |
| US6195455B1 (en) | Imaging device orientation information through analysis of test images | |
| JPH04102178A (ja) | 物体モデル入力装置 | |
| US9182220B2 (en) | Image photographing device and method for three-dimensional measurement | |
| KR20100113124A (ko) | 광 투영 장치, 조명 장치 | |
| JP2000163590A (ja) | 三次元モデル変換装置及び方法 | |
| JP4395689B2 (ja) | 画像データ処理方法およびモデリング装置 | |
| CN107170037A (zh) | 一种基于多摄像机的实时三维点云重建方法和系统 | |
| CN108648194A (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
| US20190073796A1 (en) | Method and Image Processing System for Determining Parameters of a Camera | |
| CN110415304B (zh) | 一种视觉标定方法及系统 | |
| CN110276791A (zh) | 一种参数可配置的深度相机仿真方法 | |
| Rosero et al. | Calibration and multi-sensor fusion for on-road obstacle detection | |
| KR100574227B1 (ko) | 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 | |
| Lee et al. | Unified calibration for multi-camera multi-lidar systems using a single checkerboard | |
| CN109410272A (zh) | 一种变压器螺母识别与定位装置及方法 | |
| JP2001101419A (ja) | 画像特徴追跡処理方法、画像特徴追跡処理装置、3次元データ作成方法 | |
| JP2007064836A (ja) | カメラキャリブレーションの自動化アルゴリズム | |
| CN113542572B (zh) | 基于Revit平台的枪机摄像机布置及镜头选型方法 |