JPH08138053A - 被写体情報処理装置及び遠隔装置 - Google Patents

被写体情報処理装置及び遠隔装置

Info

Publication number
JPH08138053A
JPH08138053A JP6298052A JP29805294A JPH08138053A JP H08138053 A JPH08138053 A JP H08138053A JP 6298052 A JP6298052 A JP 6298052A JP 29805294 A JP29805294 A JP 29805294A JP H08138053 A JPH08138053 A JP H08138053A
Authority
JP
Japan
Prior art keywords
information
distance
subject
subject information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6298052A
Other languages
English (en)
Inventor
Takashi Kawabata
隆 川端
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP6298052A priority Critical patent/JPH08138053A/ja
Priority to US08/551,988 priority patent/US6370262B1/en
Publication of JPH08138053A publication Critical patent/JPH08138053A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Automatic Focus Adjustment (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

(57)【要約】 【目的】 簡単な距離演算を行うことにより、被写界よ
り必要な被写体情報のみ抽出可能とすると共に、その被
写体情報を撮影者のフレーミングに役立つ形で表示させ
る。 【構成】 被写界を大まかに区分した領域単位の距離情
報を測距手段3〜8によって求め、この距離情報と測光
手段3,5,7,13,14にて得られる被写界の明る
さ情報とにより、被写界内に占める特徴部分を検出し、
この特徴部分と標準被写体情報との合致により被写体情
報(被写体の大きさや人数等)を抽出すると共に、この
情報を該装置に具備される表示手段22によって表示す
るようにしている。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、被写体情報の抽出にお
いて、明るさ情報によって被写体を区分する機能や、距
離情報によって被写体を区分する機能を有する被写体情
報処理装置及びこれに無線又は有線によって信号の伝達
がなされる遠隔装置に関するものである。
【0002】
【従来の技術】図9は、工業計測等における従来例の概
略構成を示すブロック図であり、以下これに従って従来
説明を行う。
【0003】工程等において、101に示した領域の像
を、撮像装置102によって撮影し、その撮像信号をA
/D回路103でA/D変換した後に、現状ではいくつ
かの処理を施している。
【0004】例えば、明度分布処理回路104により、
まず105に示したヒストグラム相当のものを生成す
る。この分布表は画像の明暗分布を表したもので、図の
上下が明暗に相当した画素毎の分布(数)を示してい
る。ここで、自動が定められた判定レベル106より明
るい部分の面積は107に相当する。そして、この10
7の面積を含有率計測回路108に出力する事で、視野
内にある白い個所の面積(=含有率)の自動計測が行わ
れ、又、それにより混合率調整など工程の要素を自動調
整したりする事が行われている。
【0005】また、109に示す明度グループ処理器に
より、類似明度の画素を各グループとみなして隣接画素
をグループ分けし、結果の各グループの面積分布を採る
ことで、110に示す様に面積の大小を図の上下とした
分布を得るようにしている。そして、この表から類似明
度グループの数の面積を計測回路111にて、異明度の
含有率のみならず、大きさの分布、即ち粒度を自動計測
し、攪拌時間調整などの工程調整をする事が行われてい
る。
【0006】また、サンプルの形状が定まっている場合
は、その形状パターンを基準パターン回路112によっ
て与え、合致判別器113によってその合致検査を行
い、合致数を計数回路114にて得てサンプルの計数を
行い、ボルト・ナット等の計数や血液中の赤血球の計数
など行われている。
【0007】図10は、自動車やロボットの無人走行等
に関して研究発表が行われている、従来例の概略構成を
示すブロック図であり、以下これに従って説明を行う。
【0008】車両等の走行物121に撮像装置122を
設置し、次段の距離検出器123にて測距データを得、
この測距データから、操縦状況出力回路125からの操
舵情報を選択演算器124で考慮して走行前方距離と走
行側方距離を前方距離算出回路126,側方距離算出回
路127にて得る様にして、操舵の修正や速度の調整か
ら経路の自動判断を行っている。
【0009】また、A/D変換器128による画像情報
と前記距離検出器123からの測距データを分析器12
9を通し、ここで「白くて前方方向へ長いもの」として
道路白線を(外内挿を含めて)抽出して、操舵制御回路
130にてそれらの距離を保って、前方方向の白線の曲
りから自動操舵を行わせたり、同様に分析器131を通
し、ここで「レールやガードレール」を抽出して、操舵
制御回路132にて操舵や速度調整を行わせたりすると
いった報告がなされている。
【0010】
【発明が解決しようとする課題】しかしながら、従来例
では、簡易化する為に輝度を小さなダイナミックレンジ
のA/D値を用いて検出していた為に、広範囲の外界に
ある複雑なパターンに対応出来なかった。
【0011】また、この為に面積算出においても微妙な
濃度差等に影響され易かった。更に、認識において、限
定されたパターンのみに依っている為、処理が簡単にな
るが各種パターンには対応出来ない欠点があった。
【0012】(発明の目的)本発明の第1の目的は、簡
単な距離演算を行うことにより、被写界より必要な被写
体情報のみ抽出することができ、しかもその被写体情報
を撮影者のフレーミングに役立つ形で表示することので
きる被写体情報処理装置を提供することである。
【0013】本発明の第2の目的は、遠隔操作する撮影
者のフレーミングに役立つ形で被写体情報を表示させる
ことのできる遠隔装置を提供することである。
【0014】
【課題を解決するための手段】上記第1の目的を達成す
るために、請求項1,3〜5記載の本発明は、予め設定
されている被写界内の各領域それぞれの距離情報を測定
する測距手段と、被写界の明るさ情報を測定する測光手
段と、前記各測距情報と前記明るさ情報より被写界上に
おける特徴部分を検出し、この特徴部分とこの際の被写
界上における標準被写体情報との比較により、被写体情
報を抽出する信号処理手段とを備え、被写界を大まかに
区分した領域単位の距離情報を求め、この距離情報と被
写界の明るさ情報とにより、被写界内に占める特徴部分
を検出し、この特徴部分と標準被写体情報との合致によ
り被写体情報(被写体の大きさや人数等)を抽出すると
共に、この情報を該装置に具備される表示手段、或い
は、該装置より無線又は有線によって伝達される遠隔装
置側の表示手段によって表示するようにしている。
【0015】また、同じく上記第1の目的を達成するた
めに、請求項2〜5記載の本発明は、設定される被写界
内の各領域の距離情報を測定する測距手段と、被写界の
明るさ情報を測定する測光手段と、該測光手段からの明
るさ情報に基づいて被写界を複数の領域に区分し、この
区分した領域にしたがって前記測距手段により複数の距
離情報を得、該各測距情報と前記明るさ情報より被写界
上における特徴部分を抽出し、この特徴部分とこの際の
被写界上における標準被写体情報との比較により、被写
体情報を抽出する信号処理手段とを備え、測光手段から
の明るさ情報に基づいて被写界を大まかな領域に区分
し、これら領域における距離情報を測距手段によって求
め、この距離情報と被写界の明るさ情報とにより、被写
界内に占める特徴部分を検出し、この特徴部分と標準被
写体情報との合致により被写体情報(被写体の大きさや
人数等)を抽出すると共に、この情報を該装置に具備さ
れる表示手段、或いは、該装置より無線又は有線によっ
て伝達される遠隔装置側の表示手段によって表示するよ
うにしている。
【0016】また、上記第2の目的を達成するために、
請求項5〜7記載の本発明は、被写体情報処理装置から
被写体情報が伝達されることにより、その情報を表示す
る表示手段を設け、被写体情報処理装置を遠隔する際に
用いられる遠隔装置側の表示手段に、被写体情報(被写
体の大きさや人数等)を表示するようにしている。
【0017】
【実施例】以下、本発明を図示の実施例に基づいて詳細
に説明する。
【0018】図1は本発明の第1の実施例における被写
体情報処理装置の構成を示すブロック図である。なお、
この実施例は請求項1に対応するものである。
【0019】図1において、1,2はレンズであり、被
写界をCCDなどのエリアセンサ(2次元光電変換素
子)3,4上に結像させるものである。このレンズ1,
2は所定の基線長を有し、視差を持った像をエリアセン
サ3,4に結像させている為に、距離によって該センサ
3,4上の像が相対的に位置変化する様になっている。
5,6は増幅器であり、上記エリアセンサ3,4の情報
を増幅(必要に応じて蓄積時間変更などのAGC処理を
含む)・A/D変換して、記憶部7,8へ各画素の光電
変換情報を出力して収納させる。
【0020】被写界の輝度情報はパターン抽出に有効で
あるが、一般の被写体の場合は、それ以前に各距離のパ
ターン情報の混在したものが画として結像されているの
で、それを分離しなければならない。
【0021】ところが、この判断の為に各画素の距離を
求める事は、距離による2像の相対的位置ずれに反映さ
れている為、測距演算はいくつかの画素をグループとし
て記憶部7,8のエリア間で相互相関を行わないと各画
素の距離が演算出来ず、その為の計算量が非常に膨大な
ものとなる。
【0022】そこで、本実施例では、例えば「100×
100」の画像について「10×10」の各ブロックに
グループ化し、それらの各ブロックの距離を求める事で
各グループの距離とし、その後に各ブロック内のどの画
素部分の距離かを判断するようにしている。この事で、
「100×100」の距離演算を行わずに「10×1
0」の距離演算を用い、平面的分解能としては「100
×100」でパターンを抽出するのに充分な距離データ
を得る様にしたものである。
【0023】何故なら、距離演算は像信号の変化部分に
対しての二眼(両センサ)2像間の相対ずれ量を求めて
いるからである。言換えれば、像信号の平坦部分では、
ずれが目で見ても分らないのと同様に演算でも(比較
的)寄与しないからである。
【0024】記憶部7の像は修正器9を通った後、記憶
部10へ転送される。相関器11は記憶部8と記憶部1
0の2面の「100×100」の信号を「10×10」
の画素を単位とした、「10×10」のブロックとして
相関演算を行う。
【0025】A(100,100)とB(100,10
0)のデータに対し、x方向のずれを求めるには の様にすれば、積和による相関からずれ量が求まり、そ
の値を各々記憶部12の「10×10」の距離値記憶域
に記憶する。
【0026】なお、相関演算の式としては、A(x*1
0+i,y*10+j)とB(x*10+i+SIF
T,y*10+j)の相異(差の絶対値)の総和が最小
となるSIFT値を用いる方法もある。
【0027】前述の様に、ここで距離として演算された
ものは、「10×10」のブロック内のコントラストが
強い(明暗差が大きい)ものが主となって距離が演算さ
れている。
【0028】そこで、増幅器13で各ブロック内にてコ
ントラストの強いもののみを強調し、記憶部14へ転送
し、同時に修正回路9で低コントラストのものやブロッ
ク内にある複数のコントラスト情報を抑圧してから、相
関器11に与える様に前処理を行う。
【0029】この様にブロック化で演算は「100×1
00」に比べ、「10×10」と100倍も簡単になっ
たが、その距離値がブロック化されている為に、記憶部
12の記憶値は「10×10」のブロック内の各に1つ
しか存在せず、その距離に存在する像の大きさは、「1
00×100」内で1画素から10画素までの10倍の
誤差がある事となってパターンの識別には使えない。
【0030】そこで、上述の記憶部14にある強コント
ラスト情報と組合せてブロック内の詳細な位置とする事
で、100倍簡単な演算で「100×100」の距離演
算と同様の平面分解能を得る事が出来る。
【0031】記憶部15はこの詳細分解能での距離デー
タを配置,記憶し、距離不明点は周囲のブロックの距離
値を用いて、いわば「ぬり絵」の様に、別言すればモザ
イク状に「100×100」の区分に距離値を埋込んだ
記憶域である。
【0032】この様子を模式的に示したのが、図2
(a)〜(e)である。
【0033】原画としては図2(a)に示す様に、右下
に被写体のある「30×20」の画像が得られたとす
る。この情報を「5×5」でまとめた「6×4」個のブ
ロックで距離を求めると、図2(b)の様に、右下のブ
ロックのみ2m、他は無限と測定出来る。
【0034】ここで、図2(a)の原画のコントラスト
(濃度)情報との対応を採る事で、図2(c)に示す様
に、被写体の形状及び距離の関係を「30×20=60
0」の距離演算無しに「6×4=24」の距離演算で可
能となる。
【0035】対応関係をもっと単純化して、図2(a)
の原画から各ブロック内の変化点をx方向「0.4 〜1.0
」の間で変化、y方向「0.0 〜0.6 」の間で変化、と
言う様な情報を抽出した図2(d)の様な「各ブロック
毎の詳細変化場所情報」を用いれば、図2(b)の距離
画像から図2(e)に示す様な変化場所情報による距離
グループ画像が得られる。
【0036】この様に図2(b)の粗いブロック毎の距
離画像から、図2(e)や図2(c)の様に被写体形状
が区別できる「距離切出しした被写体形状」が判別可能
で、それにより、図2(b)で6個の中距離被写体は下
が広がった形状のものと特定できる。
【0037】無論、この例では単純なパターンについて
説明したが、複雑な場合、即ちブロック内に複数のコン
トラストを持つ(境界が2つ以上ある)場合は、ブロッ
クの算出距離がどちらのコントラストが主因か区別出来
ない。
【0038】そこで、本実施例では、図1の修正器9の
修正機能を用いて、片眼情報(一方のセンサ出力)につ
いてブロック内のコントラスト(境界)部分を少数に限
定して、複数コントラストによる誤測距を除いている。
即ち、ブロック内の最大コントラストの場所を記憶部1
4へ記憶し、他の小コントラスト部分は修正器9で修正
(抑圧)する事で記憶部10へ伝達せず、大きいコント
ラスト情報のみを伝えて、それに対応する距離を求める
様にしたものである。
【0039】これで、距離による被写界抽出が出来る。
【0040】次に、図1の倍率検出器17にて距離及び
レンズ1,2の焦点距離で定まる被写体倍率を算出し、
記憶部15からの距離画像の倍率を考慮して被写界上の
大きさを算出し、前述パターンの実寸を含めたデータを
記憶部18に記憶する。記憶部19は標準的被写体の実
寸データ、つまり人間なら幅数「10cm〜1m」、高
さ「60cm〜2m」余りの様なデータを記憶してお
り、比較器20により寸法を検討する。
【0041】その後、比較器21で詳細画像情報と比較
し、類似性から「人」等のパターン種別を表示器22に
表したり、パターン個数から「人数」として表示する事
で、撮影する物を識別して、撮影者の補助となる抽出情
報を表示する。
【0042】この様な抽出情報は遠隔撮影時に特に有効
であり、全体の画を伝送,確認するよりはるかに少ない
情報を、離れた撮影者に有線又は無線で伝達するだけで
非常に有用であると言える。この場合、表示器22は撮
影者の手元にあり、カメラ内、又は、その近傍に配され
た被写体認識判別手段から信号を受け、撮影者の利用に
供される構成が望ましい。
【0043】パターン合致の説明は後で詳細に行う。
【0044】(第2の実施例)図3は、本発明の第2の
実施例における被写体情報処理装置の構成を示すブロッ
ク図であり、図1と同じ機能を持つ部分は同一符号を付
してある。なお、この実施例は請求項2に対応するもの
である。
【0045】この実施例の特徴は、31の類似部分の圧
縮を行う回路(似た所を「白,白,白,……,白」と繰
り返さずに「白が10個」という様に長さ情報に加えて
圧縮する回路)の調整部分であり、主旨はパターンの変
化部分を単位に平坦部までを約10グループに切出し、
そのグループについて相関を採る様にしたものである。
【0046】即ち、まず信号ライン32でリセットされ
るピーク保持器33,ボトム保持器34により所定位置
からの信号の幅を検出器35にて検出し、これを比較器
37でパターン切出しレベル出力回路36からの所定レ
ベルと比較し、所定幅を越えた時にカウンタ38で類似
部分の圧縮を行う回路で扱う個数を計数し、ここまでを
境界記憶部40に記憶し、同時にピーク保持器33,ボ
トム保持器34をリセットし、ここまでの画素を単位と
して相関器41での相関対照とする。
【0047】但し、パターンによってこのコントラスト
単位が適切でなく、細かいパターンに一々こだわり過ぎ
たり、淡いパターンを見過して画面全体を相関対照にす
る事は好ましくない。この為に、カウンタ38にて計数
されたパターン個数を比較器42によって定数回路43
からの定数情報「10」と比較し、余りにも異なる場合
はパターン切出しレベル出力回路36のレベルを更新す
る様にして、適度なパターングループを可変長で約10
個のグループに切り出して相関を採る事で、相関演算を
余り増す事なく、パターンに合せた相関を採る事が出来
る。
【0048】この相関結果を記憶部44に約「10×1
0」ブロックの「100×100」のアドレスを持った
距離情報として記憶でき、図1と同様に、倍率検出器1
7の出力(被写体倍率)を考慮した被写界の寸法,大き
さ分布を記憶部18に記憶できる。
【0049】これら2方法(第1の実施例と第2の実施
例での方法)は、演算を固定長「10×10」に限定
し、像信号を前処理し、パターングループを求める時に
再度原信号を基にグループ切出しを行う(第1の実施
例)のと、演算はパターン依存で可変長約「10×1
0」にし、この段階でほぼグループ切出しを行なって、
片眼のみの再グループ分けのみを後に行う(第2の実施
例)ものの違いでしか無いと言える。
【0050】また、これらは相関を演算する場合、パタ
ーンの特徴点の寄与が大きい為に特徴点を主体にし、ほ
ぼ平坦なパターンを軽く扱う(重み付けを軽くする)事
に相当する。即ち、前者は固定長内の微少パターンを抑
圧して被写界を単純化させて像の切出しを助け、後者は
微少パターンを含めたグループを始めから切出す事に相
当する。
【0051】なお、図3の類似部分の圧縮調整は、10
個程のグループになる所定レベル差のグループに切出し
たが、逆に「10±5」で所定レベルを下げてグループ
分けをさせたり、所定レベルを画像輝度差レベルだけで
なく、微分レベルでグループ分けしたり、2次微分(=
変曲点)レベルでグループ分けすることも出来る。
【0052】後者の可変長グループ分けは、相関演算と
伴ってグループ長に合った空間フィルタ(窓)をかけた
事になる為、平坦なパターンは長いグループ長になり、
低周波に注目した相関演算を行え、パターン周波数に適
した相関演算を行える特長がある。
【0053】これは、相関演算の画素を限る事でより明
確になる。
【0054】「10対10」の相関器としてその入力画
素をA´(10),B´(10)に限定した場合、可変
長のグループA(x),B(x)、但し、x=5〜15
程度に対し、 x=5なら A(1) =A(1) ´=A(2) ´ x=10なら A(1) =A(1) ´ x=15なら A(1) +(1/2)A(2) =A(1) ´ と言う様に対応づけて行くと、この対応づけが空間フィ
ルタとなる事から明かである。
【0055】図4は、パターン合致と抽出情報に関して
説明する為のブロック図である。
【0056】前述の様に、記憶部18に納められた距離
グループ分けされ被写界上における被写体寸法を含む配
置情報と公知の重力検出回路51よりの重力方向情報か
ら、水平方向(横方向)のセグメントを選択器52で選
択し、記憶部19に納められた被写界(被写体)大きさ
情報より、例えば被写体が大勢の人なら「数十cmから
1.5 m程の範囲」との情報で選択器20で自動選択(=
Masking)して、相関器53に与える。そして、
記憶部7の画像情報を上記の情報で相関を求め、類似す
るパターンの個数をカウンタ54に計数する。
【0057】この数値を表示器55で表示する事で、人
間らしい幅のパターンが何個あるか、即ち、何人写って
いるかと言う事を知らせることができる。
【0058】この単純な数値情報で記念写真の時に全員
写っているかと言う情報を撮影者に分かり易く伝える事
が出来る。これは特にリモコン等の撮影では、単純な1
〜2桁の数値情報で、写る範囲情報に相当する重要な情
報として伝えられる。
【0059】なお、信号ライン56は、自動選択したパ
ターンの種類によって単位を「人」や「個」に変える為
の制御ラインである。
【0060】又、これはマスクした原画情報を用いてい
る為に子供だけとか、大がらな人(太った人)だけの場
合にも、各々基準パターンが対応する様にしている。
【0061】57は後述のマスク、58は距離毎の分布
(=面積)を計数する分布判定器58であり、この分布
から「中〜遠距離」の中で分布の谷となる距離を算出
し、比較器59でこの距離に比べ“遠”または“近”な
距離グループに再構成し、重力検出回路51からの重力
方向情報を加味して、記憶部60に画面内で遠近の2グ
ループに分けた情報(遠近境界情報61,62)として
記憶させる。
【0062】次に、この遠近境界情報61,62を表示
器63により、近側パターンが縦及び横で、何%を占め
るかというレイアウト情報(近景比率情報)として表
し、フレーミングの情報とする。又、比率演算器64で
は遠近の面積を算出し、その画面面積上の比率を表示器
65で表示する様にしたものである。
【0063】なお、この場合でも近側の障害物などを計
数すると誤差となる為に、近判定回路66でマスクを行
う。
【0064】この近判定回路66では、図5の様に、ス
テップ67で至近領域(グループ)の大きさを比べ、大
きい場合は、ステップ68でこのグループはマスク(排
他)しない様にしている。又、小さくとも画面中央に位
置している場合は、次のステップ69の判定でマスクせ
ず、側方にあっても或る程度の大きさならそれを被写体
として、次のステップ70の判定でマスクせず、それ以
外の至近については前方障害物として、ステップ71で
その至近距離をマスクして無視する様にして、分布判定
器58の分布判定において近側ノイズを防ぐ様にしてい
る。
【0065】なお、図4の75に示す様に、表示部5
5,63,65を切離してリモートコントロール装置側
に設ける事で、撮影者はどの様なレイアウトで撮影され
るかを確認しながら該装置からのレリーズや雲台操作な
どが行える。(従来は、高価な電子ファインダと複雑な
画像伝達を用いなければレイアウトを確認する事が出来
なかった)次に、リモートコントロール装置(遠隔装
置)側での表示について、別の例を図6〜図8を用いて
説明する。
【0066】図4の表示器55に図6の右側に示す様な
人数情報が表示されるような場合、遠隔表示を行うLC
D等の表示器75〜77には、同じく図6(a)〜
(b)に示す様に、予め定められたパターン78が無線
或は有線によって伝達される数値に基づいて表示され、
表示器55の数値表示に対応したグラフィック表示やセ
グメント表示を行うものである。なお、ここでは1桁の
数値表示例を示しているが、2桁であってもよい。
【0067】これにより、フレーミングの参考情報とし
て、希望した人数が写っているか否かが模式的に判る表
示となる。
【0068】加えて、図4の記憶部60内の配置情報が
「2桁×4」(遠:xx%,近:xx%の二次元)程あ
れば、この表示がもっと実レイアウトに近い形で下方と
か中央とかも表示可能となる。
【0069】図7は単純にレイアウトを伝える例を示す
ものであり、図4の記憶部60内の配置情報「2桁×
4」程を黄金分割(絵画,彫刻等におけるバランスが良
いと言われる配分比を意味する)などのレイアウト用基
準線上にドット表示可能とする。
【0070】これにより、セルフ撮影等の時にも、画面
レイアウトを遠隔においても確認する事が出来る。
【0071】図8(a)は、図4の表示器65の1〜2
桁の近側面積比情報を指針80でメータ風にした例を示
すものであり、近側の占有率0や100%は好ましくな
い意味で赤,30%や70%は好ましい意味で緑色,5
0%はどちらが主か分り難いので黄色とした指標81
で、占有率の片寄りを確認する様にしたものである。
【0072】なお、遠側グループのコントラストや近側
グループのコントラストを計測,伝達する事で、遠側コ
ントラストの大きな時は近側占有率が大きくても良いの
で、図8(b)の82の様に指標を変更したり、近側コ
ントラストが相対的に大きければ小さくて目立つので、
図8(c)の83の様に占有率の小な部分の指標を変更
すると、より写真の評価に近い占有率表示が行える。
【0073】この様に、レイアウト情報を別の表示器で
模式的に示す事で、原画の送受信に大がかりな装置を用
いずに、役立つ情報として人へ伝える事が出来る。
【0074】勿論、図6〜図8の表示を撮影装置側で行
う様に構成しても良い。
【0075】以上の各実施例によれば、簡易に多点の距
離情報や輝度情報を測定する手段を用いて被写体の寸法
や形状を抽出し、設定した被写体に関するデータを用い
て、被写体のパラメータを求め、それを撮影装置自身や
遠隔装置に伝達可能にし、撮影の判断の為の有効情報と
して撮影者に知らしめるようにしている。
【0076】つまり、各種パターンを有する被写界にお
いて、識別に必要な部分のみ詳細に測距(輝度変化点の
み測距演算,背景測距+輝度変化点等)を行う様にし
て、処理が煩雑となる測距演算を簡略化し、パターンに
惑される事なく伝える様にし、識別全体を簡略化して必
要な情報を得られる様にする物である。
【0077】略言すると、如何に簡単な処理で被写界か
ら必要な特徴パターン(被写体)を抽出するかとそのパ
ターンをフレーミングする撮影者に判り易い形や数値で
表現し、撮影者のフレーミングに役立てるかと言う事を
実現しようとしたものである。
【0078】上記の簡易な測定手段は携帯機器にとって
必須であり、従来の工業用画像処理装置に比べ、限定さ
れた電力や処理能力の点で制限の多い条件に適合する必
要があると言える。
【0079】工業用装置に比べ、物体の大小や撮影距離
に限定の無い機器使用状況に広く適用される事で、又こ
こから得らえる情報を加えた被写界パラメータの検討に
より被写体としてその情報を表示又は遠隔表示器にまで
表示し、撮影に有効な情報のみの伝送は撮影者にとって
フレーミングに有効な分り易い表示となり、必ずしも過
大な撮影情報全部を扱わずとも使い易いシステムが得ら
える。
【0080】(発明と実施例の対応)例えば第1実施例
において、エリアセンサ3,4、増幅器5,6、記憶部
7,8が本発明の測距手段に相当し、エリアセンサ3、
増幅器5、記憶部7、増幅器13及び記憶部14が本発
明の測光手段に相当し、表示器22が表示手段に相当
し、図1のその他の回路部分が信号処理手段に相当す
る。
【0081】以上が実施例の各構成と本発明の各構成の
対応関係であるが、本発明は、これら実施例の構成に限
定されるものではなく、請求項で示した機能、又は実施
例がもつ機能が達成できる構成であればどのようなもの
であってもよいことは言うまでもない。
【0082】(変形例)本発明は、一眼レフカメラ,レ
ンズシャッタカメラ,ビデオカメラ等のカメラに適用し
た場合を述べているが、その他の光学機器や他の装置、
更には構成ユニットとしても適用することができるもの
である。
【0083】更に、本発明は、以上の各実施例、又はそ
れらの技術を適当に組み合わせた構成にしてもよい。
【0084】
【発明の効果】以上説明したように、本発明によれば、
被写界を大まかに区分した領域単位の距離情報を求め、
この距離情報と被写界の明るさ情報とにより、被写界内
に占める特徴部分を検出し、この特徴部分と標準被写体
情報との合致により被写体情報(被写体の大きさや人数
等)を抽出すると共に、この情報を該装置に具備される
表示手段、或いは、該装置より無線又は有線によって伝
達される遠隔装置側の表示手段によって表示するように
している。
【0085】また、本発明によれば、測光手段からの明
るさ情報に基づいて被写界を大まかな領域に区分し、こ
れら領域における距離情報を測距手段によって求め、こ
の距離情報と被写界の明るさ情報とにより、被写界内に
占める特徴部分を検出し、この特徴部分と標準被写体情
報との合致により被写体情報(被写体の大きさや人数
等)を抽出すると共に、この情報を該装置に具備される
表示手段、或いは、該装置より無線又は有線によって伝
達される遠隔装置側の表示手段によって表示するように
している。
【0086】よって、簡単な距離演算を行うことによ
り、複雑な距離演算を行った場合と同様の被写体情報を
被写界より抽出することができ、しかもその被写体情報
を撮影者のフレーミングに役立つ形で表示することが可
能となる。
【0087】また、本発明によれば、被写体情報処理装
置を遠隔する際に用いられる遠隔装置側の表示手段に、
被写体情報(被写体の大きさや人数等)を表示するよう
にしている。
【0088】よって、遠隔操作する撮影者のフレーミン
グに役立つ形で被写体情報を表示させることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施例における被写体情報処理
装置(固定長可変)の構成を示すブロック図である。
【図2】本発明の第1の実施例において測距データと輝
度情報から被写体を抽出する様子を模式的に示した図で
ある。
【図3】本発明の第2の実施例における被写体情報処理
装置(可変長相関)の構成を示すブロック図である。
【図4】本発明の第2の実施例においてパターン識別と
数値情報抽出に関する構成を示すブロック図である。
【図5】本発明の第2の実施例において至近判別処理を
示すフローチャートである。
【図6】図4の表示器44の表示に伴った遠隔表示例を
説明する為の図である。
【図7】同じく図4の表示器44の表示に伴った遠隔表
示の他の例を説明する為の図である。
【図8】同じく図4の表示器44の表示に伴った遠隔表
示の別の例を説明する為の図である。
【図9】工業計測等における従来例の概略構成を示すブ
ロック図である。
【図10】自動車やロボットの無人走行等で研究発表が
行われている、従来例の概略構成を示すブロック図であ
る。
【符号の説明】
3,4 エリアセンサ 5,6,13 増幅器 7,8,10,12,14,19 記憶部 9 修正器 11 相関器 17 倍率検出器 21,21 比較器 22,55,75〜77 表示器 31 類似部分の圧縮を行
う回路
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 5/225 Z

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 予め設定されている被写界内の各領域そ
    れぞれの距離情報を測定する測距手段と、被写界の明る
    さ情報を測定する測光手段と、前記各測距情報と前記明
    るさ情報より被写界上における特徴部分を検出し、この
    特徴部分とこの際の被写界上における標準被写体情報と
    の比較により、被写体情報を抽出する信号処理手段とを
    備えた被写体情報処理装置。
  2. 【請求項2】 設定される被写界内の各領域の距離情報
    を測定する測距手段と、被写界の明るさ情報を測定する
    測光手段と、該測光手段からの明るさ情報に基づいて被
    写界を複数の領域に区分し、この区分した領域にしたが
    って前記測距手段により複数の距離情報を得、該各測距
    情報と前記明るさ情報より被写界上における特徴部分を
    検出し、この特徴部分とこの際の被写界上における標準
    被写体情報との比較により、被写体情報を抽出する信号
    処理手段とを備えた被写体情報処理装置。
  3. 【請求項3】 前記信号処理手段によって抽出された被
    写体情報を表示する表示手段を具備したことを特徴とす
    る請求項1又は2記載の被写体情報処理装置。
  4. 【請求項4】 前記表示手段は、被写体情報を数値表示
    する手段であることを特徴とする請求項3記載の被写体
    情報処理装置。
  5. 【請求項5】 前記表示手段は、被写体情報を形状表示
    する手段であることを特徴とする請求項3記載の被写体
    情報処理装置。
  6. 【請求項6】 上記請求項4記載の被写体情報処理装置
    から被写体情報が伝達されることにより、その情報を表
    示する表示手段を具備した遠隔装置。
  7. 【請求項7】 前記表示手段は、被写体情報を数値表示
    する手段であることを特徴とする請求項6記載の遠隔装
    置。
  8. 【請求項8】 前記表示手段は、被写体情報を形状表示
    する手段であることを特徴とする請求項6記載の遠隔装
    置。
JP6298052A 1994-11-08 1994-11-08 被写体情報処理装置及び遠隔装置 Pending JPH08138053A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP6298052A JPH08138053A (ja) 1994-11-08 1994-11-08 被写体情報処理装置及び遠隔装置
US08/551,988 US6370262B1 (en) 1994-11-08 1995-11-02 Information processing apparatus and remote apparatus for object, using distance measuring apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6298052A JPH08138053A (ja) 1994-11-08 1994-11-08 被写体情報処理装置及び遠隔装置

Publications (1)

Publication Number Publication Date
JPH08138053A true JPH08138053A (ja) 1996-05-31

Family

ID=17854513

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6298052A Pending JPH08138053A (ja) 1994-11-08 1994-11-08 被写体情報処理装置及び遠隔装置

Country Status (2)

Country Link
US (1) US6370262B1 (ja)
JP (1) JPH08138053A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006128966A (ja) * 2004-10-28 2006-05-18 Casio Comput Co Ltd 電子カメラ、画像分類装置、及びプログラム
JP2007288353A (ja) * 2006-04-13 2007-11-01 Casio Comput Co Ltd 撮像装置、撮像方法及びプログラム
JP2011099742A (ja) * 2009-11-05 2011-05-19 Mitsubishi Heavy Ind Ltd 対象物検出装置および対象物検出方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY124160A (en) * 1997-12-05 2006-06-30 Dynamic Digital Depth Res Pty Improved image conversion and encoding techniques
JP4018218B2 (ja) * 1997-12-25 2007-12-05 キヤノン株式会社 光学装置及び測距点選択方法
JP4391624B2 (ja) * 1999-06-16 2009-12-24 本田技研工業株式会社 物体認識装置
US6785469B1 (en) * 1999-11-16 2004-08-31 Olympus Corporation Distance measuring device installed in camera
US6885775B2 (en) * 2000-01-21 2005-04-26 Matsushita Electric Industrial Co., Ltd. Image processing method and image processing apparatus
JP4414054B2 (ja) * 2000-03-27 2010-02-10 本田技研工業株式会社 物体認識装置
JP2003004442A (ja) * 2001-06-20 2003-01-08 Fujitsu Ten Ltd 測距装置
JP2003098424A (ja) * 2001-09-25 2003-04-03 Fujitsu Ten Ltd 画像処理測距装置
JP2003150936A (ja) * 2001-11-08 2003-05-23 Fuji Heavy Ind Ltd 画像処理装置および画像処理方法
US7920718B2 (en) * 2002-09-05 2011-04-05 Cognex Corporation Multi-zone passageway monitoring system and method
JP4155780B2 (ja) * 2002-09-19 2008-09-24 富士通テン株式会社 画像処理方法
US7469064B2 (en) * 2003-07-11 2008-12-23 Panasonic Corporation Image display apparatus
US8326084B1 (en) * 2003-11-05 2012-12-04 Cognex Technology And Investment Corporation System and method of auto-exposure control for image acquisition hardware using three dimensional information
JP2005269604A (ja) * 2004-02-20 2005-09-29 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
US7738733B2 (en) * 2005-09-29 2010-06-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems and methods for 3-D imaging
JP4846811B2 (ja) * 2009-02-03 2011-12-28 シャープ株式会社 光スポット位置検出装置およびそれを含む光デバイス、並びに、その光デバイスを含む電子機器
KR101643602B1 (ko) * 2009-06-24 2016-07-29 삼성전자주식회사 구도 가이드 방법 및 장치, 및 디지털 촬영 장치
KR101498973B1 (ko) * 2013-11-21 2015-03-05 현대모비스(주) 차량용 주차 지원 시스템 및 방법
US10515281B1 (en) 2016-12-29 2019-12-24 Wells Fargo Bank, N.A. Blood vessel image authentication
JP7147562B2 (ja) * 2017-02-20 2022-10-05 ソニーグループ株式会社 測光装置、測光方法、プログラムおよび撮像装置
KR102315341B1 (ko) * 2017-03-17 2021-10-20 삼성전자주식회사 객체의 구성 정보에 대응하는 그래픽 효과를 제공하기 위한 방법 및 그 전자 장치
WO2020000397A1 (zh) * 2018-06-29 2020-01-02 深圳市欢创科技有限公司 电子设备识别激光器发射的激光点方法及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01134319A (ja) * 1987-11-19 1989-05-26 Minolta Camera Co Ltd カメラの被写体距離測定装置
JPH0225989A (ja) * 1988-07-15 1990-01-29 Sony Corp 移動対象抽出方法
JPH0431996A (ja) * 1990-05-28 1992-02-04 Matsushita Electric Works Ltd 画像認識型の防犯センサー
JPH04301512A (ja) * 1991-03-29 1992-10-26 Mazda Motor Corp 移動車の環境認識装置
JPH05114099A (ja) * 1991-10-22 1993-05-07 Fuji Heavy Ind Ltd 車輌用距離検出装置
JPH05168335A (ja) * 1991-12-19 1993-07-02 Iseki & Co Ltd 果実収穫ロボツトの視覚装置
JPH06243258A (ja) * 1993-02-19 1994-09-02 Toshiba Corp 奥行き検出装置
JPH06293236A (ja) * 1992-12-22 1994-10-21 Mitsubishi Electric Corp 走行環境監視装置
JPH07287756A (ja) * 1994-02-23 1995-10-31 Matsushita Electric Works Ltd 物体認識方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5542034A (en) * 1978-09-19 1980-03-25 Minolta Camera Co Ltd Range finder
JPS60172008A (ja) * 1984-02-18 1985-09-05 Canon Inc 測距装置
JPS62148911A (ja) * 1985-12-23 1987-07-02 Minolta Camera Co Ltd 焦点検出装置
US4943824A (en) * 1987-11-12 1990-07-24 Minolta Camera Kabushiki Kaisha Device for measuring object distance used for camera
US5031228A (en) * 1988-09-14 1991-07-09 A. C. Nielsen Company Image recognition system and method
JPH03100535A (ja) * 1989-09-13 1991-04-25 Minolta Camera Co Ltd カメラのピント検出用光電変換装置
US5291563A (en) * 1990-12-17 1994-03-01 Nippon Telegraph And Telephone Corporation Method and apparatus for detection of target object with improved robustness
US5134661A (en) * 1991-03-04 1992-07-28 Reinsch Roger A Method of capture and analysis of digitized image data
US5331419A (en) * 1991-03-26 1994-07-19 Kyocera Corporation Size display system for electronic camera
US5392091A (en) * 1991-08-27 1995-02-21 Nikon Corporation Exposure calculating apparatus
US5221955A (en) * 1991-08-29 1993-06-22 Olympus Optical Co., Ltd. Distance measuring apparatus for camera
US5289227A (en) * 1992-01-22 1994-02-22 Fuji Photo Film Co., Ltd. Method of automatically controlling taking exposure and focusing in a camera and a method of controlling printing exposure
JP3158643B2 (ja) * 1992-04-20 2001-04-23 キヤノン株式会社 焦点検出手段と視線検出手段とを有したカメラ
CN1039274C (zh) * 1993-05-20 1998-07-22 株式会社金星社 电视摄象机中的变焦跟踪装置和跟踪方法
US5900927A (en) * 1993-10-13 1999-05-04 Fuji Photo Film Co., Ltd. Variable target autofocusing and range finder for measuring distance to a subject
US5615398A (en) * 1993-11-08 1997-03-25 Canon Kabushiki Kaisha Optical apparatus with image area sensors for controlling lens focal length
US5546538A (en) * 1993-12-14 1996-08-13 Intel Corporation System for processing handwriting written by user of portable computer by server or processing by the computer when the computer no longer communicate with server

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01134319A (ja) * 1987-11-19 1989-05-26 Minolta Camera Co Ltd カメラの被写体距離測定装置
JPH0225989A (ja) * 1988-07-15 1990-01-29 Sony Corp 移動対象抽出方法
JPH0431996A (ja) * 1990-05-28 1992-02-04 Matsushita Electric Works Ltd 画像認識型の防犯センサー
JPH04301512A (ja) * 1991-03-29 1992-10-26 Mazda Motor Corp 移動車の環境認識装置
JPH05114099A (ja) * 1991-10-22 1993-05-07 Fuji Heavy Ind Ltd 車輌用距離検出装置
JPH05168335A (ja) * 1991-12-19 1993-07-02 Iseki & Co Ltd 果実収穫ロボツトの視覚装置
JPH06293236A (ja) * 1992-12-22 1994-10-21 Mitsubishi Electric Corp 走行環境監視装置
JPH06243258A (ja) * 1993-02-19 1994-09-02 Toshiba Corp 奥行き検出装置
JPH07287756A (ja) * 1994-02-23 1995-10-31 Matsushita Electric Works Ltd 物体認識方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006128966A (ja) * 2004-10-28 2006-05-18 Casio Comput Co Ltd 電子カメラ、画像分類装置、及びプログラム
JP2007288353A (ja) * 2006-04-13 2007-11-01 Casio Comput Co Ltd 撮像装置、撮像方法及びプログラム
JP2011099742A (ja) * 2009-11-05 2011-05-19 Mitsubishi Heavy Ind Ltd 対象物検出装置および対象物検出方法

Also Published As

Publication number Publication date
US6370262B1 (en) 2002-04-09

Similar Documents

Publication Publication Date Title
JPH08138053A (ja) 被写体情報処理装置及び遠隔装置
US7053953B2 (en) Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image
EP1431912B1 (en) Method and system for determining an area of importance in an archival image
US8477232B2 (en) System and method to capture depth data of an image
US7720302B2 (en) Method, apparatus and program for image processing
KR101155406B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체
DE112012000950B4 (de) Ermitteln des Abstands zwischen verschiedenen Punkten an einem abgebildeten Gegenstand
EP1215626A1 (en) Automatically producing an image of a portion of a photographic image
CN103888682B (zh) 图像处理设备和图像处理方法
JPH0380676A (ja) 電子パンフォーカス装置
US20060017835A1 (en) Image compression region of interest selection based on focus information
JPH0997342A (ja) 樹木離隔距離計測システム
JP2996067B2 (ja) 三次元計測装置
JPH0787376A (ja) 合焦情報検出装置
JPH03200007A (ja) ステレオ計測装置
JP3516118B2 (ja) 物体認識方法および物体認識装置
JP2004364212A (ja) 物体撮影装置、物体撮影方法及び物体撮影プログラム
JP3491029B2 (ja) 自動監視装置
JPH1023311A (ja) 画像情報入力方法及び装置
JP2638702B2 (ja) 特徴画像データの抽出方法
US20240062339A1 (en) Photographing system and method of image fusion
US20240221416A1 (en) Method for photographing object for identifying companion animal, and electronic device
EP1269414B1 (en) Image processing
JP2006109005A (ja) 画像出力装置および撮像装置
JP2004007213A (ja) ディジタル3次元モデル撮像機器

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040712

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040803