JP2016181753A - 情報処理装置、情報処理方法、プログラムおよびシステム - Google Patents

Abstract

【課題】撮像画像を補正するための補正パラメータの算出精度の低下を抑制可能な情報処理装置、情報処理方法、プログラム、および、システムを提供する。
【解決手段】本発明に係る情報処理装置は、取得部と、制御部とを備える。取得部は、撮像装置による撮像で得られた撮像画像を取得する。制御部は、複数の特徴点を有する被写体のかざし方を指示するための指示情報を撮像画像に重畳した重畳画像を、表示装置に表示する制御を行う。
【選択図】図３

Description

本発明は、情報処理装置、情報処理方法、プログラムおよびシステムに関する。

例えばカメラなどの撮像装置で、複数の特徴点を有する被写体の位置・姿勢を変えながら撮像し、その撮像により得られた複数の画像（撮像画像）に基づいて、撮像画像を補正するための補正パラメータを求めるキャリブレーション技術が知られている。

例えば特許文献１には、ユーザが、カメラに対して、複数の特徴点を有するチャートをかざした状態を撮像し、その撮像により得られた複数の画像に基づいて補正パラメータを求める技術が開示されている。

しかしながら、従来技術では、カメラに対するチャートの位置・姿勢は完全にユーザに委ねられていたため、撮像画像の画像領域のうちチャートが全く映っていない領域が発生する場合があり、その領域については特徴点を抽出することができない。この場合、補正パラメータの算出に必要な情報を十分に得ることができないので、補正パラメータの算出精度が低下するという問題が起こる。また、この問題を解消するために、例えばカメラの画角に対して、充分に大きなチャートを用意することも考えらえる。しかしながら、そのような大きなチャートの平面性を確保することは困難であるので、チャート自身の歪みによって、補正パラメータの算出精度が低下するという問題が引き起こされる。

上述した課題を解決し、目的を達成するために、本発明は、撮像装置による撮像で得られた撮像画像を取得する取得部と、複数の特徴点を有する被写体のかざし方を指示するための指示情報を前記撮像画像に重畳した重畳画像を、表示装置に表示する制御を行う制御部と、を備える情報処理装置である。

本発明によれば、撮像画像を補正するための補正パラメータの算出精度の低下を抑制できる。

図１は、実施形態のシステムの構成の一例を示す図である。 図２は、情報処理装置のハードウェア構成の一例を示す図である。 図３は、情報処理装置が有する機能の一例を示す図である。 図４は、撮像画像の画像領域の一例を示す図である。 図５は、画像領域を分割する複数の領域の一例を示す図である。 図６は、指示情報の一例を示す図である。 図７は、指示情報の一例を示す図である。 図８は、差分情報の一例を示す図である。 図９は、指示情報の一例を示す図である。 図１０は、制御部の動作例を示すフローチャートである。 図１１は、ステレオカメラの一例を示す図である。

以下、添付図面を参照しながら、本発明に係る情報処理装置、情報処理方法、プログラムおよびシステムの実施形態を詳細に説明する。

図１は、本実施形態のシステム１の構成の一例を示す図である。図１に示すように、本実施形態のシステム１は、撮像装置１０と、情報処理装置２０と、表示装置３０とを備える。

撮像装置１０は、撮像を行う装置であり、例えばカメラで構成される。本明細書において、「撮像」とは、レンズなどの光学系により結像された撮像対象の像を、電気信号に変換することを指す。キャリブレーションを実行するキャリブレーションモードが開始すると、撮像装置１０は、情報処理装置２０の指示に従って、所定の周期で撮像を行う（連続的に撮像を行う）。

情報処理装置２０は、ユーザから、キャリブレーションモードの開始を指示する操作を受け付けると、撮像装置１０に対して撮像の開始を指示し、撮像装置１０による撮像が行われるたびに、その撮像で得られた撮像画像を取得する。そして、情報処理装置２０は、複数の特徴点を有するチャート４０（複数の特徴点を有する被写体の一例）のかざし方を指示するための指示情報を撮像画像に重畳した重畳画像を、表示装置３０に表示する制御を行う。情報処理装置２０の具体的な構成については後述する。表示装置３０は、各種の情報（重畳画像等を含む）を表示するデバイスであり、例えば液晶型のディスプレイ装置などで構成される。

本実施形態では、撮像装置１０に対してチャート４０をかざすユーザは、表示装置３０に表示された重畳画像を見ながら、チャート４０を動かすことになる。図１の例では、チャート４０は、市松模様を示すパターンが表面に形成された板状の部材であるが、このチャート４０は、複数の特徴点を有する被写体の一例であり、これに限定されるものではない。なお、「市松模様」とは、色が異なる２種類の矩形（正方形または長方形）を交互に並べた模様を表す。図１の例では、チャート４０の模様は、白の矩形と黒の矩形とを交互に並べた模様になっている。この場合、白の境界と黒の境界とが交差する位置での画像の輝度変化が大きいので、この位置を特徴点と捉えることができる。

次に、本実施形態の情報処理装置２０の具体的な構成を説明する。図２は、本実施形態の情報処理装置２０のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、撮像Ｉ／Ｆ部２４と、表示Ｉ／Ｆ部２５と、を備え、これらはバス２６を介して相互に接続されている。

ＣＰＵ２１は、情報処理装置２０の動作を統括的に制御する。ＲＯＭ２２は、プログラム等の各種のデータを記憶する不揮発性のメモリである。ＲＡＭ２３は、ＣＰＵ２１が実行する各種の演算の処理の作業領域（ワークエリア）として機能する揮発性のメモリである。撮像Ｉ／Ｆ部２４は撮像装置１０と接続するためのインタフェースである。表示Ｉ／Ｆ部２５は、表示装置３０と接続するためのインタフェースである。

図３は、本実施形態の情報処理装置２０が有する機能の一例を示す図である。図３に示すように、情報処理装置２０は、取得部２０１と、制御部２０２と、算出部２０３と、補正部２０４と、出力部２０５とを有する。説明の便宜上、図３では、本実施形態に係る機能を主に例示しているが、情報処理装置２０が有する機能はこれらに限られるものではない。

取得部２０１は、撮像装置１０による撮像で得られた撮像画像を取得する。この例では、情報処理装置２０は、ユーザから、キャリブレーションモードの開始を指示する操作を受け付けると、撮像装置１０に対して撮像の開始を指示する。そして、取得部２０１は、撮像装置１０による撮像が行われるたびに、その撮像で得られた撮像画像を取得する。

制御部２０２は、複数の特徴点を有するチャート４０のかざし方を指示するための指示情報を撮像画像に重畳した重畳画像を、表示装置３０に表示する制御を行う。本実施形態における指示情報は、撮像装置１０に対するチャート４０の位置および姿勢を指示するための情報である。より具体的には、指示情報は、チャート４０の位置および姿勢が、指示情報に対応する位置および姿勢と一致する場合に撮像画像に映り込むべきチャート４０の形状を表す情報である。なお、一般に、カメラで正方形の物体を撮像しても、カメラと物体との位置関係、カメラそのものの歪みなどにより、撮像画像に映り込んだ物体は正方形にはならない。

制御部２０２は、撮像画像の画像領域を分割する複数の領域ごとに、対応する２以上の指示情報を順次に生成し、指示情報を生成するたびに、その生成した指示情報を撮像画像に重畳した重畳画像を表示装置３０に表示する制御を行って、表示装置３０に表示する重畳画像を切り替える。本実施形態では、制御部２０２は、複数の領域ごとに、該領域に対応して予め定められたチャート４０の２以上の位置および姿勢と１対１に対応する２以上の指示情報を順次に生成する。

また、制御部２０２は、指示情報と、撮像画像に映り込んだチャート４０との関係が所定の条件を満たす場合は、その場合の撮像画像と、その場合の撮像画像に映り込んだ複数の特徴点の位置とを含む特徴点データを取得（生成）して、次の指示情報を生成する。前述したように、本実施形態における指示情報は、ユーザがかざすチャート４０の位置および姿勢が、指示情報に対応する位置および姿勢と一致する場合に撮像画像に映り込むべきチャート４０の形状を表す情報である。そして、制御部２０２は、撮像画像から抽出された特徴点の数が第１の閾値以上であり、かつ、指示情報が表す形状と、撮像画像に映り込んだチャート４０の形状との差分が第２の閾値未満の場合は、所定の条件を満たすと判断する。さらに、制御部２０２は、露光量が適正であるか否かも踏まえて、所定の条件を満たすか否かを判断してもよい。一方、制御部２０２は、指示情報と、撮像画像に映り込んだチャート４０との関係が所定の条件を満たさない場合は、チャート４０の位置および姿勢の変更を促す報知を行う。より具体的な内容については後述する。

本実施形態では、制御部２０２は、撮像画像の画像領域を分割する複数の領域のうちの何れかの領域に対応する２以上の指示情報と１対１に対応する２以上の特徴点データを取得した場合、別の領域に対応する２以上の指示情報を順次に生成する。

例えば図４に示すように、撮像画像の画像領域のサイズが、９００ピクセル×６００ピクセル（１ピクセルは１画素分のサイズを表す）である場合を想定する。この例では、画像領域のうちチャート４０が映り込む領域は、全体の約２割に相当する３００ピクセル×３００ピクセルの領域であることを想定しており、図５に示すように、画像領域を６分割（縦に２分割、横に３分割）して得られる６つの領域ごとに、それぞれ２以上の特徴点データを取得することを想定している。なお、分割数は６に限られるものではなく、設計条件等に応じて様々に変更が可能である。

制御部２０２は、６つの領域ごとに、対応する２以上の指示情報を順次に生成し、その２以上の指示情報と１対１に対応する２以上の特徴点データを取得する。例えば図５に示す６つの領域のうちの左上の領域を着目領域とし、その着目領域に対応する特徴点データを取得する場合を想定する。制御部２０２は、その着目領域に対応して予め定められたチャート４０の２以上の位置および姿勢と１対１に対応する２以上の指示情報の各々を順次に生成し、生成した指示情報を撮像画像に重畳した重畳画像を表示装置３０に表示する制御を行う。この例では、左上の領域に対応するチャート４０の２以上の位置および姿勢として、撮像装置１０に対するチャート４０の三次元位置の併進成分ｓｈｉｆｔＸ／ｓｈｉｆｔＹ／ｓｈｉｆｔＺと、三回転成分Ｙａｗ／Ｐｉｔｃｈ／Ｒｏｌｌとのそれぞれが予め指定された複数のパターンが用意されている。この例では、撮像装置１０（カメラ）の光学中心を原点とし、被写体までの距離の方向（奥行き方向）をＺ軸方向、水平方向をＸ軸方向、上下方向（鉛直方向）をＹ軸方向とする座標系を考え、この座標系の３次元位置（Ｘ，Ｙ，Ｚ）のＸ軸方向のシフト量をｓｈｉｆｔＸ、Ｙ軸方向のシフト量をｓｈｉｆｔＸ、Ｚ軸方向のシフト量をｓｈｉｆｔＺとそれぞれ表す。また、この３次元位置（Ｘ，Ｙ，Ｚ）のＹ軸回りの回転角をＹａｗ、Ｘ軸回りの回転角をＰｉｔｃｈ、Ｚ軸回りの回転角をＲｏｌｌとそれぞれ表す。

制御部２０２は、上記複数のパターンと１対１に対応する複数の指示情報を順次に生成し、生成した指示情報を撮像画像に重畳した重畳画像を表示装置３０に表示する制御を行う。図６は、上記複数のパターンのうちの一のパターンに対応する指示情報の一例を示す図である。図６の指示情報は、ユーザがかざすチャート４０の位置および姿勢が、一のパターンが示す位置および姿勢と一致する場合に撮像画像に映り込むべきチャート４０の形状を表す情報である。また、図７は、他のパターンに対応する指示情報の一例を示す図である。図７の指示情報は、ユーザがかざすチャート４０の位置および姿勢が、他のパターンが示す位置および姿勢と一致する場合に撮像画像に映り込むべきチャート４０の形状を表す情報である。

以上のような指示情報をユーザに提示することにより、ユーザは、位置や姿勢などに関する具体的な数値を意識することなく、直感的に、チャート４０の位置および姿勢を調整することができる。

この例では、左上の領域に対応するチャート４０の２以上の位置および姿勢として、予め５つのパターン（第１のパターン、第２のパターン、第３のパターン、第４のパターン、第５のパターンと称する）が用意されている。

一例として、第１のパターンは、ｓｈｉｆｔＸ＝−２００ｍｍ、ｓｈｉｆｔＹ＝−１５０ｍｍ、ｓｈｉｆｔＺ＝１０００ｍｍ、Ｙａｗ＝０ｄｅｇ、Ｐｉｔｃｈ＝０ｄｅｇ、Ｒｏｌｌ＝０ｄｅｇの組み合わせである。第１のパターンに対応する指示情報は、チャート４０の位置および姿勢が、第１のパターンが示す位置および姿勢と一致する場合に、撮像画像に映り込むべきチャート４０の形状を表す情報である。

また、第２のパターンは、ｓｈｉｆｔＸ＝−２２０ｍｍ、ｓｈｉｆｔＹ＝−１７０ｍｍ、ｓｈｉｆｔＺ＝１０５０ｍｍ、Ｙａｗ＝５ｄｅｇ、Ｐｉｔｃｈ＝−５ｄｅｇ、Ｒｏｌｌ＝０ｄｅｇの組み合わせである。第２のパターンに対応する指示情報は、チャート４０の位置および姿勢が、第２のパターンが示す位置および姿勢と一致する場合に、撮像画像に映り込むべきチャート４０の形状を表す情報である。

また、第３のパターンは、ｓｈｉｆｔＸ＝−２３０ｍｍ、ｓｈｉｆｔＹ＝−１６０ｍｍ、ｓｈｉｆｔＺ＝１０２０ｍｍ、Ｙａｗ＝１５ｄｅｇ、Ｐｉｔｃｈ＝０ｄｅｇ、Ｒｏｌｌ＝１０ｄｅｇの組み合わせである。第３のパターンに対応する指示情報は、チャート４０の位置および姿勢が、第３のパターンが示す位置および姿勢と一致する場合に、撮像画像に映り込むべきチャート４０の形状を表す情報である。

また、第４のパターンは、ｓｈｉｆｔＸ＝−２４０ｍｍ、ｓｈｉｆｔＹ＝−１９０ｍｍ、ｓｈｉｆｔＺ＝９９０ｍｍ、Ｙａｗ＝−１５ｄｅｇ、Ｐｉｔｃｈ＝−５ｄｅｇ、Ｒｏｌｌ＝−１０ｄｅｇの組み合わせである。第４のパターンに対応する指示情報は、チャート４０の位置および姿勢が、第４のパターンが示す位置および姿勢と一致する場合に、撮像画像に映り込むべきチャート４０の形状を表す情報である。

また、第５のパターンは、ｓｈｉｆｔＸ＝−２５０ｍｍ、ｓｈｉｆｔＹ＝−２００ｍｍ、ｓｈｉｆｔＺ＝９８０ｍｍ、Ｙａｗ＝−５ｄｅｇ、Ｐｉｔｃｈ＝−１５ｄｅｇ、Ｒｏｌｌ＝５ｄｅｇの組み合わせである。第５のパターンに対応する指示情報は、チャート４０の位置および姿勢が、第５のパターンが示す位置および姿勢と一致する場合に、撮像画像に映り込むべきチャート４０の形状を表す情報である。

制御部２０２は、生成した指示情報（重畳画像に含まれる指示情報）と、撮像画像に映り込んだチャート４０との関係が所定の条件を満たす場合は、その場合の撮像画像と、その場合の撮像画像に映り込んだ複数の特徴点の位置とを含む特徴点データを取得して、次の指示情報（この例では、別のパターンに対応する指示情報）を生成する。前述したように、制御部２０２は、撮像画像から抽出された特徴点の数が第１の閾値以上であり、かつ、指示情報が表す形状と、撮像画像に映り込んだチャート４０の形状との差分が第２の閾値未満の場合は、所定の条件を満たすと判断する。

例えば指示情報が表す形状の４つの角のうちの１つの角と、撮像画像に映り込んだチャート４０において対応する角との間の距離が基準値未満の場合は、指示情報が表す形状と、撮像画像に映り込んだチャート４０の形状との差分が第２の閾値未満であると判断してもよい。また、例えば、指示情報が表す形状の４つの角の各々について、当該角と、撮像画像に映り込んだチャート４０において対応する角との間の距離が基準値未満の場合は、指示情報が表す形状と、撮像画像に映り込んだチャート４０の形状との差分が第２の閾値未満であると判断してもよい。なお、これに限らず、指示情報が表す形状と、撮像画像に映り込んだチャート４０の形状との差分が第２の閾値未満であるか否かを判定する方法としては様々な方法を採用してよい。

また、前述したように、制御部２０２は、生成した指示情報と、撮像画像に映り込んだチャート４０との関係が上記所定の条件を満たさない場合は、チャート４０の位置および姿勢の変更を促す報知を行う。例えば制御部２０２は、チャート４０の位置および姿勢の変更方法（チャートの位置および姿勢を、指示情報に対応する位置および姿勢に近づけるために必要な変更方法）を知らせる音声を出力する形態であってもよいし、その変更方法を表すテキストなどを表示装置３０に表示する制御を行う形態であってもよい。また、例えば図８に示すように、制御部２０２は、生成した指示情報と、撮像画像に映り込んだチャート４０との差分の度合いを表す差分情報（図８の例では矢印で表されている）を表示装置３０に表示（重畳画像上に表示）する形態であってもよい。

なお、上記所定の条件を満たさない状態が一定期間継続する場合は、制御部２０２は、現在の指示情報に対応する特徴点データの取得をキャンセルする形態であってもよい。

以上のようにして、制御部２０２は、上記複数のパターンと１対１に対応する複数の指示情報ごとに、対応する特徴点データを取得する。そして、複数の指示情報と１対１に対応する複数の特徴点データを取得した場合は、左上の領域に対応する特徴点データの取得を終了する。次に、制御部２０２は、他の領域（未だ特徴点データを取得していない領域）を着目領域として、上記と同様にして、その着目領域に対応する特徴点データの取得を行う。この処理を、６つの領域の各々に対応する特徴点データの取得が完了するまで繰り返す。

なお、例えば着目領域に対応する１つの指示情報に対応する特徴データの取得が完了するたびに着目領域を変更し、変更した着目領域に対応する１つの指示情報に対応する特徴点データを取得するといった処理を、６つの領域の各々に対応する特徴点データの取得が完了するまで繰り返すという形態であってもよい。例えば左上の領域に対応する１つの指示情報（左上の領域に対応して予め用意された複数のパターンのうちの何れか１つのパターンに対応する指示情報）に対応する特徴点データを取得すると、その右に隣接する領域（この例では図５に示す中央上部の領域）を着目領域とし、中央上部の領域に対応する１つの指示情報（中央上部の領域に対応して予め用意された複数のパターンのうちの何れか１つのパターンに対応する指示情報）に対応する特徴点データを取得するといった処理を、６つの領域の各々に対応する特徴点データの取得が完了するまで繰り返すという具合である。

要するに、制御部２０２は、撮像画像の画像領域を分割する複数の領域ごとに、対応する２以上の指示情報を順次に生成し、指示情報を生成するたびに、その生成した指示情報を撮像画像に重畳した重畳画像を表示装置３０に表示する制御を行って、表示装置３０に表示する重畳画像を切り替える形態であればよい。

また、例えば制御部２０２は、複数の領域の各々について、該領域に対応する２以上の指示情報のうちの少なくとも１つが表すチャート４０の形状は、該領域と、該領域に隣接する他の領域とに跨るよう、該領域に対応する２以上の指示情報を順次に生成することもできる。例えば図５に示す左上の領域に対応して予め用意された上記複数のパターンのうちの少なくとも１つのパターンに対応する指示情報が表す形状は、図９に示すように、左上の領域と、左上の領域に隣接する中央上部の領域とに跨る形状を表す形態であってもよい。これにより、領域間を跨ぐ部分に対応する特徴点データも漏れなく取得することができるので、補正パラメータの算出精度の低下を一層抑制できる。

図１０は、制御部２０２の動作例を示すフローチャートである。この例では、制御部２０２は、撮像画像の画像領域を分割する６つの領域のうちの１つに着目し、その着目した領域に対応する特徴点データを取得する処理を行う。以下の説明では、着目した領域を「着目領域」と称する場合がある。

図１０に示すように、制御部２０２は、着目領域に対応する１つの指示情報を生成する（ステップＳ１）。この例では、着目領域に対応して予め用意された上記複数のパターンのうちの何れか１つのパターンを選択し、その選択したパターンに対応する指示情報を生成する。次に、制御部２０２は、ステップＳ１で生成した指示情報を撮像画像に重畳した重畳画像を表示装置３０に表示する制御を行う（ステップＳ２）。制御部２０２は、取得部２０１が撮像画像を取得するたびに、その取得した撮像画像に、ステップＳ１で生成した指示情報を重畳した重畳画像を生成し、その生成した重畳画像を表示装置３０に表示する制御を行う。

次に、制御部２０２は、ステップＳ１で生成した指示情報（重畳画像に含まれる指示情報）と、撮像画像に映り込んだチャート４０との関係が上記所定の条件を満たすか否かを判断する（ステップＳ３）。ステップＳ３の結果が否定の場合（ステップＳ３：Ｎｏ）、制御部２０２は、チャート４０の位置および姿勢の変更を促す報知を行い（ステップＳ４）、ステップＳ２以降の処理を繰り返す。ステップＳ３の結果が肯定の場合（ステップＳ３：Ｙｅｓ）、制御部２０２は、その場合の撮像画像と、その場合の撮像画像に映り込んだ複数の特徴点の位置（座標値）とを含む特徴点データを取得（生成）する（ステップＳ５）。そして、着目領域に対応する２以上の指示情報と１対１に対応する２以上の特徴点データ（見方を変えれば、着目領域に対応して予め用意された上記複数のパターンと１対１に対応する複数の特徴点データ）を全て取得したか否かを判断する（ステップＳ６）。

ステップＳ６の結果が否定の場合（ステップＳ６：Ｎｏ）、処理は、ステップＳ１に戻る。ステップＳ１において、制御部２０２は、着目領域に対応して予め用意された上記複数のパターンのうち未選択の１つのパターンを選択し、その選択したパターンに対応する指示情報を生成する。そして、ステップＳ２以降の処理を繰り返す。ステップＳ６の結果が肯定の場合（ステップＳ６：Ｙｅｓ）、制御部２０２は、複数の領域のうち、特徴点データを取得していない領域が残っているか否かを判断する（ステップＳ７）。

ステップＳ７の結果が肯定の場合（ステップＳ７：Ｙｅｓ）、制御部２０２は着目領域を変更する（ステップＳ８）。より具体的には、制御部２０２は、複数の領域のうち、未だ特徴点データを取得していない領域を着目領域とし、ステップＳ１以降の処理を繰り返す。ステップＳ７の結果が否定の場合（ステップＳ７：Ｎｏ）、処理は終了する。

なお、例えば制御部２０２は、特徴点データの取得の進捗を表す情報を表示装置３０に表示することもできる。例えば全てのパターン（複数の領域の各々に対応して予め用意された全てのパターン）のうち、特徴点データの取得が完了したパターンの数（あるいは未だ特徴点データの取得を行っていないパターンの数）を表す情報を表示する形態であってもよい。また、例えば一の領域に対応する特徴点データの取得を行っている際に、該一の領域に対応して予め用意された上記複数のパターンのうち、特徴点データの取得が完了したパターンの数（あるいは未だ特徴点データの取得を行っていないパターンの数）を表す情報を表示する形態であってもよいし、例えば特徴点データの取得の進捗に応じて指示情報の色を変化させる形態であってもよい（例えば、完了に近づくにつれて赤色に近くなる等）。

再び図３に戻って説明を続ける。算出部２０３は、複数の特徴点データに基づいて、撮像画像を補正するための補正パラメータを算出する。本実施形態では、算出部２０３は、複数の領域の各々について、該領域に対応する２以上の指示情報と１対１に対応する２以上の特徴点データが得られた場合、全ての指示情報と１対１に対応する複数の特徴点データに基づいて補正パラメータを算出する。この例では、特徴点データに含まれる撮像画像から、複数の特徴点ごとに目標座標値（理想位置）を算出し、目標座標値と、該撮像画像上の特徴点の座標値（特徴点データに含まれている）との組（データセット）を、特徴点データごとに複数求める。そして、撮像画像の座標値と目標座標値との関係を表す補正式の係数を、最小二乗法などによって求め、その求めた係数を補正パラメータとすることができる。この補正パラメータの算出方法としては、公知の様々な技術を利用することができる。例えば補正パラメータの算出方法として、米国特許第６，４３７，８２３号明細書に記載された技術を利用することもできる。

また、これに限らず、例えば算出部２０３は、複数の領域のうち、何れかの領域に対応する２以上の指示情報と１対１に対応する２以上の特徴点データが得られるたびに、その得られた２以上の特徴点データに基づいて補正パラメータを算出することもできる。算出部２０３による補正パラメータの算出が完了すると、キャリブレーションモードは終了し、通常の動作モード（通常モード）に移行する。

補正部２０４は、算出部２０３によって算出された補正パラメータを用いて、通常モードにおいて取得部２０１によって取得された撮像画像を補正する。出力部２０５は、補正部２０４によって補正された撮像画像を出力する。出力の形態は任意であり、例えば出力部２０５は、補正部２０４によって補正された撮像画像を表示装置３０に表示する制御を行うこともできる。

本実施形態では、上述した情報処理装置２０の各部の機能（取得部２０１、制御部２０２、算出部２０３、補正部２０４、出力部２０５）は、ＣＰＵ２１がＲＯＭ２２等の記憶装置に格納されたプログラムを実行することにより実現される。なお、これに限らず、例えば上述した情報処理装置２０の各部の機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路等）で実現されてもよい。

以上に説明したように、本実施形態では、複数の特徴点を有するチャート４０のかざし方を指示するための指示情報を撮像画像に重畳した重畳画像を、表示装置３０に表示する制御を行うので、ユーザがかざすチャート４０の位置および姿勢が、キャリブレーションに必要な複数の位置および姿勢（所望の複数の位置および姿勢）の各々に合致するよう、チャート４０の動かし方を導くことができる。これにより、撮像画像を補正するための補正パラメータの算出精度の低下を抑制できる。また、大きなチャート４０を用意する必要も無い。

以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

例えば上述した実施形態のキャリブレーション方法を、ステレオカメラのキャリブレーションに適用することもできる。ステレオカメラは、水平方向に所定の距離（基線長）を設けて配置された２つのカメラ（右カメラ、左カメラ）を有している。図１１の（Ａ）に示すように、互いの光軸方向が平行になるように配置する態様を「平行等位ステレオカメラ」と称する場合がある。また、図１１の（Ｂ）に示すように、互いの光軸方向が平行にならないように配置する場合もあり得る。何れの態様であっても、右カメラおよび左カメラの各々のキャリブレーションに、上述した実施形態のキャリブレーション方法を適用することができる。

（プログラム）
上述した情報処理装置２０のＣＰＵ２１が実行するプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１ システム
１０ 撮像装置
２０ 情報処理装置
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ 撮像Ｉ／Ｆ部
２５ 表示Ｉ／Ｆ部
２６ バス
３０ 表示装置
４０ チャート
２０１ 取得部
２０２ 制御部
２０３ 算出部
２０４ 補正部
２０５ 出力部

米国特許第６４３７８２３号明細書

上述した課題を解決し、目的を達成するために、本発明は、撮像装置による撮像で得られた撮像画像を取得する取得部と、複数の特徴点を有する被写体のかざし方を指示するための指示情報を生成する制御部と、を備える情報処理装置である。

Claims (16)

1. 撮像装置による撮像で得られた撮像画像を取得する取得部と、
   複数の特徴点を有する被写体のかざし方を指示するための指示情報を前記撮像画像に重畳した重畳画像を、表示装置に表示する制御を行う制御部と、を備える、
   情報処理装置。
2. 前記指示情報は、前記撮像装置に対する前記被写体の位置および姿勢を指示するための情報である、
   請求項１に記載の情報処理装置。
3. 前記指示情報は、前記被写体の位置および姿勢が、前記指示情報に対応する位置および姿勢と一致する場合に前記撮像画像に映り込むべき前記被写体の形状を表す情報である、
   請求項２に記載の情報処理装置。
4. 前記制御部は、
   前記撮像画像の画像領域を分割する複数の領域ごとに、対応する２以上の前記指示情報を順次に生成し、前記指示情報を生成するたびに、その生成した前記指示情報を前記撮像画像に重畳した前記重畳画像を前記表示装置に表示する制御を行って、前記表示装置に表示する前記重畳画像を切り替える、
   請求項１乃至３のうちの何れか１項に記載の情報処理装置。
5. 前記制御部は、
   前記複数の領域ごとに、該領域に対応して予め定められた前記被写体の２以上の位置および姿勢と１対１に対応する２以上の前記指示情報を順次に生成する、
   請求項４に記載の情報処理装置。
6. 前記制御部は、前記指示情報と、前記撮像画像に映り込んだ前記被写体との関係が所定の条件を満たす場合は、その場合の前記撮像画像と、その場合の前記撮像画像に映り込んだ前記複数の特徴点の位置とを含む特徴点データを取得して、次の前記指示情報を生成する、
   請求項４または５に記載の情報処理装置。
7. 前記指示情報は、前記被写体の位置および姿勢が、前記指示情報に対応する位置および姿勢と一致する場合に前記撮像画像に映り込むべき前記被写体の形状を表す情報であり、
   前記制御部は、前記撮像画像から抽出された特徴点の数が第１の閾値以上であり、かつ、前記指示情報が表す形状と、前記撮像画像に映り込んだ前記被写体の形状との差分が第２の閾値未満の場合は、前記所定の条件を満たすと判断する、
   請求項６に記載の情報処理装置。
8. 前記制御部は、前記指示情報と、前記撮像画像に映り込んだ前記被写体との関係が前記所定の条件を満たさない場合は、前記被写体の位置および姿勢の変更を促す報知を行う、
   請求項６または７に記載の情報処理装置。
9. 前記制御部は、
   前記複数の領域のうちの何れかの領域に対応する２以上の前記指示情報と１対１に対応する２以上の前記特徴点データを取得した場合、別の領域に対応する２以上の前記指示情報を順次に生成する、
   請求項６乃至８のうちの何れか１項に記載の情報処理装置。
10. 複数の前記特徴点データに基づいて、前記撮像画像を補正するための補正パラメータを算出する算出部をさらに備える、
    請求項６乃至９のうちの何れか１項に記載の情報処理装置。
11. 前記算出部は、前記複数の領域の各々について、該領域に対応する２以上の前記指示情報と１対１に対応する２以上の前記特徴点データが得られた場合、全ての前記指示情報と１対１に対応する複数の前記特徴点データに基づいて前記補正パラメータを算出する、
    請求項１０に記載の情報処理装置。
12. 前記算出部は、前記複数の領域のうち、何れかの領域に対応する２以上の前記指示情報と１対１に対応する２以上の前記特徴点データが得られるたびに、その得られた２以上の前記特徴点データに基づいて前記補正パラメータを算出する、
    請求項１０に記載の情報処理装置。
13. 前記指示情報は、前記被写体の位置および姿勢が、前記指示情報に対応する位置および姿勢と一致する場合に前記撮像画像に映り込むべき前記被写体の形状を表す情報であり、
    前記制御部は、前記複数の領域の各々について、該領域に対応する２以上の前記指示情報のうちの少なくとも１つが表す前記被写体の形状は、該領域と、該領域に隣接する他の領域とに跨るよう、該領域に対応する２以上の前記指示情報を順次に生成する、
    請求項４乃至１２のうちの何れか１項に記載の情報処理装置。
14. 撮像装置による撮像で得られた撮像画像を取得する取得ステップと、
    複数の特徴点を有する被写体のかざし方を指示するための指示情報を前記撮像画像に重畳した重畳画像を、表示装置に表示する制御を行う制御ステップと、を含む、
    情報処理方法。
15. コンピュータに、
    撮像装置による撮像で得られた撮像画像を取得する取得ステップと、
    複数の特徴点を有する被写体のかざし方を指示するための指示情報を前記撮像画像に重畳した重畳画像を、表示装置に表示する制御を行う制御ステップと、を実行させるためのプログラム。
16. 撮像装置と、情報処理装置と、表示装置とを含むシステムであって、
    複数の特徴点を有する被写体のかざし方を指示するための指示情報を、前記撮像装置による撮像で得られた撮像画像に重畳した重畳画像を、前記表示装置に表示する制御を行う制御部を備える、
    システム。

Images