JP7816018B2 - 情報処理装置、及び情報処理方法 - Google Patents

Description

本開示は、情報処理装置、及び情報処理方法に関する。

従来、画像データを用いて被写体の３次元モデルを生成する技術が知られている（例えば、特許文献１を参照）。

特開２０１８－０６３６９３号公報

しかしながら、従来技術では、例えば、被写体の３次元モデルを適切に生成できない場合がある。

本開示の目的は、被写体の３次元モデルを適切に生成することができる情報処理装置、及び情報処理方法を提供することである。

本開示に係る第１の態様では、被写体として特定の物体が含まれる画像を取得する取得部と、前記取得部により取得された画像と、前記特定の物体に応じた形状を示す情報と、前記特定の物体の各部の表面が撮影された角度と、に基づいて、前記特定の物体の３次元モデルを生成する生成部と、を有する情報処理装置が提供される。

また、本開示に係る第２の態様では、被写体として特定の物体が含まれる画像を取得し、取得した画像と、前記特定の物体に応じた形状を示す情報と、前記特定の物体の各部の表面が撮影された角度と、に基づいて、前記特定の物体の３次元モデルを生成する、処理を実行する情報処理方法が提供される。

一側面によれば、被写体の３次元モデルを適切に生成することができる。

実施形態に係る情報処理装置の構成の一例を示す図である。 実施形態に係る情報処理装置のハードウェア構成例を示す図である。 実施形態に係る情報処理装置の処理の一例を示すフローチャートである。 実施形態に係るガイド用モデルＤＢの一例を示す図である。 実施形態に係る特定の種別の机に対する物体の複数の部分間の対称性を示す情報の一例を示す図である。

本開示の原理は、いくつかの例示的な実施形態を参照して説明される。これらの実施形態は、例示のみを目的として記載されており、本開示の範囲に関する制限を示唆することなく、当業者が本開示を理解および実施するのを助けることを理解されたい。本明細書で説明される開示は、以下で説明されるもの以外の様々な方法で実装される。
以下の説明および特許請求の範囲において、他に定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、本開示が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。
以下、図面を参照して、本発明の実施形態を説明する。

＜構成＞
図１を参照し、実施形態に係る情報処理装置１０の構成について説明する。図１は、実施形態に係る情報処理装置１０の構成の一例を示す図である。図１の例では、情報処理装置１０は、取得部１１、生成部１２、及びガイド用モデルＤＢ４０１を有する。これら各部は、情報処理装置１０にインストールされた１以上のプログラムと、情報処理装置１０のプロセッサ１０１、及びメモリ１０２等のハードウェアとの協働により実現されてもよい。なお、情報処理装置１０は、例えば、サーバ、クラウドサーバ、パーソナルコンピュータ、スマートフォン等の情報処理装置でもよい。

取得部１１は、被写体として特定の物体が含まれる画像を取得する。なお、「物体」には、人物、及び動物等の生物も含まれてもよい。生成部１２は、例えば、取得部１１により取得された画像と、特定の物体に応じた形状を示す情報と、前記特定の物体の各部の表面が撮影された角度と、に基づいて、特定の物体の３次元モデルを生成する。ガイド用モデルＤＢ４０１は、物体に応じた形状を示す情報であるガイド用モデルを記憶する。

＜ハードウェア構成＞
図２は、実施形態に係る情報処理装置１０のハードウェア構成例を示す図である。図２の例では、情報処理装置１０（コンピュータ１００）は、プロセッサ１０１、メモリ１０２、通信インターフェイス１０３を含む。これら各部は、バス等により接続されてもよい。メモリ１０２は、プログラム１０４の少なくとも一部を格納する。通信インターフェイス１０３は、例えば、インターネット、ローカルネットワーク、バス等を介した他の装置との通信に必要なインターフェイスを含む。

プログラム１０４が、プロセッサ１０１及びメモリ１０２等の協働により実行されると、コンピュータ１００により本開示の実施形態の少なくとも一部の処理が行われる。メモリ１０２は、任意のタイプのものであってもよい。メモリ１０２は、非限定的な例として、非一時的なコンピュータ可読記憶媒体でもよい。また、メモリ１０２は、半導体ベースのメモリデバイス、磁気メモリデバイスおよびシステム、光学メモリデバイスおよびシステム、固定メモリおよびリムーバブルメモリなどの任意の適切なデータストレージ技術を使用して実装されてもよい。コンピュータ１００には１つのメモリ１０２のみが示されているが、コンピュータ１００にはいくつかの物理的に異なるメモリモジュールが存在してもよい。プロセッサ１０１は、任意のタイプのものであってよい。プロセッサ１０１は、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、および非限定的な例としてマルチコアプロセッサアーキテクチャに基づくプロセッサの１つ以上を含んでよい。コンピュータ１００は、メインプロセッサを同期させるクロックに時間的に従属する特定用途向け集積回路チップなどの複数のプロセッサを有してもよい。

本開示の実施形態は、ハードウェアまたは専用回路、ソフトウェア、ロジックまたはそれらの任意の組み合わせで実装され得る。いくつかの態様はハードウェアで実装されてもよく、一方、他の態様はコントローラ、マイクロプロセッサまたは他のコンピューティングデバイスによって実行され得るファームウェアまたはソフトウェアで実装されてもよい。

本開示はまた、非一時的なコンピュータ可読記憶媒体に有形に記憶された少なくとも１つのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、プログラムモジュールに含まれる命令などのコンピュータ実行可能命令を含み、対象の実プロセッサまたは仮想プロセッサ上のデバイスで実行され、本開示のプロセスまたは方法を実行する。プログラムモジュールには、特定のタスクを実行したり、特定の抽象データ型を実装したりするルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造などが含まれる。プログラムモジュールの機能は、様々な実施形態で望まれるようにプログラムモジュール間で結合または分割されてもよい。プログラムモジュールのマシン実行可能命令は、ローカルまたは分散デバイス内で実行できる。分散デバイスでは、プログラムモジュールはローカルとリモートの両方のストレージメディアに配置できる。

本開示の方法を実行するためのプログラムコードは、１つ以上のプログラミング言語の任意の組み合わせで書かれてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、またはその他のプログラム可能なデータ処理装置のプロセッサまたはコントローラに提供される。プログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／または実装するブロック図内の機能／動作が実行される。プログラムコードは、完全にマシン上で実行されるか、一部はマシン上で実行され、スタンドアロンソフトウェアパッケージとして実行されるか、一部はマシン上で実行され、一部はリモートマシン上で実行されるか、または完全にリモートマシンまたはサーバ上で実行される。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例には、磁気記録媒体、光磁気記録媒体、光ディスク媒体、半導体メモリ等が含まれる。磁気記録媒体には、例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ等が含まれる。光磁気記録媒体には、例えば、光磁気ディスク等が含まれる。光ディスク媒体には、例えば、ブルーレイディスク、ＣＤ（Compact Disc）－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ（Recordable）、ＣＤ－ＲＷ（ReWritable）等が含まれる。半導体メモリには、例えば、ソリッドステートドライブ、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）等が含まれる。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

＜処理＞
次に、図３から図５を参照し、実施形態に係る情報処理装置１０の処理の一例について説明する。図３は、実施形態に係る情報処理装置１０の処理の一例を示すフローチャートである。図４は、実施形態に係るガイド用モデルＤＢ（データベース）４０１の一例を示す図である。図５は、実施形態に係る特定の種別の机に対する物体の複数の部分間の対称性を示す情報の一例を示す図である。なお、図３の処理は、例えば、情報処理装置１０のユーザからの操作に応答して実行されてもよい。また、情報処理装置１０は、画像に基づいて物体検出した複数の被写体のそれぞれについて、図３の処理を実行してもよい。

ステップＳ１において、取得部１１は、被写体として特定の物体が含まれる１以上の画像を取得する。ここで、取得部１１は、撮影装置（カメラ）で撮影された一の静止画を取得してもよい。さらに、取得部１１は、撮像装置のほか、情報処理装置１０の内部の記憶装置や、情報処理装置１０の外部の記憶装置や、通信インターフェイス１０３を介してインターネットから画像を取得してもよい。また、取得部１１は、動画を取得してもよいし、動画の一部から静止画を取得してもよい。

画像には、３次元モデルを生成する対象が１つだけ撮影されていてもよいし、対象が複数撮影されていてもよい。また、対象が複数撮影されている場合、３次元モデルを生成する対象は、すべての対象でもよいし、一部の対象でもよい。対象の一部を選択するには、画像の手前に撮影された対象を取得部１１が自動的に選択してもよいし、ユーザに提示して選択させてもよい。

続いて、生成部１２は、取得部１１により取得された画像に基づいて、当該特定の物体の種別を認識する（ステップＳ２）。ここで、生成部１２は、例えば、ディープラーニング等のＡＩ（Artificial Intelligence）を用いて、当該特定の物体の種別（例えば、机、椅子）を認識してもよい。

続いて、生成部１２は、当該特定の物体に対するガイド用モデルを特定する（ステップＳ３）。ここで、生成部１２は、ガイド用モデルＤＢ４０１を参照し、当該特定の物体に対するガイド用モデルを特定してもよい。図４の例では、ガイド用モデルＤＢ４０１には、物体の種別ＩＤに対応付けて、ガイド用モデル（「特定の物体に応じた形状を示す情報」の一例。）が記録されている。ここで、物体の種別ＩＤとは、物体の種別の識別情報である。ガイド用モデルには、物体の複数の部分（部位、パーツ）間の対称性を示す情報、及び物体の概略３次元モデルが含まれている。ここで、ガイド用モデルには、例えば机であれば、形の異なる複数の机が記録されていてもよい。また、生成部１２は、複数のガイド用モデルをユーザに提示して、ユーザが１つのガイド用モデルを選択するようにしてもよい。

生成部１２は、ガイド用モデルを次のように特定してよい。まず、生成部１２は、画像から物体の種別を認識し、ガイド用モデルＤＢ４０１に記憶された物体の種別ＩＤの中から、認識された物体の種別と一致する物体の種別ＩＤを検索する。生成部１２は、検索された物体の種別ＩＤが１つであれば、その物体の種別ＩＤに対応づけられたガイド用モデルを特定する。

一方、生成部１２は、検索された物体の種別ＩＤが複数であれば、画像から仮の３次元モデルを作成する。次に、生成部１２は、複数の物体の種別ＩＤのうち、いずれかの物体の種別ＩＤを選択して、その物体の種別ＩＤに対応するガイド用モデルを仮のガイド用モデルとする。そして、生成部１２は、画像の撮影角度において、仮の３次元モデルと仮のガイド用モデルとを比較する。このとき、生成部１２は、仮のガイド用モデルを仮の３次元モデルに合わせてフィッティング（拡大、縮小、回転、移動）させ、仮のガイド用モデルで表現されている各パーツの大きさや位置を、仮の３次元モデルの各パーツに対応させる。生成部１２は、フィッティングさせた仮のガイド用モデルが仮の３次元モデルと予め定めた範囲内で一致すれば、この仮のガイド用モデルをガイド用モデルとして特定する。生成部１２は、仮の３次元モデルと完全に一致する仮のガイド用モデルをガイド用モデルとして特定するのみならず、一致する度合いを一致度として算出して、一致度が所定の値より高ければガイド用モデルとして特定してよい。生成部１２は、両者のモデルについて、対応する頂点同士の距離の二乗和を一致度として用いてよく、この値が小さいほど一致度を高く算出する。

一方、生成部１２は、検索された物体の種別ＩＤが複数で、かつ選択された種別ＩＤに対応付けられたガイド用モデルが仮の３次元モデルと予め定めた範囲内で一致しないか、または一致度が所定の値より高くない場合、複数の物体の種別ＩＤのうち、まだ選択されていないいずれかの物体の種別ＩＤを選択して、その物体の種別ＩＤに対応するガイド用モデルを仮のガイド用モデルとする。生成部１２は、仮のガイド用モデルに対して、上記と同様に比較から一致度の算出までを処理し、ガイド用モデルを特定する。生成部１２は、複数の物体の種別ＩＤのうち、まだ選択されていないいずれかの物体の種別ＩＤを選択できなくなるまで以上の処理を繰り返す。

生成部１２は、ガイド用モデルＤＢ４０１に記憶された全てのガイド用モデルについて一致度を算出し、一致度が最も高いものをガイド用モデルとして特定してよい。生成部１２は、一致度が所定の値より高いモデルをユーザに提示して、ユーザが１つのガイド用モデルを選択するようにしてもよい。

物体の複数の部分間の対称性を示す情報は、物体の複数の部分での対称性を示す情報である。物体の複数の部分間の対称性を示す情報には、対称性を有する複数の部分を示す情報と、対称性の種別を示す情報との組み合わせのデータが含まれてもよい。対称性を有する複数の部分を示す情報は、例えば、物体の概略３次元モデルにおける２以上の部分を示す情報でもよい。これにより、生成部１２は、例えば、画像に基づいて認識された特定の物体の種別に基づいて、当該特定の物体のある部分（第１部分）の形状と、第1部分とは異なる部分（第２部分）の形状とに対称性があることを特定できる。

対称性の種別には、例えば、並進対称、回転対称、及び鏡像対称が含まれてもよい。なお、並進対称とは、例えば、概略３次元モデルのある部分（第１部分）を平行移動すると、第1部分とは異なる部分（第２部分）に合致することを示す。回転対称とは、例えば、第１部分を特定の角度で回転させると第２部分に合致することを示す。なお、対称性の種別を示す情報には、回転対称である場合の当該特定の角度を示す情報が含まれてもよい。鏡像対称とは、例えば、第１部分の鏡像が第２部分に合致することを示す。また、概略３次元モデルの第１部分と第２部分とが異なる大きさであってもよい。

物体の概略３次元モデルは、物体の大まかな形状を示す３次元モデルである。物体の概略３次元モデルには、例えば、物体の表面上の各点（頂点）を示す点群データが含まれてもよい。また、物体の概略３次元モデルには、例えば、物体の各表面部分を示すデータ（例えば、サーフェスモデル）が含まれてもよい。物体の概略３次元モデルは、例えば、情報処理装置１０のユーザにより、立方体、円柱、円錐、球等の特定の立法図形を組み合わせて作成されてもよい。また、物体の複数の部分間の対称性を示す情報は、例えば、情報処理装置１０のユーザにより、各立法図形に対応付けて（各立法図形のメタデータとして）設定されてもよい。

図４及び図５の例では、概略３次元モデル５０１に対応付けて、机Ａの天板部分５３０の４つの辺５１１Ａ～Ｄについて、５１１Ａと５１１Ｃとが並進対称、５１１Ｂと５１１Ｄとが並進対称、５１１Ａと５１１Ｂとが９０度の回転対称（４回回転対称）であることが示されている。また、机の４つの脚５２１Ａ～Ｄが並進対称であることが示されている。

なお、ガイド用モデルＤＢ４０１は、情報処理装置１０の内部の記憶装置に記録されていてもよい。また、ガイド用モデルＤＢ４０１は、情報処理装置１０の外部の記憶装置（例えば、ＤＢサーバ）に記録されていてもよい。この場合、情報処理装置１０は、例えば、インターネット等を介してガイド用モデルＤＢ４０１に記録されている情報を取得してもよい。なお、ガイド用モデルＤＢ４０１に記録されているデータは、例えば、情報処理装置１０のユーザ等により登録されていてもよい。

続いて、生成部１２は、取得部１１により取得された画像等に基づいて、当該特定の物体の３次元モデルを生成する（ステップＳ４）。ここで、生成部１２は、まず、取得部１１により取得された一の静止画に基づいて、ＡＩ等を用いて３次元モデルを生成してもよい。なお、この処理は、公知の技術を用いて実行してもよい。また、生成部１２は、ステップＳ３で仮の３次元モデルを作成した場合にはそれをステップＳ４の３次元モデルとして利用し、ステップＳ４では３次元モデルを生成しないようにしてもよい。

そして、生成部１２は、画像から生成した３次元モデルを、ガイド用モデルに含まれる概略３次元モデルに基づいて補正してもよい。この場合、生成部１２は、まず、概略３次元モデルを拡大、縮小、回転、及び移動させながら、最小二乗法等を用いて画像から生成した３次元モデルとフィッティングさせ、概略３次元モデルで表現されている各部分（パーツ）の大きさ及び位置を特定してもよい。これは、生成部１２が、両者のモデルについて、対応する頂点同士の距離の二乗和が最小となるように概略３次元モデルを変形することである。生成部１２は、この変形を３次元モデルの各部分ごとに処理してもよいし、頂点の代わりに任意の点を用いてもよい。

そして、生成部１２は、画像から生成した３次元モデルについて、フィッティングさせた概略３次元モデルからはみ出る部分の丸め込みを行ってもよい。この場合、生成部１２は、例えば、画像から生成した３次元モデルの各頂点について、フィッティングさせた概略３次元モデルの外側にある頂点を、フィッティングさせた概略３次元モデルの内側へと移動させてもよい。また、生成部１２は、例えば、画像から生成した３次元モデルの各頂点について、フィッティングさせた概略３次元モデルの外側にある頂点を、フィッティングさせた概略３次元モデルの各頂点のうち最も距離が近い頂点で置換してもよい。

なお、生成部１２は、画像から生成した３次元モデルについて、信頼度、後述する正対度及び鮮明度のいずれかが閾値以上である部分については、丸め込みを行わないようにしてもよい。

信頼度とは、生成した３次元モデルが信頼できる度合いを示す指標であって、１つの３次元モデルについて１つ以上の値を持つ。生成部１２は、生成した３次元モデル表面の法線方向と画像の撮影角度が近いほど、信頼度を高く算出する。また、生成部１２は、３次元モデルの部分ごとに信頼度を算出してもよい。ここで、画像の撮影角度は、取得部１１が画像の撮影時に記録しておいてもよいし、生成部１２が画像から撮影角度を推定してもよい。さらに、生成部１２は、生成した３次元モデル表面と撮影装置との間に遮蔽物があるか否かを推定し、遮蔽の度合いに応じて信頼度を算出してもよい。

ここで、生成部１２が生成した３次元モデル表面の法線とは、生成した３次元モデルの全ての面に対する面法線であり、１つの面に１つの法線をもつ。ただし、生成部１２が生成した３次元モデルに曲面部分や突起部分がある場合には、生成部１２は複数の法線を算出して、複数ある法線の中から画像の撮影角度に最も近い法線を代表として選択してよい。生成部１２は、生成した３次元モデルに曲面部分や突起部分がなくても、複数の面の法線をまとめて１つの法線としてもよい。たとえば、生成部１２は複数の面のうち最も大きな面積の法線を選択するか、それぞれの面の法線の平均を取ってもよい。ここで、平均とは、法線が画像の撮影角度となす角度に対する平均であり、法線は単位法線ベクトルでよい。生成部１２は、平均の代わりにベクトルの合成、最大値、最小値、中央値、最頻値を選択してもよく、任意の面を代表値としてもよい。このとき、最小値であれば生成した３次元モデルの信頼度が高く算出されて３次元モデルの補正がされにくくなる傾向となり、最大値であれば生成した３次元モデルの信頼度が低く算出されて３次元モデルの補正がされやすくなる傾向となる。

また、生成部１２は、法線として頂点法線を用いてもよい。生成部１２は、複数の面の法線をまとめて１つの法線とする際に、複数の面を共有する頂点の頂点法線を用いてもよい。生成部１２は、面法線と頂点法線を組み合わせてもよい。

さらに、生成部１２は、法線として１つの面の重心からの法線を算出してもよいし、複数の面をまとめて重心を算出して、その重心からの法線を用いてもよい。加えて、生成部１２は、任意の点からの法線を算出してもよいし、所定の間隔ごとに法線を求めてもよい。また、生成部１２は、複数の面に接する接平面を算出して、その接平面からの法線を用いてもよい。

続いて、生成部１２は、特定の物体の各部の表面が撮影された角度（撮影角度）等に基づいて、当該特定の物体の３次元モデルを生成（補正）する（ステップＳ５）。これにより、例えば、当該特定の物体のある部分が撮影装置から見て奥行方向に延びている場合、当該部分の３次元モデルをガイド用モデルに基づいて補正することができる。

この場合、生成部１２は、当該特定の物体の特定部分の表面が撮影された角度が特定の条件を満たす場合、３次元モデルの当該特定部分を、概略３次元モデルに合致させてもよい。この場合、生成部１２は、例えば、当該特定部分の表面が撮影装置に正対している度合いを示す正対度が閾値以下である場合、当該特定部分の表面が撮影された角度が特定の条件を満たすと判定してもよい。そして、生成部１２は、例えば、画像から生成した３次元モデルにおける当該特定部分の各頂点について、フィッティングさせた概略３次元モデルの外側にある頂点を、フィッティングさせた概略３次元モデルの内側へと移動させてもよい。また、生成部１２は、例えば、画像から生成した３次元モデルにおける当該特定部分の各頂点について、フィッティングさせた概略３次元モデルの外側にある頂点を、フィッティングさせた概略３次元モデルの各頂点のうち最も距離が近い頂点で置換してもよい。

また、生成部１２は、さらに、物体の複数の部分間の対称性を示す情報に基づいて、当該特定の物体の３次元モデルを生成（補正）してもよい。これにより、例えば、一の静止画から対象の物体の３次元モデルを生成するというタスクにおいて、既存の手法にて生成した３次元モデルに対して補正を行うことができる。そのため、例えば、既存手法にて生成されたモデルの精度を向上させ、入力となる静止画にて見えていない部分についても情報量を増やすことができる。

この場合、生成部１２は、画像から生成された当該特定の物体の３次元モデルのうち、第１正対度である第１部分の少なくとも一部の３次元モデルに基づいて、当該部分と対称性を有し、第１正対度よりも低い第２正対度である第２部分の少なくとも一部の３次元モデルを生成してもよい。これにより、例えば、画像において比較的正面を向いている部分の３次元モデルに基づいて、当該部分と対称性を有し、比較的正面を向いていない他の部分の３次元モデルを生成できる。そのため、当該他の部分の３次元モデルの精度を向上させることができる。

この場合、生成部１２は、例えば、当該部分の表面の各領域の法線の向きと、撮影装置から当該部分への向きとの角度である撮影角度の代表値（例えば、平均値、中央値、または最頻値）が小さいほど、当該部分に対する正対度を高く決定してもよい。そして、生成部１２は、例えば、対称性を有する第１部分及び第２部分のうち、正対度が比較的高い第１部分の３次元モデルにて、第２部分の３次元モデルを置換してもよい。なお、生成部１２は、例えば、撮影装置から当該部分の重心位置への向き、または撮影装置から当該部分の表面の各領域への向きの代表値を、撮影装置から当該部分への向きとして算出してもよい。

また、生成部１２は、画像から生成された当該特定の物体の３次元モデルのうち、当該画像における鮮明度が第１鮮明度である第１部分の少なくとも一部の３次元モデルに基づいて、当該画像における鮮明度が第１鮮明度よりも小さい第２鮮明度である第２部分の少なくとも一部の３次元モデルを生成してもよい。なお、鮮明度は、例えば、画像において当該特定の物体の各部が鮮明に撮影されている度合いを示す情報である。これにより、例えば、画像において比較的照明が当たっている部分の３次元モデルに基づいて、当該部分と対称性を有し、比較的照明が当たっていない他の部分の３次元モデルを生成できる。そのため、当該他の部分の３次元モデルの精度を向上させることができる。

この場合、生成部１２は、例えば、取得部１１により取得された画像における、当該特定の物体のある部分が写されている領域の各画素の鮮明度の代表値（例えば、平均値、中央値、または最頻値）が大きいほど、当該部分に対する鮮明度を高く決定してもよい。そして、生成部１２は、例えば、対称性を有する第１部分及び第２部分のうち、鮮明度が比較的高い第１部分の３次元モデルにて、第２部分の３次元モデルを置換してもよい。なお、生成部１２は、例えば、画像におけるある領域の輝度（照度）、コントラスト、及び解像度の少なくとも一つが高いほど、当該領域の鮮明度の値を高く決定してもよい。

ここで、取得部１１は画像を撮影する際に信頼度を算出し、画像と信頼度とを取得してもよい。取得部１１は、これら画像と信頼度とを情報処理装置１０の内部の記憶装置に記憶してもよい。また、取得部１１は動画を撮影しながら信頼度を算出し、信頼度が高い状態を判定して、そのときの画像と信頼度とを取得してもよい。さらに、取得部１１は信頼度の情報を持たない画像に対して、画像から信頼度を算出してもよいし、画像の付加情報に基づいて信頼度を算出してもよい。この信頼度は、正対度や鮮明度のいずれかとしてもよい。

＜その他＞
従来、画像から３次元モデルを生成する手法は、一つの静止画から生成するもの、それぞれ異なる視点から撮影された複数の画像を用いるもの、動画を用いるもの等に分類することができる。また、３次元モデルの生成方法については、画像に写されている情報のみから生成するボリュメトリックな手法と、予め設定されている対象物の形状的特徴も用いて生成するパラメトリックな手法に分類することができる。

一つの静止画から生成する手法等において、ボリュメトリックな手法の場合、画像に写されている部分については比較的正確な３次元化が期待できるが、画像に写されていない部分（例えば、奥行き方向）の精度が低下する（比較的大きな誤差が生じる）場合がある。また、一つの静止画から生成する手法等において、パラメトリックな手法の場合、形状的特徴を設定するために大量のデータの分析が必要であるため、ユーザが容易に利用できる手法とはなっていない。一方、本開示の技術によれば、被写体の３次元モデルを適切に生成することができる。なお、本開示の技術によれば、例えば、オフィス等が撮影された一の静止画から、当該オフィスに存在する１以上の物体の３次元モデルを適切に生成できる。生成された３次元モデルは、例えば、メタバース（コンピュータ上の３次元の仮想空間）等に用いられてもよい。

＜変形例＞
情報処理装置１０は、一つの筐体に含まれる装置でもよいが、本開示の情報処理装置１０はこれに限定されない。情報処理装置１０の各部は、例えば１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。この場合、例えば、生成部１２の処理のうち少なくとも一部（例えば、図３のステップＳ４の処理）を、他の装置で実行させてもよい。これらのような情報処理装置についても、本開示の「情報処理装置」の一例に含まれる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１０ 情報処理装置
１１ 取得部
１２ 生成部
４０１ ガイド用モデルＤＢ

Claims (4)

1. 被写体として特定の物体が含まれる画像を取得する取得部と、
   前記取得部により取得された画像と、前記特定の物体に応じた形状を示す情報と、前記特定の物体の各部の表面が撮影された角度と、に基づいて、前記特定の物体の３次元モデルを生成する生成部と、を有し、
   前記生成部は、前記特定の物体の特定部分の表面が撮影された角度が特定の条件を満たす場合、前記３次元モデルの当該特定部分を、前記特定の物体に応じた形状に合致させる、
   情報処理装置。
2. 前記特定の物体に応じた形状を示す情報には、前記特定の物体が有する第１部分の形状と第２部分の形状とに対称性があることを示す情報が含まれる、
   請求項１に記載の情報処理装置。
3. 前記生成部は、前記画像から生成された前記特定の物体の３次元モデルのうち、表面が撮影装置に正対している度合いを示す正対度が第１正対度である第１部分の少なくとも一部の３次元モデルに基づいて、前記第１正対度よりも低い第２正対度である第２部分の少なくとも一部の３次元モデルを生成する、
   請求項１または２に記載の情報処理装置。
4. 被写体として特定の物体が含まれる画像を取得し、
   取得した画像と、前記特定の物体に応じた形状を示す情報と、前記特定の物体の各部の表面が撮影された角度と、に基づいて、前記特定の物体の３次元モデルを生成し、
   前記特定の物体の特定部分の表面が撮影された角度が特定の条件を満たす場合、前記３次元モデルの当該特定部分を、前記特定の物体に応じた形状に合致させる、
   処理を実行する情報処理方法。