JP7775151B2 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

Description

本発明の実施形態は、情報処理装置、情報処理方法、および情報処理プログラムに関する。

撮影画像に含まれる被写体を検出する技術が開示されている。例えば、撮影画像に含まれる被写体のパーツを検出し、被写体を構成する複数パーツの内の未検出のパーツの有無を判別する技術が開示されている。

しかしながら、従来技術では、単に未検出のパーツの有無を判別するのみであり、被写体の特定のパーツ等の特定対象領域の全体が写り込むように撮影の支援を行うことは困難であった。

国際公開第２０２０／２１７８１２号公報

本発明は、上記に鑑みてなされたものであって、特定対象の撮影を支援することができる、情報処理装置、情報処理方法、および情報処理プログラムを提供することを目的とする。

実施形態の情報処理装置は、特定対象領域検出部と、写込領域検出部と、判定部と、を備える。特定対象領域検出部は、撮影画像から特定対象の特定対象領域を検出する。写込領域検出部は、前記撮影画像から前記特定対象の写込領域を検出する。判定部は、前記特定対象領域および前記写込領域に基づいて前記特定対象の非写込領域を判定する。前記特定対象領域は、前記撮影画像に写り込む遮蔽物による前記特定対象の隠れ領域を含み且つ前記特定対象の全体を含む領域である。

情報処理システムの構成を示すブロック図。 特定対象領域の検出の説明図。 特定対象領域の検出の説明図。 特定対象領域の検出の説明図。 写込領域の検出の説明図。 写込領域の検出の説明図。 写込領域の検出の説明図。 隠れ領域の判定の説明図。 見切領域の判定の説明図。 表示画面の一例の模式図。 情報処理の流れを示すフローチャート。 ハードウェア構成図。

以下に添付図面を参照して、情報処理装置、情報処理方法、および情報処理プログラムを詳細に説明する。

図１は、本実施形態の情報処理システム１の構成の一例を示すブロック図である。

情報処理システム１は、情報処理装置１０を備える。

情報処理装置１０は、特定対象の撮影を支援するための情報処理装置である。特定対象の詳細は後述する。

情報処理装置１０は、撮影部１２と、記憶部１４と、通信部１６と、ＵＩ（ユーザ・インタフェース）部１８と、制御部２０と、を備える。撮影部１２、記憶部１４、通信部１６、ＵＩ部１８、および制御部２０は、バス１９等を介して通信可能に接続されている。

撮影部１２は、撮影によって撮影画像データを取得する。以下では、撮影画像データを、撮影画像と称して説明する。記憶部１４は、各種の情報を記憶する。

通信部１６は、情報処理装置１０の外部の情報処理装置と通信するめの通信インターフェースである。例えば、通信部１６は、Ｅｔｈｅｒｎｅｔ（登録商標）等の有線ネットワーク、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線ネットワーク、等により外部の情報処理装置や電子機器と通信する。

ＵＩ部１８は、出力部１８Ａおよび入力部１８Ｂを含む。

出力部１８Ａは、各種の情報を出力する。出力部１８Ａは、例えば、ディスプレイである表示部、スピーカ、投影装置等である。入力部１８Ｂは、ユーザによる操作指示を受付ける。入力部１８Ｂは、例えば、マウスおよびタッチパッドなどのポインティングデバイス、キーボード、等である。ＵＩ部１８は、出力部１８Ａと入力部１８Ｂとを一体的に構成したタッチパネルであってもよい。

制御部２０は、情報処理装置１０において情報処理を実行する。制御部２０は、取得部２０Ａと、特定対象領域検出部２０Ｂと、写込領域検出部２０Ｃと、判定部２０Ｄと、特定部２０Ｅと、出力制御部２０Ｆと、を備える。

取得部２０Ａ、特定対象領域検出部２０Ｂ、写込領域検出部２０Ｃ、判定部２０Ｄ、特定部２０Ｅ、および出力制御部２０Ｆは、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣなどのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

なお、制御部２０含まれる上記各部の内に少なくとも１つを、ネットワーク等を介して情報処理装置１０に通信可能に接続された外部の情報処理装置に搭載した構成としてもよい。また、記憶部１４に記憶される各種の情報の内の少なくとも１つを、ネットワーク等を介して情報処理装置１０に通信可能に接続された外部の記憶装置に記憶してもよい。また、撮影部１２、記憶部１４、およびＵＩ部１８の少なくとも一つを、情報処理装置１０に対して通信可能に接続された外部の情報処理装置に搭載した構成としてもよい。この場合、外部に搭載した構成要素と情報処理装置１０とを含むシステムを、情報処理システム１として構成すればよい。

取得部２０Ａは、処理対象の撮影画像を取得する。例えば、取得部２０Ａは、撮影部１２で撮影された撮影画像を該撮影部１２から取得する。取得部２０Ａは、記憶部１４から撮影画像を取得してもよい。また、取得部２０Ａは、通信部１６およびネットワークを介して情報処理装置１０に接続された外部の情報処理装置から撮影画像を取得してもよい。

特定対象領域検出部２０Ｂは、撮影画像から特定対象の特定対象領域を検出する。特定対象領域検出部２０Ｂは、取得部２０Ａで取得した撮影画像から特定対象領域を検出する。特定対象領域を検出する、とは、撮影画像に対する、特定対象領域の位置、大きさ、および範囲を検出することを意味する。

特定対象とは、対象に含まれる特定の要素を意味する。

対象とは、撮影支援対象の被写体である。対象は、生物および非生物の何れであってもよい。生物は、例えば、人物、植物、犬などの動物、細胞、などである。非生物は、橋梁や建物などの建造物、自動車等の移動体、非移動体、などである。本実施形態では、対象が人物である形態を一例として説明する。

特定対象は、対象の少なくとも一部の要素である。対象が人物である場合、特定対象は、例えば、人物の一部分であってもよく、人物の全身であってもよい。具体的には、対象が人物である場合、特定対象は、人物の頭部、上半身、下半身、脚部、全身、などの何れであってもよい。また、対象が橋梁である場合、特定対象は、例えば、橋梁全体、橋梁の一部を構成する橋脚部分、などである。特定対象は、撮影支援の適用対象などに応じて予め定めればよい。また、特定対象は、ユーザによる入力部１８Ｂの操作指示などによって適宜変更可能としてもよい。本実施形態では、特定対象が、人物の全身である形態を一例として説明する。

特定対象領域は、特定対象の、撮影画像に写り込んだ領域および撮影画像に写り込んでいない領域の全てを含む領域である。詳細には、特定対象領域は、撮影画像の撮影範囲を拡大した仮想拡大領域に含まれる、特定対象の全体を含む領域である。

対象が人物であり、特定対象が人物の全身である場合を想定する。また、人物の全身の内の一部分が撮影画像から見切れた状態となっており、且つ、撮影画像内において人物の全身の内の一部分が他の物体等によって隠れた状態となっている場合を想定する。この場合、特定対象領域は、人物の全身の内の見切領域および隠れ領域の双方を含む該人物の全身を含む領域である。

特定対象領域は、特定対象を含む領域であればよく、その形状は限定されない。例えば、特定対象領域は、特定対象の外形に沿った枠線内の領域、特定対象を囲む予め定めた形状の枠線内の領域、などである。特定対象を囲む枠線の形状は限定されない。例えば、特定対象領域を表す枠線の形状は、多角形状、矩形状、楕円状、円状、等の何れであってもよい。

なお、特定対象領域は、特定対象の少なくとも一部に外接する枠線によって囲まれた領域であることが好ましい。例えば、特定対象領域は、撮影画像に含まれる人物の外形に少なくとも一部が接する枠線によって囲まれた領域であることが好ましい。

本実施形態では、特定対象領域が、特定対象の一例である人物の全身を囲み、且つ撮影画像に含まれる人物の外形の少なくとも一部に外接する矩形状の枠線によって囲まれた矩形領域である形態を一例として説明する。すなわち、本実施形態では、特定対象領域を、撮影画像に対する位置、大きさ、および範囲を表す矩形状の枠線によって囲まれた矩形領域で表す形態を一例として説明する。

図２Ａ～図２Ｃは、特定対象領域３２の検出の一例の説明図である。

図２Ａは、取得部２０Ａが撮影画像３０Ａを取得した場合の一例の説明図である。撮影画像３０Ａは、撮影画像３０の一例である。

例えば、取得部２０Ａが、特定対象Ｐの一例である人物の全身の内、脚部分が遮蔽物Ｃによって隠された撮影画像３０Ａを取得した場面を想定する。この場合、特定対象領域検出部２０Ｂは、特定対象Ｐの遮蔽物Ｃによる隠れ領域を含み且つ特定対象Ｐの一例である人物の全身を囲む矩形状の領域を、特定対象領域３２Ａとして撮影画像３０Ａから検出する。

図２Ｂは、取得部２０Ａが撮影画像３０Ｂを取得した場合の一例の説明図である。撮影画像３０Ｂは、撮影画像３０の一例である。

例えば、取得部２０Ａが、特定対象Ｐの一例である人物の全身の内、脚部分が撮影画像３０から見切れた撮影画像３０Ｂを取得した場面を想定する。この場合、特定対象領域検出部２０Ｂは、撮影画像３０Ｂの撮影範囲を拡大した仮想拡大領域３５に含まれる、撮影画像３０Ｂから見切れた見切領域を含み且つ特定対象Ｐの一例である人物の全身を囲む矩形状の領域を、特定対象領域３２Ｂとして撮影画像３０Ｂから検出する。

図２Ｃは、取得部２０Ａが撮影画像３０Ｃを取得した場合の一例の説明図である。撮影画像３０Ｃは、撮影画像３０の一例である。

例えば、取得部２０Ａが、特定対象Ｐの一例である人物の全身が撮影画像３０Ｃ内に写り込み、且つ、人物の全身が遮蔽物Ｃなどによって隠されていない撮影画像３０Ｃを取得した場面を想定する。この場合、特定対象領域検出部２０Ｂは、特定対象Ｐの一例である人物の全身を囲む矩形状の領域を、特定対象領域３２Ｃとして撮影画像３０Ｃから検出する。

これらの処理によって、特定対象領域検出部２０Ｂは、撮影画像３０から、撮影画像３０に対する位置、大きさ、および範囲を表す矩形状の枠線によって囲まれた矩形領域である特定対象領域３２を検出する。

図１に戻り説明を続ける。

特定対象領域検出部２０Ｂは、第１学習モデルを用いて撮影画像３０から特定対象領域３２を検出する。

特定対象領域３２の検出に用いる第１学習モデルは、撮影画像３０を入力とし、特定対象領域３２を出力とするモデルである。第１学習モデルには、例えば、撮影画像３０の分類結果である特定対象領域３２として、特定対象Ｐの一例である人物の全身を囲む矩形領域を出力する機械学習モデルを用いればよい。

特定対象領域３２の検出に用いる第１学習モデルは、予め学習し記憶部１４に記憶すればよい。特定対象領域３２の検出に用いる学習モデルには、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、セマンティックセグメンテーション、ＳＶＭ（サポートベクトルマシン）等の公知の機械学習方法を用いたモデルを用いればよい。

例えば、非特許文献１に示される機械学習方法を用いた学習モデルを想定する。非特許文献１には、学習用画像と正解矩形との複数のペアからなる学習データを用いて学習を行うことで、所望の矩形を出力する検出器を学習することが開示されている。また、一般的な物体検出処理では、学習用画像からはみ出した領域を含む矩形領域を出力矩形として検出した場合、該出力矩形から該はみ出した領域をクリッピングした上で、検出結果を表す出力矩形として出力することが行われている。このため、本実施形態では、該クリッピング処理を行わないように更に学習することで、撮影画像３０から本実施形態の特定対象領域３２を検出する第１学習モデルを予め学習すればよい。

非特許文献１：Ren, Shaoqing, Kaiming He, Ross Girshick, and Jian Sun. "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks." Advances in Neural Information Processing Systems . Vol. 28, 2015.

特定対象領域検出部２０Ｂは、取得部２０Ａで取得した撮影画像３０を特定対象領域３２の検出に用いる第１学習モデルへ入力することで、第１学習モデルからの出力として特定対象領域３２を検出する。すなわち、特定対象領域検出部２０Ｂは、撮影画像３０を第１学習モデルへ入力することで、該撮影画像３０に対する位置、大きさ、および範囲を表す矩形領域の情報を、特定対象領域３２として検出する。

写込領域検出部２０Ｃは、撮影画像３０から特定対象Ｐの写込領域を検出する。写込領域検出部２０Ｃは、取得部２０Ａで取得した撮影画像３０から写込領域を検出する。写込領域を検出する、とは、撮影画像３０に対する、写込領域の位置、大きさ、および範囲を検出することを意味する。

写込領域とは、特定対象Ｐにおける撮影画像３０に写り込んだ領域を表す。詳細には、写込領域は、特定対象Ｐにおける、撮影画像３０において遮蔽物Ｃなどによって隠されていない領域、すなわち撮影画像３０に像として写り込んだ領域を表す。

写込領域は、特定対象Ｐの撮影画像３０に写り込んだ領域であればよく、その形状は限定されない。例えば、写込領域は、特定対象Ｐの撮影画像３０に写り込んだ部分の外形に沿った枠線内の領域、特定対象Ｐの撮影画像３０に写り込んだ部分を囲む予め定めた形状の枠線内の領域、などである。特定対象Ｐの撮影画像３０に写り込んだ部分を囲む枠線の形状は限定されない。例えば、写込領域を表す枠線の形状は、多角形状、矩形状、楕円状、円状、等の何れであってもよい。

また、写込領域を表す枠線の形状は、特定対象領域３２を表す枠線の形状と同じ形状であってもよく、異なる形状であってもよい。本実施形態では、写込領域が特定対象Ｐにおける撮影画像３０に写り込んだ領域を囲む矩形状の枠線によって囲まれた領域である形態を一例として説明する。すなわち、本実施形態では、写込領域を、撮影画像３０に対する位置、大きさ、および範囲を表す矩形状の枠線によって囲まれた矩形領域で表す形態を一例として説明する。

本実施形態では、写込領域および特定対象領域３２を表す枠線の形状が、矩形状である形態を一例として説明する。なお、写込領域および特定対象領域３２を表す矩形状の枠線の形状は、撮影画像３０に写り込む特定対象Ｐに応じて、アスペクト比およびサイズの少なくとも一方が異なるものとなる場合があることはいうまでもない。

図３Ａ～図３Ｃは、写込領域３４の検出の一例の説明図である。

図３Ａは、取得部２０Ａが撮影画像３０Ａを取得した場合の一例の説明図である。図３Ａおよび図２Ａに示す撮影画像３０Ａは同じ撮影画像３０の一例である。

例えば、取得部２０Ａが撮影画像３０Ａを取得した場面を想定する。この場合、写込領域検出部２０Ｃは、特定対象Ｐの一例である人物の全身の内、撮影画像３０に写り込んだ領域、すなわち、撮影画像３０Ａ内において遮蔽物Ｃに隠されていない領域を囲む矩形状の領域を、写込領域３４Ａとして撮影画像３０Ａから検出する。

図３Ｂは、取得部２０Ａが撮影画像３０Ｂを取得した場合の一例の説明図である。図３Ｂおよび図２Ｂに示す撮影画像３０Ｂは同じ撮影画像３０の一例である。

例えば、取得部２０Ａが撮影画像３０Ｂを取得した場面を想定する。この場合、写込領域検出部２０Ｃは、特定対象Ｐの一例である人物の全身の内、撮影画像３０に写り込んだ領域を囲む矩形状の領域を、写込領域３４Ｂとして撮影画像３０Ｂから検出する。

図３Ｃは、取得部２０Ａが撮影画像３０Ｃを取得した場合の一例の説明図である。図３Ｃおよび図２Ｃに示す撮影画像３０Ｃは同じ撮影画像３０の一例である。

例えば、取得部２０Ａが撮影画像３０Ｃを取得した場面を想定する。この場合、特定対象領域検出部２０Ｂは、特定対象Ｐの一例である人物の全身の内、撮影画像３０に写り込んだ領域を囲む矩形状の領域を、写込領域３４Ｃとして撮影画像３０Ｃから検出する。

これらの処理によって、写込領域検出部２０Ｃは、撮影画像３０から、撮影画像３０に対する位置、大きさ、および範囲を表す矩形状の枠線によって囲まれた矩形領域である写込領域３４を検出する。

図１に戻り説明を続ける。写込領域検出部２０Ｃは、第２学習モデルを用いて撮影画像３０から写込領域３４を検出する。

写込領域３４の検出に用いる第２学習モデルは、撮影画像３０を入力とし、写込領域３４を出力とするモデルである。第２学習モデルには、例えば、撮影画像３０から分類結果である写込領域３４として特定対象Ｐにおける撮影画像３０に写り込んだ部分を囲む矩形領域を出力する機械学習モデルを用いればよい。

写込領域３４の検出に用いる第２学習モデルは、予め学習し記憶部１４に記憶すればよい。写込領域３４の検出に用いる第２学習モデルには、例えば、ＣＮＮ、セマンティックセグメンテーション、ＳＶＭ等の公知の機械学習方法を用いたモデルを用いればよい。具体的には、第２学習モデルには、例えば、非特許文献１に示される機械学習方法を用いた学習モデルを用いればよい。

写込領域検出部２０Ｃは、取得部２０Ａで取得した撮影画像３０を写込領域３４の検出に用いる第２学習モデルへ入力することで、第２学習モデルからの出力として写込領域３４を検出する。すなわち、写込領域検出部２０Ｃは、撮影画像３０を第２学習モデルへ入力することで、該撮影画像３０に対する位置、大きさ、および範囲を表す矩形領域の情報を、写込領域３４として検出する。

次に判定部２０Ｄについて説明する。

判定部２０Ｄは、特定対象領域３２および写込領域３４に基づいて、特定対象Ｐの非写込領域を判定する。

非写込領域とは、特定対象Ｐにおける撮影画像３０に写り込んでいない領域を表す。詳細には、非写込領域は、特定対象Ｐにおける、撮影画像３０において遮蔽物Ｃなどによって隠された隠れ領域、および、撮影画像３０から見切れた見切領域、の少なくとも一方を含む領域である。

隠れ領域とは、特定対象Ｐにおける、撮影画像３０内において遮蔽物Ｃ等の他の物体に隠されることで撮影画像３０に写り込んでいない領域を意味する。言い換えると、隠れ領域は、特定対象Ｐにおける、撮影画像３０の撮影画角内に存在しているが、遮蔽物Ｃ等の他の物体によって撮影部１２の死角に位置する領域である。

例えば、取得部２０Ａが、撮影画像３０Ａ（図２Ａ、図３Ａ参照）を取得した場面を想定する。撮影画像３０Ａは、図２Ａおよび図３Ａに示すように、特定対象Ｐの一例である人物の全身の内、脚部分が遮蔽物Ｃによって隠された撮影画像３０である。この場合、特定対象Ｐの内、撮影画像３０Ａにおいて遮蔽物Ｃによって隠された領域が、隠れ領域に相当する。図２Ａおよび図３Ａに示す撮影画像３０Ａの場合、特定対象Ｐの一例である人物の全身の内、遮蔽物Ｃによって隠された領域である脚の一部の領域が、隠れ領域に相当する。

見切領域とは、特定対象Ｐにおける、撮影画像３０から見切れた領域を意味する。言い換えると、見切領域とは、特定対象Ｐにおける、撮影画像３０の撮影画角の外側の領域を意味する。すなわち、見切領域は、特定対象Ｐにおける、撮影画像３０の撮影画角から外れた画角外の領域である。

例えば、取得部２０Ａが、撮影画像３０Ｂ（図２Ｂ、図３Ｂ参照）を取得した場面を想定する。撮影画像３０Ｂは、図２Ｂおよび図３Ｂに示すように、特定対象Ｐの一例である人物の全身の内、脚部分が撮影画像３０から見切れた撮影画像３０である。この場合、特定対象Ｐの内の撮影画像３０Ｂから見切れた領域が、見切領域に相当する。図２Ｂおよび図３Ｂに示す撮影画像３０Ｂの場合、特定対象Ｐの一例である人物の全身の内、該撮影画像３０Ｂから見切れた領域である脚の一部の領域が、見切領域に相当する。

判定部２０Ｄは、特定対象領域３２および写込領域３４に基づいて、撮影画像３０に含まれる特定対象Ｐの隠れ領域、および、特定対象Ｐの撮影画像３０から見切れた見切領域、の少なくとも一方を含む非写込領域を判定する。判定部２０Ｄは、撮影画像３０と、撮影画像３０から検出された特定対象領域３２と、撮影画像３０から検出された写込領域３４と、を用いて、隠れ領域および見切領域の少なくとも一方を含む非写込領域を判定する。

詳細には、判定部２０Ｄは、特定対象領域検出部２０Ｂによって検出された特定対象領域３２と、写込領域検出部２０Ｃによって検出された写込領域３４と、を比較する。判定部２０Ｄは、撮影画像３０内における特定対象領域３２と写込領域３４との非重複領域が存在する場合、該撮影画像３０に隠れ領域が含まれると判定する。そして、判定部２０Ｄは、撮影画像３０内における特定対象領域３２と写込領域３４との非重複領域を、隠れ領域と判定する。

図４Ａは、隠れ領域３６の判定の一例の説明図である。例えば、取得部２０Ａが撮影画像３０Ａを取得した場面を想定する。図４Ａ、図２Ａ、および図３Ａに示す撮影画像３０Ａは同じ撮影画像３０の一例である。そして、特定対象領域検出部２０Ｂが撮影画像３０Ａから特定対象領域３２Ａを特定し、写込領域検出部２０Ｃが撮影画像３０Ａから写込領域３４Ａを特定した場面を想定する。

この場合、判定部２０Ｄは、特定対象領域３２Ａと写込領域３４Ａとを比較し、撮影画像３０Ａ内において特定対象領域３２Ａと写込領域３４Ａとの間に非重複領域が存在するか否かを判定する。すなわち、判定部２０Ｄは、特定対象領域３２Ａによって表される位置、大きさ、および範囲と、写込領域３４Ａによって表される位置、大きさ、および範囲と、の間に異なる部分があるか否かを判定する。そして、判定部２０Ｄは、特定対象領域３２Ａと写込領域３４Ａとの間に非重複領域が含まれる場合、隠れ領域有と判断し、該非重複領域を隠れ領域３６として判定する。

また、判定部２０Ｄは、撮影画像３０と、特定対象領域検出部２０Ｂによって検出された特定対象領域３２と、を比較する。判定部２０Ｄは、特定対象領域３２内に、撮影画像３０に対して非重複な非重複領域が存在するか否かを判定する。特定対象領域３２内に撮影画像３０に対して非重複な非重複領域が存在する場合、該撮影画像３０に見切領域が含まれると判定する。そして、判定部２０Ｄは、特定対象領域３２における、撮影画像３０に対して非重複な非重複領域を、見切領域と判定する。

図４Ｂは、見切領域３８の判定の一例の説明図である。例えば、取得部２０Ａが撮影画像３０Ｂを取得した場面を想定する。図４Ｂ、図２Ｂ、および図３Ｂに示す撮影画像３０Ｂは同じ撮影画像３０の一例である。そして、特定対象領域検出部２０Ｂが撮影画像３０Ｂから特定対象領域３２Ｂを特定し、写込領域検出部２０Ｃが撮影画像３０Ｂから写込領域３４Ｂを特定した場面を想定する。

この場合、判定部２０Ｄは、撮影画像３０Ｂと特定対象領域３２とを比較し、特定対象領域３２Ｂ内に、撮影画像３０Ｂに対して非重複な非重複領域が存在するか否かを判定する。すなわち、判定部２０Ｄは、特定対象領域３２Ｂの少なくとも一部が撮影画像３０Ｂの画像枠３１の外側に存在するか否かを判定する。そして、判定部２０Ｄは、特定対象領域３２Ｂ内に、撮影画像３０Ｂに対して非重複な非重複領域が存在する場合、見切領域３８有と判断し、該非重複領域を見切領域３８として判定する。すなわち、判定部２０Ｄは、特定対象領域３２Ｂ内における、撮影画像３０Ｂの画像枠３１の外側に位置する領域を、見切領域３８として判定する。

これらの処理によって、判定部２０Ｄは、撮影画像３０、特定対象領域３２、および写込領域３４を用いて、隠れ領域３６および見切領域３８の少なくとも一方を非写込領域３７として判定する。

図１に戻り説明を続ける。

特定部２０Ｅは、判定部２０Ｄによって判定された非写込領域３７が撮影画像３０に写り込む推奨撮影環境を特定する。

詳細には、特定部２０Ｅは、見切領域３８が写り込む推奨撮影画角、および、隠れ領域３６が写り込む推奨撮影方向、の少なくとも一方を推奨撮影環境として特定する。

特定部２０Ｅは、判定部２０Ｄによって非写込領域３７として見切領域３８が判定されたか否かを判断する。見切領域３８が判定された場合、特定部２０Ｅは、見切領域３８を含むと判定された特定対象領域３２の全体を含む撮影画角となるように、撮影画像３０の画像枠３１に対して拡大処理、変形処理、および移動処理の少なくとも１つの処理を実行した枠を、推奨撮影画角として特定する。

特定部２０Ｅは、撮影画像３０を撮影する撮影部１２の機能に応じて、推奨撮影画角を特定してもよい。例えば、撮影部１２がズーム機能を有する場合を想定する。この場合、特定部２０Ｅは、見切領域３８を含むと判定された特定対象領域３２の全体を含む撮影画角となるように、撮影画像３０の画像枠３１を拡大処理した枠を、推奨撮影画角として特定すればよい。特定部２０Ｅは、例えば、撮影部１２の識別情報と撮影部１２の機能を表す機能情報とを対応付けて予め記憶部１４へ記憶する。そして、特定部２０Ｅは、推奨撮影画角の特定時に、対象となる撮影部１２の識別情報に対応する機能情報を読取り、推奨撮影画角の特定を行えばよい。

また、特定部２０Ｅは、判定部２０Ｄによって非写込領域３７として隠れ領域３６が判定されたか否かを判断する。隠れ領域３６が判定された場合、特定部２０Ｅは、特定対象Ｐに含まれる隠れ領域３６が撮影画像３０に写り込む撮影方向を推奨撮影方向として特定する。

例えば、特定部２０Ｅは、隠れ領域３６が判定された場合、現在の撮影方向から予め定めた撮影角度分ずらした方向を、推奨撮影方向として特定する。予め定めた撮影角度は、例えば、３０°、６０°、９０°、などであるが、これらの値に限定されない。予め定めた撮影角度は、ユーザによる入力部１８Ｂの操作指示等によって適宜変更可能としてもよい。また、特定部２０Ｅは、撮影画像３０と隠れ領域３６および特定対象領域３２の少なくとも一方とを入力とし、推奨撮影方向を出力とする学習モデルを予め学習し、該学習モデルを用いて推奨撮影方向を特定してもよい。

次に、出力制御部２０Ｆについて説明する。

出力制御部２０Ｆは、判定部２０Ｄの判定結果に応じた判定結果情報を出力部１８Ａに出力する。出力制御部２０Ｆは、判定結果情報を表す音声および画像の少なくとも一方を出力部１８Ａへ出力する。

例えば、出力制御部２０Ｆは、判定部２０Ｄによって判定された非写込領域３７、特定対象領域検出部２０Ｂによって検出された特定対象領域３２、写込領域検出部２０Ｃによって検出された写込領域３４、特定部２０Ｅによって特定された推奨撮影環境、および撮影画像３０に非写込領域３７が含まれることを表す警告、の少なくとも１つを表す判定結果情報を出力部１８Ａへ出力する。

具体的には、出力制御部２０Ｆは、判定結果情報を含む表示画面を出力部１８Ａに含まれる表示部に表示する。

図５は、表示画面４０の一例の模式図である。表示画面４０は、判定結果情報を含む表示画面であり、出力部１８Ａに含まれる表示部に表示される表示画面の一例である。

例えば、出力制御部２０Ｆは、判定結果情報を表す画像を撮影画像３０に重畳した重畳画像５０を含む表示画面４０を、出力部１８Ａに出力する。

詳細には、出力制御部２０Ｆは、撮影画像３０上に、特定対象領域３２を表す画像４２、写込領域３４を表す画像４４、隠れ領域３６を表す画像４６、および見切領域３８を表す画像４８、の少なくとも１つを重畳した重畳画像５０を作成する。また、出力制御部２０Ｆは、推奨撮影画角を表す画像４１、および推奨撮影方向を表す画像４３の少なくとも一方を更に作成してよい。そして、出力制御部２０Ｆは、重畳画像５０と、推奨撮影画角を表す画像４１および推奨撮影方向を表す画像４３の少なくとも一方と、を含む重畳画像５０を、出力部１８Ａに含まれる表示部に表示する。

出力制御部２０Ｆが生成する上記画像４１、画像４３、画像４２、画像４４、画像４６、および画像４８の表示形態は、図５に示す例に限定されない。例えば、図５に示すように、出力制御部２０Ｆは、特定対象領域３２、写込領域３４、隠れ領域３６、および見切領域３８の各々の領域を表す画像として、これらの領域の外枠を表す画像を用いてもよい。また、出力制御部２０Ｆは、これらの領域の各々を表す画像として、各領域の内部を塗りつぶした画像を用いてもよい。

出力制御部２０Ｆは、推奨撮影画角を表す画像４１および推奨撮影方向を表す画像４３の少なくとも一方を撮影画像３０に更に重畳した重畳画像５０を生成し、出力部１８Ａである表示部に表示してもよい。

また、出力制御部２０Ｆは、特定対象領域３２に隠れ領域３６および見切領域３８の少なくとも一方である非写込領域３７が含まれる場合、非写込領域３７が含まれることを表す警告の画像を更に含む表示画面４０を、出力部１８Ａである表示部に表示してもよい。

また、出力制御部２０Ｆは、上記警告を表す音声を、出力部１８Ａに含まれるスピーカから出力してもよい。

判定結果情報を出力部１８Ａに出力することで、出力制御部２０Ｆは、特定対象領域３２が撮影画像３０に写り込むように撮影環境を調整するための情報を提供することができる。

次に、本実施形態の情報処理装置１０で実行する情報処理の流れの一例を説明する。

図６は、本実施形態の情報処理装置１０で実行する情報処理の流れの一例を示すフローチャートである。

取得部２０Ａが、撮影画像３０を取得する（ステップＳ１００）。

特定対象領域検出部２０Ｂは、ステップＳ１００で取得した撮影画像３０から特定対象領域３２を検出する（ステップＳ１０２）。写込領域検出部２０Ｃは、ステップＳ１００で取得した撮影画像３０から写込領域３４を検出する（ステップＳ１０４）。

判定部２０Ｄは、ステップＳ１０２で検出された特定対象領域３２およびステップＳ１０４で検出された写込領域３４に基づいて、特定対象Ｐの非写込領域３７を判定する（ステップＳ１０６）。判定部２０Ｄは、隠れ領域３６および見切領域３８の少なくとも一方を含む非写込領域３７を判定する。

次に、判定部２０Ｄは、ステップＳ１０６で非写込領域３７を判定出来たか否かを判断する（ステップＳ１０８）。非写込領域３７を判定できなかった場合（ステップＳ１０８：Ｎｏ）、後述するステップＳ１１２へ進む。非写込領域３７を判定出来た場合(ステップＳ１０８：Ｙｅｓ)、ステップＳ１１０へ進む。

ステップＳ１１０では、特定部２０Ｅが、ステップＳ１００で取得した撮影画像３０およびステップＳ１０６で判定した非写込領域３７に基づいて、非写込領域３７が撮影画像３０に写り込む推奨撮影環境を特定する（ステップＳ１１０）。

出力制御部２０Ｆは、ステップＳ１０６の判定結果に応じた判定結果情報を出力部１８Ａに出力する（ステップＳ１１２）。出力制御部２０Ｆは、ステップＳ１０８で判定された非写込領域３７、ステップ１０２で検出された特定対象領域３２、ステップＳ１０４で検出された写込領域３４、ステップＳ１１０で特定された推奨撮影環境、および撮影画像３０に非写込領域３７が含まれることを表す警告、の少なくとも１つを表す判定結果情報を出力部１８Ａへ出力する。そして、本ルーチンを終了する。

以上説明したように、本実施形態の情報処理装置１０は、特定対象領域検出部２０Ｂと、写込領域検出部２０Ｃと、判定部２０Ｄと、を備える。特定対象領域検出部２０Ｂは、撮影画像３０から特定対象Ｐの特定対象領域３２を検出する。写込領域検出部２０Ｃは、撮影画像３０から特定対象Ｐの写込領域３４を検出する。判定部２０Ｄは、特定対象領域３２および写込領域３４に基づいて特定対象Ｐの非写込領域３７を判定する。

ここで、従来技術では、撮影画像３０に含まれる被写体のパーツを検出し、被写体を構成する複数パーツの内の未検出のパーツの有無を判別する技術が開示されている。しかしながら従来技術では、単に未検出のパーツの有無を判別するのみであり、撮影画像３０に対する未検出のパーツの領域の特定が行われていなかった。このため、従来技術では、被写体の特定のパーツ等の特定対象領域３２の全体が写り込むように、撮影環境を調整可能な情報を提供することができなかった。すなわち、従来技術では、特定対象Ｐの撮影を支援することは困難であった。

一方、本実施形態の情報処理装置１０では、特定対象領域検出部２０Ｂが特定対象領域３２を検出し、写込領域検出部２０Ｃが写込領域３４を検出する。判定部２０Ｄは、撮影画像３０から検出された特定対象Ｐの特定対象領域３２および写込領域３４に基づいて、特定対象Ｐの非写込領域３７を判定する。

このように、本実施形態の情報処理装置１０では、単に特定のパーツ有無を検出するのではなく、特定対象Ｐの撮影画像３０に写り込んでいない非写込領域３７を判定する。

このため、判定部２０Ｄによって判定された非写込領域３７を表す情報を提供することで、本実施形態の情報処理装置１０は、非写込領域３７が撮影画像３０に写り込むように撮影環境を調整するための情報を提供することが可能となる。すなわち、本実施形態の情報処理装置１０は、非写込領域３７を含む特定対象Ｐの全体が撮影画像３０に写り込むように、撮影環境を調整するための情報を提供することが出来る。

従って、本実施形態の情報処理装置１０は、特定対象Ｐの撮影を支援することができる。

また、従来技術では、特定対象Ｐが複数のパーツから構成される人物および自動車に限定されており、複数のパーツに区別して表すことの困難な特定対象Ｐに従来技術を適用することは困難であった。また、従来技術では、複数のパーツの各々ごとに検出処理を実行する必要があり、処理負荷および処理コストが問題となる場合があった。

一方、本実施形態の情報処理装置１０は、特定対象Ｐが１または複数のパーツから構成されているか否かに拘わらず、撮影画像３０から特定対象Ｐの特定対象領域３２および写込領域３４を検出し、特定対象領域３２および写込領域３４に基づいて特定対象Ｐの非写込領域３７を判定する。

このため、本実施形態の情報処理装置１０は、上記効果に加えて、処理負荷の削減および処理コストの削減を図ることができる。

また、本実施形態の情報処理装置１０は、撮影画像３０から特定対象領域３２および写込領域３４を検出することで、特定対象Ｐの非写込領域３７を判定する。このため、本実施形態の情報処理装置１０は、上記効果に加えて、人物および自動車に限定されず様々な特定対象Ｐに対して適用することが可能である。

また、本実施形態の情報処理装置１０は、出力制御部２０Ｆを備える。出力制御部２０Ｆは、判定部２０Ｄの判定結果に応じた判定結果情報を出力部１８Ａに出力する。

このため、例えば、ユーザは、出力部１８Ａに出力された判定結果情報を確認することで、撮影画角や撮影方向等の撮影環境が所望の撮影環境となるように、撮影部１２の設置環境等を容易に調整することができる。すなわち、ユーザは判定結果情報を確認することで、特定対象Ｐの全体が写り込む撮影方向および撮影画角となるように、撮影部１２の設置環境などの撮影環境を容易に調整することができる。

このため、本実施形態の情報処理装置１０は、上記効果に加えて、撮影部１２の調整作業の作業負荷軽減を図ることができる。

なお、上記実施形態では、撮影部１２が情報処理装置１０に設けられた形態を一例として説明した。しかし、上述したように、撮影部１２は、情報処理装置１０に対して通信部１６を介して通信可能に接続された外部の情報処理装置に搭載された形態であってもよい。

撮影部１２を搭載した外部の情報処理装置としては、例えば、建造物などに設置された監視カメラ、ドローン等の飛翔体、撮影部１２を搭載した無人搬送車、撮影部１２を搭載した移動体、等が挙げられるが、これらに限定されない。

また、上記実施形態では、出力制御部２０Ｆが判定結果情報をＵＩ部１８へ出力する形態を一例として説明した。しかし、出力制御部２０Ｆは、通信部１６を介して外部の情報処理装置へ判定結果情報を出力してもよい。

例えば、出力制御部２０Ｆは、通信部１６を介して撮影部１２が搭載された情報処理装置へ判定結果情報を出力してよい。この場合、該情報処理装置の制御部は、情報処理装置１０から受付けた判定結果情報を用いて、特定対象Ｐの全体が写り込む撮影方向および撮影画角となるように、撮影部１２の撮影方向および撮影画角を調整するためのモータ等の駆動部を制御してもよい。

次に、上記実施形態の情報処理装置１０のハードウェア構成の一例を説明する。

図７は、上記実施形態の情報処理装置１０の一例のハードウェア構成図である。

上記実施形態の情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８３、および通信Ｉ／Ｆ８４等がバス８５により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

ＣＰＵ８１は、上記実施形態の情報処理装置１０を制御する演算装置である。ＲＯＭ８２は、ＣＰＵ８１による各種処理を実現するプログラム等を記憶する。ここではＣＰＵを用いて説明しているが、情報処理装置１０を制御する演算装置として、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いてもよい。ＲＡＭ８３は、ＣＰＵ８１による各種処理に必要なデータを記憶する。通信Ｉ／Ｆ８４は、ＵＩ部１８などに接続し、データを送受信するためのインターフェースである。

上記実施形態の情報処理装置１０では、ＣＰＵ８１が、ＲＯＭ８２からプログラムをＲＡＭ８３上に読み出して実行することにより、上記各機能がコンピュータ上で実現される。

なお、上記実施形態の情報処理装置１０で実行される上記各処理を実行するためのプログラムは、ＨＤＤ（ハードディスクドライブ）に記憶されていてもよい。また、上記実施形態の情報処理装置１０で実行される上記各処理を実行するためのプログラムは、ＲＯＭ８２に予め組み込まれて提供されていてもよい。

また、上記実施形態の情報処理装置１０で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施形態の情報処理装置１０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の情報処理装置１０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。

なお、上記には、本発明の実施形態を説明したが、本実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 情報処理装置
２０Ｂ 特定対象領域検出部
２０Ｃ 写込領域検出部
２０Ｄ 判定部
２０Ｅ 特定部
２０Ｆ 出力制御部

Claims (11)

1. 撮影画像から特定対象の特定対象領域を検出する特定対象領域検出部と、
   前記撮影画像から前記特定対象の写込領域を検出する写込領域検出部と、
   前記特定対象領域および前記写込領域に基づいて前記特定対象の非写込領域を判定する判定部と、
   を備え、
   前記特定対象領域は、前記撮影画像に写り込む遮蔽物による前記特定対象の隠れ領域を含み且つ前記特定対象の全体を含む領域である、
   情報処理装置。
2. 前記特定対象領域は、
   前記撮影画像の撮影範囲を拡大した仮想拡大領域に含まれる、前記特定対象の全体を含む領域である、
   請求項１に記載の情報処理装置。
3. 前記判定部は、
   前記特定対象領域および前記写込領域に基づいて、前記撮影画像に含まれる前記特定対象の隠れ領域、および前記特定対象の前記撮影画像から見切れた見切領域、の少なくとも一方を含む前記非写込領域を判定する、
   請求項１に記載の情報処理装置。
4. 前記非写込領域が前記撮影画像に写り込む推奨撮影環境を特定する特定部、
   を備える請求項３に記載の情報処理装置。
5. 前記特定部は、
   前記見切領域が写り込む推奨撮影画角、および前記隠れ領域が写り込む推奨撮影方向、の少なくとも一方を前記推奨撮影環境として特定する、
   請求項４に記載の情報処理装置。
6. 前記判定部の判定結果に応じた判定結果情報を出力部に出力する出力制御部、
   を備える請求項１に記載の情報処理装置。
7. 前記出力制御部は、
   前記判定結果情報を表す音声および画像の少なくとも一方を前記出力部に出力する、
   請求項６に記載の情報処理装置。
8. 前記出力制御部は、
   前記非写込領域、前記特定対象領域、前記写込領域、推奨撮影環境、および前記撮影画像に前記非写込領域が含まれることを表す警告、の少なくとも１つを表す前記判定結果情報を前記出力部に出力する、
   請求項６に記載の情報処理装置。
9. 前記出力制御部は、
   前記判定結果情報を表す画像を前記撮影画像に重畳した重畳画像を前記出力部に出力する、請求項６に記載の情報処理装置。
10. 撮影画像から特定対象の特定対象領域を検出するステップと、
    前記撮影画像から前記特定対象の写込領域を検出するステップと、
    前記特定対象領域および前記写込領域に基づいて前記特定対象の非写込領域を判定するステップと、
    を含み、
    前記特定対象領域は、前記撮影画像に写り込む遮蔽物による前記特定対象の隠れ領域を含み且つ前記特定対象の全体を含む領域である、
    情報処理方法。
11. コンピュータに実行させるための情報処理プログラムであって、
    撮影画像から特定対象の特定対象領域を検出するステップと、
    前記撮影画像から前記特定対象の写込領域を検出するステップと、
    前記特定対象領域および前記写込領域に基づいて前記特定対象の非写込領域を判定するステップと、
    を含み、
    前記特定対象領域は、前記撮影画像に写り込む遮蔽物による前記特定対象の隠れ領域を含み且つ前記特定対象の全体を含む領域である、
    情報処理プログラム。