JP5741660B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像内を複数の領域に分割する処理を行う画像処理装置、画像処理方法及びプログラムに関する。

一般に、画像内からユーザが所望する領域（例えば、被写体）を抽出する技術としては、画像セグメンテーションと呼ばれる技術が知られている。このセグメンテーション処理の方法には、グラフカット（Graph Cuts）などの種々の方法があるが、抽出したい領域（前景）をユーザ操作により指定することを前提としているために、その領域を正確に指定することが困難となり、その指定の仕方が悪いと、セグメンテーション処理にも悪影響を及ぼしてしまうことがある。
そこで、従来では、表示中の画像上で抽出対象の領域（被写体）内の一点がタップ（ユーザ指定）されると、そのタップ位置に対応する座標点を含む所定の形状（例えば、円形）の領域をその画像内に形成すると共に、この形成した領域を前景の初期領域としてグラフカット（Graph Cuts）などのプログラムを利用してセグメンテーション処理を行うことにより画像内を背景画素と前景画素に分割する処理を行うようにした技術が知られている（特許文献１参照）。

特開２０１３−２９９３０号公報

しかしながら、上述した特許文献の技術にあっては、抽出対象の一点をタップ指定するだけで、セグメンテーション処理が実行可能となるためにユーザの負担を大幅に軽減することが可能となるが、例えば、抽出対象が複雑な形状であれば、その抽出対象の全体を所定の形状（例えば、円形）の領域内に収めることができない場合があり、画像内を背景画素と前景画素に分割する処理に悪影響を及ぼしてしまうおそれがあった。

本発明の課題は、画像内を複数の領域に分割する処理全体を簡素化できると共に、ユーザによる簡単な指定操作によって精度良く分割できるようにすることである。

上述した課題を解決するために本発明の画像処理装置は、画像内において、前景であることが確定された前景画素と、背景であることが確定された背景画素と、前景か背景かが未確定の未確定画素とが指定されると、この指定情報に基づいて、未確定画素を更に前景画素と背景画素とに分割する分割処理手段と、前記分割処理手段により第１の画像を前景画素と背景画素に分割した際の情報である分割情報を取得する分割情報取得手段と、前記第１の画像と所定の関係にある第２の画像に対して前記分割処理手段による分割を行わせる際に、前記分割情報取得手段により取得した前記分割情報を利用して、当該第２の画像の画像内における前景画素、背景画素、および未確定画素を指定する分割制御手段と、を備え、前記分割制御手段は、前記分割情報により特定される前景と背景との境界線に対して、前記第１の画像と前記第２の画像との関係に応じた幅を持たせた領域を特定し、当該領域に対応する前記第２の画像内の領域を未確定画素として指定して前記分割処理手段による前記第２の画像の分割を行わせることを特徴とする画像処理装置である。

上述した課題を解決するために本発明の画像処理方法は、画像処理装置による画像処理方法であって、画像内において、前景であることが確定された前景画素と、背景であることが確定された背景画素と、前景か背景かが未確定の未確定画素とが指定されると、この指定情報に基づいて、未確定画素を更に前景画素と背景画素とに分割する分割処理と、前記分割処理により第１の画像を前景画素と背景画素に分割した際の情報である分割情報を取得する分割情報取得処理と、前記第１の画像と所定の関係にある第２の画像に対して前記分割処理による分割を行わせる際に、前記分割情報取得処理により取得した前記分割情報を利用して、当該第２の画像の画像内における前景画素、背景画素、および未確定画素を指定する分割制御処理と、を含み、前記分割制御処理は、前記分割情報により特定される前景と背景との境界線に対して、前記第１の画像と前記第２の画像との関係に応じた幅を持たせた領域を特定し、当該領域に対応する前記第２の画像内の領域を未確定画素として指定して前記分割処理処理による前記第２の画像の分割を行わせることを特徴とする画像処理方法である。

上述した課題を解決するために本発明のプログラムは、コンピュータを、画像内において、前景であることが確定された前景画素と、背景であることが確定された背景画素と、前景か背景かが未確定の未確定画素とが指定されると、この指定情報に基づいて、未確定画素を更に前景画素と背景画素とに分割する分割処理手段、前記分割処理手段により第１の画像を前景画素と背景画素に分割した際の情報である分割情報を取得する分割情報取得手段、前記第１の画像と所定の関係にある第２の画像に対して前記分割処理手段による分割を行わせる際に、前記分割情報取得手段により取得した前記分割情報を利用して、当該第２の画像の画像内における前景画素、背景画素、および未確定画素を指定する分割制御手段、として機能させ、前記分割制御手段は、前記分割情報により特定される前景と背景との境界線に対して、前記第１の画像と前記第２の画像との関係に応じた幅を持たせた領域を特定し、当該領域に対応する前記第２の画像内の領域を未確定画素として指定して前記分割処理手段による前記第２の画像の分割を行わせることを特徴とするプログラムである。

本発明によれば、画像内を複数の領域に分割する処理全体を簡素化することができると共に、ユーザによる簡単な指定操作によって精度良く分割することができる。

画像処理装置として適用したタブレット端末装置の基本的な構成要素を示したブロック図。 （１）〜（３）は、画像メモリ３ｃから読み出した動画データをタッチ表示部６に再生させた状態を例示した図。 （１）、（２）は、動画から被写体（マラソン走者）を前景として抽出する場合に、それに先立って行われる前処理を説明するための図。 （１）〜（３）は、動画の各フレーム画像から被写体（マラソン走者）を前景として抽出するためにその被写体の領域をフレーム毎に特定する処理を説明するための図。 ある動画から被写体（マラソン走者）を前景として抽出して、別の動画に合成する動画処理を示したフローチャート。 図５の動作に続くフローチャート。

以下、図１〜図６を参照して本発明の実施形態を説明する。
本実施形態は、画像処理装置としてタブレット端末装置に適用した場合を例示したもので、図１は、このタブレット端末装置の基本的な構成要素を示したブロック図である。
タブレット端末装置は、その筐体全体が、例えば、Ａ５サイズの携帯型情報端末装置であり、タッチ入力機能、無線通信機能、インターネット接続機能などを備えている。このタブレット端末装置の中核となる制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのタブレット端末装置の全体動作を制御する中央演算処理装置やメモリなどを有している。

記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、図５及び図６に示した動作手順に応じて本実施形態を実現するためのプログラムを記憶するプログラムメモリ３ａと、このタブレット端末装置で必要とされる各種のデータやフラグなどを一時記憶するワークメモリ３ｂと、カメラ撮影された動画などの各種の画像データを記憶する画像メモリ３ｃを有している。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。画像メモリ３ｃは、内蔵メモリに限らず、ＳＤカードなどの着脱自在な可搬型メモリであってもよく、例えば、インターネットを介して受信取得した画像データを記憶したり、カメラ装置（図示省略）で撮影された画像データを記憶したりする。

操作部４は、押しボタン式のキーとして、図示省略したが、電源をオン／オフさせる電源キー、処理対象の動画を選択する選択キー、動画の再生を指示する再生キー、再生中の動画の一時停止を指示する一時停止キーなどを備えている。無線ＬＡＮ（Local Area Network）通信部５は、高速大容量の通信が可能な無線通信モジュールで、最寄りの無線ＬＡＮルータ（図示省略）を介してインターネットなどに接続可能となっている。タッチ表示部６は、表示パネル６ａにタッチパネル６ｂを積層配設した構成で、ソフトウェアキー（ソフトキー）としての機能名を表示したり、各種のアイコンなどを表示したり、画像データを表示したりする。このタッチ表示部６のタッチパネル６ｂは、指など（ペンなどの操作子を含む）でタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成するもので、例えば、静電容量方式あるいは抵抗皮膜方式を採用するようにしているが、光センサ方式など、その他の方式であってもよい。

図２は、画像メモリ３ｃから読み出した動画データをタッチ表示部６に再生させた状態を例示した図である。
タッチ表示部６に再生される動画は、移動する被写体（例えば、マラソン走者）を撮影した動画データで、例えば、フレームレートが３０ｆｐｓの動画である。なお、フレームレートは３０ｆｐｓに限らず、任意である。図２（１）は、マラソン走者の右足が接地したタイミングでのフレーム画像（右足接地の画像）を示し、図２（２）は、次のフレーム画像を示し、その前のフレームである図２（１）の右足接地の画像と略同様の画像内容となっている。つまり、移動する被写体（例えば、マラソン走者）の１フレーム分の動きによる変化以外は、図２（１）の右足接地の画像と略同様の画像内容となっている。また、図２（３）は、図２（１）で示した右足接地のフレーム画像から、例えば、１５フレーム後（１／２秒後）のフレーム画像を示し、マラソン走者の右足が接地したタイミングの画像（左足接地の画像）を示している。

ここで、本実施形態においては、上述のように被写体をマラソン走者とした動画の各フレーム画像の中からその被写体（マラソン走者）の領域を前景として抽出して、この被写体を別の動画に合成する動画処理を行うようにしているが、動画処理としては、このような画像合成に限らず、任意である。
図３は、動画の各フレームから被写体（マラソン走者）を前景として抽出する場合に、それに先立って行われる前処理として、被写体（マラソン走者）が映っている最初のフレーム画像内においてその被写体の領域をユーザ操作によって指定する場合を説明するための図で、図３（１）は、画像内の被写体（マラソン走者）の領域を指定するために、その被写体の輪郭線をユーザ操作によって“なぞっている”様子を示した図である。

すなわち、移動するマラソン走者を撮影した動画がタッチ表示部６に再生されている状態において、つまり、動画の再生時に所望するマラソン走者が映っているフレーム位置でその再生を一時停止させた状態において、そのマラソン走者を前景としてそのマラソン走者の領域を指定するために、マラソン走者の輪郭線（外郭線：閉曲線）をタッチ操作によって指又はペン先で“なぞる”と、その“なぞり操作”によって“なぞられた部分”には（マラソン走者のほぼ輪郭線上には）、所定幅の太線が描画される。この描画ラインの幅（太さ）は、表示画面のサイズ、解像度、動画のフレームレートなどによって異なるが、例えば、数〜数十ピクセルとなっている。図３（２）は、マラソン走者の輪郭線を“なぞった状態”、つまり、所定幅の描画ラインで囲んだ状態（閉曲線を描画した状態）を示し、この部分が被写体に相当する太線領域となる。

図４は、動画の各フレーム画像から被写体（マラソン走者）を前景として抽出するためにその被写体の領域をフレーム毎に特定する処理を説明するための図である。
図４（１）は、上述のように最初のフレーム画像内に被写体の輪郭線が“なぞられる”ことによって、所定幅の太線が描画された状態を示した図である。ここで、フレーム画像内の被写体の輪郭線をユーザ操作によってなぞる場合、その被写体の輪郭線、つまり、前景画素と背景画素との境界線は、なぞり操作の正確さにもよるが、図示のように所定幅の描画ラインの中心線（仮想線）から大きく外れてしまうことが多い。このような場合に本実施形態では、描画ラインを指定する際に、被写体の輪郭線に沿って正確になぞられなくても（“なぞり方”がラフであっても）、描画ラインの所定幅の範囲内であれば、その描画ラインを有効として、この描画ラインに基づいて所定の画像分割処理を実行するようにしている。つまり、所定の画像分割処理の前提として描画ラインを指定する際には、大雑把な指定を可能としている。

この所定の画像分割処理は、画像内で指定された一部の前景画素と一部の背景画素の位置情報に基づいてその画像全体を前景画素と背景画素に分割する処理で、ＧｒｏｗＣｕｔと呼ばれるセグメンテーション手法（非特許文献１及び非特許文献２参照）を使用したもので、指定された所定幅の描画ラインで分割される一方の側を一部の前景画素の位置情報とし、他方の側を一部の背景画素の位置情報とし、かつ、この所定幅の描画ラインの内部を前景か背景かが未確定の画素として画像に対して前景画素と背景画素に分割するようにしている。

GrowCut" -Interactive Multi-Label N-D Image Segmentation By CellularAutomata Vladimir Vezhnevets . Vadim Konouchine Graphics and Media Laboratory †Faculty of Computational Mathematicsand CyberneticsMoscow State University,Moscow, Russia. セグメンテーション：ＧｒｏｗＣｕｔ 映像情報メディア学会誌ＶＯＩ．６４、Ｎｏ．６、ＰＰ．８３３〜８３８（２０１０）

図４（２）は、上述のように最初のフレームに対して画像分割処理を実行することによって特定された前景画素と背景画素を基に生成した新たな境界線と、この境界線を基に生成した所定幅の太線（描画ライン）を示した図である。すなわち、所定幅の描画ラインの内部を前景か背景かが未確定の画素としてその内部に対して前景画素と背景画素に分割する画像分割処理を実行することによって新たに特定された前景画素と背景画素を基にそれらの新たな境界線を生成すると共に、この境界線に沿って所定幅の太線を生成して描画した状態を示している。

図４（３）は、直前のフレーム画像内の描画ラインを次のフレーム画像の対応位置に適用した状態を示した図である。すなわち、図（２）で新たに生成した所定幅の描画ラインを次のフレームの対応位置（同一位置）に適用した状態を示し、図示の例では、被写体の輪郭線が所定幅の描画ラインの中心線（仮想線）から外れた場合を示している。ここで、上述した場合と同様に、この描画ラインの内部を前景か背景かが未確定の画素として画像全体に対して前景画素と背景画素に分割する画像分割処理を行って、前景画素と背景画素との境界線を新たに特定すると共に、この境界線に沿って所定幅の太線を生成描画する処理を行う。その後、この新たな描画ラインを次のフレームに適用する。以下、上述の動作を各フレームに対して順次繰り返す。

このように本実施形態において画像処理装置（タブレット端末装置）は、画像内で指定された一部の前景画素と一部の背景画素の位置情報に基づいてその画像全体を前景画素と背景画素に分割する所定の画像分割処理を実行する分割処理手段（制御部１、プログラムメモリ３ａ）と、前記分割処理手段による画像分割処理の対象となる画像上で所定幅（数〜数十ピクセル）の描画ラインを指定する指定手段（制御部１、プログラムメモリ３ａ、タッチ表示部６）と、前記指定手段によって指定された所定幅の描画ラインで分割される一方の側を一部の前景画素の位置情報とし、他方の側を一部の背景画素の位置情報とし、かつ、この所定幅の描画ラインの内部を前景か背景かが未確定の画素として該画像に対して前記所定の画像分割処理を実行させる分割処理制御手段（制御部１、プログラムメモリ３ａ）と、を備える構成となっている。

次に、本実施形態における画像処理装置（タブレット端末装置）の動作概念を図５及び図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図５及び図６は、タブレット端末装置の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図５及び図６のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図５及び図６は、本実施形態の特徴部分の動作として、ある動画から抽出した被写体（マラソン走者）を別の動画に合成する動画処理を示したフローチャートである。
先ず、制御部１は、画像一覧を表示している一覧画面の中から処理対象として、前景抽出用の動画と背景用の動画をそれぞれ選択する選択操作が行われると（図５のステップＳ１）、この選択された前景抽出用の動画データを読み出してタッチ表示部６に表示させる再生動作を開始させる（ステップＳ２）。この状態において、再生画面内に所望する被写体（マラソン走者）が出現した時点で再生の一時停止を指示する一時停止操作が行われると（ステップＳ３）、再生動作を一時停止させてその停止位置のフレーム画像を停止表示させると共に（ステップＳ４）、停止表示中のフレーム画像（タッチ画面）に対するなぞり操作（閉曲線の描画操作）を受付可能な状態とする（ステップＳ５）。

いま、タッチ操作によって指又はペン先で、被写体（マラソン走者）の輪郭線（外郭線：閉曲線）に沿うように、“なぞられる”と、図３（１）、（２）に示すように、その操作軌跡に沿って、その“なぞられた部分”に、所定幅の太線の描画ラインを表示させる（ステップＳ６）。この場合、“なぞり操作”の軌跡が被写体の輪郭から太線の所定幅以上、大きくずれた場合には、そのことを表示メッセージなどで報知するようにしてもよい。

これによって被写体の輪郭全体がタッチ操作によって“なぞられる”と、次のステップＳ７に移り、所定幅の描画ラインの内部を前景か背景かが未確定の画素として指定する。そして、この描画ラインの外部であって、この描画ラインが作る閉曲線の内側を前景に確定された画素として指定すると共に（ステップＳ８）、この描画ラインの外部であって、この描画ラインが作る閉曲線の外側を背景に確定された画素として指定する（ステップＳ９）。このように前景と背景とを指定した指定情報に基づいて、描画ラインの内部に対して前景画素と背景画素に分割する画像分割処理を行う（ステップＳ１０）。

この場合、画像分割処理（ステップＳ１０）において、最初に指定された前景画素と背景画素を前景か背景かが確定された確定画素とし、前景か背景かが未確定の対象画素（描画ラインの内部の画素）については、その対象画素の周辺に存在する対象画素よりも前景か背景かの確信度が高い周辺画素の情報に基づいて前景か背景かの確信度を上げていく処理を繰り返すことで、最終的に全ての対象画素が前景か背景かを確定するようにしている。すなわち、前景か背景かが未確定の対象画素（描画ラインの内部の画素）については、その対象画素の周辺に、対象画素よりも前景か背景かの確信度が高い周辺画素があり、かつ、対象画素の画素値と周辺画素の画素値との距離が近い場合に、対象画素が前景か背景かを示すラベルを周辺画素のラベルと同じものに変更すると共に、その確信度を周辺画素の確信度と距離に応じて変更する処理を繰り返すことで、最終的に全ての対象画素について前景か背景かを確定するようにしている。

これによって描画ラインの内部における全ての画素に対して前景か背景かを確定する処理が終わると、図４（２）に示すように、確定した前景と背景とに基づいてそれらの境界部分（境界線）を新たに特定すると共に（ステップＳ１１）、特定した境界部分（境界線）に沿うように所定幅の太線の描画ラインを新たに生成する（ステップＳ１２）。そして、図６のフローに移り、次のフレームの有無を調べ（ステップＳ１３）、次のフレームが存在していれば（ステップＳ１３でＹＥＳ）、そのフレーム内の対応位置に被写体（マラソン走者）が存在しているかを調べる（ステップＳ１４）。

いま、次のフレーム内の対応位置に被写体が存在していれば（ステップＳ１４でＹＥＳ）、このフレーム画像を処理対象として指定すると共に（ステップＳ１５）、図４（３）に示すように、前フレーム（直前フレーム）で生成した所定幅の描画ラインを、指定した処理対象フレーム内の対応位置に描画する処理（ステップＳ１６）を行った後、この所定幅の描画ラインの内部を前景か背景かが未確定の画素として指定する（ステップＳ１７）。そして、この描画ラインの外部であって、この描画ラインが作る閉曲線の内側を前景に確定された画素として指定すると共に（ステップＳ１８）、この描画ラインの外部であって、この描画ラインが作る閉曲線の外側を背景に確定された画素として指定する（ステップＳ１９）。その後、図５のステップＳ１０に戻り、描画ラインの内部に対して前景画素と背景画素に分割する画像分割処理を行う。以下、ステップＳ１３で次のフレームが無いことが検出されるまで上述の動作を繰り返す。

ここで、次のフレームが無いことが検出されると（ステップＳ１３でＹＥＳ）、上述した前景と背景との分割結果に基づいて所定の動画処理を実行する（ステップＳ２０〜Ｓ２２）。すなわち、前景抽出用の動画の各フレームから前景部分（マラソン走者）を抽出すると共に（ステップＳ２０）、選択された背景用の動画を読み出して、この背景用動画内に抽出した前景部分（マラソン走者）を合成し（ステップＳ２１）、この合成画像（動画）を保存する処理を行う（ステップＳ２２）。

以上のように、実施形態において制御部１は、画像内で指定された一部の前景画素と一部の背景画素の位置情報に基づいてその画像全体を前景画素と背景画素に分割する所定の画像分割処理を実行する場合に、その画像分割処理の対象となる画像上で指定された所定幅の描画ラインで分割される一方の側を一部の前景画素の位置情報とし、他方の側を一部の背景画素の位置情報とし、かつ、この所定幅の描画ラインの内部を前景か背景かが未確定の画素として該画像に対して所定の画像分割処理を実行するようにしたので、例えば、境界を構成する画素の色やエッジなどの特徴量から境界を追跡する方法に比べて、画像内を背景画素と前景画素に分割する処理全体を簡素化することが可能であると共に、描画ラインを指定する場合にその所定幅の大きさだけラフに指定することができ、ユーザによる簡単な指定操作によって精度良く分割することが可能となる。

制御部１は、連続して撮影された２つの画像のうちの一方の画像について、画像分割処理によってその画像全体が前景画素と背景画素に分割されている場合に、当該画像における前景画素と背景画素の境界線に沿う所定幅の描画ラインを新たに生成し、この新たな描画ラインを他方の画像上の対応位置に適用して画像分割処理を実行するようにしたので、連続して撮影された画像を前景と背景に順次分割する場合に、所定幅の描画ラインの引継ぎを行いながら分割することができ、処理全体を簡素化することが可能となる。

この場合、連続して撮影された画像は、複数のフレームから成る動画であるので、処理全体の大幅な簡素化が可能となると共に、最初のフレーム画像内の被写体の輪郭線を大雑把になぞるユーザ操作を行うだけで、以降の各フレーム画像からその被写体を前景として抽出することができ、全てのフレーム画像への描画操作が不要となってユーザ操作の大幅な簡略化が可能となる。

所定の画像分割処理は、最初に指定された前景画素と背景画素を前景か背景かが確定された確定画素とし、前景か背景かが未確定の対象画素については、その対象画素の周辺に存在する当該対象画素よりも前景か背景かの確信度が高い周辺画素の情報に基づいて前景か背景かの確信度を上げていく処理を繰り返すことで、最終的に全ての画素が前景か背景かを確定する処理であるので、画像内を背景画素と前景画素に分割する処理全体を簡素化することが可能となる。

この場合、所定の画像分割処理は、前景か背景かが未確定の対象画素については、対象画素の周辺に、対象画素よりも前景か背景かの確信度が高い周辺画素があり、かつ、対象画素の画素値と周辺画素の画素値との距離が近い場合に、対象画素が前景か背景かを示すラベルを周辺画素のラベルと同じものに変更すると共に、その確信度を周辺画素の確信度と距離に応じて変更する処理を繰り返すことで、最終的に全ての対象画素について前景か背景かを確定する処理であるので、前景か背景かの確信度を精度良く求めることができる。

なお、上述した実施形態においては、動画データについて適用した場合を示したが、連続撮影（連写）された複数の画像内を背景画素と前景画素に分割するようにしてもよい。この場合、連写の速度に応じて描画ラインの所定幅を変更すればよい。例えば、連写が遅くなる程、描画ラインの所定幅が太くなるようにすればよい。

また、上述した実施形態においては、所定幅の描画ライン（閉曲線）で囲まれた内側の領域を前景、外側の領域を背景として抽出するようにしたが、所定幅の描画ライン（閉曲線）で囲まれた外側の領域を前景、内側の領域を背景として抽出するようにしてもよい。

また、上述した実施形態においては、画像内を背景画素と前景画素に分割するものとして説明したが、この「背景画素」と「前景画素」との表現は便宜的なものであり、特に被写体を前景とした場合に、被写体以外を背景、被写体を前景として分割することに限定されるものではなく、被写体Ａの領域と被写体Ｂの領域とに分割するような場合には、一方を「背景画素」、他方を「前景画素」と見なしてもよい。

上述した実施形態においては、所定の画像分割処理としてＧｒｏｗＣｕｔと呼ばれるセグメンテーション手法を使用するようにしたが、その他のセグメンテーション手法であってもよい。

上述した実施形態においては、被写体をマラソン走者とした動画の各フレーム画像の中からその被写体（マラソン走者）を前景として抽出して、別の動画に合成する動画処理を行うようにしたが、被写体を前景として切り出し、その切り出した後を背景で埋める処理を行うようにしてもよい。

上述した実施形態においては、画像処理装置としてタブレット端末装置に適用した場合を示したが、これに限らず、パーソナルコンピュータ、ＰＤＡ（個人向け携帯型情報通信機器）、スマートフォンなどの携帯電話機、電子ゲーム、音楽プレイヤーであってもよく、勿論、デジタルカメラ自体であってもよい。

また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
画像内を複数の領域に分割する画像処理装置であって、
画像内で指定された一部の前景画素と一部の背景画素の位置情報に基づいてその画像全体を前景画素と背景画素に分割する所定の画像分割処理を実行する分割処理手段と、
前記分割処理手段による画像分割処理の対象となる画像上で所定幅の描画ラインを指定する指定手段と、
前記指定手段によって指定された所定幅の描画ラインで分割される一方の側を一部の前景画素の位置情報とし、他方の側を一部の背景画素の位置情報とし、かつ、この所定幅の描画ラインの内部を前景か背景かが未確定の画素として該画像に対して前記所定の画像分割処理を実行させる分割処理制御手段と、
を備えたことを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１記載の画像処理装置において、
連続して撮影された２つの画像のうちの一方の画像について、その画像全体が前景画素と背景画素に分割されている場合に、当該画像における前景画素と背景画素の境界線に沿う前記所定幅の描画ラインを生成する生成手段と、
前記生成手段によって生成された前記所定幅の描画ラインを他方の画像上の対応位置に適用する適用手段と、
を更に備え、
前記分割処理制御手段は、前記適用手段によって他方の画像上に適用された所定幅の描画ラインに基づいて前記所定の画像分割処理を実行させる、
ことを特徴とする画像処理装置である。
（請求項３）
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記連続して撮影された画像は、動画データに含まれる複数のフレーム画像であり、
前記複数のフレーム画像の全体を前記画像分割処理によって前景画素と背景画素に順次分割する場合に、前記指定手段は、最初のフレーム画像に対してユーザ描画操作が行われた場合に、その操作によって描画された前記所定幅の描画ラインを指定し、
前記最初のフレーム画像に続く各フレーム画像を１フレーム毎に順次選択しながら前記適用手段は、前記生成手段によって生成された前記所定幅の描画ラインを前記選択フレーム画像上の対応位置に適用し、前記分割処理制御手段は、前記適用手段によって選択フレーム画像上に適用された描画ラインに基づいて前記所定の画像分割処理を実行させる動作をフレーム画像毎に順次行う、
ことを特徴とする画像処理装置である。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれか１項に記載の画像処理装置において、
前記分割処理制御手段による所定の画像分割処理は、最初に指定された前景画素と背景画素を前景か背景かが確定された確定画素とし、前景か背景かが未確定の対象画素については、その対象画素の周辺に存在する当該対象画素よりも前景か背景かの確信度が高い周辺画素の情報に基づいて前景か背景かの確信度を上げていく処理を繰り返すことで、最終的に全ての画素が前景か背景かを確定させる処理である、
ことを特徴とする画像処理装置である。
（請求項５）
請求項５に記載の発明は、請求項４に記載の画像処理装置において、
前記分割処理制御手段による所定の画像分割処理は、前景か背景かが未確定の対象画素については、対象画素の周辺に、対象画素よりも前景か背景かの確信度が高い周辺画素があり、かつ、対象画素の画素値と周辺画素の画素値との距離が近い場合に、対象画素が前景か背景かを示すラベルを周辺画素のラベルと同じものに変更すると共に、その確信度を周辺画素の確信度と距離に応じて変更する処理を繰り返すことで、最終的に全ての対象画素について前景か背景かを確定させる処理である、
ことを特徴とする画像処理装置である。
（請求項６）
請求項６に記載の発明は、
画像内で指定された一部の前景画素と一部の背景画素の位置情報に基づいてその画像全体を前景画素と背景画素に分割する所定の画像分割処理の対象となる画像上で所定幅の描画ラインを指定するステップと、
前記指定された所定幅の描画ラインで分割される一方の側を一部の前景画素の位置情報とし、他方の側を一部の背景画素の位置情報とし、かつ、この所定幅の描画ラインの内部を前景か背景かが未確定の画素として該画像に対して前記所定の画像分割処理を実行させるステップと、
を含むことを特徴とする画像処理方法である。
（請求項７）
請求項７に記載の発明は、
画像内を複数の領域に分割する画像処理装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
画像内で指定された一部の前景画素と一部の背景画素の位置情報に基づいてその画像全体を前景画素と背景画素に分割する所定の画像分割処理を実行する分割処理手段、
前記分割処理手段による画像分割処理の対象となる画像上で所定幅の描画ラインを指定する指定手段、
前記指定手段によって指定された所定幅の描画ラインで分割される一方の側を一部の前景画素の位置情報とし、他方の側を一部の背景画素の位置情報とし、かつ、この所定幅の描画ラインの内部を前景か背景かが未確定の画素として該画像に対して前記所定の画像分割処理を実行させる分割処理制御手段、
として機能させるようにしたコンピュータ読み取り可能なプログラムである。

１ 制御部
３ａ プログラムメモリ
３ｃ 画像メモリ
６ タッチ表示部

Claims (14)

1. 画像内において、前景であることが確定された前景画素と、背景であることが確定された背景画素と、前景か背景かが未確定の未確定画素とが指定されると、この指定情報に基づいて、未確定画素を更に前景画素と背景画素とに分割する分割処理手段と、
   前記分割処理手段により第１の画像を前景画素と背景画素に分割した際の情報である分割情報を取得する分割情報取得手段と、
   前記第１の画像と所定の関係にある第２の画像に対して前記分割処理手段による分割を行わせる際に、前記分割情報取得手段により取得した前記分割情報を利用して、当該第２の画像の画像内における前景画素、背景画素、および未確定画素を指定する分割制御手段と、
   を備え、
   前記分割制御手段は、前記分割情報により特定される前景と背景との境界線に対して、前記第１の画像と前記第２の画像との関係に応じた幅を持たせた領域を特定し、当該領域に対応する前記第２の画像内の領域を未確定画素として指定して前記分割処理手段による前記第２の画像の分割を行わせることを特徴とする画像処理装置。
2. 前記分割制御手段は、前記第１の画像と前記第２の画像との関係性が低いほど、未確定画素に対応する領域の幅がより太くなるように指定して前記分割処理手段による前記第２の画像の分割を行わせることを特徴とする請求項１記載の画像処理装置。
3. 前記分割制御手段は、前記第１の画像と前記第２の画像とが撮影された時間の差が大きいほど、未確定画素に対応する領域の幅がより太くなるように指定して前記分割処理手段による前記第２の画像の分割を行わせることを特徴とする請求項２記載の画像処理装置。
4. 前記指定手段は、ユーザによる画像上での描画操作により所定幅の描画ラインを生成して表示し、この生成した所定幅の描画ラインを前記境界線として指定することを特徴とする請求項３記載の画像処理装置。
5. 前記分割処理手段は、画像内で指定された一部の前景画素または背景画素の位置情報を利用して、この画像全体の画素を前景画素と背景画素に分割する所定の画像分割処理を実行し、
   前記分割制御手段は、前記境界線から所定距離以上離れた位置にある画素を前記一部の前景画素または背景画素に指定して、前記分割処理手段による画像の分割を行わせることを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記分割処理手段は、画像内で指定された一部の前景画素の位置情報および一部の背景画素の位置情報を利用して、この画像全体の画素を前景画素と背景画素に分割する所定の画像分割処理を実行し、
   前記分割制御手段は、前記境界線で分割される一方の側で前記所定距離以上離れた位置にある画素を前記一部の前景画素の位置情報とし、かつ、前記境界線で分割される他方の側で前記所定距離以上離れた位置にある画素を前記一部の背景画素の位置情報とし、かつ、前記境界線から所定距離以内に位置する画素を前景か背景かが未確定の画素として、前記分割処理手段による画像の分割を行わせることを特徴とする請求項５記載の画像処理装置。
7. 同じ被写体を撮影した２つの画像を前記第１の画像および前記第２の画像として取得する画像取得手段を更に備えたことを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
8. 連続して撮影された２つの画像を前記第１の画像および前記第２の画像として取得する画像取得手段を更に備え、
   前記分割制御手段は、連続した撮影の速度が遅いほど、未確定画素に対応する領域の幅がより太くなるように指定して前記分割処理手段による前記第２の画像の分割を行わせることを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
9. 前記画像取得手段は、動画データに含まれる複数のフレーム画像の中から、連続して撮影された２つの画像を前記第１の画像および前記第２の画像として順次取得し、
   前記分割情報取得手段は、前記画像取得手段により順次取得される各フレーム画像を対象として、前記分割処理手段により順次分割を行った際の境界線の位置情報を順次取得し、
   前記分割制御手段は、前記画像取得手段により順次取得される各フレーム画像を対象として、前記分割情報取得手段により順次取得される境界線の位置情報を利用して前記分割処理手段による分割を順次行わせることを特徴とする請求項８に記載の画像処理装置。
10. 前記分割制御手段は、前記動画データに含まれる複数のフレーム画像の中で、最初に前記分割処理手段による分割を行わせるフレーム画像に対しては、画像上でのユーザ操作により境界線を指定することを特徴とする請求項９に記載の画像処理装置。
11. 前記分割処理手段は、最初に指定された前景画素と背景画素を前景か背景かが確定された確定画素とし、前景か背景かが未確定の対象画素については、その対象画素の周辺に存在する当該対象画素よりも前景か背景かの確信度が高い周辺画素の情報に基づいて前景か背景かの確信度を上げていく処理を繰り返すことで、最終的に全ての画素が前景か背景かを確定させる所定の画像分割処理を実行することを特徴とする請求項１乃至４のいずれかにに記載の画像処理装置。
12. 前記分割処理手段は、前景か背景かが未確定の対象画素については、対象画素の周辺に、対象画素よりも前景か背景かの確信度が高い周辺画素があり、かつ、対象画素の画素値と周辺画素の画素値との距離が近い場合に、対象画素が前景か背景かを示すラベルを周辺画素のラベルと同じものに変更すると共に、その確信度を周辺画素の確信度と距離に応じて変更する処理を繰り返すことで、最終的に全ての対象画素について前景か背景かを確定させる所定の画像分割処理を実行することを特徴とする請求項１１に記載の画像処理装置。
13. 画像処理装置による画像処理方法であって、
    画像内において、前景であることが確定された前景画素と、背景であることが確定された背景画素と、前景か背景かが未確定の未確定画素とが指定されると、この指定情報に基づいて、未確定画素を更に前景画素と背景画素とに分割する分割処理と、
    前記分割処理により第１の画像を前景画素と背景画素に分割した際の情報である分割情報を取得する分割情報取得処理と、
    前記第１の画像と所定の関係にある第２の画像に対して前記分割処理による分割を行わせる際に、前記分割情報取得処理により取得した前記分割情報を利用して、当該第２の画像の画像内における前景画素、背景画素、および未確定画素を指定する分割制御処理と、
    を含み、
    前記分割制御処理は、前記分割情報により特定される前景と背景との境界線に対して、前記第１の画像と前記第２の画像との関係に応じた幅を持たせた領域を特定し、当該領域に対応する前記第２の画像内の領域を未確定画素として指定して前記分割処理処理による前記第２の画像の分割を行わせることを特徴とする画像処理方法。
14. コンピュータを、
    画像内において、前景であることが確定された前景画素と、背景であることが確定された背景画素と、前景か背景かが未確定の未確定画素とが指定されると、この指定情報に基づいて、未確定画素を更に前景画素と背景画素とに分割する分割処理手段、
    前記分割処理手段により第１の画像を前景画素と背景画素に分割した際の情報である分割情報を取得する分割情報取得手段、
    前記第１の画像と所定の関係にある第２の画像に対して前記分割処理手段による分割を行わせる際に、前記分割情報取得手段により取得した前記分割情報を利用して、当該第２の画像の画像内における前景画素、背景画素、および未確定画素を指定する分割制御手段、
    として機能させ、
    前記分割制御手段は、前記分割情報により特定される前景と背景との境界線に対して、前記第１の画像と前記第２の画像との関係に応じた幅を持たせた領域を特定し、当該領域に対応する前記第２の画像内の領域を未確定画素として指定して前記分割処理手段による前記第２の画像の分割を行わせることを特徴とするプログラム。

Images