JP7419080B2 - コンピュータシステムおよびプログラム - Google Patents

Description

（関連出願の相互参照）
本出願は、「ＰＲＩＶＡＣＹ ＰＲＥＳＥＲＶＡＴＩＯＮ ＡＰＰＡＲＡＴＵＳ」と題し、２０１９年２月５日に出願された米国特許仮出願第６２／８０１，４７９号の優先権、及び「「ＰＲＩＶＡＣＹ ＰＲＥＳＥＲＶＡＴＩＯＮ ＡＰＰＡＲＡＴＵＳ」と題し、２０１９年１２月１１日に出願された米国特許出願第１６／７１０，９２４号の優先権を主張する。これらの特許出願は、その全体が参照によって本願明細書に援用される。

本開示の一側面はコンピュータシステムおよびプログラムに関する。

プライバシーを保護するために画像をぼかす技術が知られている（例えば、特許文献１、特許文献２を参照）。

特開２０１１－１２９０９６号公報 特開２０１６－１２６５９７号公報

本開示の一側面は、画像を適切に処理することを目的とする。

本開示の一側面に係るコンピュータシステムはプロセッサを備える。プロセッサは、原画像データによって示される原画像の対象領域内の被写体の個人情報を第１の機械学習器を用いて探索するととともに被写体の属性情報を第２の機械学習器を用いて探索し、対象領域に対応する２次元行列であるフィルタパラメータを、対象領域又は対象領域をぼかすことで得られる画像に加算するフィルタを、対象領域に適用することで変換画像を得て、第１の機械学習器を用いて変換画像から被写体の個人情報を認識できるか否かを検証するとともに、第２の機械学習器を用いて変換画像から被写体の属性情報を認識できるか否かを検証する処理を、第１の機械学習器により被写体の個人情報が認識不可となり且つ第２の機械学習器により被写体の属性情報が認識可能となるまで、フィルタパラメータを変更しながら繰り返すループ処理を行ってフィルタパラメータを決定し、決定されたフィルタパラメータのフィルタで変換された対象領域を含む変換画像を示す変換画像データを出力する。

実施形態に係る画像処理システムのハードウェア構成の一例を示す図である。 実施形態に係る画像処理システムの機能構成の一例を示す図である。 属性フィルタの生成の一例を示すフローチャートである。 属性フィルタの一例を示す図である。 原画像から変換画像を得る処理の一例を示すフローチャートである。 図５に示す処理のより具体的な例を示すフローチャートである。

以下、添付図面を参照しながら本開示での実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。

［システムの概要］
実施形態に係る画像処理システム１０は、原画像データによって示される原画像の少なくとも一部を変換し、この処理により得られる変換画像を示す変換画像データを生成するコンピュータシステムである。画像とは、人が視覚を通して何らかの情報を認識することができる像のことをいう。原画像とは画像処理システム１０によって処理される画像のことをいう。原画像はカメラなどの撮像装置によって生成された画像でもよいし、撮影後に任意の他の画像処理が施された画像でもよい。原画像データとは原画像を示す電子データのことをいう。変換画像とは、原画像の少なくとも一部を変換することで得られる画像のことをいう。変換画像データとは変換画像を示す電子データのことをいう。原画像データおよび変換画像データはいずれもコンピュータにより処理されることで可視化され、その結果、人は原画像および変換画像を視覚を通して認識することができる。原画像および変換画像はいずれも、静止画、すなわち写真でもよいし、動画を構成するフレーム画像でもよい。

画像処理システム１０は、被写体に対応する個人情報を認識不可とし且つ該被写体の属性を認識可能とするように原画像を変換することで変換画像を得る。より具体的には、画像処理システム１０は、コンピュータが、被写体に対応する個人情報は認識できないが該被写体の属性は認識できるように、原画像から変換画像を生成する。被写体は人でもよいし物でもよい。例えば、被写体は、人、人の顔、車両のナンバープレート、および建物から成る群から選択される一つを少なくとも含んでもよい。

個人情報とは、或る個人を他の人と区別して特定することを可能にする情報のことをいう。個人情報はプライバシーに関係し得る。個人情報の種類は限定されない。例えば、個人情報の例として、人の顔、人の名前、住所、電話番号、メールアドレス、ナンバープレート（ナンバープレートで示される番号を含む）、所有物、表札、建物の外観または内部などが挙げられるが、これらに限定されない。

属性とは、被写体の性質、特徴、または状況を表す任意の一般情報のことをいう。属性の種類は限定されない。例えば、被写体が人または人の顔であれば、属性は性別、年齢層、人種、視線の向き、身長、進行方向のうちの少なくとも一つを含み得る。被写体がナンバープレートであれば、属性はそのナンバープレートで示される地域（ｌｏｃａｌまたはｎｏｎ－ｌｏｃａｌ）、ナンバープレートの色、およびナンバープレートで示される車種のうちの少なくとも一つを含み得る。被写体が建物であれば、属性は築年数、種別、駐車場の有無のうちの少なくとも一つを含み得る。

一例では、画像処理システム１０は原画像に含まれる人の顔を処理して、その顔をぼかした変換画像を生成する。例えば、画像処理システム１０は、原画像の被写体の顔を人またはコンピュータが認識できなくなるように変換画像を生成する。コンピュータはその変換画像を処理してもその人が誰であるかを認識することはできない。しかし、コンピュータは変換画像を処理することでその人の属性を認識することができ、例えば、その人が男性か女性か、その人がどの方向に視線を向けているかなどを認識できる。画像処理システム１０は個人情報が認識されないように原画像を変換して変換画像を得るので、プライバシー保護装置であるということができる。

［システムの構成］
図１は、画像処理システム１０のハードウェア構成の一例を示す。例えば、画像処理システム１０は制御回路１００を有する。一例では、制御回路１００は、一つまたは複数のプロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信ポート１０４と、入出力ポート１０５とを有する。プロセッサ１０１はオペレーティングシステムおよびアプリケーションプログラムを実行する。ストレージ１０３はハードディスク、不揮発性の半導体メモリ、取り出し可能な媒体（例えば、磁気ディスク、光ディスクなど）などの非一時的な記憶媒体で構成され、オペレーティングシステムおよびアプリケーションプログラムを記憶する。メモリ１０２は、ストレージ１０３からロードされたプログラム、またはプロセッサ１０１による演算結果を一時的に記憶する。一例では、プロセッサ１０１は、メモリ１０２と協働してプログラムを実行することで、後述する各機能モジュールとして機能する。通信ポート１０４は、プロセッサ１０１からの指令に従って、通信ネットワークＮＷを介して他の装置との間でデータ通信を行う。入出力ポート１０５は、プロセッサ１０１からの指令に従って、キーボード、マウス、モニタなどの入出力装置（ユーザインタフェース）との間で電気信号の入出力を実行する。

ストレージ１０３は、コンピュータを画像処理システム１０として機能させるためのプログラム１１０を記憶する。プロセッサ１０１がこのプログラム１１０を実行することで画像処理システム１０の各機能モジュールが実現される。プログラム１１０は、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどの非一時的な記録媒体に固定的に記録された上で提供されてもよい。あるいは、プログラム１１０は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。

画像処理システム１０は一つまたは複数のコンピュータにより構成され得る。複数のコンピュータが用いられる場合には、通信ネットワークを介してこれらのコンピュータが互いに接続されることで論理的に一つの画像処理システム１０が構成される。

画像処理システム１０として機能するコンピュータは限定されない。例えば、画像処理システム１０は業務用サーバなどの大型のコンピュータで構成されてもよいし、パーソナルコンピュータ、携帯端末（例えばスマートフォン、タブレット端末、ウェアラブル端末など）などの小型のコンピュータで構成されてもよい。

図２は画像処理システム１０の機能構成の一例を示す図である。画像処理システム１０は機能モジュールとして管理部１１、フィルタ生成部１２、選択部１３、および適用部１４を備える。管理部１１は原画像から変換画像を生成する処理を統括的に管理する機能要素である。フィルタ生成部１２は属性フィルタを生成する機能モジュールである。選択部１３は原画像に適用する属性フィルタを選択する機能モジュールである。適用部１４は選択された属性フィルタを原画像に適用することで変換画像を得る機能モジュールである。フィルタとは画像を加工する機能のことをいい、属性フィルタとは被写体の属性に対応するフィルタのことをいう。属性フィルタは、被写体に対応する個人情報は認識できないが該被写体の属性は認識できるように画像をぼかす。属性フィルタの実現方法は限定されず、例えば、プログラムコード、設定ファイル、またはこれらの組合せによって属性フィルタが実現されてよい。

［システムでの処理手順］
図３～図６を参照しながら、画像処理システム１０の動作を説明するとともに、本実施形態に係る画像処理方法について説明する。図３は属性フィルタの生成の一例を処理フローＳ１として示すフローチャートである。図４は属性フィルタの一例を示す図である。図５は原画像に属性フィルタを適用して変換画像を得る処理の一例を処理フローＳ２として示すフローチャートである。図６は処理フローＳ２についてのより具体的な例を処理フローＳ３として示すフローチャートである。

処理フローＳ１について説明する。ステップＳ１０１では管理部１１が対象画像データを取得する。対象画像データとは、属性フィルタを生成するために用いられる画像である対象画像を示すデータである。対象画像データの取得方法は限定されない。例えば、管理部１１は所与のデータベースまたはメモリにアクセスしてその記憶装置から対象画像データを読み出してもよい。あるいは、管理部１１は他のコンピュータから対象画像データを受信してもよい。あるいは管理部１１はユーザによって入力された対象画像データを受け付けてもよい。

ステップＳ１０２では、管理部１１がその対象画像内から一つの対象領域を選択する。対象領域とは、属性フィルタが適用される領域のことをいう。対象領域はプライバシーを特定し得る領域であるといえるので、プライバシー領域ということもできる。対象領域は対象画像の一部でもよく、この場合には、管理部１１は対象画像から一または複数の対象領域を抽出し得る。あるいは、対象領域は対象画像の全体でもよい。対象領域を抽出する手法は限定されない。例えば、管理部１１は物体検出のための機械学習を用いて、個人情報が写された領域を、例えば、顔、ナンバープレート、表札などの特定の領域を、自動的に対象領域として抽出してよい。管理部１１はその機械学習について、既にパラメータが調整された学習済みモデルを用いることができる。物体検出のための機械学習の例としてＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ（ＳＳＤ）が挙げられるが、これに限定されない。あるいは、管理部１１はユーザにより選択された一または複数の領域を対象領域として認識してもよい。管理部１１は１以上の対象領域の一つを処理対象として選択する。

ステップＳ１０３では、管理部１１が選択された対象領域の個人情報を探索する。この探索方法も限定されない。例えば、管理部１１は物体検出のための機械学習（例えばＳＳＤ）を用いて個人情報を探索してもよいし、対象画像に関連付けられた任意の情報を参照することで個人情報を探索してもよい。個人情報を探索する代わりに、管理部１１はユーザにより入力された個人情報を取得してもよい。ステップＳ１０２において対象領域を抽出する際に個人情報を特定できた場合には、管理部１１はステップＳ１０３の処理を実行することなくその個人情報をそのまま取得してもよい。

ステップＳ１０４では、管理部１１が選択された対象領域の属性情報を探索する。属性情報とは被写体の属性を示す情報のことをいう。属性情報の探索方法も限定されない。例えば、管理部１１は属性を取得するための機械学習を用いて属性情報を探索してもよい。管理部１１はその機械学習について、既にパラメータが調整された学習済みモデルを用いることができる。属性を取得するための機械学習の例としてＶｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ（ＶＧＧ）が挙げられるが、これに限定されない。管理部１１は複数の学習済みモデルを用いて属性情報を認識してもよい。属性情報を探索する代わりに、管理部１１はユーザにより入力された属性情報を取得してもよい。管理部は、対象画像に関連付けられた任意の情報を参照することで属性情報を探索してもよい。

続いて、フィルタ生成部１２が属性フィルタを得るための処理を実行する。処理フローＳ１ではその処理をステップＳ１０５～Ｓ１０９により示す。

ステップＳ１０５では、フィルタ生成部１２は、属性フィルタを構成するパラメータであるフィルタパラメータを算出し、そのフィルタパラメータを用いて属性フィルタを生成する。

ステップＳ１０６では、フィルタ生成部１２はその属性フィルタを対象領域に適用する。属性フィルタが対象領域に適用されることで、その対象領域内の被写体がぼけるように（つまり、被写体の個人情報が識別できないように）該対象領域が変換される。生成された属性フィルタが、被写体に対応する個人情報を認識不可とし且つ該被写体の属性を認識可能とする機能を有するならば、この属性フィルタは原画像を処理するために用いることができる。

ステップＳ１０７，Ｓ１０８では、フィルタ生成部１２は属性フィルタがその機能を有するか否かを検証する。ステップＳ１０７では、フィルタ生成部１２は属性フィルタが適用された対象領域から個人情報を特定できるか否かを検証する。ステップＳ１０８では、フィルタ生成部１２はその対象領域から被写体の属性を解析できるか否かを検証する。個人情報を認識することができず（ステップＳ１０７においてＮＯ）、且つ属性を認識することができる場合には（ステップＳ１０８においてＹＥＳ）、処理はステップＳ１０９に進む。ステップＳ１０９では、フィルタ生成部１２は生成された属性フィルタを取得し、この属性フィルタをストレージ１０３に格納する。この処理はフィルタ生成部１２がフィルタパラメータを決定したことを意味する。この結果、原画像を処理するための属性フィルタが保存される。一方、個人情報を認識することができるか（ステップＳ１０７においてＹＥＳ）、または属性を認識することができない場合には（ステップＳ１０８においてＮＯ）、処理はステップＳ１０５に戻る。この場合、フィルタ生成部１２はフィルタパラメータを再度計算し、そのフィルタパラメータに基づいてステップＳ１０６～Ｓ１０８の処理を再度実行する。

フィルタ生成部１２は機械学習を用いてステップＳ１０５～Ｓ１０９の処理を実行してもよい。例えば、フィルタ生成部１２は物体検出のための機械学習（例えばＳＳＤ）を用いてステップＳ１０７の処理を実行し、属性を取得するための機械学習（例えばＶＧＧ）を用いてステップＳ１０８の処理を実行してもよい。これらの機械学習のそれぞれについて、フィルタ生成部１２は学習済みモデルを用いることができる。ステップＳ１０８では、フィルタ生成部１２は、ステップＳ１０４において特定した属性に対応する学習済みモデルを用いて属性を解析する。すなわち、フィルタ生成部１２は対象領域から探索された属性情報に基づいて学習済みモデルを選択し、その学習済みモデルを用いて、属性フィルタが適用された対象領域からその属性情報を認識できるか否かを検証する。フィルタ生成部１２は複数の学習済みモデルを用いてもよい。例えば、ステップＳ１０８において、フィルタ生成部１２は複数の学習済みモデルを用いて、属性情報を認識できるか否かを検証することができる。

ステップＳ１１０で示すように、画像処理システム１０は抽出された１以上の対象領域のそれぞれについてステップＳ１０２～Ｓ１０９の処理を実行する。

画像処理システム１０は複数の対象画像データについて処理フローＳ１を実行することで、複数の属性に対応する複数の属性フィルタを生成してストレージ１０３に保存することができる。図４に示す例では、ストレージ１０３は属性「男性」に対応する属性フィルタ、「女性」に対応する属性フィルタなどを記憶する。一つの属性について複数の属性フィルタが保存されてもよい。

属性フィルタの構成は限定されない。例えば、属性フィルタは、式（１）によって得られるＭａｘフィルタでもよいし、式（２）によって得られるＭｉｎフィルタでもよい。一つの属性について、ＭａｘフィルタおよびＭｉｎフィルタがストレージ１０３に保存されてもよい。

ここで、式（１），（２）における変数ｒはフィルタパラメータであり、対象領域に対応する２次元行列によって表現される。｜ｒ｜はノルムを表す。Ｍａｘフィルタではノルムの逆数を求める。変数ｃは、右項に対するノルムの重要度を設定するための係数である。右項は、属性を取得するための機械学習の損失関数である。式（１），（２）の他の例として、敵対的生成ネットワークを用いてフィルタパラメータが算出されてもよい。

Ｍａｘフィルタを用いる場合には、対象領域ｘにフィルタパラメータｒを加算することで変換画像を得る。式（１）は、その変換画像をクラスｌに分類可能なフィルタパラメータｒをできるだけ大きくすることを目的とする。このため、式（１）はノルムの逆数を最小化するように定義される。

Ｍｉｎフィルタを用いる場合には、対象領域ｘをマスキング処理によってぼかすことで得られる画像ｘ´にフィルタパラメータｒを加算することで変換画像を得る。式（２）は、その変換画像をクラスｌに分類可能なフィルタパラメータｒをできるだけ小さくすることを目的とする。フィルタパラメータｒは小さい値になるので、画像ｘ´と変換画像とで見た目はあまり変わらない。

図５を参照しながら、原画像から変換画像を得る処理フローＳ２について説明する。ステップＳ２０１では管理部１１が原画像データを取得する。原画像データの取得方法は限定されない。例えば、管理部１１は所与のデータベースまたはメモリにアクセスしてその記憶装置から原画像データを読み出してもよい。あるいは、管理部１１は他のコンピュータから原画像データを受信してもよい。あるいは管理部１１はユーザによって入力された原画像データを受け付けてもよい。

ステップＳ２０２では、管理部１１がその原画像内から一つの対象領域（プライバシー領域）を選択する。対象領域は原画像の一部でもよく、この場合には、管理部１１は原画像から一または複数の対象領域を抽出し得る。あるいは、対象領域は原画像の全体でもよい。対象領域を抽出する手法は限定されない。例えば、管理部１１は物体検出のための機械学習（例えばＳＳＤ）を用いて、個人情報が写された領域を、例えば、顔、ナンバープレート、表札などの特定の領域を、自動的に対象領域として抽出してよい。管理部１１はその機械学習について、既にパラメータが調整された学習済みモデルを用いることができる。あるいは、管理部１１はユーザにより選択された一または複数の領域を対象領域として認識してもよい。管理部１１は１以上の対象領域の一つを処理対象として選択する。

ステップＳ２０３では、管理部１１が選択された対象領域の属性情報を探索する。属性情報の探索方法も限定されない。例えば、管理部１１は属性を取得するための機械学習（例えばＶＧＧ）を用いて属性情報を探索してもよい。管理部１１はその機械学習について、既にパラメータが調整された学習済みモデルを用いることができる。属性情報を探索する代わりに、管理部１１はユーザにより入力された属性情報を取得してもよい。

ステップＳ２０４では、選択部１３が属性フィルタを取得する。属性フィルタを取得する方法は限定されない。一例では、選択部１３は属性情報に対応する属性フィルタをストレージ１０３から読み出してもよい。属性情報で示される属性に対して複数の属性フィルタがストレージ１０３に存在する場合には、選択部１３はユーザによって選択された属性フィルタを選択してもよい。あるいは、フィルタ生成部１２は上記のステップＳ１０５～Ｓ１０９の処理を実行することで、属性情報に対応する属性フィルタを動的に生成し、選択部１３がその属性フィルタを取得してもよい。あるいは、選択部１３は属性情報に対応する属性フィルタをストレージ１０３から取得することを試み、もしその取得ができない場合に、選択部１３はフィルタ生成部１２に属性フィルタの生成を指示してもよい。フィルタ生成部１２はその指示に応答して、上記のステップＳ１０５～Ｓ１０９の処理を実行することで、属性情報に対応する属性フィルタを動的に生成する。そして、選択部１３はその属性フィルタを取得する。

ステップＳ２０５では、適用部１４が、取得された属性フィルタを対象領域に適用することで該対象領域を変換する。属性フィルタを対象領域に適用する処理とは、対象領域の個々の画素のＲＧＢ値を属性フィルタによって変更する処理である。この処理によって、対象領域が、被写体に対応する個人情報は認識不可であるが該被写体の属性は認識可能なように変更される。一例では、適用部１４は対象領域を変換することで該対象領域内の被写体をぼかす。

ステップＳ２０６で示すように、画像処理システム１０は抽出された１以上の対象領域のそれぞれについてステップＳ２０２～Ｓ２０５の処理を実行する。すべての対象領域が処理されると、処理はステップＳ２０７に進む。ステップＳ２０７に進むということは、属性フィルタによって変換された１以上の対象領域を含む変換画像が生成されたことを意味する。

ステップＳ２０７では、管理部１１がその変換画像を示す変換画像データを出力する。変換画像データの出力方法は限定されない。例えば、管理部１１はその変換画像データをストレージ１０３、データベースなどの所与の記憶装置に格納してもよい。あるいは、管理部１１はその変換画像データを、モニタ上に表示してもよいし、他のコンピュータに向けて送信してもよい。

図６を参照しながら、原画像から変換画像を得る具体例である処理フローＳ３について説明する。処理フローＳ２と同一または同等の処理については説明を省略する。

ステップＳ２０１と同じステップＳ３０１では、管理部１１が原画像データを取得する。ステップＳ３０２では、管理部１１が原画像内でプライバシー領域（対象領域）を探索する。この例では、管理部１１が一つの対象領域を抽出してその領域を選択したものと仮定する。ステップＳ３０２はステップＳ２０２と同等である。ステップＳ２０３と同じステップＳ３０３では、管理部１１がその対象領域の属性情報を探索する。ステップＳ２０４と同じステップＳ３０４では、選択部１３が属性フィルタを取得する。ステップＳ３０５では、管理部１１が対象領域に対して、ガウシアンフィルタなどの別フィルタを用いたマスキング処理を実行することでその対象領域をぼかす。この処理によって、対象領域は少なくとも、被写体に対応する個人情報が認識できないように変換される。ステップＳ３０６では、適用部１４が、ぼかされた対象領域に属性フィルタを加算することで該対象領域を変換し、これにより変換画像を得る。この加算処理は属性フィルタの適用の一例である。具体的には、適用部１４はＭｉｎフィルタをその対象領域に加算する。この処理によって、対象領域が、被写体に対応する個人情報は認識不可であるが該被写体の属性は認識可能なように変更される。ステップＳ３０５，Ｓ３０６の組合せは、ステップＳ２０５の一例である。ステップＳ２０７と同じステップＳ３０７では、管理部１１がその変換画像を示す変換画像データを出力する。

［効果］
以上説明したように、本開示の一側面に係るコンピュータシステムはプロセッサを備える。プロセッサは、原画像データによって示される原画像の対象領域内の被写体の属性を認識し、被写体に対応する個人情報を認識不可とし且つ被写体の属性を認識可能とするために、属性に対応するフィルタを対象領域に適用することで該対象領域を変換し、変換された対象領域を含む変換画像を示す変換画像データを出力する。

本開示の一側面に係るプログラムは、原画像データによって示される原画像の対象領域内の被写体の属性を認識するステップと、被写体に対応する個人情報を認識不可とし且つ被写体の属性を認識可能とするために、属性に対応するフィルタを対象領域に適用することで該対象領域を変換するステップと、変換された対象領域を含む変換画像を示す変換画像データを出力するステップとをコンピュータに実行させる。

本開示の一側面に係る、コンピュータ読み取り可能な非一時的記録媒体は、原画像データによって示される原画像の対象領域内の被写体の属性を認識するステップと、被写体に対応する個人情報を認識不可とし且つ被写体の属性を認識可能とするために、属性に対応するフィルタを対象領域に適用することで該対象領域を変換するステップと、変換された対象領域を含む変換画像を示す変換画像データを出力するステップとをコンピュータに実行させるプログラムを記憶する。

このような側面においては、被写体に対応する個人情報を認識不可とし且つ被写体の属性を認識可能とするように、該属性に対応するフィルタが原画像の対象領域に適用される。従来技術であるガウシアンフィルタを原画像に適用した場合には、個人情報だけでなく属性も削除されてしまう。一方、上述した特許文献１に記載の技術では個人情報が復元される可能性があるので、プライバシー保護には不十分である。別の従来技術として、人工の顔などのような人工的な個人情報を用いたマスキングがあるが、この場合には、人はマスキングがされたか否かを判断することができず、個人情報が画像内に含まれるか否かも判断することができない。本開示の上記側面により、従来技術が抱えるこれらの技術的課題を解決して、原画像を適切に処理することができる。

他の側面に係るコンピュータシステムでは、プロセッサが、属性とフィルタとの対応関係を記憶する記憶部を参照することでフィルタを取得し、取得されたフィルタを対象領域に適用することで該対象領域を変換してもよい。予め用意されているフィルタを用いることで対象領域を即時に変換することができる。

他の側面に係るコンピュータシステムでは、プロセッサが、個人情報を認識不可とし且つ属性を認識可能とするために、フィルタを構成するフィルタパラメータを決定し、決定されたフィルタパラメータを用いてフィルタを生成し、生成されたフィルタを対象領域に適用することで該対象領域を変換してもよい。このようにフィルタを動的に生成することで、予めフィルタを用意しなくても対象領域を適切に変換することができる。

他の側面に係るコンピュータシステムでは、フィルタパラメータの決定が、フィルタパラメータを算出することと、算出されたフィルタパラメータを用いてフィルタを生成することと、生成されたフィルタを対象領域に適用することで該対象領域を変換することと、変換された対象領域から個人情報を認識できるか否かを検証することと、変換された対象領域から属性を認識できるか否かを検証することと、変換された対象領域から個人情報を認識できず、且つ変換された対象領域から属性を認識できる場合に、フィルタパラメータを決定することとを含んでもよい。このような処理手順により、原画像を適切に処理できるフィルタを動的に生成することができる。

他の側面に係るコンピュータシステムでは、プロセッサが、属性とフィルタとの対応関係を記憶する記憶部を参照することでフィルタを取得し、取得されたフィルタを対象領域に適用することで該対象領域を変換し、記憶部からフィルタを取得できない場合に、（Ａ）個人情報を認識不可とし且つ属性を認識可能とするために、フィルタを構成するフィルタパラメータを決定し、（Ｂ）決定されたフィルタパラメータを用いてフィルタを生成し、（Ｃ）生成されたフィルタを対象領域に適用することで該対象領域を変換してもよい。用いるべきフィルタが存在しない場合にそのフィルタが動的に生成されるので、対象領域を適切に変換することができる。

他の側面に係るコンピュータシステムでは、プロセッサが、原画像の中で個人情報が写された領域を対象領域として選択してもよい。この処理により、個人情報を確実に保護することができる。

他の側面に係るコンピュータシステムでは、プロセッサが、対象領域を変換することで被写体をぼかしてもよい。この処理により、人の視覚を通して個人情報が認識されることを防止できる。

他の側面に係るコンピュータシステムでは、プロセッサが、属性に対応するフィルタとは異なる別フィルタを対象領域に適用することで被写体をぼかし、属性に対応するフィルタを、被写体がぼかされた対象領域に適用してもよい。この処理により、人の視覚を通して個人情報が認識されることを防止できる。

他の側面に係るコンピュータシステムでは、別フィルタがガウシアンフィルタであってもよい。

他の側面に係るコンピュータシステムでは、被写体が、人、人の顔、ナンバープレート、および建物から成る群から選択される一つを少なくとも含んでもよい。この場合には、これらの個人情報を確実に保護することができる。

一例では、調査車両を用いて道路画像を収集する。道路画像を他社に提供する場合には、プライバシーの保護を考慮する必要がある。例えば、Ｇｏｏｇｌｅ Ｓｔｒｅｅｔ Ｖｉｅｗでは、個人情報を保護するために画像内の個人の顔、車両のナンバープレート、および家の表札をぼかす。

今日では、コンピュータ画像処理技術は、画像を分析し、画像から一般的なオブジェクト属性情報を抽出するために広く用いられている。例えば、人間の顔検出技術を用いて画像内の人数をカウントすることができる。年齢または性別の予測技術は、顔写真から一般的なオブジェクト属性を抽出する。

しかしながら、ガウシアンブラーフィルタ等の従来のマスキング方法を使用して個人情報が保護されている画像は、そのフィルタが対象領域内のすべての画像特徴を削除、削減、または修正するため、一般的なオブジェクト属性抽出に影響を及ぼすことがあった。例えば、人間の顔検出器が、ガウシアンブラーフィルタにより顔がマスキングされた画像内に存在する人数をカウントできないことがあった。

この問題を解決するために、特開２０１１－１２９０９６号公報では、個人情報を保護するために対象領域のピクセルを動かしながらエッジ情報、形態情報、色配置情報のいずれかを維持することが開示されている。しかしながら、この方法では、元の個人情報が復元されてしまう可能性があった。

別の解決方法は、写真内に存在する人の顔を、同じ一般的なオブジェクト属性を持つ別の人の顔に置き換えるというものである。しかしながら、この方法には２つの課題がある。まず、画像を見る人は、その画像がプライバシー保護されているか否かを区別することができない。また、追加された顔画像の著作権が明確でない。

上記課題を解決するため、個人情報の識別を困難にしつつ、コンピュータビジョン方法を用いてマスキングされた属性を分析できる新しいマスキング方法を提案する。

この方法はプライバシー保護の方法である。この方法は主に二つの構成からなる。第１の構成である属性フィルタ適用部は、画像解析プログラムにより解析可能なオブジェクトの一般的な属性を表すピクセル画像パターンによりオブジェクトをマスクする。第２の構成である属性フィルタ選択部は、各画像解析プログラムにより作成された属性フィルタを選択する。

従来技術にはない構成および方法の一例は以下の通りである。
ｉ．画像解析プログラムにより解析可能な属性フィルタを追加する属性フィルタ適用部を備えること。
ｉｉ．属性フィルタ適用部により生成された属性フィルタが、画像解析プログラムにより解析可能な属性を提供するとともに個人情報をマスキングすること。

この方法は解析対象のオブジェクトの属性を維持しながら画像内のオブジェクトのプライバシーを保護する。

フィルタを生成する属性フィルタ適用部は、個人情報を保護するとともに一般的なオブジェクト属性情報を解析するために、バックプロパゲ―ションを用いて最適化される。

マーケティング用に画像を解析する他社に対して、プライバシーが保護された道路画像を提供することが可能になる。

［変形例］
以上、本開示の実施形態に基づいて詳細に説明した。しかし、本開示は上記実施形態に限定されるものではない。本開示は、その要旨を逸脱しない範囲で様々な変形が可能である。

上記実施形態では、画像処理システム１０が対象領域を変換することで該対象領域内の被写体をぼかすが、画像処理システムは、フォグ、モザイクなどのような、ぼかし以外の加工を被写体に施してもよい。

画像処理システム１０はフィルタ生成部１２を備えなくてもよい。例えば、十分な種類の属性フィルタが予め用意される場合には、フィルタ生成部１２を省略することができる。画像処理システム１０が属性フィルタを常に動的に生成する場合には、ストレージ１０３は属性フィルタを予め記憶しなくてもよい。

本開示において、「プロセッサが、第１の処理を実行し、第２の処理を実行し、…第ｎの処理を実行する。」との表現、またはこれに対応する表現は、第１の処理から第ｎの処理までのｎ個の処理の実行主体（すなわちプロセッサ）が途中で変わる場合を含む概念を示す。すなわち、この表現は、ｎ個の処理のすべてが同じプロセッサで実行される場合と、ｎ個の処理においてプロセッサが任意の方針で変わる場合との双方を含む概念を示す。

コンピュータシステム内で二つの数値の大小関係を比較する際には、「以上」および「よりも大きい」という二つの基準のどちらを用いてもよく、「以下」および「未満」の二つの基準のうちのどちらを用いてもよい。このような基準の選択は、二つの数値の大小関係を比較する処理についての技術的意義を変更するものではない。

プロセッサにより実行される方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップ（処理）の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正又は削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。

以上の実施形態の全部または一部に記載された態様は、画像処理に関する制御、処理速度の向上、処理精度の向上、使い勝手の向上、データを利用した機能の向上または適切な機能の提供その他の機能向上または適切な機能の提供、データおよび／またはプログラムの容量の削減、装置および／またはシステムの小型化等の適切なデータ、プログラム、記録媒体、装置および／またはシステムの提供、並びにデータ、プログラム、装置またはシステムの制作・製造コストの削減、制作・製造の容易化、制作・製造時間の短縮等のデータ、プログラム、記録媒体、装置および／またはシステムの制作・製造の適切化のいずれか一つの課題を解決する。

本開示の内容は以下のように規定することもできる。
（１）プライバシー保護装置は属性フィルタ適用部と属性フィルタ選択部からなる。属性フィルタ適用部は画像解析プログラムが解析可能な属性を追加する。属性フィルタ選択部は各解析プログラムのために作成された属性フィルタを選択する。
（２）属性フィルタ適用部は、解析のためにオブジェクトの属性を維持しつつ個人情報をマスクするフィルタを備える。
（３）属性フィルタ適用部によって提供されるフィルタは、フィルタの追加時またはフィルタの追加前に属性フィルタ生成部によって生成される。
（４）属性フィルタ生成部は、個人情報と分析の属性との両方の識別処理と、属性フィルタの生成処理とから成る。
（５）属性フィルタ生成部はプライバシー情報とオブジェクトの一般的な属性とを認識する。次いで、属性フィルタ生成部はプライバシー情報をマスクし、画像解析プログラムが認識できる一般的な属性情報を含む。
（６）（１）の装置において、属性フィルタを追加する場合に、ガウシアンブラー等を用いてプライバシー情報をマスクしてもよい。
（７）（１）の装置において、属性フィルタ適用部は複数の属性を追加する。
（８）（１）の装置において、属性フィルタ選択部はプライバシー保護オブジェクト検出処理、属性情報検出処理、および属性フィルタ取得処理から成る。
（９）属性フィルタ選択部は解析時の画像サイズなどからフィルタのサイズをパラメータとして持つこともできる。
（１０）（８）の装置において、属性フィルタ取得処理は、属性情報検出処理からのクエリに応答して、属性フィルタ生成部により作成および記憶されたフィルタを取得する。
（１１）（８）の装置において、属性フィルタ取得処理が適切な属性情報を検出できない場合には、プライバシー保護装置は属性フィルタ生成部に属性情報を生成するように要求する。

１０…画像処理システム、１１…管理部、１２…フィルタ生成部、１３…選択部、１４…適用部、１１０…プログラム。

Claims (3)

1. プロセッサを備え、
   前記プロセッサが、
   原画像データによって示される原画像の対象領域内の被写体の個人情報を第１の機械学習器を用いて探索するとともに前記被写体の属性情報を第２の機械学習器を用いて探索し、
   前記対象領域に対応する２次元行列であるフィルタパラメータを、前記対象領域又は前記対象領域をぼかすことで得られる画像に加算するフィルタを、前記対象領域に適用することで変換画像を得て、前記第１の機械学習器を用いて前記変換画像から前記被写体の個人情報を認識できるか否かを検証するとともに、前記第２の機械学習器を用いて前記変換画像から前記被写体の属性情報を認識できるか否かを検証する処理を、前記第１の機械学習器により前記被写体の個人情報が認識不可となり且つ前記第２の機械学習器により前記被写体の前記属性情報が認識可能となるまで、前記フィルタパラメータを変更しながら繰り返すループ処理を行って前記フィルタパラメータを決定し、
   決定された前記フィルタパラメータのフィルタで変換された前記対象領域を含む変換画像を示す変換画像データを出力する、
   コンピュータシステム。
2. 前記プロセッサが、
   前記属性情報と前記フィルタとの対応関係を記憶する記憶部を参照することで前記対象領域内の被写体の属性情報に対応する前記フィルタを取得し、
   前記取得されたフィルタを前記対象領域に適用することで該対象領域を変換して変換画像を生成し、
   前記変換画像から、前記第１の機械学習器により前記被写体の個人情報が認識可能であるか、前記第２の機械学習器により前記被写体の属性情報が認識不可である場合、前記ループ処理を行う、
   請求項１に記載のコンピュータシステム。
3. 原画像データによって示される原画像の対象領域内の被写体の個人情報を第１の機械学習器を用いて探索するととともに前記被写体の属性情報を第２の機械学習器を用いて探索するステップ、
   前記対象領域に対応する２次元行列であるフィルタパラメータを、前記対象領域又は前記対象領域をぼかすことで得られる画像に加算するフィルタを、前記対象領域に適用することで変換画像を得て、前記第１の機械学習器を用いて前記変換画像から前記被写体の個人情報を認識できるか否かを検証するとともに、前記第２の機械学習器を用いて前記変換画像から前記被写体の属性情報を認識できるか否かを検証する処理を、前記第１の機械学習器により前記被写体の個人情報が認識不可となり且つ前記第２の機械学習器により前記被写体の前記属性情報が認識可能となるまで、前記フィルタパラメータを変更しながら繰り返すループ処理を行って前記フィルタパラメータを決定するステップ、及び、
   決定された前記フィルタパラメータのフィルタで変換された前記対象領域を含む変換画像を示す変換画像データを出力するステップ、
   をコンピュータに実行させるプログラム。

Images