JP2017187850A - 画像処理システム、情報処理装置、プログラム - Google Patents

Abstract

【課題】認識精度の低下を抑制して、画像データに写った秘匿情報を保護できる画像処理システムを提供すること。
【解決手段】撮像装置１が撮像した画像データを取得する第一の情報処理装置４を有する画像処理システム２００であって、前記画像データに秘匿情報の保護処理を施して保護画像を生成し、前記保護画像と前記画像データを関連付ける保護手段と、前記保護画像を第二の情報処理装置に送信して、前記第二の情報処理装置から前記保護画像の分類に関する分類情報を取得する分類情報取得手段４３と、前記保護画像と関連付けられた前記画像データ及び前記分類情報を用いて機械学習を行う学習手段４５と、を有する。
【選択図】図２

Description

本発明は、画像処理システム、情報処理装置及びプログラムに関する。

画像データに各種の解析を施して有用な解析情報を抽出する技術が知られている。例えば、周囲を定期的に撮像する撮像装置が配置されている場合、撮像装置が撮像した画像データを情報処理装置などが解析して人を検知する技術が知られている。人を検知できれば、情報処理装置が人の撮像範囲を切り取ったり、人数をカウントするなどの処理が容易になる。このように、画像データを解析することでより高度に加工された解析情報が得られる。

ところで、画像データに人が撮像されている場合、人の顔も撮像されている場合ある。そこで、人の顔に着目して画像を解析する技術がある（例えば、特許文献１参照。）。特許文献１には、顔画像の特徴を損なわない程度まで画像特徴量の次元圧縮を行ってから顔を認識する装置が開示されている。

しかしながら、従来の技術のように画像データに認識可能な程度に顔が撮像されていることが必ずしも好ましくない場合があるという問題がある。例えば、人の検知精度を向上させるために機械学習が利用される場合がある。機械学習は、主に、教師あり学習、教師なし学習、及び、強化学習の３つに分類されるが、教師あり学習では学習用の画像データを人間（以下、担当者という）がラベリングする必要がある。

例えば、店舗に設置された撮像装置が周囲を撮像して画像データを生成し、情報処理装置が画像データを教師データに使用して、人を認識する識別器を機械学習により作成する場合を例にして説明する。教師データをつくる担当者は、店舗に設置された撮像装置が撮像した画像を１枚１枚目視して、人が写っている部分及び写っていない部分をトリミングし、「人である」又は「人ではない」というラベリングを行う。このラベリングの作業の際、画像に個人の顔が写っていると、担当者がその個人を特定できてしまう可能性がある。

担当者に守秘義務を課すことも可能だが、守秘義務が守られる保証がなく、守秘義務を有していても学習用の画像データが漏洩するおそれが生じうる。このようなリスクがあると、画像処理システムの顧客が撮像装置１の設置を躊躇せざるを得なくなってしまう。

一方で、個人を特定できないように、学習用の画像データに対し情報処理装置がぼかす又はモザイクをかけるなどの処理を行うと、画像の鮮明さが失われ、作成された識別器の精度が低下してしまう。

このように従来の機械学習では、識別器の認識精度を落とさないで、画像データに写っている個人のプライバシーなどの秘匿情報を保護することが困難であるという問題があった。

本発明は、上記課題に鑑み、認識精度の低下を抑制して、画像データに写った秘匿情報を保護できる画像処理システムを提供することを目的とする。

本発明は、撮像装置が撮像した画像データを取得する第一の情報処理装置を有する画像処理システムであって、前記画像データに秘匿情報の保護処理を施して保護画像を生成し、前記保護画像と前記画像データを関連付ける保護手段と、前記保護画像を第二の情報処理装置に送信して、前記第二の情報処理装置から前記保護画像の分類に関する分類情報を取得する分類情報取得手段と、前記保護画像と関連付けられた前記画像データ及び前記分類情報を用いて機械学習を行う学習手段と、を有する。

認識精度の低下を抑制して、画像データに写った秘匿情報を保護できる画像処理システムを提供することができる。

機械学習のプロセスを説明する図の一例である。 画像処理システムの全体的な動作を説明する図の一例である。 画像処理システムの概略構成図の一例である。 撮像装置のハードウェア構成図の一例である。 無線通信機能を有したクレードルの場合の通信端末のハードウェア構成図の一例である。 画像管理装置、画像処理サーバ、情報端末、管理者ＰＣ、担当者ＰＣのハードウェア構成図の一例である。 画像処理システムが有する、撮像装置、通信端末、画像管理装置、及び情報端末の各機能ブロック図の一例である。 画像処理システムが有する画像処理サーバ、管理者ＰＣ及び担当者ＰＣの各機能ブロック図の一例である。 ニューラルネットワークの一例を模式的に示す図である。 ＣＮＮの構造を模式的に示す図の一例である。 画像処理システムの全体的な動作の流れを示すフローチャート図の一例である。 保護処理部が保護処理を行うシーケンス図の一例である。 画像分類部が分類処理を行うシーケンス図の一例である。 画像分類部が編集処理を行うシーケンス図の一例である。 学習部が学習処理を行うシーケンス図の一例である。 分析部が分類処理を行うシーケンス図の一例である。 分類画面の一例を示す図である。 編集画面の一例を示す図である。 オリジナル画像からの人認識領域の切り出しを説明する図の一例である。 分析結果画面の一例を示す図である。 分析結果詳細画面の一例を示す図である。

以下、本発明を実施するための形態について図面を参照しながら説明する。

始めに、図１を用いて、機械学習について簡単に説明する。図１は、機械学習のプロセスを説明する図の一例である。本実施形態では画像認識のための機械学習について説明するが、画像認識以外でも機械学習のプロセスは同じである。機械学習のプロセスは、学習フェーズと認識フェーズの２つを有している。学習フェーズでは、情報処理装置に認識させたい画像を学習させる処理、すなわち識別器を作成する処理を行い、認識フェーズでは情報処理装置が識別器を用いて識別対象の画像から人などの認識対象を認識する処理が行われる。
（１）学習フェーズ
学習フェーズでは、まず、情報処理装置が画像になんらかの処理を施して特徴量の抽出を行う。すなわち、ピクセル（画素）のデータ列からより学習に適したデータ列（特徴量データ）へと変換を行う。例えば、二値化した場合の黒画素の数、連続した黒画素の数と方向などが特徴量データとなりうる。

次に、情報処理装置は機械学習と呼ばれる学習方法で特徴量データを学習する。入力された特徴量データの中から共通のパターンや判別ルールなどを抽出し、これにより未知の画像データに対しても、共通のパターンや判別ルールに基づいたなんらかの判断ができるようになる。学習によって得られた共通のパターンや判別ルールなどを学習データという。

なお、機械学習は、教師あり学習、教師なし学習及び強化学習の３つに大別される。教師あり学習は、問題（入力）と答え（出力）がセットで入力データとして与えられる学習方法である。例えば、ラベリングの担当者が入力画像それぞれに画像の答えとしてラベル（例えば、食事、花、人、風景など）を与える。情報処理装置はラベルに基づいて認識結果が正しいか否かを判断し、正しくない場合は学習データにフィードバックすることで学習精度を高めていく。
（２）認識フェーズ
認識フェーズでも同様に特徴量の抽出が行われる。情報処理装置は学習フェーズで用いたものと同様の手法で入力画像から特徴量データへ抽出する。そして、変換された特徴量データを機械学習で抽出された学習データを用いて、入力データが何を表しているかを判別する。

本実施形態では、主に教師あり学習について説明する。このため、情報処理装置が例えば人や人の動作を画像認識により検出する場合、学習フェーズにおいて、画像データに対し、人である、人でない、座っている、又は、手を伸ばしているなどのラベリングを担当者が行う。

教師あり学習のアルゴリズムとしてニューラルネットワーク、ＳＶＭ（サポートベクターマシン）、ディープラーニングなどが知られている。近年では、ＧＰＵ（Graphic Processor Unit）のように高速演算処理を可能とする汎用的なハードウェアが登場したこと、大量のデジタルデータを大量に扱えるようになったこと等を理由に、ディープラーニングが注目されている。ディープラーニングとは、ニューラルネットワークの構成（入力層、中間層、出力層）のうち中間層が所定数以上のものをいう。中間層が多いため、各層で学習するべきパラメータ数が大幅に増え、学習には時間がかかる。しかし、ディープラーニングは、従来の機械学習の手法よりも高い精度を誇り、応用範囲も広いことが実証されている。

＜本実施形態の概略＞
図２は、本実施形態の画像処理システムの全体的な動作を説明する図の一例である。
（１）まず、撮像装置１は店舗内などに設置されており、定期的に周囲を撮像して画像データを画像処理サーバ４に送信する。この画像データは所定以上の解像度を有する鮮明な画像（以下、オリジナル画像という）であり、機械学習に適している。
（２）画像処理サーバ４は機械学習したり画像認識を行う装置である。画像処理サーバ４はオリジナル画像に対し秘匿情報の保護処理を施す。秘匿情報の保護処理は、個人の顔、住所、電話番号などの個人の特定に結びつく秘匿情報を人が視認困難な程度に変更する処理である。具体的には、ぼかし、モザイク処理又は平滑化などを行う。
（３）画像管理装置５は、担当者６ａと閲覧者Ｙからの要求を処理する装置である。まず、担当者６ａが担当者ＰＣ６を操作して保護画像を画像管理装置５に要求する。画像管理装置５は画像処理サーバ４に保護画像を要求するので、画像処理サーバ４はオリジナル画像と保護画像を対応付け、保護画像のみを画像管理装置５に送信する。担当者６ａは、保護画像を視認して人の有無や、人の動作に関し保護画像にラベリングを行う。保護画像では秘匿情報が保護されているので担当者６ａが個人を特定することを防止できる。
（４）担当者ＰＣ６は保護画像を分類することで保護画像のラベルを画像管理装置５に送信する。これにより、画像管理装置５では保護画像（具体的には保護画像の人認識領域）ごとにラベルが付与される。
（５）画像管理装置５は保護画像のラベルを画像処理サーバ４に送信する。これにより、画像処理サーバ４ではオリジナル画像にラベルが対応付けられた状態となる。
（６）画像処理サーバ４は学習部４５を有しており、この学習部４５はオリジナル画像とラベルを使用して例えばディープラーニングによる機械学習を行う。オリジナル画像が使用されるので、認識の精度を低下させずに学習することができる。学習により学習データが作成される。ここまでが学習フェーズである。
（７）次に、認識部４６は、例えば閲覧者Ｙからの要求によって、学習によって得られた学習データを用いて撮像装置１から送信されるオリジナル画像を認識する。例えば、人の有無や人の動作を認識する。そして、認識結果（人が認識されたか、人である場合にどのような動作をおこなっているか）と共に保護画像を画像管理装置５に送信する。
（８）閲覧者Ｙは撮像装置１が配置された店舗等の例えば運営者である。閲覧者Ｙは情報端末７を操作して保護画像を表示させる。保護画像では、認識部４６による画像認識により人が矩形枠で強調されていたりその動作内容がタグなどで表示されている。あるいは、ある時間内で特定の動作を行った人の数などを情報端末７が解析して表示したりすることもできる。

このように本実施形態の画像処理システムは、担当者６ａがラベリングに使用する画像データが保護されているため秘匿情報の漏えいを抑制できる。また、認識フェーズではオリジナル画像が使用されるので認識の精度が低下しにくい。

＜用語について＞
秘匿情報とは秘匿されることが好ましい情報をいう。あるいは、個人や個人に関する組織などを特定できる情報である。具体的には、個人の顔、住所、電話番号、電子メールアドレス、特定のサイトのアカウント（ログインＩＤ）、パスワード、又はポスターや写真などの肖像、などであるがこれらには限られない。

分類情報とは、画像に写っている情報に基づいて画像が分類された場合の類別である。類別の内容や数は分類の目的に応じて決定される。本実施形態では、画像における人の有無、及び、人が写っている場合は画像に写っている人の動作に応じて分類され、動作内容を分類情報として説明する。

機械学習とは、データから反復的に学習し、そこに潜むパターンを見つけ出すことである。学習結果を新たなデータにあてはめることで情報処理装置がパターンにしたがって人間と同様に判断することが可能になる。具体例については後述される。

また、本実施形態において画像と画像データという用語は厳密には区別されずに使用される。

＜画像処理システムのシステム構成＞
図３は、画像処理システム２００の概略構成図の一例である。画像処理システム２００は、通信ネットワーク９を介して接続された画像管理装置５、画像処理サーバ４、撮像装置１、通信端末３、担当者ＰＣ６、管理者ＰＣ８、及び、情報端末７を有している。撮像装置１は設置者Ｘにより店舗内に設置されている。情報端末７は閲覧者Ｙにより操作され、担当者ＰＣ６は担当者６ａにより操作され、管理者ＰＣ８はシステム管理者８ａにより操作される。

通信ネットワーク９は、店舗内や閲覧者Ｙの所属先の企業のＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等の少なくとも１つを含んで構築されている。通信端末３や情報端末７がＬＡＮを介さずに直接、回線電話網や携帯電話網に接続する場合は、ＬＡＮを介さずにプロバイダネットワークに接続することができる。また、通信ネットワークにはＷＡＮやインターネットが含まれる。通信ネットワークは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。

撮像装置１は、１度の撮像で周囲３６０度を撮像し全天球画像を作成するカメラである。デジタルスチルカメラ又はデジタルビデオカメラと呼ばれる場合がある。また、通信端末３にカメラが付いている場合は、通信端末３がデジタルカメラとなりうる。本実施形態では、説明を分かりやすくするために撮像装置１は全天球画像を得るためのデジタルカメラとして説明を行う。撮像装置１は定期的に周囲３６０を撮像する。必ずしも定期的である必要はなく、不定期に撮像してもよいし、設置者Ｘの操作により撮像してもよいし、閲覧者Ｙが画像管理装置５に要求することで画像管理装置５からの命令で撮像してもよい。

なお、撮像装置１は、視線が異なる何枚かの風景を自動的に撮像し、複数の画像データを合成することで全天球画像を作成してもよい。

通信端末３は、撮像装置１の代わりに通信ネットワーク９に接続する通信機能を有している。通信端末３は、撮像装置１への電力供給や店舗への固定を行うためのクレードル(Cradle)である。クレードルとは、撮像装置１の機能を拡張する拡張機器をいう。通信端末３は撮像装置１と接続するためのインタフェースを有し、これにより撮像装置１は通信端末３の機能を利用できる。通信端末３は、このインタフェースを介して撮像装置１とデータ通信を行なう。そして、無線ルータ９ａ及び通信ネットワーク９を介して画像管理装置５とデータ通信を行なう。

なお、撮像装置１が無線ルータ９ａや通信ネットワーク９と直接、データ通信する機能を有する場合、通信端末３はなくてもよい。あるいは、撮像装置１と通信端末３が一体に構成されていてもよい。

画像処理サーバ４は、例えば、サーバとして機能する情報処理装置であり、通信ネットワーク９を介して、通信端末３及び画像管理装置５とデータ通信を行うことができる。画像処理サーバ４は、撮像装置１から送信された画像データ（オリジナル画像）と、秘匿情報の保護処理が行われた画像データ（保護画像）を対応付けて管理する。その他、画像処理サーバ４は機械学習に関する処理を行う。画像処理サーバ４はオリジナル画像を保持するが、担当者ＰＣ６、管理者ＰＣ８及び情報端末７とは通信しないので、オリジナル画像が漏洩することを抑制しやすい。

画像管理装置５は、例えば、サーバとして機能する情報処理装置であり、通信ネットワーク９を介して、通信端末３及び情報端末７とデータ通信を行なうことができる。画像管理装置５には、OpenGL ES（3Dグラフィックス用のＡＰＩ：Application Interface）がインストールされている。OpenGL ESを呼び出すことでメルカトル画像から全天球画像を作成したり、全天球画像の一部の画像（所定領域画像）のサムネイル画像を作成したりすることができる。

なお、画像管理装置５及び画像処理サーバ４にはクラウドコンピューティングが適用されていることが好ましい。クラウドコンピューティングの物理的な構成に厳密な定義はないが、情報処理装置を構成するＣＰＵ、ＲＡＭ、ストレージなどのリソースが負荷に応じて動的に接続・切断されることで情報処理装置の構成や設置場所が柔軟に変更される構成が知られている。また、クラウドコンピューティングでは、画像管理装置５が仮想化されることが一般的である。１台の情報処理装置が仮想化によって複数の画像管理装置５としての機能を提供することや、複数の情報処理装置が仮想化によって一台の画像管理装置５としての機能を提供することができる。なお、画像管理装置５がクラウドコンピューティングとしてではなく単独の情報処理装置により提供されることも可能である。

情報端末７は、例えば、ノートＰＣ(Personal Computer)であり、通信ネットワーク９を介して、画像管理装置５とデータ通信を行う。情報端末７は、ノートＰＣの他、タブレット端末、ＰＣ、ＰＤＡ（Personal Digital Assistant）、電子黒板、テレビ会議端末、ウェアラブルＰＣ、ゲーム機、携帯電話、カーナビゲーションシステム、スマートフォンなどでもよい。また、これらに限られるものではない。

担当者ＰＣ６は担当者６ａが保護画像をラベリングする際に使用される情報処理装置である。担当者ＰＣ６の具体的な例は情報端末７と同様でよい。より好ましくは、担当者６ａが移動中などの空き時間にラベリングできるように、スマートフォンなど可搬性の情報処理装置である。担当者６ａは保護画像にラベリングを行う者である。担当者６ａは例えばアルバイト（学生など）、派遣社員、契約社員、パート、又は、正社員などであるがこれらには限られない。

管理者ＰＣ８は、画像処理システム２００を管理・運営するシステム管理者８ａが操作するための情報処理装置である。また、管理・運営の一環としてシステム管理者８ａは機械学習に関する作業を行う。システム管理者８ａと設置者Ｘとが同じ者でもよい。システム管理者８ａは、機械学習の精度を向上させるために、保護画像を参照して画像処理サーバ４が機械学習に使用するか否かを保護画像ごとに決定する。

撮像装置１、通信端末３、及び無線ルータ９ａは、店舗等の各販売拠点で設置者Ｘによって所定の位置に設置される。情報端末７は、各販売拠点を統括する本社等に設置され、画像管理装置５を介して送られて来る各拠点の状況を表した画像を表示することで、閲覧者Ｙが各拠点の状況を表した画像を閲覧することができる。ただし、情報端末７は本社以外の場所からも画像管理装置５と通信可能である。画像管理装置５は、各拠点の通信端末３から送られて来た画像データやその解析結果を情報端末７に送信する。

画像処理サーバ４は通信ネットワーク９上にあればよいが、管理者ＰＣ８、担当者ＰＣ６及び情報端末７からは通信が困難状態に隔離されることが好ましい。画像処理サーバ４はオリジナル画像を有しているためである。また、管理者ＰＣ８及び担当者ＰＣ６は通信ネットワーク９に接続可能な任意の場所に配置されるが、固定されている必要はなく移動可能であることが想定される。また、システム管理者８ａが使用する情報処理装置が便宜上、管理者ＰＣ８と呼ばれ、担当者６ａが使用する情報処理装置が便宜上、担当者ＰＣ６と呼ばれるに過ぎない。

＜実施形態のハードウェア構成＞
次に、図４〜図６を用いて、本実施形態の撮像装置１、通信端末３，情報端末７、画像処理サーバ４、担当者ＰＣ６，管理者ＰＣ８及び画像管理装置５のハードウェア構成を説明する。

<<撮像装置１>>
図４は、撮像装置１のハードウェア構成図の一例である。以下では、撮像装置１は、２つの撮像素子を使用した全方位の撮像装置１とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置１と同じ機能を有するようにしてもよい。

図４に示されているように、撮像装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。更に、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、メルカトル画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、該撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮像装置１によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置１には表示部が設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮像装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ１１６を介して通信端末３等の外部装置に送信されたりする。

通信部１１７は、撮像装置１に設けられたアンテナ１１７ａを介して、Ｗｉ−Ｆｉ(wireless fidelity)、ＮＦＣ（Near Filed Communication）、又はＬＴＥ（Long Term Evolution）等の離無線技術によって、通信端末３等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータを通信端末３の外部装置に送信することができる。

電子コンパス１１８は、地球の磁気から撮像装置１の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。

<<通信端末>>
次に、図５を用いて、通信端末３のハードウェア構成を説明する。なお、図５は、無線通信機能を有したクレードルの場合の通信端末３のハードウェア構成図である。

図５に示されているように、通信端末３は、通信端末３全体の動作を制御するＣＰＵ３０１、基本入出力プログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)３０４、Ｗｉ−Ｆｉ、ＮＦＣ、ＬＴＥ等でデータ通信する通信部３０５、撮像装置１と有線で通信するためのＵＳＢ I/F３０３、カレンダーや時間情報を保持するＲＴＣ（Real Time Clock）３０６を有している。

また、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。

なお、ＲＯＭ３０２には、ＣＰＵ３０１が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。

通信部３０５は、アンテナ３０５ａを利用して無線通信信号により、無線ルータ９ａ等と通信を行う。

図示する他、ＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって通信端末３の位置情報（緯度、経度、及び高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部を備えていてもよい。

<<画像管理装置５、画像処理サーバ４、情報端末７、管理者ＰＣ８、担当者ＰＣ６>>
図６（ａ）を用いて、画像管理装置５、情報端末７、管理者ＰＣ８、担当者ＰＣ６のハードウェア構成を説明する。なお、図６（ａ）は、画像管理装置５、情報端末７、管理者ＰＣ８、担当者ＰＣ６のハードウェア構成図である。画像管理装置５、情報端末７、管理者ＰＣ８、担当者ＰＣ６はいずれも情報処理装置（コンピュータ）であるため、以下では、画像管理装置５の構成について説明する。情報端末７、管理者ＰＣ８、担当者ＰＣ６の構成は画像管理装置５と同様であるとし、相違があるとしても本実施形態の説明に関し支障がないものとする。

画像管理装置５は、画像管理装置５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３を有する。また、画像管理装置５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５を有する。また、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８を有する。ディスプレイ５０８にはタッチパネルが装着されていることが好ましい。また、通信ネットワーク９を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２を有する。また、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)５１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ５１４を有する。また、上記各構成要素を図５に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。

図６（ｂ）は、画像処理サーバ４のハードウェア構成図の一例である。画像処理サーバ４は情報処理装置であるため、基本的な構成は画像管理装置５と同様である。ただし、ディープラーニングに関する処理を行う画像処理サーバ４はＧＰＵ５１５を有することが好ましい。ＧＰＵ５１５は画像処理で多く見られる、単純だが数の多い処理を並列に行うプロセッサである。複数のタスクを同時に並列に実行できるよう数百から数千以上のコアを有している。この他の構成は画像管理装置５と同様であるものとして説明する。

＜画像処理システムの機能について＞
図７は、本実施形態の画像処理システム２００が有する、撮像装置１、通信端末３、画像管理装置５、及び情報端末７の各機能ブロック図の一例である。図８は、本実施形態の画像処理システム２００が有する画像処理サーバ４、管理者ＰＣ８及び担当者ＰＣ６の各機能ブロック図の一例である。

<<撮像装置１の機能構成>>
撮像装置１は、受付部１２、撮像部１３、集音部１４、接続部１５、及び記憶・読出部１９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮像装置１用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、撮像装置１は、図４に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４の１つ以上によって構築される記憶部１０００を有している。記憶部１０００には撮像装置１用のプログラム及び端末ＩＤが記憶されている。

撮像装置１の受付部１２は、主に、図４に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、ユーザ（図２では、設置者Ｘ）からの操作入力を受け付ける。なお、撮像装置１は設置者Ｘによる撮像のための操作がなくても自動的かつ定期的に周囲を撮像する。定期の間隔は、設置者Ｘが撮像装置１に設定してもよいし、閲覧者Ｙが画像管理装置５を介して設定してもよい。

撮像部１３は、主に、図４に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、及びＣＰＵ１１１の処理によって実現され、風景等を撮像し、画像データを作成する。

集音部１４は、主に、図４に示されているマイク１０８及び音処理ユニット１０９、及び、ＣＰＵ１１１の処理によって実現され、撮像装置１の周囲の音を収音する。

接続部１５は、主に、ネットワークＩ／Ｆ１１６及びＣＰＵ１１１の処理によって実現され、通信端末３からの電力供給を受けると共に、通信端末３とデータ通信を行う。

記憶・読出部１９は、主に、図４に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データを記憶したり、記憶部１０００から各種データを読み出したりする。なお、以下では、撮像装置１が記憶部１０００から読み書きする場合でも「記憶・読出部１９を介して」という記載を省略する場合がある。

<<通信端末３の機能構成>>
通信端末３は、送受信部３１、受付部３２、接続部３３、及び記憶・読出部３９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ３０２からＲＡＭ３０４上に展開された通信端末用のプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。

また、通信端末３は、図５に示されているＲＯＭ３０２及びＲＡＭ３０４によって構築される記憶部３０００を有している。記憶部３０００には通信端末用のプログラムが記憶されている。

（通信端末３の各機能構成）
通信端末３の送受信部３１は、主に、図５に示されている通信部３０５及びＣＰＵ３０１の処理によって実現され、無線ルータ９ａ及び通信ネットワーク９を介して、画像管理装置５と各種データの送受信を行う。なお、以下では、通信端末３が画像管理装置５と通信する場合でも、「送受信部３１を介して」という記載を省略する場合がある。

接続部３３は、主に、図５に示されているＵＳＢ I/F３０３、及びＣＰＵ３０１の処理によって実現され、撮像装置１に電力供給すると共に、データ通信を行う。

記憶・読出部３９は、主に、図５に示されているＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データを記憶したり、記憶部３０００から各種データを読み出したりする。なお、以下では、通信端末３が記憶部３０００から読み書きする場合でも「記憶・読出部３９を介して」という記載を省略する場合がある。

<<画像管理装置５の機能構成>>
画像管理装置５は、送受信部５１、サムネイル作成部５２、画面作成部５３、分析部５４、要求処理部５５、及び記憶・読出部５９を有している。これら各部は、図６（ａ）に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された画像管理装置５用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、画像管理装置５は、図６（ａ）に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、拠点管理ＤＢ５００１、撮像管理ＤＢ５００２、画像管理ＤＢ５００３、サムネイル管理ＤＢ５００４、及び、解析情報管理ＤＢ５００５、が構築されている。以下、各データベースについて説明する。

表１は、拠点管理ＤＢ５００１に記憶される各情報をテーブル状に示す拠点管理テーブルを示す。拠点管理テーブルでは、地域ＩＤ、地域名、拠点ＩＤ、拠点名、拠点レイアウトマップ、及び、装置ＩＤの各フィールドが関連付けて記憶されている。また、拠点管理テーブルの１つの行をレコードという場合がある。以下の各テーブルでも同様である。このうち、地域ＩＤは、地域を識別するための識別情報である。地域ＩＤの一例としては重複しない番号とアルファベットの組み合わせが挙げられる。

地域名は、例えば、関東、東京、渋谷区、ニューヨーク州、ニューヨーク市等、土地の区域又は範囲を示す。地域名称と言ってもよい。なお、識別情報とは、複数の対象からある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち２つ以上の組み合わせをいう。以下のＩＤ又は識別情報についても同じである。

拠点ＩＤは、拠点を識別するための識別情報の一例である。拠点ＩＤは拠点名に対し重複しないように付与される。拠点固有情報と称してもよい。拠点ＩＤの一例としては重複しない番号とアルファベットの組み合わせが挙げられる。拠点とは撮像装置１が設置され周囲を撮像するよりどころとなる所を言う。拠点の一例が店舗である。

拠点名は、渋谷店等の店舗名や、渋谷会場等の会場名等であり、拠点の名称である。拠点レイアウトマップには、各拠点のレイアウトや地図を示す画像データなどのファイル名が登録される。拠点レイアウトマップにより拠点における撮像装置１や取扱商品などの位置が２次元座標で特定される。

端末ＩＤは、撮像装置１を識別するための識別情報である。端末固有情報と称してもよい。端末ＩＤは、例えば、撮像装置１の例えばシリアル番号、製造番号、型番と重複しない数値、ＩＰアドレス、又は、ＭＡＣアドレスなどであるがこれらには限定されない。表１に示すように、１つの拠点には１つ以上の撮像装置１（端末ＩＤ）が設置されており、それらの位置が拠点レイアウトマップに登録されている。

拠点管理テーブルは、設置者Ｘ又は閲覧者Ｙが登録してもよいし、画像処理システム２００のサプライヤーが登録してもよい。

表２は、撮像管理ＤＢ５００２に記憶される各情報をテーブル状に示す撮像管理テーブルである。撮像管理テーブルでは、拠点ＩＤごとに、撮像タイトル、撮像開始日時、及び撮像終了日時の各フィールドが関連付けて記憶されている。撮像タイトルは、閲覧者Ｙが入力したイベントのタイトルである。つまり、閲覧者Ｙが消費者の行動を監視したい何らかのイベントが店舗で催される場合に、このイベントの名称が撮像タイトルとなる。当然ながら、イベントの名称は閲覧者Ｙが任意に付与できるためイベントの名称でなくてもよい。例えば、単に撮像年月日とすることもできる。閲覧者Ｙは、画像データの複数のファイルから所望の画像データを抽出する際に、撮像タイトルを参照することができる。なお、１回の撮像イベントで複数の画像データが時系列に（定期的に）撮像される。撮像開始日時は、閲覧者Ｙによって入力された日時であり、撮像装置１が撮像を開始する（又は開始した）日時を示す。撮像終了日時は、閲覧者Ｙによって入力された日時であり、撮像装置１が撮像を終了する（又は終了した）日時を示す。閲覧者Ｙは撮像開始日時と撮像終了日時を事前に登録しておくこともできる（予約撮像）。撮像管理テーブルは、主に画像管理装置５が登録する。

表３は、画像管理ＤＢ５００３に記憶される各情報をテーブル状に示す画像管理テーブルである。画像管理テーブルでは、端末ＩＤごとに、保護画像ＩＤ、画像データのファイル名、及び撮像日時が関連付けて記憶されている。保護画像ＩＤは、保護画像の画像データを一意に識別するための識別情報の一例である。画像固有情報と称してもよい。画像データのファイル名は、保護画像ＩＤで特定される画像データのファイル名である。撮像日時は画像データが端末ＩＤで示される撮像装置１で撮像された日時である。画像データも、記憶部５０００に記憶されている。

例えば、情報端末７で画像管理装置５にアクセスし、表２の撮像管理テーブルから拠点名と撮像タイトルを選ぶ。画像管理装置５は拠点ＩＤに対応付けられている端末ＩＤを表１の拠点管理テーブルから読み出すことができる。端末ＩＤが明らかになるので、画像管理テーブルの端末ＩＤに対応付けられた画像データのうち撮像日時が撮像開始日時から撮像終了日時に含まれる画像データを画像管理装置５が特定できる。

当然ながら、閲覧者Ｙは端末ＩＤや拠点ＩＤを直接指定することもできる。本実施形態では、簡単のため閲覧者Ｙが端末ＩＤを指定して閲覧する態様を主に説明する。なお、画像管理テーブルは、主に画像管理装置５が登録する。

表４は、サムネイル管理ＤＢ５００４に記憶される各情報をテーブル状に示すサムネイル管理テーブルである。サムネイルとは親指程度のという意味であり、サムネイル画像は縮小した、画素数を低減した又は一覧用のイメージデータという意味になる。

サムネイル管理テーブルでは、保護画像ＩＤごとに、サムネイルＩＤ、サムネイル画像のファイル名、及び所定領域情報が関連付けて記憶されている。サムネイルＩＤは、保護画像ＩＤで示される画像データに基づいて作成されたサムネイル画像を一意に識別するための識別情報の一例である。サムネイル固有情報と称してもよい。サムネイル画像のファイル名は、サムネイルＩＤで示されるサムネイル画像のファイル名である。サムネイル画像のファイル名は画像管理装置５が付与する。所定領域情報は、保護画像ＩＤで示される画像データにおいて、サムネイル画像が作成された所定領域を示す。サムネイル管理テーブルは、主に画像管理装置５が登録する。

表５は、解析情報管理ＤＢ５００５に記憶される各情報をテーブル状に示す解析情報テーブルである。解析情報テーブルでは、保護画像ＩＤごとに、領域ＩＤ、人認識領域、及び、分類が関連付けて記憶されている。保護画像ＩＤについては上記のとおりである。人認識領域は、機械学習により認識された来客者（人）の画像データにおける外接矩形の位置である。領域ＩＤは、人認識領域を一意に識別するための識別情報の一例である。領域番号や領域固有情報と称してもよい。例えば、画像ごとに１から始まる連番がareaｎの"ｎ"に設定される。

人認識領域は人が撮像されている位置を特定するための情報であり、来客者が検出される領域は矩形であるものとして、例えば、左上頂点の座標（x,y）と幅（width）と高さ（height）が領域範囲となる。対角の２点の座標で領域が特定されてもよい。なお、領域範囲は、全天球に画像が貼り付けられる前の平面の状態の平面画像の座標系に基づいて決定されている。補足すると、撮像装置１は当初、平面画像を出力するが、閲覧時には全天球に平面画像が貼り付けられ全天球画像が作成されている。分類は、画像認識により人認識領域の人がどのような動作をしていると分類されたかを示す。このように、解析情報管理ＤＢ５００５には画像認識されたオリジナル画像に関連付けられた保護画像と認識結果が記憶されている。

（画像管理装置５の各機能構成）
画像管理装置５の送受信部５１は、主に、図６（ａ）に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して通信端末３、又は情報端末７と各種データの送受信を行う。なお、以下では、画像管理装置５が情報端末７と通信する場合でも、「送受信部５１を介して」という記載を省略する場合がある。

サムネイル作成部５２は、主に、図６（ａ）に示されているＣＰＵ５０１の処理によって実現され、全天球画像の所定領域の画像のサムネイル画像を作成する。

画面作成部５３は、画像データを情報端末７に送信する際に、ＨＴＭＬデータ、JavaScript（登録商標）及びＣＳＳなどで情報端末７が画像データを表示するための画面情報を作成する。

分析部５４は、図６（ａ）に示されているＣＰＵ５０１の処理によって実現され、情報端末７から画像データの分析を受け付け、画像処理サーバ４に対し閲覧者Ｙから指定された画像データの認識を依頼する。また、認識結果を情報端末７に送信する。

要求処理部５５は、図６（ａ）に示されているＣＰＵ５０１の処理によって実現され、担当者ＰＣ６又は管理者ＰＣ８から保護画像の要求を取得すると、画像処理サーバ４に保護画像を要求し、担当者ＰＣ６又は管理者ＰＣ８へ送信する。すなわち、担当者ＰＣ６及び管理者ＰＣ８がオリジナル画像を有する画像処理サーバ４と直接、通信しなくても、担当者ＰＣ６及び管理者ＰＣ８が保護画像を得られるように通信を中継する。

記憶・読出部５９は、主に、図６（ａ）に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データを記憶したり、記憶部５０００から各種データを読み出したりする。なお、以下では、画像管理装置５が記憶部５０００から読み書きする場合でも「記憶・読出部５９を介して」という記載を省略する場合がある。

＜情報端末７の機能構成＞
情報端末７は、送受信部７１、受付部７２、表示制御部７３、及び、記憶・読出部７９を有している。これら各部は、図６（ａ）に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された情報端末７用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、情報端末７は、図６（ａ）に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部７０００を有している。記憶部７０００には情報端末７用のプログラムが記憶されている。情報端末７用のプログラムは、例えばブラウザソフトウェアであるが、ブラウザソフトウェアのような通信機能を備えたアプリケーションソフトウェアでもよい。また、画像管理装置５から情報端末７に送信されるＨＴＭＬやスクリプト言語で記述された情報も情報端末７用のプログラムとなる。

（情報端末７の各機能構成）
情報端末７の送受信部７１は、主に、図６（ａ）に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して画像管理装置５と各種データの送受信を行う。なお、以下では、情報端末７が画像管理装置５と通信する場合でも、「送受信部７１を介して」という記載を省略する場合がある。

受付部７２は、主に、図６（ａ）に示されているキーボード５１１及びマウス５１２、並びにＣＰＵ５０１の処理によって実現され、ユーザ（図２では、閲覧者Ｙ）からの操作入力を受け付ける。

表示制御部７３は、主に、図６（ａ）に示されているＣＰＵ５０１の処理によって実現され、画像管理装置５から送信された画面情報を解釈して情報端末７のディスプレイ５０８に各種画面を表示させるための制御を行なう。

記憶・読出部７９は、主に、図６（ａ）に示されているＨＤ５０４、及びＣＰＵ５０１の処理によって実現され、記憶部７０００に各種データを記憶したり、記憶部７０００から各種データを読み出したりする。なお、以下では、情報端末７が記憶部７０００から読み書きする場合でも「記憶・読出部７９を介して」という記載を省略する場合がある。

<<画像処理サーバ４の機能構成>>
画像処理サーバ４は、送受信部４１、保護処理部４２、画像分類部４３、編集受付部４４、学習部４５、認識部４６、及び記憶・読出部４９を有している。これら各部は、図６（ｂ）に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された画像処理サーバ４用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、画像処理サーバ４は、図６（ｂ）に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部４０００を有している。この記憶部４０００には、オリジナル画像ＤＢ４００１、保護画像ＤＢ４００２、関連付け管理ＤＢ４００３、分類管理ＤＢ４００４、分類結果ＤＢ４００５、及び、学習結果ＤＢ４００６、が構築されている。以下、各データベースについて説明する。

表６は、オリジナル画像ＤＢ４００１に記憶される各情報をテーブル状に示すオリジナル画像管理テーブルである。オリジナル画像管理テーブルは、オリジナル画像を管理するためのテーブルである。表５の画像管理テーブルには、オリジナル画像管理テーブルのオリジナル画像から変換された保護画像が管理されている。表６のオリジナル画像管理テーブルは、画像管理テーブルと同様の構成を有するため、主に相違点を説明する。オリジナル画像管理テーブルには、端末ＩＤごとに、オリジナル画像ＩＤ、画像データのファイル名、及び撮像日時が関連付けて記憶されている。オリジナル画像ＩＤは、オリジナル画像を一意に識別するための識別情報の一例である。画像固有情報と称してもよい。画像データのファイル名は、オリジナル画像ＩＤで特定されるオリジナル画像のファイル名である。撮像日時は画像管理テーブルと同様である。

表７は、保護画像ＤＢ４００２に記憶される各情報をテーブル状に示す保護画像管理テーブルである。保護画像管理テーブルは、保護画像を管理するためのテーブルである。保護画像管理テーブルは、端末ＩＤごとに、保護画像ＩＤ、画像データのファイル名、及び撮像日時が関連付けて記憶されている。したがって、オリジナル画像管理テーブルと同様の構成でよい。また、本実施形態では説明のため、表７の保護画像ＤＢ４００２を示したが、画像管理装置５が有する表５の画像管理テーブルで代用してもよい。

表８は、関連付け管理ＤＢ４００３に記憶される各情報をテーブル状に示す関連付け管理テーブルである。関連付け管理テーブルは、オリジナル画像ＩＤと保護画像ＩＤとを関連付けるテーブルである。後述する保護処理部４２は保護処理を行い保護画像を生成すると、保護画像ＩＤを採番して関連付け管理ＤＢ４００３に登録する。これにより、関連付け管理テーブルが生成される。関連付け管理テーブルがあることにより、保護画像とオリジナル画像を関連付けることができ、保護画像のラベルを教師データにして学習部４５がオリジナル画像で機械学習することができる。

表９は、分類管理ＤＢ４００４に記憶される各情報をテーブル状に示す分類管理テーブルである。分類管理テーブルは、人であるかどうか、及び、人の動作がいくつに分類された場合の分類名（動作内容）が登録されている。担当者６ａは保護画像を見てこの分類のいずれかに人認識領域を分類する（いずれにも該当しない場合もある）。この保護画像（正確には人認識領域）の分類結果がラベルとなる。学習部４５はこの分類（ラベル）を教師データにして学習する。

表９の動作内容は、保護画像に写った店舗内の人を閲覧者Ｙが分析するためのものなので、撮像装置１の設置目的によって分類管理テーブルには種々の分類名が設定され得る。例えば、店舗では表９の他、手に取る動作、身体に衣服を当てる動作などが動作内容となりうる。また、例えば、防犯用途では家に侵入する動作、商品を鞄にいる動作などが動作内容となりうる。表９のように分類管理テーブルが用意されることで、例えばシステム管理者８ａが分類管理テーブルを編集すれば、分類名を容易に増減できる。したがって、担当者のラベリングの対象を容易に増減できる。

表１０は、分類結果ＤＢ４００５に記憶される各情報をテーブル状に示す分類結果テーブルである。分類結果テーブルは、システム管理者８ａ及び担当者６ａが保護画像を分類した結果を示すテーブルである。すなわち、保護画像に関連付けられているオリジナル画像ＩＤに対し、分類、人認識領域及び学習データとしての使用有無が登録されている。分類は、担当者６ａがラベリングにより与えた表９のいずれかの分類名である。人認識領域は、担当者６ａが保護画像から人を判別した場合の人の外接矩形の位置を示す。厳密には、認識部４６が認識した人認識領域とは異なるが、説明の便宜上、担当者６ａが判別した場合も人認識領域と称する。使用有無は、オリジナル画像ＩＤで特定されるオリジナル画像を学習部４５が学習に使用するか否かを示す。後述するようにシステム管理者８ａにより設定される。これは、担当者６ａのラベリングが不適切であったり、必ずしも学習に適切でないオリジナル画像を排除して、認識部４６の認識の精度を向上させるためである。

表１１は、学習結果ＤＢ４００６に記憶される各情報をテーブル状に示す学習結果テーブルである。学習結果テーブルは、学習により作成された学習データを管理するためのテーブルである。学習結果テーブルには、学習データＩＤ、学習データのファイル名、学習日時、使用データＩＤ、及び正答率が登録されている。学習データＩＤは学習データを一意に特定するための識別情報である。学習データのファイル名は、後述する学習結果（フィルターや重み値）が格納されている。学習日時は学習データが作成された日時である。使用データＩＤは学習に使用された一まとまりのオリジナル画像のオリジナル画像ＩＤを特定するための識別情報である。正答率は、認識部４６が学習に用いたオリジナル画像を、学習データを用いて認識した場合に正しく認識する比率である。学習データは１つあればよいが、学習結果ＤＢ４００６にて管理されることで、ある学習データに不具合があった場合にシステム管理者８ａは過去の学習データに戻すことができる。

（画像処理サーバ４の各機能構成）
画像処理サーバ４の送受信部４１は、主に、図６（ｂ）に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して画像管理装置５と各種データの送受信を行う。なお、以下では、画像処理サーバ４が画像管理装置５と通信する場合でも、「送受信部４１を介して」という記載を省略する場合がある。

保護処理部４２は、主に図６（ｂ）に示されているＣＰＵ５０１の処理によって実現され、オリジナル画像に保護処理を行って保護画像を生成する。保護画像は保護画像ＤＢ４００２に登録される。また、保護処理部４２は関連付け管理ＤＢ４００３にオリジナル画像ＩＤ、保護画像ＩＤ及び撮像日時を登録する。

画像分類部４３は、主に図６（ｂ）に示されているＣＰＵ５０１の処理によって実現され、担当者ＰＣ６に担当者がラベリングするための分類画面を作成して担当者ＰＣに送信し、また、担当者６ａからのラベリングを受け付ける。

編集受付部４４は、主に図６（ｂ）に示されているＣＰＵ５０１の処理によって実現され、システム管理者８ａがオリジナル画像の使用有無を編集するための編集画面を作成して管理者ＰＣ８に送信し、また、システム管理者８ａから編集を受け付ける。なお、この編集処理はなくてもよく、その場合、全てのオリジナル画像が学習に使用される。また、編集画面では学習に「使用する」又は「使用しない」のいずれかに初期設定されている。

学習部４５は、主に図６（ｂ）に示されているＣＰＵ５０１やＧＰＵ５１５の処理によって実現され、オリジナル画像を用いて機械学習を行い、学習データを生成する。学習データを生成すると学習結果ＤＢ４００６に学習結果テーブルを登録する。

認識部４６は、主に図６（ｂ）に示されているＣＰＵ５０１ややＧＰＵ５１５の処理によって実現され、学習データを用いて画像認識を行い認識結果を出力する。

記憶・読出部４９は、主に、図６（ｂ）に示されているＨＤ５０４、及びＣＰＵ５０１の処理によって実現され、記憶部４０００に各種データを記憶したり、記憶部４０００から各種データを読み出したりする。なお、以下では、情報端末７が記憶部４０００から読み書きする場合でも「記憶・読出部４９を介して」という記載を省略する場合がある。

＜管理者ＰＣ，担当者ＰＣの機能構成＞
管理者ＰＣ８は、送受信部８１、受付部８２、表示制御部８３、及び、記憶・読出部８９を有している。担当者ＰＣ６は、送受信部６１、受付部６２、表示制御部６３、及び、記憶・読出部６９を有している。これらの機能は情報端末７と同様であるため、説明は省略する。

＜ディープラーニングについて＞
ディープラーニングはニューラルネットワーク向けの機械学習の手法である。まず、ニューラルネットワークについて説明する。なお、ニューラルネットワークやディープラーニングについては各種の文献に説明が記載されている。以下の説明は公知の文献を参照して記載した（例えば、非特許文献１参照）。

図９は、ニューラルネットワークの一例を模式的に示す図である。図９のニューラルネットワークは多層型と呼ばれる。多層型の他、ニューラルネットワークには相互結合型がある。

学習用に入力されたデータ６２４は、入力層６０１、中間層６０２、出力層６０３の順に流れていく。ディープラーニングに厳密な定義はないが中間層６０２が２層以上となった多層型のネットワークを呼ぶことが多い。このようなニューラルネットワークが（ＤＮＮ：Deep Neural Network）と呼ばれる 。図９では層の数がＮ個、各層のノードの数がＬ個である。

入力層６０１に入力されたデータは初期設定が与えられている重み値と乗算され、次の層の各ノードＮｏｄｅに入力される。例えば、中間層６０２のノードＮｏｄｅ２−Ｌ２へ入力される値（合計値）は以下のようになる。式（１）のＬ１は入力層のノードの数、ｊは入力層の各ノードである。

このように、各ノードには、直前の層の全てのノードへの入力と重み値の乗算の合計値が入力される。各ノードはこの合計値を活性化関数に入れて次の層の各ノードに出力する。活性化関数は合計値に対しノードが発火（後段の層にデータを伝えるかどうか）するかどうかを決定する関数である。例えば、シグモイド関数（出力は０〜１）やtanh関数（出力は−１〜＋１）等が使用されるが、これらに限られない。活性化関数により合計値が閾値未満では０（又は−１）が、閾値以上では１が出力される。したがって、合計値が０に変換される場合は後段の層にデータが伝えられない。

出力層６０３までデータが伝わると出力層６０３の各ノードが同様に活性化関数による値を出力する（認識フェーズの場合）。出力層６０３は、分類（ラベル）の種類と同じ数のノードを有する。分類（ラベル）は例えば、人である、手を伸ばしている、かがんでいる、又は見つめている、などであり、出力層６０３の各ノードがいずれかに対応する。

学習フェーズでは、入力されたデータが手を伸ばしている人の画像であれば、「人である」に対応するノードと「手を伸ばしている」に対応するノードが１を出力する可能性が高くなるように学習される。このような正しい分類を認識部４６が行えるように、学習用のオリジナル画像は教師データとして分類（ラベル）を有する。学習部４５は、人である、手を伸ばしている、かがんでいる、又は見つめているという分類がある学習用のオリジナル画像に教師データとして"１"を与え、そうでない画像に教師データとして（"０"（又は−１））を与える。出力層６０３のノードの出力と教師データの１又は０との差が誤差であるため、学習部４５は式（２）（３）に示す誤差逆伝播法で入力層６０１から出力層６０３に至までの重み値を修正する。誤差逆伝播法では修正後の重み値は以下のように算出される。

式（３）のＥは誤差の大きさであり、tjは出力層のｊ番目の教師データであり、yjはｊ番目のノードの出力値である。したがって、教師データと出力層のノードの差の二乗を出力層のノードで合計した値が誤差Ｅである。式（２）はこの誤差Ｅがゼロに近づくように重み値ｗを更新することを意味する。なお、εは正の微小値である。

式（４）と式（５）は重み値の具体的な算出方法を示す。まず、出力層では、式（４）を用いて、出力層の各ノードの出力値 ｙ_j ^N と教師データtjとの誤差からΔ_j ^N を計算する。また、中間層では、式（５）を使って誤差信号Δ_j ^ｎ （ｎ ＜Ｎ ) を計算する。式（５）のΔ_j ⁿ⁺¹の初期値がΔ_j ^Nである。なお、Ｌn+1は後段の層のノードの数であり、Δ_j ⁿ⁺¹は後段の層の誤差信号であり、値ｗ_k,j ^n+1,nは第ｎ層のｊ番目のノードと第ｎ＋１層のｋ番目のノードの間の重み値である。第ｎ層のｊ番目のノードと第ｎ−１層のｉ番目のノードの間の重み値の修正量は式（６）で表される。

本実施形態ではディープラーニングの一形態であるＣＮＮ（Convolutional Neural Network）を説明する。ＣＮＮは画像認識において精度が高いことが知られている。また、ＣＮＮにおいても上記のニューラルネットワークの学習が適用されている。

図１０は、ＣＮＮの構造を模式的に示す図の一例である。図１０（ａ）は畳み込み層６１１とプーリング層６１２の処理を示し、図１０（ｂ）はＣＮＮの全体的な構造を示す。ＣＮＮは、入力層６０１と教師データ６１４の間に畳み込み層６１１とプーリング層６１２の２種類の層が交互に積み重ねられた構造を有する。入力層６０１にはオリジナル画像の各画素の値が入力される。カラーの場合、ＲＧＢごとに画像データが入力される。

畳み込み層６１１はいわばフィルター６２１であり、オリジナル画像のエッジなどの特徴を抽出するために使用される。フィルター６２１は例えば３×３や４×４の要素を有し、オリジナル画像の３×３や４×４の画素にフィルター演算を行う。フィルター６２１は１画素ずつずらしてオリジナル画像の全体に行われる。これにより、オリジナル画像の画素数よりも小さい畳み込み結果６２２が得られる。

プーリングは畳み込み結果６２２の位置への依存を減らすために行われる処理である。例えば、畳み込み結果６２２から最大値を取り出したり、平均値を取り出して画素を間引くことでより小さな画素数のプーリング結果６２３を出力する。この畳み込みとプーリングを繰り返すことで、徐々にオリジナル画像の特徴が抽出される。

ＣＮＮでは、畳み込み層６１１とプーリング層６１２の後段にフル結合層６１３が配置される。フル結合層６１３は図９のような多層パーセプトロンであり、特徴が抽出された微小サイズ（例えば、３×３や４×４）の複数の画像が画素毎に入力される。最も手前のフル結合層６１３ａのノード数は微小サイズの画像の数×画素数である。画素の画素値は図９と同様に重み値と乗算され、後段のフル結合層６１３ｂに順次入力される。後段のフル結合層６１３ｂになるほど微小サイズの画像が結合されていき、最後のフル結合層６１３ｃは分類（ラベル）と同じ数のノードを有する。

学習部４５が分類（ラベル）を教師データとする場合、ニューラルネットワークで説明したように誤差逆伝播法で重み値及びフィルターの値が更新（学習）される。フィルター６２１の値は一律に更新されても一部が更新されてもよい。フィルター６２１の値が学習結果によって自動的に更新されることで、人間がフィルター６２１の値を決定しなくても特徴を抽出するために適切なフィルター６２１が徐々に得られる。これがＣＮＮの特徴の１つとなっている。

学習部４５は、このようにして学習した各畳み込み層のフィルター６２１の値及びフル結合層６１３の重み値を学習データとして記憶する。

なお、ディープラーニングにはＤＮＮ，ＣＮＮの他、ＲＮＮ（Recurrent Neural Network）等も知られており、本実施形態は教師あり学習を使用する機械学習に好適に適用可能である。

＜動作手順＞
以下、図１１〜図２１を用いて画像処理システム２００の全体的な動作手順を説明する。図１１は、画像処理システム２００の全体的な動作の流れを示すフローチャート図の一例である。

Ｓ１：保護処理は画像処理サーバ４の保護処理部４２がオリジナル画像に秘匿情報の保護処理を施す処理である。この処理は、真夜中などの予め定められた時刻になると実行される。あるいは、システム管理者８ａからの指示により実行されてもよい。

Ｓ２：分類処理は、画像管理装置５から担当者ＰＣ６に送信された保護画像に対し担当者６ａがラベリングを行い（分類する）、画像管理装置５が保護画像の分類を取得してオリジナル画像に対応付ける処理である（分類結果ＤＢ４００５に登録する）。

Ｓ３：編集処理は、画像管理装置５から管理者ＰＣ８に送信された保護画像に対しシステム管理者８ａが保護画像を使用するか否かを入力し、画像管理装置５が保護画像の使用の有無を取得してオリジナル画像に対応付ける処理である（分類結果ＤＢ４００５に登録する）。

Ｓ４：学習処理は、画像処理サーバ４の学習部４５がオリジナル画像を使って学習データを作成する処理である。この処理は、真夜中などの予め定められた時刻になると実行される。あるいは、閲覧者Ｙからの要求により実行される。

Ｓ５：分析処理は、情報端末７を介して画像管理装置５に閲覧者Ｙが要求した分析要求に対し、画像管理装置５が画像処理サーバ４と通信して、画像処理サーバ４の認識部４６がオリジナル画像を認識し、画像管理装置５が認識結果を分析する処理である。

以下、図１１の各処理について説明する。

<<保護処理>>
図１２は、保護処理部４２が保護処理を行うシーケンス図の一例である。
S1-1：例えば、予め定められた時刻になると、保護処理部４２は関連付け管理ＤＢ４００３からすでに保護処理を行ったオリジナル画像のリストを取得する。関連付け管理テーブルには保護処理が終わったオリジナル画像のオリジナル画像ＩＤが登録されているので、関連付け管理テーブルのオリジナル画像ＩＤを取得する。
S1-2：次に、保護処理部４２はオリジナル画像ＤＢ４００１から全てのオリジナル画像のリストを取得する。すなわち、オリジナル画像管理テーブルのオリジナル画像ＩＤを取得する。
S1-3：保護処理部４２は、未処理のオリジナル画像を特定する。ステップS1-2のオリジナル画像からステップS1-1のオリジナル画像を除いたオリジナル画像が未処理のオリジナル画像である。

以下の処理は、未処理のオリジナル画像に対しそれぞれ行われる。
S1-4：保護処理部４２は、未処理のオリジナル画像をオリジナル画像ＤＢ４００１から取得する。
S1-5：保護処理部４２はオリジナル画像に対し秘匿情報の保護処理を施す。すなわち、ぼかし、モザイク又は平滑化（例えば、周囲の画素の平均を求める平均フィルターなど）などを行う。過度に保護処理を行うと担当者６ａも分類が困難になるので、保護処理の強度は予め定められている。なお、画像認識により簡易的な人物検出を行い、人物検出された場所にだけ平滑化を施すなど局所的に平滑化してもよい。
S1-6：保護処理部４２は、保護処理を施した保護画像を保護画像ＤＢ４００２に記憶する。この時、重複しない保護画像ＩＤを採番する。
S1-7：保護処理部４２は、オリジナル画像ＩＤと保護画像ＩＤを関連付けて関連付け管理ＤＢ４００３に登録する。

以上のようにして、保護画像が得られ、保護処理部４２はオリジナル画像と保護画像を関連付けられることができる。

<<分類処理>>
図１３は、画像分類部４３が分類処理を行うシーケンス図の一例である。
S2-1：担当者６ａは担当者ＰＣ６を操作して画像管理装置５との通信を開始する。担当者ＰＣ６は分類画面の表示要求を画像管理装置５に送信する。画像管理装置５の送受信部５１は分類画面の表示要求を受信する。
S2-2：画像管理装置５の要求処理部５５は分類画面の表示要求を画像処理サーバ４に送信する。これにより、画像処理サーバ４の画像分類部４３が分類処理を開始する。

ステップS2-3〜S2-6は、分類されていない保護画像を特定するための処理である。
S2-3：画像分類部４３は全ての保護画像のリストを保護画像ＤＢ４００２から取得する。
S2-4：画像分類部４３は分類済みの保護画像のリストを分類結果ＤＢ４００５から取得する。分類結果テーブルに登録されているオリジナル画像ＩＤに関連付けられた保護画像は分類が済んでいる。
S2-5：画像分類部４３は、分類されていない未処理の保護画像のリストを作成する。すなわち、ステップS2-3の全ての保護画像のリストのうちステップS2-4の保護画像のリストに登録されていない保護画像が分類されていない保護画像である。
S2-6：次に、画像分類部４３は、分類されていない保護画像を保護画像ＤＢ４００２から取得する。ここでは、１つずつ保護画像を取得するものとする。
S2-7：画像分類部４３は分類管理ＤＢ４００４から分類管理テーブルを取得する。担当者６ａが分類を選択できる分類画面を担当者ＰＣ６に表示させるためである。

ステップS2-8〜S2-11は、分類の初期設定（デフォルト値）を決定するための処理である。
S2-8：画像分類部４３は、保護画像を送出して画像認識を認識部４６に要求する。
S2-9：認識部４６は、まず学習結果ＤＢ４００６から学習データを取得する。複数ある場合は、最新の学習データが取得される。
S2-10：認識部４６は学習データを用いてオリジナル画像に対し画像認識を行う。すなわち、人であるかどうか、及び、人である場合は動作内容を分類する。認識部４６は認識結果を画像分類部４３に送出する。なお、簡易的な画像認識なので認識部４６はオリジナル画像でなく保護画像で画像認識を行ってもよい。初期設定が設定されることで担当者６ａの作業効率を上げることができる。
S2-11：画像分類部４３は、分類画面における分類の初期設定を認識部４６の認識結果に基づいて決定する。すなわち、オリジナル画像における人の座標が分かるので、この座標（例えば外接矩形の座標）と認識部４６による分類を初期設定とする。
S2-12：画像分類部４３は分類画面の画面情報をＨＴＭＬやスクリプト言語で作成する。なお、画面には保護画像が含まれる。すなわち、画像分類部４３は保護画像に人認識領域の矩形枠を作成し、分類の初期設定が選択された状態のラジオボタンを作成する。また、人認識領域を含む所定領域がディスプレイ５０８が表示されるように全天球画像の向きを設定する。全天球画像は３６０度の全方位が撮像されているので、どこに人が写っているかを担当者がすぐに見つけられない場合があるためである。したがって、担当者ＰＣ６が分類画面を表示した時点で人認識領域も表示される。
S2-13：画像分類部４３は送受信部４１を介して画像管理装置５に分類画面を送信する。
S2-14：画像管理装置５の送受信部５１は分類画面を受信すると、担当者ＰＣ６に送信する。これにより、担当者ＰＣ６は分類画面をディスプレイ５０８に表示できる。分類画面の一例を図１７に示す。
S2-15：担当者６ａは人を探して人認識領域を変更したり新たに設定したりする。また、人認識領域ごとに分類を変更したり新たに分類を設定したりする。担当者ＰＣ６の受付部６２はこれらの操作を受け付ける。
S2-16：担当者ＰＣ６の送受信部６１は担当者６ａの操作により、分類結果（人認識領域、分類）を画像管理装置５に送信する。
S2-17：画像管理装置５の送受信部５１は分類結果を受信して、分類結果を画像処理サーバ４に送信する。
S2-18：画像分類部４３は、担当者ＰＣ６から送信された分類結果の分類を取得する。
S2-19：また、画像分類部４３は、担当者ＰＣ６から送信された分類結果の人認識領域を取得する。
S2-20：画像分類部４３は、分類と人認識領域を分類結果ＤＢ４００５に登録する。すなわち、ステップS2-6で取得した保護画像の保護画像ＩＤに関連付いたオリジナル画像ＩＤに対応付けて、分類、人認識領域を登録する。なお、使用有無は編集処理で設定される。

図１７を用いて分類画面について説明する。図１７は分類画面７０１の一例を示す図である。分類画面７０１は、保護画像７０２、人入力欄７０３、分類欄７０４、登録ボタン７０５、及び、次の画像ボタン７０６を有する。保護画像７０２は、ステップS2-6で取得されたものである。人入力欄７０３は、人認識領域に人が写っているかどうかを担当者６ａが選択するための欄である。分類欄７０４は、人認識領域の人の動作内容を担当者６ａが選択するための欄である。登録ボタン７０５は、担当者６ａによる分類を画像処理サーバ４に登録するためのボタンであり、次の画像ボタン７０６は画像処理サーバ４に分類を登録することなく次の保護画像を取得するためのボタンである。

分類画面７０１がディスプレイ５０８に表示された時点で、画像分類部４３が初期設定した人認識領域がディスプレイ５０８に表示されるので、担当者６ａは人を探す手間を省ける場合があり、作業効率が向上する。また、担当者６ａは全天球画像を回転させて、他の人認識領域を含むように全天球画像の表示範囲を決定する。受付部６２は担当者６ａの操作を受け付け、表示制御部６３が人認識領域を含む全天球画像の表示範囲をディスプレイ５０８に表示させる。これにより、認識されていない人を表示させたりすることができる。

保護画像７０２には、初期設定された人認識領域が矩形枠７０７などで表示される。担当者６ａはマウスや指などのポインティングデバイスで矩形枠７０７を選択する。担当者ＰＣ６の受付部６２は操作を受け付け、表示制御部６３は矩形枠７０７の色を変えるなどして強調する。この状態で、担当者６ａは人入力欄７０３と分類欄７０４に入力する。受付部６２は人入力欄７０３と分類欄７０４への入力を受け付け、人認識領域と対応付けて保持する。担当者６ａは全ての矩形枠７０７で同じ処理を行う。ポインティングデバイスでこの矩形枠７０７を変更することもできる。また、人がいるが矩形枠７０７がない場合、新たに矩形枠７０７を作成し、人入力欄７０３と分類欄７０４に入力する。

このように、担当者６ａが見る画像は保護画像７０２なので、担当者６ａが個人を特定してしまうおそれが少ない。

<<編集処理>>
図１４は、画像分類部４３が分類処理を行うシーケンス図の一例である。
S3-1：システム管理者８ａは管理者ＰＣ８を操作して画像管理装置５との通信を開始する。管理者ＰＣ８は編集画面の表示要求を画像管理装置５に送信する。画像管理装置５の送受信部５１は編集画面の表示要求を受信する。
S3-2：画像管理装置５の要求処理部５５は編集画面の表示要求を画像処理サーバ４に送信する。これにより、画像処理サーバ４の編集受付部４４が編集処理を開始する。
S3-3：編集受付部４４は分類結果テーブルを分類結果ＤＢ４００５から取得する。
S3-4：次に、編集受付部４４は分類結果テーブルにおいてオリジナル画像ＩＤに関連付けられている保護画像ＩＤを関連付け管理ＤＢ４００３から取得する。
S3-5：編集受付部４４は、関連付け管理ＤＢ４００３から取得した保護画像ＩＤの保護画像を保護画像ＤＢ４００２から取得する。
S3-6：次に、編集受付部４４はいくつかのサムネイル画像を作成する。全天球画像のサムネイル画像は、全天球画像のサイズが縮小された画像、又は、人認識領域を含む平面領域の画像である。１つの編集画面がいくつのサムネイル画像を含むかは予め定められているが、システム管理者８ａが指定することができるとなお好ましい。
S3-7：編集受付部４４はサムネイル画像を用いて編集画面の画面情報をＨＴＭＬやスクリプト言語で作成する。すなわち、サムネイル画像ごとに使用有無を受け付ける編集画面を作成する。
S3-8：編集受付部４４は送受信部４１を介して画像管理装置５に編集画面を送信する。
S3-9：画像管理装置５の送受信部５１は編集画面を受信すると、管理者ＰＣ８に送信する。これにより、管理者ＰＣ８は編集画面をディスプレイ５０８に表示できる。編集画面の一例を図１８に示す。
S3-10：システム管理者８ａはサムネイル画像を見て、学習用の画像として使用するか否か（使用有無）どうかを設定する。管理者ＰＣ８の受付部８２はシステム管理者８ａの設定を受け付ける。
S3-11：管理者ＰＣ８の送受信部８１はシステム管理者８ａの操作により保護画像ＩＤと共に編集結果（使用有無）を画像管理装置５に送信する。
S3-12：画像管理装置５の送受信部５１は編集結果を受信して、編集結果を画像処理サーバ４に送信する。
S3-13：編集受付部４４は、管理者ＰＣ８から送信された編集結果を分類結果ＤＢ４００５に登録する。すなわち、保護画像ＩＤと関連付けられたオリジナル画像ＩＤの使用有無を分類結果ＤＢ４００５に登録する。

図１８を用いて編集画面について説明する。図１８は編集画面の一例を示す図である。編集画面７１１は、使用有無欄７１２、サムネイル画像欄７１３、ファイル名欄７１４、及び登録ボタン７１５を有する。使用有無欄７１２はシステム管理者８ａがサムネイル画像で表示される保護画像を学習に使用するか否かを入力するための欄である。サムネイル画像欄７１３には保護画像のサムネイル画像が表示される。ファイル名欄７１４にはオリジナル画像のファイル名が表示されるが、ファイル名はなくてもよい。登録ボタン７１５は、システム管理者８ａによる編集結果を画像処理サーバ４に登録するためのボタンである。

システム管理者８ａはサムネイル画像を見て学習に適切か否かを判断し使用有無欄７１２に入力する。例えば、周囲の照度が十分でない場合、画像が極度にぼやけている場合、人が多すぎる場合、学習に適切でないと判断する。初期状態で全てのチェックボックス７１６のマークが表示されている場合、システム管理者８ａはポインティングデバイスでチェックボックス７１６のマークを外す。初期状態で全てのチェックボックス７１６のマークが表示されていない場合、システム管理者８ａはポインティングデバイスでチェックボックス７１６のマークを表示させる。管理者ＰＣ８の受付部８２は操作を受け付け、表示制御部８３がチェックボックス７１６にマークを表示する。

なお、１つの編集画面７１１のサムネイル画像が４つであるのは一例であり、システム管理者８ａがスクロールして閲覧できるようにより多くのサムネイル画像を送信してもよい。

このように、サムネイル画像は保護画像から作成され、しかも縮小されているのでシステム管理者８ａが個人を特定してしまうおそれが少ない。

<<学習処理>>
図１５は、学習部４５が学習処理を行うシーケンス図の一例である。
S4-1：例えば、予め定められた時刻になると、学習部４５は分類結果ＤＢ４００５から分類結果テーブルを取得する。
S4-2：次に、学習部４５は分類管理ＤＢ４００４から分類を取得する。

ステップS4-3〜S4-8は分類ごとに繰り返し実行される。
S4-3：学習部４５は、ある分類を有するオリジナル画像ＩＤを全て分類結果ＤＢ４００５から取得する。
S4-4：次に、学習部４５はオリジナル画像ＩＤに対応付けられた使用有無が「Ｙｅｓ」となっているオリジナル画像ＩＤを特定する。

ステップS4-5〜S4-8は、オリジナル画像ごとに繰り返し実行される。
S4-5：学習部４５は、オリジナル画像ＤＢ４００１からオリジナル画像を取得する。
S4-6：学習部４５は上記したようにオリジナル画像に基づく学習を行う。オリジナル画像に畳み込みとプーリングが繰り返し実行され、フル結合層で各ノードから最終的な合計値が出力される。学習部４５は分類結果テーブルの分類を教師データとして合計値との誤差を用いてフィルターと重み値を学習する。
S4-7：学習部４５は学習データ（フィルターと重み値）を学習結果ＤＢ４００６に保存する。学習部４５はステップS4-4で取得した全てのオリジナル画像に対しステップS4-5〜S4-7を実行する。

なお、学習部４５はオリジナル画像の全てを学習に用いなくてもよい。分類結果ＤＢ４００５には人認識領域が登録されているため、学習部４５は人認識領域のみを学習に用いることができる。

図１９は、オリジナル画像からの人認識領域７２１の切り出しを説明する図の一例である。図１９では３つの人認識領域７２１がオリジナル画像から切り出されている（トリミングされている）。学習部４５はこの人認識領域７２１のみを学習に使用する。こうすることで、１つオリジナル画像から、複数の学習用の素材を得ることができる。また、学習精度が向上し、学習の時間が短縮される。

<<分析処理>>
図１６は、分析部５４が分類処理を行うシーケンス図の一例である。
S5-1：閲覧者Ｙは情報端末７を操作して画像管理装置５との通信を開始する。ここでは閲覧者Ｙは時間範囲と分類を指定したものとする。情報端末７は分析要求を画像管理装置５に送信する。画像管理装置５の送受信部５１は分析要求を受信する。
S5-2：画像管理装置５の分析部５４は画像認識要求を画像処理サーバ４に送信する。画像処理サーバ４の送受信部４１は画像認識要求を受信する。
S5-3：認識部４６はまず、オリジナル画像ＤＢ４００１から閲覧者Ｙにより指定された時間範囲に撮像されたオリジナル画像を取得する。
S5-4：次に、認識部４６は学習結果ＤＢ４００６から学習データを取得する。
S5-5：認識部４６は、取得したオリジナル画像に対し画像認識を行う。したがって、人認識領域及び分類が得られる。各オリジナル画像の人認識領域及び分類は画像管理装置５の分析部５４に送信される。なお、画像認識は、画像認識が行われていないオリジナル画像にだけ行われればよい。画像管理装置５の解析情報管理ＤＢ５００５には画像認識されたオリジナル画像に関連付いた保護画像の分類が登録されているので、認識部４６はこの情報を利用して画像認識が行われていないオリジナル画像だけを画像認識できる。
S5-6：分析部５４は、オリジナル画像の撮像時刻、及び分類を用いて分析結果画面を作成する。
S5-7：画像管理装置５の送受信部５１は情報端末７に分析結果画面を送信する。情報端末７の表示制御部７３はディスプレイ５０８に分析結果画面を表示する。分析結果画面の一例を図２０に示す。

図２０を用いて分析結果画面について説明する。図２０は分析結果画面７３１の一例を示す図である。分析結果画面７３１は、分類選択欄７３２、時間範囲指定欄７３３、人数グラフ欄７３４、及び、ＯＫボタン７３５を有する。分類選択欄７３２は分類をプルダウン表示する。時間範囲指定欄７３３は閲覧者Ｙが指定した時間範囲を表示するための欄である。この時間範囲に撮像されたオリジナル画像が分析の対象となる。人数グラフ欄７３４は、時間に対する人数の推移を視覚的に示す欄である。すなわち、分類が「手を伸ばしている」である場合、手を伸ばしていると認識された人の数が時間ごとに棒グラフなどで表示される。このように、画像認識が行われたことで、どのような動作を行った人が時間ごとにどのくらいいたかを閲覧者Ｙが把握できる。手を伸ばしている人が多ければ売上も多くなると想定されるが、売上と人数に相関がない場合、商品に手を伸ばしたが購入しない客が多いなどの分析が可能になる。

なお、図２０では１時間当たりの人数が集計されているが、一例に過ぎず、例えば１０分〜数時間などの時間スケールで集計されてよい。また図２０では棒グラフで表示されているが、折れ線グラフなどでもよい。また、グラフでなく数値で表示してもよい。その他、人数の集計結果はどのように視覚化されてもよい。

また、図２０ではステップS5-1で閲覧者Ｙが分類を指定しているが、指定しなくてもよい。この場合、ステップS5-6で分析部５４は分類ごとに人数をカウントしておく。図２０で閲覧者Ｙが分類選択欄７３２から任意の分類を選択すると受付部７２が受け付け、表示制御部７３が人数グラフ欄７３４を書き換える。したがって、情報端末７と画像管理装置５が通信することなく、閲覧者Ｙが種々の分類について人数の推移を分析できる。また、表示制御部７３は、全ての分類について時間ごとの人数を同時に人数グラフ欄７３４に表示してもよい。例えば、分類ごとに色が異なる棒グラフで表示したり、折れ線グラフで表示する。

また、閲覧者Ｙは任意の棒グラフをポインティングデバイス７３６で選択できる。この処理についてステップS5-8以降で説明する。図１６に戻って説明する。
S5-8：閲覧者Ｙは任意の棒グラフをポインティングデバイス７３６で選択する。この操作は、この時間に撮像されたオリジナル画像をより詳細に分析するための操作である。受付部７２は閲覧者Ｙがポインティングデバイス７３６で指定した時間を受け付ける。また、分類選択欄７３２で選択されている現在の分類を取得する。
S5-9：情報端末７の送受信部７１は詳細分析要求を画像管理装置５に送信する。詳細分析要求には、閲覧者Ｙが選択した特定の時間と分類が含まれる。
S5-10：画像管理装置５の分析部５４は指定された時間に撮像されているオリジナル画像ＩＤを関連付け管理ＤＢ４００３から取得する。詳細には、画像処理サーバ４にオリジナル画像ＩＤを要求するが図１６ではステップが省略されている。
S5-11：分析部５４は、取得したオリジナル画像ＩＤと共に画像認識を認識部４６に要求する。詳細には、画像処理サーバ４の送受信部４１と画像管理装置５の送受信部５１が通信するが図１６ではステップが省略されている。
S5-12：認識部４６はまず、オリジナル画像ＤＢ４００１から、オリジナル画像ＩＤで指定されたオリジナル画像を取得する。
S5-13：次に、認識部４６は学習結果ＤＢ４００６から学習データを取得する。
S5-14：認識部４６は、取得したオリジナル画像に対し画像認識を行う。したがって、人認識領域及び分類が得られる。各オリジナル画像の人認識領域及び分類は画像管理装置５の分析部５４に送信される。
S5-15：次に、分析部５４はオリジナル画像ＩＤに関連付けられた保護画像を保護画像ＤＢ４００２から取得する。
S5-16：分析部５４は、保護画像、人認識領域、及び分類を用いて分析結果詳細画面を作成する。例えば、保護画像の人認識領域に矩形枠を配置し、人認識領域に関連付けて分類を吹き出しなどで表示させる分析結果詳細画面の画面情報を作成する。
S5-17：画像管理装置５の送受信部５１は情報端末７に分析結果詳細画面を送信する。情報端末７の表示制御部７３はディスプレイ５０８に分析結果詳細画面を表示する。分析結果詳細画面の一例を図２１に示す。

図２１を用いて分析結果詳細画面について説明する。図２１は分析結果詳細画面７４１の一例を示す図である。分析結果詳細画面７４１は、保護画像欄７４２、及び、戻るボタン７４３を有する。保護画像欄７４２には保護画像が表示され、保護画像の人認識領域ごとに矩形枠７０７及び吹き出し７４４が表示される。図２１では吹き出し７４４に分類が表示されている。したがって、閲覧者Ｙは一目で動作内容を把握できる。吹き出し７４４は閲覧者Ｙの操作で表示のオンとオフが切り替わってもよいし、任意の吹き出し７４４のみを表示させることができてよい。また、吹き出し７４４には画像管理装置５又は画像処理サーバ４が保持している又は取得できる情報を情報端末７が表示できる。例えば、分類の確度（判別された分類がどの程度の確率で確かか）を表示してもよい。

戻るボタン７４３は、図２０の分析結果画面７３１に戻るためのボタンである。複数の保護画像が送信された場合、閲覧者Ｙが所定の操作することで情報端末７の受付部７２が操作を受け付け、別の保護画像を表示制御部７３が切り替えて表示する。

したがって、閲覧者Ｙは画像ごとに各人の動作内容を確認して詳細に分析できるが、保護画像が表示されるので閲覧者Ｙが個人を識別してしまうおそれが少ない。

＜まとめ＞
以上説明したように本実施形態の画像処理システム２００は、担当者６ａがラベリングに使用する画像データに秘匿情報の保護処理が施されているため個人の特定や秘匿情報の漏えいを抑制できる。また、初期設定として検出された人認識領域がディスプレイ５０８に表示されるので、ディスプレイ５０８が全天球画像の全体が表示できなくても担当者６ａが分類しやすくなる。また、認識フェーズではオリジナル画像が使用されるので認識の精度が低下しにくい。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、上記の実施形態では、画像処理サーバ４と画像管理装置５が別々の情報処理装置であるとして説明されたが、画像処理サーバ４と画像管理装置５は一台の情報処理装置でもよい。また、画像管理装置５が有する機能の全て又は１以上を画像処理サーバ４が有していてよく、画像処理サーバ４が有する機能の全て又は１以上を画像管理装置５が有していてもよい。また、複数の画像処理サーバ４が存在してもよく、複数の画像管理装置５が存在してもよい。

本実施形態では、機械学習により人や人の動作を分類したが、機械学習の対象は人や人の動作に限られない。例えば、全天球画像に写っていたりいなかったりする移動可能な事物の有無が機械学習の対象となりうる。例えば、自動車や自転車の有無などである。また、ドアのように形状が変化したり、ランプのように点灯又は消灯して変化する対象の状態も機械学習の対象となりうる。これらの場合も秘匿情報が保護されるのは同様である。

また、担当者６ａが分類した保護画像と関連付いたオリジナル画像を、認識部４６が画像認識してもよい。これにより認識部４６の正答率を算出できる。あるいは、担当者６ａ別に認識部４６が画像認識してもよい。ある担当者６ａが分類した保護画像と関連付いたオリジナル画像の正答率が、全ての担当者６ａが分類した保護画像と関連付いたオリジナル画像の正答率よりも有意に低い場合、ある担当者６ａの分類の信頼性が低い可能性をシステム管理者などが把握できる。

また、本実施形態では教師あり学習としてディープラーニングを例に説明したが、教師あり学習であれば他のアルゴリズムに対しても本実施形態を適用できる。

また、以上の実施例で示した図７，８などの構成例は、撮像装置１、通信端末３、画像管理装置５、画像処理サーバ４、担当者ＰＣ６、管理者ＰＣ８及び情報端末７の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。撮像装置１、通信端末３、画像管理装置５、画像処理サーバ４、担当者ＰＣ６、管理者ＰＣ８及び情報端末７の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、画像管理装置５の記憶部５０００のデータベースは、画像管理装置５が直接有する他、画像管理装置５が読み書き可能な通信ネットワーク９上にあればよい。画像処理サーバ４の記憶部４０００のデータベースは、画像処理サーバ４が直接有する他、画像処理サーバ４が読み書き可能な通信ネットワーク９上にあればよい。

なお、保護処理部４２は保護手段の一例であり、画像分類部４３は分類情報取得手段の一例であり、学習部４５は学習手段の一例である。画像処理サーバ４は第一の情報処理装置の一例であり、担当者ＰＣ６は第二の情報処理装置の一例であり、管理者ＰＣ８は第三の情報処理装置の一例であり、情報端末７は第四の情報処理装置の一例である。受付部８２は使用受付手段の一例であり、受付部６２は受付手段の一例であり、表示制御部６３は表示制御手段の一例であり、認識部４６は認識手段の一例であり、ディスプレイ５０８は表示装置の一例である。分析部５４は集計手段の一例である。送受信部４１は第一の送信手段の一例であり、送受信部５１は第二の送信手段の一例であり、分類管理ＤＢ４００４は分類情報記憶手段の一例であり、オリジナル画像ＤＢ４００１は記憶装置の一例であり、記憶・読出部４９は記憶手段の一例である。

１ 撮像装置
３ 通信端末
４ 画像処理サーバ
５ 画像管理装置
６ 担当者ＰＣ
７ 情報端末
８ 管理者ＰＣ
４２ 保護処理部
４３ 画像分類部
４４ 編集受付部
４５ 学習部
４６ 認識部
５４ 分析部
５５ 要求処理部
２００ ：画像処理システム

特開２００５‐１９０４００号公報

「日経エレクトロニクス」,日経ＢＰ社出版、２０１５年５月２０日発行（Ｎｏ．１１５６）、Ｐ．２９〜５７

Claims (13)

1. 撮像装置が撮像した画像データを取得する第一の情報処理装置を有する画像処理システムであって、
   前記画像データに秘匿情報の保護処理を施して保護画像を生成し、前記保護画像と前記画像データを関連付ける保護手段と、
   前記保護画像を第二の情報処理装置に送信して、前記第二の情報処理装置から前記保護画像の分類に関する分類情報を取得する分類情報取得手段と、
   前記保護画像と関連付けられた前記画像データ及び前記分類情報を用いて機械学習を行う学習手段と、
   を有する画像処理システム。
2. 前記保護画像を第三の情報処理装置に送信して、前記第三の情報処理装置から前記保護画像を機械学習に使用するか否かの情報を取得する使用受付手段、を有し、
   前記学習手段は、前記使用受付手段が機械学習に使用することを受け付けた、前記保護画像と関連付けられた前記画像データ及び前記分類情報を用いて機械学習を行う請求項１に記載の画像処理システム。
3. 前記分類情報取得手段は、予め定められた複数の分類情報が記憶されている分類情報記憶手段から前記複数の分類情報を前記保護画像と共に前記第二の情報処理装置に送信し、前記第二の情報処理装置は前記複数の分類情報から選択を受け付けた前記分類情報を取得する請求項１又は２に記載の画像処理システム。
4. 前記第二の情報処理装置は、前記保護画像において認識対象が写っている範囲の指定を受け付ける受付手段を有し、
   前記学習手段は、前記画像データから前記範囲を切り出して機械学習を行う請求項１〜３のいずれか１項に記載の画像処理システム。
5. 前記画像データは周囲３６０度が撮像された全天球画像であり、
   前記受付手段は、全天球画像の表示範囲の指定を受け付け、
   前記第二の情報処理装置は、前記受付手段が受け付けた前記表示範囲を表示装置に表示する表示制御手段、を有し、
   前記受付手段は、前記表示装置が表示した全天球画像の前記表示範囲から前記範囲の指定を受け付ける請求項４に記載の画像処理システム。
6. 前記学習手段が機械学習により作成した学習データを用いて前記画像データを認識し前記画像データの前記分類情報を生成する認識手段を有し、
   前記分類情報取得手段は、前記第二の情報処理装置に送信する前記保護画像に関連付けられた前記画像データの認識を前記認識手段に対して要求し、
   前記認識手段が生成した前記画像データの前記分類情報を初期設定として前記保護画像と共に前記第二の情報処理装置に送信する請求項１〜５のいずれか１項に記載の画像処理システム。
7. 認識手段は、更に前記学習データを用いて前記画像データから認識対象を認識するものであり、
   前記分類情報取得手段は、前記認識手段が認識した前記認識対象の前記保護画像における位置情報を前記保護画像と共に前記第二の情報処理装置に送信し、
   前記第二の情報処理装置は、前記保護画像を表示装置に表示する際、前記位置情報に基づいて前記認識対象が含まれるように前記保護画像を表示装置に表示する請求項６に記載の画像処理システム。
8. 第四の情報処理装置から時間範囲の指定を受け付けた場合、前記認識手段が生成した前記画像データの分類情報に基づいて、前記時間範囲における同じ前記分類情報の前記画像データの数を集計する集計手段を有し、
   前記集計手段は集計の結果を前記第四の情報処理装置に送信し、
   前記第四の情報処理装置は、前記時間範囲における同じ分類情報の前記画像データの数を表示する請求項７に記載の画像処理システム。
9. 前記認識手段は、前記認識対象ごとに前記認識対象の動作の分類を行い、
   前記集計手段は、前記時間範囲において同じ動作に分類された前記認識対象の数を集計する請求項８に記載の画像処理システム。
10. 前記集計手段は、前記認識手段が生成した前記画像データの分類情報が、前記保護画像における前記認識対象の周囲に配置される画面情報を前記第四の情報処理装置に送信し、
    前記第四の情報処理装置は、前記保護画像の前記認識対象の周囲に前記分類情報を表示する請求項８又は９に記載の画像処理システム。
11. 撮像装置が撮像した画像データを取得する第一の情報処理装置と、前記第一の情報処理装置と通信可能な第二の情報処理装置と、を有する画像処理システムであって、
    前記第一の情報処理装置は、
    前記撮像装置から取得した前記画像データを記憶装置に記憶しておく記憶手段と、
    前記画像データに秘匿情報の保護処理を施して保護画像を生成し、前記保護画像と前記画像データを関連付ける保護手段と、
    前記保護画像を前記第二の情報処理装置に送信する第一の送信手段と、を有し、
    前記第二の情報処理装置は、
    前記第一の情報処理装置から受信した前記保護画像を第三の情報処理装置に送信して、前記第三の情報処理装置から前記保護画像の分類に関する分類情報を取得する分類情報取得手段と、
    前記保護画像の分類情報を前記第一の情報処理装置に送信する第二の送信手段と、を有し、
    前記第一の情報処理装置は、前記保護画像と関連付けられた前記画像データ及び前記分類情報を用いて機械学習を行う学習手段を有する、画像処理システム。
12. 撮像装置が撮像した画像データを取得する情報処理装置であって、
    前記画像データに秘匿情報の保護処理を施して保護画像を生成し、前記保護画像と前記画像データを関連付ける保護手段と、
    前記保護画像を第二の情報処理装置に送信して、前記第二の情報処理装置から前記保護画像の分類に関する分類情報を取得する分類情報取得手段と、
    前記保護画像と関連付けられた前記画像データ及び前記分類情報を用いて機械学習を行う学習手段と、を有する情報処理装置。
13. 撮像装置が撮像した画像データを取得する情報処理装置を、
    前記画像データに秘匿情報の保護処理を施して保護画像を生成し、前記保護画像と前記画像データを関連付ける保護手段と、
    前記保護画像を第二の情報処理装置に送信して、前記第二の情報処理装置から前記保護画像の分類に関する分類情報を取得する分類情報取得手段と、
    前記保護画像と関連付けられた前記画像データ及び前記分類情報を用いて機械学習を行う学習手段、として機能させるためのプログラム。

Images