JP2017107619A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】売上データを取引毎に登録処理する売上データ処理装置に備えられる客用表示部にカメラを組み合わせてインテリジェント化を図ることで、カメラの設置工事が不要となり、低価格な売上データ処理装置であっても、高機能カメラを容易に付加できるようにする。【解決手段】ＥＣＲ１は、本体ユニット装置１００とカメラユニット装置２００を有している。カメラユニット装置２００は、本体ユニット装置１００に対して着脱可能に装着されると共に電気的に接続可能な装着部（通信ケーブル３００及び電源ケーブル４００）と、登録待ち顧客が視認するための客用表示部２０４と、客側カメラ２０５及び操作側カメラ２０７と、カメラにより撮影された画像を逐次録画する録画部（ＣＰＵ２０１、記憶部２０２）と、客用表示部２０４、客側カメラ２０５、操作側カメラ２０７、録画部の動作をそれぞれ制御する制御部（ＣＰＵ２０１、記憶部２０２）を有している。【選択図】 図１

Description

本発明は、画像処理装置に関する。

一般に、店舗においては、ＥＣＲ（Electronic Cash Register）、ＰＯＳ（Point of sale）端末などの売上データ処理装置により登録処理された売上データ（商品名、個数、金額）や釣銭データなどをジャーナルデータとして取引毎に順次記録するようにしているほか、その他の操作状況も順次記録するようにしている。そして、一日の営業の終了時などにおいて責任者は、このジャーナルデータを参照して、オペレータによる各種の操作状況を確認しながらそのオペレータの操作ミスや不正操作などの有無を詳細に検査するようにしている。そして、従来では、オペレータによる不正を防止したり、顧客とのトラブルを防止する技術として、例えば、店舗の天井にカメラを設置してＰＯＳターミナルを上方から撮影したり、壁面にカメラを設置してＰＯＳターミナルの横に設置されているカウンタテーブル（荷台）を斜め上方から撮影したりして、オペレータの誤操作や不正の発見あるいは接客状況、顧客とのトラブル発見などを可能とした技術（特許文献１参照）が提案されている。

特開２００５−１１５５０４号公報

しかしながら、上述した特許文献１の技術にあっては、カメラと被写体との距離が遠くなるために望遠機能などを備えた高価なカメラが必要となるほか、カメラの設置や配線などに大掛かりな工事が必要となり、更には、ＰＯＳターミナル側でカメラ制御を行うようにしているために、ＰＯＳターミナル側に大きな負担をかけてしまうという問題があった。

本発明の課題は、必要な画像を録画できるようにすることである。

請求項１記載の発明は、カメラにより撮影された画像を処理する画像処理装置であって、操作部による一連の操作中にあって前記カメラにより撮影される複数の撮影方向の画像を逐次録画する録画手段と、前記操作部の操作に応じて発生されたイベントの種類を判別する判別手段と、前記判別手段により判別されたイベントの種類に応じて、前記複数の撮影方向の内で、第１撮影方向を撮影した画像を保存対象とするか、第２撮影方向を撮影した画像を保存対象とするか、を特定すると共に、前記判別のイベントの種類に応じて、前記録画されている画像の中から前記特定の保存対象の画像を抽出する抽出手段と、を具備したことを特徴とする。
請求項３は、カメラにより撮影された画像を処理する画像処理装置であって、操作部による一連の操作中にあって前記カメラにより撮影される複数の撮影方向の画像を逐次録画する録画手段と、前記操作部の操作に応じて発生されたイベントの種類を判別する判別手段と、前記判別手段により判別されたイベントの種類に応じて、前記録画されている画像の中から保存対象の画像の撮影タイミングを特定すると共に、前記複数の撮影方向の内で、第１撮影方向を撮影した画像を保存対象とするか、第２撮影方向を撮影した画像を保存対象とするか、を特定する特定手段と、前記特定手段で特定された撮影方向を録画した画像の中から、前記特定の撮影タイミングの画像を保存対象の画像として抽出する抽出手段と、を具備したことを特徴とする。

本発明によれば、必要な画像を録画することができる。

売上データ処理装置として適用したＥＣＲを含む通信システム（売上データ処理システム）を示したブロック図。 ＥＣＲを構成する本体ユニット装置１００にカメラユニット装置２００を装着した状態において、本体ユニット装置１００とカメラユニット装置２００の基本的な構成要素を示したブロック図。 ＥＣＲをその前方斜めから見た状態の外観図。 ＥＣＲをその一側面から見た状態の外観図。 （１）は、客用表示部２０４の筐体２００Ａの前面を斜め方向から見た図、（２）は、その筐体２００Ａの背面を斜め方向から見た図。 （１）は、客側カメラ２０５によって撮影された画像を例示した図、（２）は、操作側カメラ２０７によって撮影された画像を例示した図。 本体ユニット装置１００とカメラユニット装置２００との装着部（接続部）の構成を示した概要図で、（１）は、その装着部（接続部）の一部断面図、（２）は、カメラユニット装置２００側の装着部の拡大斜視図。 本体ユニット装置１００側に備えられている各種のファイルを示した図、（２）は、カメラユニット装置２００側に備えられている各種のファイルやテーブルを示した図。 電子ジャーナルファイルＹ６のレコード構造を説明するための図。 （１）は、カメラユニット装置２００側に備えられているイベントテーブルＹ２を説明するための図、（２）は、イベント発生に応じて画像を保存する際の動作を説明するための図。 カメラユニット装置２００の機能を説明するための図。 本体ユニット装置１００側での売上データの登録処理時の動作を示したフローチャート。 カメラユニット装置２００側でのイベント制御処理を示したフローチャート。 カメラユニット装置２００側での作業ファイル作成処理を示したフローチャート。 カメラユニット装置２００側での保存ファイル作成処理を示したフローチャート。 本実施形態の変形例において、カメラユニット装置２００側に備えられているイベントテーブルＹ２を説明するための図。 本実施形態の変形例において、イベント発生に応じて画像を保存する際の動作を説明するための図。 本実施形態の変形例において、カメラの取り付け位置の他の例を説明するための図。

以下、本発明の実施の形態について、図１〜図１５を参照して詳細に説明する。
図１は、売上データ処理装置として適用したＥＣＲ（Electronic Cash Register）１を含む通信システム（売上データ処理システム）を示したブロック図である。
売上データ処理システムは、店舗内に設置されている複数台のＥＣＲ１が管理装置（サーバ装置）２にＬＡＮ（構内専用回線）３を介して通信接続されたＬＡＮシステムである。系列店舗Ａの売上データ処理システムは、インターネット４を介して他の系列店舗Ｂの売上データ処理システムなどに通信接続されている。各ＥＣＲ１は、本体ユニット装置１００とカメラユニット装置２００とを有する構成で、本体ユニット装置１００とカメラユニット装置２００とは、ＬＡＮ３を介してハブ（ＨＵＢ）５に通信接続されていると共に、このハブ（ＨＵＢ）５を介してサーバ装置２側に通信接続されている。つまり、サーバ装置２側には、本体ユニット装置１００、カメラユニット装置２００が個々に通信接続されている。

本体ユニット装置１００は、ＥＣＲ１の基本的な機能（標準機能）として、入力された一取引分の売上データを登録処理すると共に、一取引分の登録終了時に顧客から渡された金種に応じた種類の締め処理を行う売上データ登録機能などを備えている。また、更に、本体ユニット装置１００には、各種のキー操作やドロアオープン／クローズなどに応じてイベントコードを発生させて、そのイベントコードをカメラユニット装置２００に対して送信する機能を有している。カメラユニット装置２００は、登録待ち（精算待ち）をしている顧客を撮影したり、担当者（オペレータ）及びその操作状況を撮影したりするカメラ機能（撮像機能）のほか、このカメラ機能により撮影された画像（動画）の中から所定のタイミングで抽出した動画を記録保存する機能を有し、更に、この記録保存した動画を外部に送出するための機能を有している。

サーバ装置２は、自店舗内の各ＥＣＲ１を構成する本体ユニット装置１００から売上データを受信取得してその売上状況をモニタ表示したり、売上データを収集管理したり、各ＥＣＲ１に対して商品単価の変更などを設定したりするようにしている。また、サーバ装置２は、オペレータによる操作ミスや不正操作、顧客とのトラブルなどを発見するためにカメラユニット装置２００から動画データなどを取得してモニタ表示したりするようにしている。携帯端末装置６は、携帯電話機、ＰＤＡ（個人向け携帯型情報通信機器）などであり、無線通信網７及びインターネット４を介して各店舗側のサーバ装置２に接続可能となっている。この場合、携帯端末装置６は、任意に選択指定したＥＣＲ１の本体ユニット装置１００から売上データを受信取得してその売上状況をモニタ表示したり、オペレータによる操作ミスや不正操作、顧客とのトラブルなどを発見するためにカメラユニット装置２００から動画データなどを取得してモニタ表示したりするようにしている。

図２は、ＥＣＲ１の基本的な構成要素を示したブロック図である。
このＥＣＲ１（売上データ処理装置）を構成する本体ユニット装置１００とカメラユニット装置２００とは、通信ケーブル３００及び電源ケーブル４００を介して着脱自在に電気的に接続されており、カメラユニット装置２００の故障などに応じて新規なカメラユニット装置２００に何時でも自由に交換可能となっている。また、本体ユニット装置１００とカメラユニット装置２００とは、必要に応じて協動して各種の処理を行うようにしている。なお、通信ケーブル３００及び電源ケーブル４００とは、それらを併合したケーブル構成としてもよい。

本体ユニット装置１００は、ＣＰＵ１０１を中核とするもので、各種プログラムにしたがってこの本体ユニット装置１００の全体動作を制御する中央演算処理装置である。記憶部１０２は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの記憶媒体やその駆動系を有し、後述する図１２に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどを記憶したり、データベース、文字フォントデータなどを記憶したりする。なお、上述の記憶媒体は固定的に設けた内蔵型の記憶媒体に限らず、着脱可能な可搬型の外部記憶媒体であってもよく、また、プログラム／データは、他の機器から有線伝送路あるいは無線伝送路を介して記憶媒体にインストールしたり、プログラム／データを記憶管理するサーバなどをアクセスして使用したりするようにしてもよい。メモリ１０３は、計時データ、フラグなど、この本体ユニット装置１００が動作するために必要な各種のデータを一時的に記憶するワーク領域である。なお、上述の計時データは、図示省略したが、現在日時を計時する時計機能により得られたデータである。

また、ＣＰＵ１０１には、その入出力周辺デバイスである操作部１０４、スキャナ１０５、操作者用表示部１０６、印字部１０７、ドロア駆動部１０８、ＣＯＭポート１０９、ＬＡＮ通信部１１０がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ１０１はそれらの動作を制御する。操作部１０４は、押しボタン式の各種キーが配列されているキーボードを有し、このキーボード上にはテンキー（図示省略）などのほか、登録キーＫ１、小計キーＫ２、現金／預かり金キーＫ３、カメラスイッチＣＡなどが配設されていると共に、モードスイッチＭＳが配設されている。

登録キーＫ１は、売上データを部門別などの登録を指示するキーである。また、小計キーＫ２は、一取引中において現時点まで登録した売上データの合計金額を小計として表示させるキーである。現金／預かり金キーＫ３は、預かり金の置数後に一取引の登録終了を指示する締めキーである。カメラスイッチＣＡは、カメラを備えていないＥＣＲ（例えば、簡素な低価格ＥＣＲ）に、本実施形態の特徴であるカメラユニット装置２００を新たに装着して高機能化を図った際に操作されるキーである。このカメラスイッチＣＡが操作されると、本体ユニット装置１００は、カメラユニット装置２００に対して電源を供給するほか、各種のキー操作やドロアオープン／クローズなどに応じて発生されるイベントコードをカメラユニット装置２００に対して転送する機能を呼び出して動作可能状態に設定するようにしている。

モードスイッチＭＳは、その切り換え位置に応じて「登録（ＲＥＧ）」、「戻し（ＲＦ）」、「精算（Ｚ）」などの各種の動作モード（プログラム種）を切り換えるロータリー式のスイッチである。ＣＰＵ１０１は、「登録（ＲＥＧ）」モードに切り換えられている状態において、各種のキー操作に応じてその操作に応じたイベントコードを生成すると共に、入力された売上データを表示させたり、売上合計を更新したりする登録処理を実行し、一取引の登録終了時に現金／預かり金キーＫ３が押下されると、ドロアを開放させたり、レシートを発行させたりする。

スキャナ１０５は、例えば、ＣＣＤやＣＭＯＳなどの画像センサ（イメージセンサ）を有し、商品の登録時のスキャニング動作時にその商品に添付されているバーコードや二次元コードを撮影することにより読み取るもので、ＣＰＵ１０１は、スキャナ１０５により撮影された画像データを解析することによってバーコードなどをデコードして商品を特定するようにしている。
操作者用表示部１０６は、担当者（オペレータ）用として、金額や商品に関するデータ、メッセージなどを表示するもので、例えば、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイなどにより構成されている。

印字部１０７は、例えば、熱転写やインクジェットなどのノンインパクトプリンタあるいはドットインパクトプリンタであり、レシート印字を行う。ドロア駆動部１０８は、キー操作に応じてドロア１０８Ａの開閉を制御するもので、ＣＰＵ１０１は、ドロア１０８Ａの開閉に応じてドロアオープン／クローズイベントを生成する。ＣＯＭポート１０９は、カメラユニット装置２００との接続用のシリアルポートである。ＬＡＮ通信部１１０は、サーバ装置２との通信インターフェイスである。電源部１１１は、商用電力を電源として各部に駆動電力を供給するもので、カメラスイッチＣＡが操作された後は、カメラユニット装置２００に対して電源を供給する。

カメラユニット装置２００は、ＣＰＵ２０１を中核とするもので、各種プログラムにしたがってこのカメラユニット装置２００の全体動作を制御する中央演算処理装置である。記憶部２０２は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの記憶媒体やその駆動系を有し、後述する図１３〜図１５に示した本実施形態を実現するためのプログラムや各種のアプリケーションなどを記憶する。メモリ２０３は、このカメラユニット装置２００が動作するために必要な各種のデータを一時的に記憶するワーク領域である。ＣＰＵ２０１には、その入出力周辺デバイスである客用表示部２０４、客側カメラ２０５、客側マイク２０６、操作側カメラ２０７、操作側マイク２０８、カードインターフェイス部２０９、ＣＯＭポート２１０、ＬＡＮ通信部２１１がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ２０１はそれらの動作を制御する。

客用表示部２０４は、登録待ち（精算待ち）の顧客用としてその画面を顧客側に対面させたもので、例えば、７セグメントＬＥＤ（発光ダイオード）などにより構成され、商品単価、個数、小計金額、預かり金額などを数値表示する。客側カメラ２０５は、客用表示部２０４に接近配設されたもので、登録待ちしている顧客の顔を中心として撮影し、また、操作側カメラ２０７は、担当者（オペレータ）及びその操作状況を撮影するもので、担当者（オペレータ）及びその操作状況を撮影する監視用のカメラである。なお、客側カメラ２０５、操作側カメラ２０７の詳細は、図示省略したが、レンズ部、撮像素子、Ａ／Ｄ（アナログ／デジタル）変換部などを有し、動画像を撮影可能な構成で、レンズ部からの被写体像が撮像素子（ＣＣＤ又はＣＭＯＳ）に結像されることにより被写体を高精細に撮影可能な構成となっている。

客側マイク２０６は、顧客側に指向している指向性マイクで、客側カメラ２０５による撮影中に登録待ちしている顧客側からの音声を集音するようにしている。操作側マイク２０８は、オペレータ側に指向している指向性マイクで、操作側カメラ２０７による撮影中にオペレータ側からの音声を集音するようにしている。なお、客側マイク２０６、操作側マイク２０８は、図示省略したが、Ａ／Ｄ（アナログ／デジタル）変換部、音声バッファ、音声信号処理回路部などを有する構成となっている。

カードインターフェイス部２０９は、外部記録媒体としてのＳＤカード２１２が挿入接続されるもので、このＳＤカード２１２には、客側カメラ２０５、操作側カメラ２０７により撮影された動画及び客側マイク２０６、操作側マイク２０８により集音された音声などが記録保存される。なお、外部記録媒体としては、ＳＤカード２１２に限らず、その他の外部記録媒体であってもよい。ＣＯＭポート２１０は、本体ユニット装置１００との接続用のシリアルポートである。ＬＡＮ通信部２１１は、サーバ装置２との通信インターフェイスであり、ＣＰＵ２０１は、本体ユニット装置１００からの指示に応じて、ＳＤカード２１２の内容をサーバ装置２に送信するようにしている。

図３は、上述のように構成されたＥＣＲ１をその前方斜め（顧客側）から見た状態の外観図であり、図４は、ＥＣＲの一側面から見た状態の外観図である。
本体ユニット装置１００の上面部には、操作者用表示部１０６が配設されていると共に、操作部１０４を構成するキーボード及びモードスイッチＭＳが配設されている。また、本体ユニット装置１００の上面部には、印字部１０７から送出されるレシートを取り出すためのレシート発行口（図示省略）が配設されている。

カメラユニット装置２００は、客用表示部２０４の筐体２００Ａと、その筐体２００Ａを支持するポール状の支持部材（支持ポール）２００Ｂとを有している。支持ポール２００Ｂは、筐体２００Ａを支持するもので、その下端部は本体ユニット装置１００の裏面側に垂直に固定（着脱自在に装着）されている。また、支持ポール２００Ｂの上端部は筐体２００Ａが装着され、その長さを調整可能な構造となっていると共に、筐体２００Ａは、支持ポール２００Ｂに対して回転可能となっている。つまり、筐体２００Ａの高さとその向きを調整可能となっており、それに応じて客用表示部２０４、客側カメラ２０５、客側マイク２０６、操作側カメラ２０７、操作側マイク２０８の高さとその向きも調整可能となっている。

図５は、客用表示部２０４の筐体２００Ａの表裏両面を示した外観図で、図５（１）は、筐体２００Ａの表面側を示し、図５（２）は、筐体２００Ａの裏面側を示している。
客側カメラ２０５は、客用表示部２０４の筐体２００Ａの表面側に配置され、操作側カメラ２０７は、客用表示部２０４の筐体２００Ａの裏面側に配置されている。すなわち、筐体２００Ａの表面側には、図５（１）に示すように、客用表示部２０４が配置されていると共に、この客用表示部２０４の下端部には客側カメラ２０５及び客側マイク２０６が配置されている。客側カメラ２０５の撮影方向は、登録待ちしている顧客方向で、その画角は、登録待ち行列の顧客を撮影可能な範囲となっている。
図６（１）は、客側カメラ２０５によって撮影した登録待ち行列の顧客画像を例示したもので、先頭の顧客の後ろに次の顧客が並んでいる状態を示している。客側マイク２０６の指向方向は、登録待ちしている顧客方向となっている。

筐体２００Ａの裏面側には、図５（２）に示すように、操作側カメラ２０７及び操作側マイク２０８が配設されていると共に、ＳＤカード２１２を収納する収納部の開口部を覆う蓋体２００Ｃが配設されている。操作側カメラ２０７の撮影方向は、オペレータ方向で、その画角は、操作部１０４の全体及び操作中のオペレータの顔を撮影可能な範囲となっている。
図６（２）は、操作側カメラ２０７によって担当者（オペレータ）及びその操作状況を撮影した監視画像を例示したもので、ドロア１０８Ａを開放した状態でオペレータが貨幣を出し入れしている場合を示している。操作側マイク２０８の指向方向は、操作中のオペレータ方向となっている。ＳＤカード２１２を収納する収納部の蓋体２００Ｃには、ＳＤカード２１２の盗難などを防ぐために錠前２００Ｄが配設されており、例えば、責任者が所持する専用鍵を使用して、錠前２００Ｄを開いて蓋体２００Ｃを開放させてＳＤカード２１２を取り出すようにしている。なお、図中、２００Ｅは、筐体２００Ａ内に収納された各種の電子部品である。

図７は、本体ユニット装置１００とカメラユニット装置２００との装着部（接続部）の構成を示した概要図で、図７（１）は、その装着部（接続部）の一部断面図、図７（２）は、カメラユニット装置２００側の装着部の拡大斜視図を示している。
本体ユニット装置１００の裏面側には、カメラユニット装置２００を起立させた状態で装着するための本体コネクタ部Ａ１が設けられ、この本体コネクタ部Ａ１内には通信ケーブル３００及び電源ケーブル４００が配線されている。カメラユニット装置２００を構成する支持ポール２００Ｂは、その下側のベース固定部Ｂ１と上側の可動ポール部Ｂ２とに分かれており、このベース固定部Ｂ１に対して可動ポール部Ｂ２は回転可能に取り付けられていると共に、上下方向に伸縮可能に取り付けられており、可動ポール部Ｂ２を所望する位置で保持可能となっている。そして、ベース固定部Ｂ１と可動ポール部Ｂ２の内部には、通信ケーブル３００及び電源ケーブル４００が配線されている。

支持ポール２００Ｂを構成するベース固定部Ｂ１の下端部には、カメラユニット装置２００側の装着部としてカメラコネクタ部Ｂ３が設けられていると共に、ベース固定リンクＢ４が設けられている。カメラコネクタ部Ｂ３は、その全体が円柱形を成し、本体コネクタ部Ａ１の中央部に形成された嵌め込み用穴部Ａ２に挿入されて圧入固定されるもので、カメラコネクタ部Ｂ３の下半部には縦方向に切り込みが形成されている。ベース固定リンクＢ４は、ベース固定部Ｂ１の表面に形成されたネジ部に噛み合って上下動可能となっている。

カメラコネクタ部Ｂ３を本体コネクタ部Ａ１に圧入固定させる構成は、次のようになっている。すなわち、このベース固定リンクＢ４の上下動に連動する棒状の楔部Ｂ５がカメラコネクタ部Ｂ３の切り込み部に進入してカメラコネクタ部Ｂ３の下半部を外方向に広げて、本体コネクタ部Ａ１の嵌め込み用穴部Ａ２の内壁に圧接させることで、カメラコネクタ部Ｂ３を本体コネクタ部Ａ１に圧入固定させる構成となっている。図７（２）において、カメラコネクタ部Ｂ３の両側に付した矢印は、ベース固定リンクＢ４の回転方向に応じてカメラコネクタ部Ｂ３の下半部が動く方向を示している。なお、本体ユニット装置１００とカメラユニット装置２００との装着部（接続部）の構成は、上述のような圧入固定式に限らず、例えば、ネジ式など任意である。

図８は、本体ユニット装置１００側に記憶管理されている各種のファイルと、カメラユニット装置２００側に記憶管理されている各種のファイルやテーブルを示した図である。
本体ユニット部１００側には、商品別合計ファイルＸ１、部門別合計ファイルＸ２、取引別合計ファイルＸ３などが記憶管理されている。なお、商品別合計ファイルＸ１は、部門別合計ファイルＸ２、取引別合計ファイルＸ３は、商品別、部門別、取引別に売上データ（個数、金額）の累計値（合計値）などを記憶管理するファイルである。

カメラユニット装置２００側には、客側の作業ファイルＹ１、操作側の作業ファイルＹ２、イベントテーブルＹ３、客側の保存ファイルＹ４、操作側の保存ファイルＹ５、電子ジャーナルファイルＹ６などが記憶管理されている。客側の作業ファイルＹ１は、例えば、一日の営業開始などの電源オン時から営業終了時などの電源オフ時までの間、客側カメラ２０５で撮影された動画、客側マイク２０６で集音された音声を対応付けてその先頭位置から順次記録するもので、そのサイズ（容量）に達すると、その先頭の位置に戻ってサイクリックに画像や音声を記録するようにしている。同様に操作側の作業ファイルＹ２は、操作側カメラ２０７で撮影された動画、操作側マイク２０８で集音された音声を対応付けてその先頭位置から順次記録するもので、そのサイズ（容量）に達すると、その先頭の位置に戻ってサイクリックに画像や音声を記録するようにしている。

イベントテーブルＹ３は、客側の作業ファイルＹ１、操作側の作業ファイルＹ２内から所定の期間内の動画や音声を抽出して、対応する客側の保存ファイルＹ４、操作側の保存ファイルＹ５に記録保存させる際に、どの期間内の画像や音声を抽出するかを示す抽出条件を記憶するテーブルである。客側の保存ファイルＹ４及び操作側の保存ファイルＹ５は、客側の作業ファイルＹ１、操作側の作業ファイルＹ２内から抽出された動画や音声を記録保存するファイルで、その内容を外部に送出させるために、保存ファイルＹ４、Ｙ５の内容は、ＳＤカード２１２に書き込まれたり、ＬＡＮ通信部２１１を介してサーバ装置２に送信されたりする。電子ジャーナルファイルＹ６は、取引毎に各売上データや操作状況を営業記録データ（電子ジャーナルデータ：ＥＪデータ）として記憶管理するファイルであり、その内容はＳＤカード２１２に書き込まれたり、ＬＡＮ通信部２１１を介してサーバ装置２に送信されたりする。

客側の保存ファイルＹ４、操作側の保存ファイルＹ５をＳＤカード２１２に記録させる場合にカメラユニット装置２００は、電子ジャーナルファイルＹ６も対応付けてＳＤカード２１２に記録させるようにしている。同様に、客側の保存ファイルＹ４、操作側の保存ファイルＹ５を外部機器のサーバ装置２に送信させる場合に、電子ジャーナルファイルＹ６も対応付けてサーバ装置２に送信させるようにしている。なお、図９は、電子ジャーナルファイルＹ６のレコード構造を説明するための図で、そのレコードは、「日時」、「イベントコード」、「担当者」、「伝票番号」、「金額」、「文字列」の各項目を有する構成となっている。

図１０は、イベントテーブルＹ３を説明するための図である。
イベントテーブルＹ３は、図１０（１）に示すように、「イベント」、「イベントコード」、「動作」、「遡り時間」、「延長時間」の各項目を有する構成となっている。「イベント」は、本体ユニット装置１００側での各種のキー操作やドロアオープン／クローズなどの操作を示し、「イベントコード」は、その操作に応じて発生されて本体ユニット装置１００から送信されるイベントコードを示している。「動作」は、「イベント」に応じた動作を示し、“保存（保存開始／保存終了）”、“表示”、“通信”が設定される。なお、「動作」には、例えば、“保存”、“表示”のように、複数の動作を設定するようにしてもよい。

ここで、「動作」の“保存（保存開始／保存終了）”とは、保存対象の画像を抽出する際に、どの期間内の画像や音声を抽出するのかを示すコマンドで、例えば、一取引の開始時に行われる最初の登録操作（例えば、部門操作）から一取引の終了時に行われるドロア１０８Ａの閉じ操作（ドロア閉）までの期間内の画像や音声を抽出する場合には、図示のように、「イベント」が“部門キー”の「動作」には、“保存開始”がそれぞれ設定され、「イベント」が“ドロア閉”の「動作」には、“保存終了”が設定される。また、「動作」の“表示”とは、客用表示部２０４にデータを表示させることを示すコマンドで、登録された商品の単価や商品名、小計金額、釣銭金額などを表示させる。「動作」の“通信とは”ＬＡＮ通信部２１１を介してサーバ装置２との間でデータ送受信を行わせることを示すコマンドである。

「遡り時間」は、作業ファイルＹ１、Ｙ２から保存対象の動画及び音声を抽出する動作を開始する場合において、“保存開始”のイベントの発生を基準として、その前の遡り時間から抽出を開始すべきことを示すもので、図示の例は、「イベント」が“部門キー”の「遡り時間」に対応して“３０秒”が設定されている場合を示したもので、この場合には、“保存開始”のイベント発生時の“３０秒”前から抽出動作を開始すべきことを示している。図１０（２）は、抽出動作の開始タイミングが最初の登録操作の“３０秒”前であることを示している。

「延長時間」は、作業ファイルＹ１、Ｙ２から動画及び音声を抽出する動作を終了する場合に、“保存終了”のイベントの発生を基準としてその後の延長時間まで抽出すべきことを示すもので、図示の例は、「イベント」が“ドロア閉”の「延長時間」に対応して“２０秒”が設定されている場合を示し、“保存終了”のイベント発生の“２０秒”後に抽出動作を終了すべきことを示している。図１０（２）は、抽出動作の終了タイミングがドロアを閉じてから“２０秒”後であることを示している。このイベントテーブルＹ３を構成する「動作」、「遡り時間」、「延長時間」は、ユーザ操作により任意に設定可能な項目で、ユーザの実情などに応じて「動作」、「遡り時間」、「延長時間」の内容を自由に変更可能となっている。

次に、本実施形態におけるＥＣＲの動作概念を図１１、図１２〜図１５を参照して説明する。ここで、図１２〜図１５のフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

図１１は、カメラユニット装置２００の全体動作の概要を説明するための図である。
カメラユニット装置２００の特徴的な構成は、本体ユニット装置１００に対して着脱可能に装着されると共に電気的に接続可能な装着部（通信ケーブル３００及び電源ケーブル４００、カメラコネクタ部Ｂ３）と、登録待ち顧客が視認するための客用表示部２０４と、カメラ（客側カメラ２０５、操作側カメラ２０７）と、このカメラにより撮影された画像を逐次録画する録画部（ＣＰＵ２０１、記憶部２０２）と、客用表示部２０４、カメラ、録画部の動作をそれぞれ制御する制御部（ＣＰＵ２０１、記憶部２０２）を有している点である。

そして、カメラユニット装置２００には、図示のような機能が備えられている。通信制御機能２２１は、本体ユニット装置１００からＣＯＭポート１０９、ＣＯＭポート２１０を介してイベント、電子ジャーナルデータを受信する機能で、受信したイベント、電子ジャーナルデータをイベント制御機能２２２に引き渡す。イベント制御機能２２２は、本体ユニット装置１００側で電源がオンされると、その電源オンに応じて起動された客側カメラ２０５、操作側カメラ２０７から画像をキャプチャする動画取り込み機能２２３を動作させると共に、電源オンに応じて起動された客側マイク２０６、操作側マイク２０８から音声をキャプチャする音声取り込み機能２２４を動作させる。

動画圧縮機能２２５は、動画取り込み機能２２３によりキャプチャした動画を圧縮処理し、音声圧縮機能２２６は、音声取り込み機能２２４によりキャプチャした音声を圧縮処理するもので、作業ファイル作成機能２２７は、動画圧縮機能２２５により圧縮された客側の画像と音声圧縮機能２２６により圧縮された客側の音声を客側の作業ファイルＹ１に記録（録画、録音）すると共に、動画圧縮機能２２５により圧縮された操作側の画像と音声圧縮機能２２６により圧縮された操作側の音声を操作側の作業ファイルＹ２に記録（録画、録音）する処理を行う。なお、圧縮方式としては、例えば、ＭＰＥＧ−４などを使用するようにしているが、その圧縮方式は任意である。

ここで、イベント制御機能２２２は、本体ユニット装置１００から受信したイベントを解釈して、そのイベント内容に応じた機能を動作させるもので、保存ファイル作成機能２２８は、イベント制御機能２２２からのイベント内容に応じて動作し、客側の作業ファイルＹ１、操作側の作業ファイルＹ２内から動画や音声を抽出して客側の保存ファイルＹ４、操作側の保存ファイルＹ５に記録保存させる処理を行う。電子ジャーナルファイル作成機能２２９は、イベント制御機能２２２からのイベント内容に応じて動作し、本体ユニット装置１００からＥＪデータを電子ジャーナルファイルＹ６に逐次書き込む処理を行う。客用表示機能２３０は、イベント制御機能２２２からのイベント内容に応じて動作し、本体ユニット装置１００からの表示データを客用表示部２０４に送って表示させる処理を行う。ＬＡＮ通信機能２３１は、イベント制御機能２２２からのイベント内容に応じて動作し、ＬＡＮ通信部２１１を介してサーバ装置２との間で客側の保存ファイルＹ４、操作側の保存ファイルＹ５、電子ジャーナルファイルＹ６を送信する処理を行う。

図１２は、本体ユニット装置１００側の動作を示したフローチャートであり、モードスイッチＭＳを「登録（ＲＥＧ）」の位置に切り換えた際に実行開始される登録モードでの動作を示したフローチャートである。
先ず、本体ユニット装置１００を構成するＣＰＵ１０１は、登録操作が行われたか、つまり、商品からバーコードなどを読み取るためにスキャナ１０５によるスキャニング動作が行われたか、金額データの値数入力後に部門キーなどの登録キーＫ１が操作されたかを調べたり（ステップＡ１）、小計キーＫ２が操作されたかを調べたりする（ステップＡ６）。

いま、登録操作が行われたときには（ステップＡ１でＹＥＳ）、次のステップＡ２に移り、入力されたデータ（商品名及び単価）をイベントとしてカメラユニット装置２００に送信する。これによってカメラユニット装置２００側では客用表示部２０４に商品名及び単価が表示される。そして、入力された商品名及び単価を操作者用表示部１０６に表示させると共に（ステップＡ３）、入力されたデータに基づいて商品別合計ファイルＸ１、部門別合計ファイルＸ２の内容（売上データ）を更新する登録処理を行う（ステップＡ４）。更に、一取引分の小計金額を更新する処理（ステップＡ５）を行った後、小計キーＫ２が操作されたかを調べるが（ステップＡ６）、小計キーＫ２が操作されなければ（ステップＡ６でＮＯ）、登録操作が行われる毎に（ステップＡ１でＹＥＳ）、上述の動作を繰り返す（ステップＡ２〜Ａ５）。

また、小計キーＫ２が操作されたときには（ステップＡ６でＹＥＳ）、小計キーＫ２に操作を示すイベントを小計金額と共にカメラユニット装置２００に送信する（ステップＡ７）。これによってカメラユニット装置２００側では客用表示部２０４に小計金額が表示される。そして、小計金額を操作者用表示部１０６に表示させた後（ステップＡ８）、預かり金が値数されたかを調べる（ステップＡ９）。ここで、預かり金が値数されると（ステップＡ９でＹＥＳ）、入力された預かり金を操作者用表示部１０６に表示する処理（ステップＡ１０）を行った後、現金／預かり金キーＫ３の操作待ちとなる（ステップＡ１１）。

いま、現金／預かり金キーＫ３が操作されると（ステップＡ１１でＹＥＳ）、ドロア１０８Ａをオープン（ステップＡ１２）させると共に、ドロア１０８Ａのオープンをイベントとしてカメラユニット装置２００に送信（ステップＡ１３）した後、一取引の登録を終了させる締め処理を実行し、今回の取引分の売上データを取引別合計ファイルＸ３の現金取引用の売上データに加算してその値を更新する処理を行う（ステップＡ１４）。そして、一取引分の売上データを印字させてレシートを発行させる（ステップＡ１５）。ここで、ドロア１０８Ａがクローズされると（ステップＡ１６でＹＥＳ）、ドロア１０８Ａのクローズをイベントとしてカメラユニット装置２００に送信する（ステップＡ１６）。そして、モードスイッチＭＳにより「登録（ＲＥＧ）」モードが解除されたことがステップＡ１８で検出されるまで上述のステップＡ１に戻り、次の取引における最初の登録操作が行われるまで待ち状態となる。

図１３は、カメラユニット装置２００側でのイベント制御機能を説明するためのフローチャートであり、本体ユニット装置１００からの電源オンに応じて実行開始される。
先ず、カメラユニット装置２００側のＣＰＵ２０１は、本体ユニット装置１００側で電源がオンされると、作業ファイル作成処理を開始させる（ステップＢ１）。この場合、図１１に示した動画取り込み機能２２３、音声取り込み機能２２４、動画圧縮機能２２５、音声圧縮機能２２６、作業ファイル作成機能２２７をそれぞれ動作させることにより作業ファイル作成処理を行う。

図１４は、作業ファイル作成処理（図１３のステップＢ１）を詳述するためのフローチャートである。
先ず、ＣＰＵ２０１は、客側カメラ２０５、客側マイク２０６、操作側カメラ２０７、操作側マイク２０８を起動させた後（ステップＣ１）、客側カメラ２０５から画像をキャプチャし（ステップＣ２）、このキャプチャ画像を圧縮処理（ステップＣ３）した後、この圧縮処理した画像をタイムスタンプ（現在日時）と共に客側の作業ファイルＹ１に録画する（ステップＣ４）。更に、操作側カメラ２０７から画像をキャプチャし（ステップＣ５）、このキャプチャ画像を圧縮処理（ステップＣ６）した後、この圧縮処理した画像をタイムスタンプ（現在日時）と共に操作側の作業ファイルＹ２に録画する（ステップＣ７）。

また、客側マイク２０６から画像をキャプチャし（ステップＣ８）、このキャプチャ音声を圧縮処理（ステップＣ９）した後、この圧縮処理した音声をタイムスタンプ（現在日時）と共に客側の作業ファイルＹ１に録音する（ステップＣ１０）。更に、操作側マイク２０８から音声をキャプチャし（ステップＣ１１）、このキャプチャ音声を圧縮処理（ステップＣ１２）した後、この圧縮処理した音声をタイムスタンプ（現在日時）と共に操作側の作業ファイルＹ２に録音する（ステップＣ１３）。そして、本体ユニット装置１００側で電源がオフされたかを調べ（ステップＣ１４）、電源オン中であれば（ステップＣ１４でＹＥＳ）、作業ファイルへの前回の記録時点から所定時間（３３msec）が経過したかを調べる（ステップＣ１５）。

ここで、３３msecは、１秒間に30枚の画像を録画する場合の１枚当たりの時間であり、この３３msecが経過していなければ（ステップＣ１５でＮＯ）、上述のステップＣ８に戻り、録音動作を継続するが（ステップＣ８〜Ｃ１３）、３３msecが経過したときには（ステップＣ１５でＹＥＳ）、上述のステップＣ２に戻り、録画及び録音動作を継続する（ステップＣ２〜〜Ｃ１３）。この状態において本体ユニット装置１００側で電源がオフされると（ステップＣ１４でＹＥＳ）、ＣＰＵ２０１は、客側カメラ２０５、客側マイク２０６、操作側カメラ２０７、操作側マイク２０８を停止させる（ステップＣ１６）と共に、録画及び録音動作を停止させた後（ステップＣ１７）、図１４のフローから抜ける。

このような作業ファイル作成処理が終わると（図１３のステップＢ１）、本体ユニット装置１００からイベントを受信したかを調べたり（ステップＢ２）、本体ユニット装置１００側で電源がオフされたかを調べたりする（ステップＢ１７）。いま、本体ユニット装置１００からイベントを受信したときには（ステップＢ２でＹＥＳ）、イベントテーブルＹ３を参照し（ステップＢ３）、一致するイベントコードの有無を判別する（ステップＢ４）。その結果、受信したイベントに一致するイベントコードが無ければ（ステップＢ４でＮＯ）、受信したイベントを無効とするために上述のステップＢ２に戻るが、一致するイベントコードが有れば（ステップＢ４でＹＥＳ）、受信したイベントを電子ジャーナルファイルＹ６に記憶させる処理（ステップＢ５）を行う。

そして、イベント内容が客用表示部２０４に対する表示データであれば（ステップＢ６でＹＥＳ）、その表示データを客用表示部２０４に表示させた後（ステップＢ７）、上述のステップＢ２に戻るが、表示データでなければ（ステップＢ６でＮＯ）、そのイベントの「動作」は“保存開始”であるか（ステップＢ９）、“保存終了”であるか（ステップＢ１３）を調べる。いま、例えば、部門（１）キー、部門（２）キーなどの登録操作が行われたものとすると、この部門（１）キー、部門（２）キーの「動作」は“保存開始”（開始イベント）であるから（ステップＢ９でＹＥＳ）、次のステップＢ１０に移り、開始フラグ（図示省略）が“オン”されているかを調べる。

上述の開始フラグは、作業ファイルＹ１、Ｙ２から動画及び音声を抽出する動作の開始タイミングを特定することができた場合に“オン”されるもので、前回の取引終了時に“オフ”される（後述する図１５のステップＤ１１）。その結果、今回の取引における最初の登録操作時には、開始フラグが“オフ”されていることがステップＢ１０で判別されるので、次のステップＢ１１に移り、現在日時を開始イベントの発生日時としてその開始イベントと共に一時記憶しておく。ことによって抽出動作の開始タイミングを特定することができたものとして、開始フラグを“オン”した後（ステップＢ１２）、上述のステップＢ２に戻る。

そして、次の操作が行われ、その操作も部門（１）、部門（２）などの登録操作であれば、その「動作」も“保存開始”（開始イベント）であるから（ステップＢ９でＹＥＳ）、次のステップＢ１０に移るが、最初の登録操作の時点で開始フラグが“オン”されているので、そのことがステップＢ１０で検出されるため、上述のステップＢ１１、Ｂ１２をスキップしてステップＢ２に戻る。以下、登録操作が行われる毎に、ステップＢ１０で“保存開始”（開始イベント）が検出されるが、開始フラグは“オン”のままとなっているので、上述のステップＢ２に戻り、以下、上述の動作を繰り返す。

ここで、本体ユニット装置１００側において一取引の登録が終了して現金などの締め処理を行った後、ドロア１０８Ａが閉じられると、そのイベントの「動作」は“保存終了”（終了イベント）であるから（ステップＢ１３）、現在日時を終了イベントの発生日時としてその終了イベントと共に一時記憶しておく（ステップＢ１４）。そして、保存ファイル作成処理を開始させた後（ステップＢ１５）、上述のステップＢ２に戻る。なお、開始及び終了イベントでなければ（ステップＢ１３でＮＯ）、ステップＢ１６に移り、その他のイベントに応じた処理として、ＬＡＮ通信部２１１を介してサーバ装置２との間でデータの送受信を行った後、上述のステップＢ２に戻る。

図１５は、保存ファイル作成処理（図１３のステップＢ１５）を詳述するためのフローチャートである。
先ず、図１３のステップＢ１２で一時記憶させた開始イベントとその発生日時及びステップＢ１４で一時記憶させた終了イベントとその発生日時を取得する（ステップＤ１）。そして、イベントテーブルＹ３から開始イベントに対応する「遡り時間」を取得し（ステップＤ２）、開始イベントの発生日時とその遡り時間に基づいて保存開始時刻（抽出開始タイミング）を算出する（ステップＤ３）。同様に、イベントテーブルＹ３から終了イベントに対応する「延長時間」を取得し（ステップＤ４）、終了イベントの発生日時とその延長時間に基づいて保存終了時刻（抽出終了タイミング）を算出する（ステップＤ５）。

これによって算出した保存開始時刻（抽出開始タイミング）と保存終了時刻（抽出終了タイミング）を客側の保存ファイルＹ４、操作側の保存ファイルＹ５にそれぞれ記憶させる（ステップＤ６）。この状態において、客側の作業ファイルＹ１及び操作側の作業ファイルＹ２をアクセスし、保存開始時刻（抽出開始タイミング）の位置から画像を順次読み出して、対応する客側の保存ファイルＹ４、操作側の保存ファイルＹ５に書き込む保存ファイル作成処理を開始する（ステップＤ７）。同様に、保存開始時刻（抽出開始タイミング）の位置から音声を該当する作業ファイルＹ１、Ｙ２から順次読み出して、対応する客側の保存ファイルＹ４、操作側の保存ファイルＹ５に書き込む保存ファイル作成処理を開始する（ステップＤ８）。

以下、保存終了時刻（抽出終了タイミング）に達するまで（ステップＤ９）、上述のステップＤ７に戻り、上述の保存ファイル作成処理を継続する。すなわち、保存ファイル作成処理は、一取引の終了時にドロア１０８Ａが閉じられてからその延長時間（例えば、２０秒）が経過するまでの間、継続される。なお、この保存ファイル作成処理の継続中に次の取引の登録操作が開始されたような場合には、保存ファイル作成処理とイベント制御処理とが並列的に実行される結果、図１３のステップＢ２でその操作に応じたイベントが受け付け可能となり、それに応じたイベント制御が行われる。また、前回取引の保存ファイル作成処理の継続中に今回取引の登録操作が終了してドロア１０８Ａが閉じられた場合には、前回取引の保存ファイル作成処理が終了するまで今回取引の保存ファイル作成処理を待機させるようにしている。この場合、図示省略したが、図１３のフローチャートにおいて、保存ファイル作成処理のビジー状態を判別し、その結果、ビジー状態であれば、今回取引の保存ファイル作成処理の開始を保留するようにすれば実現可能となる。

いま、保存終了時刻（抽出終了タイミング）に達すると（ステップＤ９でＹＥＳ）、上述の開始フラグを“オフ”した後（ステップＤ１０）、保存ファイルの保存先は、ＳＤカード２１２であるか否かを調べる（ステップＤ１１）。ここで、保存先はユーザ操作により予め任意に設定されたもので、その設定された保存先がＳＤカード２１２であれば（ステップＤ１１でＹＥＳ）、客側の保存ファイルＹ４、操作側の保存ファイルＹ５を電子ジャーナルファイルＹ６と共に、ＳＤカード２１２に対して出力して、ＳＤカード２１２に書き込む処理を行う（ステップＤ１３）。また、保存先がＳＤカード２１２でなければ（ステップＤ１１でＮＯ）、客側の保存ファイルＹ４、操作側の保存ファイルＹ５を電子ジャーナルファイルＹ６と共に、ＬＡＮ通信部２１１を介してサーバ装置２に対して出力して、サーバ装置２側に送信する処理を行う（ステップＤ１２）。このようにして保存先への出力を行った後は、図１５のフローから抜ける。

以上のように本実施形態において、ＥＣＲ１（売上データ処理装置）は、本体ユニット装置１００とカメラユニット装置２００とを有する構成で、このカメラユニット装置２００は、本体ユニット装置１００に対して着脱可能に装着されると共に電気的に接続可能な装着部（通信ケーブル３００及び電源ケーブル４００、カメラコネクタ部Ｂ３）と、登録待ち顧客が視認するための客用表示部２０４と、カメラ（客側カメラ２０５、操作側カメラ２０７）と、このカメラにより撮影された画像を逐次録画する録画部（ＣＰＵ２０１、記憶部２０２）と、客用表示部２０４、カメラ、録画部の動作をそれぞれ制御する制御部（ＣＰＵ２０１、記憶部２０２）を有する構成としたので、売上データを取引毎に登録処理する売上データ処理装置に備えられる客用表示部にカメラを組み合わせてインテリジェント化を図ることができる。これによってカメラの設置工事が不要となるほかに、低価格な売上データ処理装置であっても、高機能カメラを容易に付加することができ、実用性に富んだものとなる。

カメラは、登録待ちの顧客を撮影するための客側カメラ２０５と、本体ユニット装置１００への操作の状況を撮影するための操作側カメラ２０７であり、客用表示部２０４に客側カメラ２０５及び操作側カメラ２０７を組み合わせることで、適切な位置にカメラを配設することができる。

客側カメラ２０５は、客用表示部２０４の筐体２００Ａに搭載されていると共に登録待ちの顧客の顔を対面撮影することが可能な向きに設置されているので、客用表示部２０４の表示内容を目視確認している顧客の顔を正面から適切な距離で撮影することができ、高い撮影効果を得ることが可能となる。

操作側カメラ２０７は、客用表示部２０４の筐体２００Ａに搭載されていると共に本体ユニット装置１００上の操作部１０４及びその周辺を撮影可能な向きに設置されているので、オペレータとその操作状況を正面から適切な距離で撮影することができ、高い撮影効果を得ることが可能となる。

客側カメラ２０５は、客用表示部２０４の筐体２００Ａの表面側に配置し、操作側カメラ２０７は、客用表示部２０４の筐体２００Ａの裏面側に配置するようにしたので、オペレータと顧客とが対面している場合に顧客及びオペレータとその操作状況を正面から適切な距離で撮影することができる。

カメラユニット装置２００に客側マイク２０６を備え、この客側マイク２０６により集音された音声を録音するようにしたので、顧客の顔の近くでその音声を適切に録音することができるほか、顧客とのトラブル発生時や顧客から要望を受けたときなどに役立てることができる。

カメラユニット装置２００に操作側マイク２０８を備え、この操作側マイク２０８により集音された音声を録音するようにしたので、オペレータの顔の近くでその音声を適切に録音することができるほか、顧客とのトラブル発生時に役立てることができる。

カメラユニット装置２００は、客用表示部２０４の筐体２００Ａと、この筐体２００Ａを支持する支持ポール２００Ｂを有し、この支持ポール２００Ｂを本体ユニット装置１００に対して回転可能及び上下動可能に装着するようにしたので、客用表示部２０４と略同じ高さに客側カメラ２０５、操作側カメラ２０７を配置することができると共に、顧客の位置やオペレータの位置に合わせて客側カメラ２０５、操作側カメラ２０７の高さや撮影方向を調整することが可能となる。

可搬型外部記憶媒体（ＳＤカード２１２）を収納する収納部の蓋体２００Ｃに錠前２００Ｄを設けるようにしたので、ＳＤカード２１２が盗難されることにより、顧客を撮影した画像や操作状況を撮影した画像のように機密性のある情報が第三者に知られることを防止することができ、セキュリティ管理上有効ものとなる。

カメラユニット装置２００は、本体ユニット装置１００からの通信指示に応じて客側の保存ファイルＹ４、操作側の保存ファイルＹ５を読み出し、ＬＡＮ通信部２１１を介してサーバ装置２に送信するようにしたので、オペレータによる操作ミスや不正操作、顧客とのトラブルなどを発見するためにサーバ装置２や携帯端末装置６でのモニタ表示などが可能となる。

カメラユニット装置２００は、本体ユニット装置１００側から供給される駆動電力を電源として動作し、本体ユニット装置１００側での操作に応じて発生されたイベントが転送される毎にイベント内容を判別すると共にそのイベント内容に応じて、客用表示部２０４、客側カメラ２０５、操作側カメラ２０７の動作を制御するほか、録画動作をそれぞれ制御するようにしたので、本体ユニット装置１００側での操作に連動することができ、カメラユニット装置２００側に操作部を備える必要がなくなるほか、カメラユニット装置２００に電源を設ける必要もなく、小型化やコスト面で有利なものとる。

ＥＣＲ１（売上データ処理装置）は、本体ユニット装置１００に対して着脱可能に装着されると共に電気的に接続可能なカメラユニット装置２００を有し、このカメラユニット装置２００は、客用表示部２０４の近傍に備えられた客側カメラ２０５、操作側カメラ２０７により撮影された画像を逐次録画し、本体ユニット装置１００側での操作に応じて発生されたイベントに応じて、録画されている画像の中から保存対象の画像を抽出すると共に、抽出した保存対象の画像を外部に送出するようにしたので、客用表示部２０４と客側カメラ２０５や操作側カメラ２０７を組み合わせたカメラユニット装置２００のインテリジェント化が可能となり、カメラの設置工事が不要となるほかに、低価格な売上データ処理装置であっても、高機能カメラを容易に付加することができ、実用性に富んだものとなる。

カメラユニット装置２００は、保存対象の画像を抽出する場合に、イベントに対応付けて画像の保存開始を指示する開始イベントであるか画像の保存終了を指示する終了イベントであるかを記憶するイベントテーブルＹ３を参照し、開始イベントから終了イベントまでの間の画像を保存対象の画像として抽出するようしたので、必要な画像を保存対象の画像として抽出できると共に、イベントテーブルＹ３の内容に応じて、抽出すべき保存対象の画像を変更することができる。

カメラユニット装置２００は、客側カメラ２０５から画像を取り込んで圧縮処理した画像を客側の作業ファイルＹ１に逐次録画し、この客側の作業ファイルＹ１の中から保存対象の画像を抽出することにより客側の保存ファイルＹ４を生成するようにしたので、客側カメラ２０５による撮影時に保存ファイルＹ４をリアルタイムに生成せず、例えば、一取引の登録終了から次の取引の開始までの空き時間を利用して保存ファイルＹ４を生成することができ、ＣＰＵ２０１の負担を軽減して、保存ファイルＹ４の生成を効率良く行うことが可能となる。

同様に、カメラユニット装置２００は、操作側カメラ２０７から画像を取り込んで圧縮処理した画像を操作側の作業ファイルＹ２に逐次録画し、この操作側の作業ファイルＹ２の中から保存対象の画像を抽出することにより操作側の保存ファイルＹ５を生成するようにしたので、操作側カメラ２０７による撮影時に保存ファイルＹ５をリアルタイムに生成せず、例えば、一取引の登録終了から次の取引の開始までの空き時間を利用して保存ファイルＹ５を生成することができ、ＣＰＵ２０１の負担を軽減して、保存ファイルＹ５の生成を効率良く行うことが可能となる。

カメラユニット装置２００は、生成した客側の保存ファイルＹ４、操作側の保存ファイルＹ５をＳＤカード２１２に記録するようにしたので、ＳＤカード２１２を必要に応じて取り出すことで、例えば、他の外部機器を使用して、客側の保存ファイルＹ４、操作側の保存ファイルＹ５の内容をモニタ表示させることで確認することが可能となる。

カメラユニット装置２００は、生成した客側の保存ファイルＹ４、操作側の保存ファイルＹ５のほかに、電子ジャーナルファイルＹ６もそれらに対応付けてＳＤカード２１２に記録するようにしたので、例えば、他の外部機器を使用して、保存ファイルＹ４、Ｙ５の内容を電子ジャーナルファイルＹ６の内容と照らし合わせながら確認することが可能となり、オペレータの操作ミスや不正操作などの有無を詳細に検査したり、顧客とのトラブルを詳細に検査したりする際に効果的なものとなる。

カメラユニット装置２００は、生成した客側の保存ファイルＹ４、操作側の保存ファイルＹ５を、ＬＡＮ通信部２１１を介してサーバ装置２に送信するようにしたので、サーバ装置２側において、保存ファイルＹ４、Ｙ５をモニタ表示させてその内容を確認することが可能となる。

カメラユニット装置２００は、生成した客側の保存ファイルＹ４、操作側の保存ファイルＹ５のほか、電子ジャーナルファイルＹ６もＬＡＮ通信部２１１を介してサーバ装置２に送信するようにしたので、例えば、他の外部機器を使用して、保存ファイルＹ４、Ｙ５の内容を電子ジャーナルファイルＹ６の内容と照らし合わせながら確認することが可能となり、オペレータの操作ミスや不正操作などの有無を詳細に検査したり、顧客とのトラブルを詳細に検査したりする際に効果的なものとなる。

なお、上述した実施形態においてイベントテーブルＹ３は、図１０（１）に示すように、「イベント」、「イベントコード」、「動作」、「遡り時間」、「延長時間」の各項目を記憶する構成としたが、これに限らず、図１６に示すように「保存対象」の項目を追加する構成としてもよい。すなわち、上述した実施形態においては、客側の作業ファイルＹ１及び操作側の作業ファイルＹ２に記録されている画像や音声の中からイベントテーブルＹ３を参照することで抽出した画像や音声に基づいて、客側の保存ファイルＹ４及び操作側の保存ファイルＹ５を生成するようにしたが、客側の保存ファイルＹ４、操作側の保存ファイルＹ５のうち、どの保存ファイルを生成するかを「保存対象」の項目の設定内容に応じて任意に選択可能としてもよい。

すなわち、「保存対象」は、保存対象の保存対象が設定される項目で、図示の例では、顧客の年齢に応じて販売の制限がある酒類の部門（１）キーに対応してその「保存対象」には、顧客を撮影した画像から未成年者であるかどうかを後で確認可能とするために、「保存対象」に“客側”を設定した場合である。また、小計キーに対応する「保存対象」には、顧客が客用表示部２０４の表示内容を視認する可能性の高いタイミング（顧客の顔を正面から撮影可能なタイミング）や顧客とのトラブルやオペレータによる不正が起きやすい金銭授受のタイミングに合わせるために「保存対象」に“客側及び操作側”を設定した場合である。その他、金銭の取り扱うタイミングとして、現金／預かり金キー、出金キー、入金キー、ドロアを開く、ドロアを閉じるに対応する「保存対象」には、オペレータによる不正などの観点から“操作側”を設定した場合である。

また、上述した実施形態においては、「動作」に“保存開始”、“保存終了”を設定し、また、「遡り時間」、「延長時間」のいずれか一方を設定するようにしたが、図１６に示す例では、「動作」に“保存”を設定したり、その他の動作を設定したりするようにしてもよい。また、イベントに対応して「遡り時間」と「延長時間」との両方を設定するようにしてもよい。例えば、酒類の“部門（１）キー”に対応する「遡り時間」に“２秒前”が設定され、その「延長時間」に“３秒後”が設定されている場合において、部門（１）キーが操作された際に、その操作時点（イベント発生時点）を基準として、その前後の時間（２秒＋３秒＝５秒）内に録画されている画像を抽出すべきことを設定するようにしてもよい。また、“小計キー”に対応する「遡り時間」に“３秒前”が設定され、その「延長時間」に“５秒後”が設定されている場合において、小計キーが操作された際に、その操作時点（イベント発生時点）を基準として、その前後の時間（３秒＋５秒＝８秒）内に録画されている画像を抽出すべきことを設定するようにしてもよい。

更に、“ドロアを開く”に対応する「遡り時間」に“１０秒前”が設定され、その「延長時間」に“０秒後”が設定され、また、“ドロアを閉じる”に対応する「遡り時間」に“０秒前”が設定され、その「延長時間」に“１０秒後”が設定されている場合において、ドロアの開閉操作に応じて、その操作時点（イベント発生時点）を基準として、その前後の時間（１０秒＋１０秒＝２０秒）内に録画されている画像を抽出すべきことを設定するようにしてもよい。

その他、「動作」の項目に設定されている“表示”は、客用表示部２０４にデータを表示させることを示し、“通信は”
ＬＡＮ通信部２１１を介してサーバ装置２との間で送受信することを示している。このようにイベント毎に「遡り時間」及び「延長時間」を設定するようにした場合でも図１３のフローチャートと基本的には同様の動作により実現可能となる。この場合、図１３のステップＢ１０、ステップＢ１２を省略し、かつステップＢ９では、イベントの内容が“保存”であるかを調べ、ステップＢ１３では、ドロア１０８Ａが閉じられたか否かを調べるようにすればよい。

図１７は、イベント毎に「遡り時間」及び「延長時間」を設定した場合の動作を補足説明するための図である。
図示の例では、イベント（１）発生の「遡り時間」が“２秒”、その「延長時間」が“３秒”の場合で、イベント（２）発生の「遡り時間」が“３秒”、その「延長時間」が“５秒”の場合に、イベント（１）の「延長時間」とイベント（２）の「遡り時間」が重なり合っているときには、画像や音声の抽出期間は、イベント（１）発生の“２秒前からイベント（２）発生の“５秒”後となることを示している。

また、図示の例では、イベント（２）と次のイベント（３）との間の無操作時間が長く、イベント（２）の「延長時間」が経過してから次のイベント（３）の「遡り時間」が始まるまでの間が時間的に空いていれば、この空き時間内では画像や音声の抽出は行われないことを示している。そして、イベント（３）発生の「遡り時間」が“２秒”、「延長時間」が“３秒”の場合であるから、イベント（３）発生の“２秒前からその発生“５秒”後までの間が画像や音声の抽出期間となる。

このようにイベント毎に「遡り時間」及び「延長時間」を設定した場合には、イベント発生時点（操作時点）を基準として、その前後の時間内の画像をイベント毎に抽出することができる。この場合、前回発生のイベントの抽出期間と今回発生のイベントの抽出期間とが重なり合っているときには、前回発生のイベントの「遡り時間」前から今回発生のイベントの「延長時間」後までの期間が両ベントを合わせた抽出期間となるので、イベント毎に抽出を行ったとしても同一内容の重複保存を防ぐことができる。また、前回発生のイベントの「延長時間」が経過してから今回発生のイベントの「遡り時間」が始まるまでの間が時間的に空いていれば、この空き時間内の抽出を省略することができるので、無駄な保存を防ぐことができる。

また、上述した実施形態においては、客側カメラ２０５及び客側マイク２０６を客用表示部２０４の筐体２００Ａの表面側に配置し、操作側カメラ２０７及び操作側マイク２０８を客用表示部２０４の筐体２００Ａの裏面側に配置するようにしたが、これに限らず、客用表示部２０４の近傍であれば、その取り付け位置は問わない。例えば、図１８は、客側カメラ２０５、操作側カメラ２０７を他の位置に取り付けた場合を例示したもので、客側カメラ２０５、客側マイク２０６は、客用表示部２０４の筐体２００Ａの表面側においてその一端部（図中、右端部）に配置し、操作側カメラ２０７は、支持ポール２００Ｂの上側に配置し、操作側マイク２０８は、支持ポール２００Ｂの下側に配置した場合である。このように客側カメラ２０５、操作側カメラ２０７の撮影方向や画角、客側マイク２０６、操作側マイク２０８の指向性との関係で、それらの取り付け位置を変更するようにしてもよい。

また、上述した各実施形態においてカメラユニット装置２００は、客用表示部２０４の筐体２００Ａを支持する支持ポール２００Ｂを本体ユニット装置１００に対して回転可能及び上下動可能に装着するようにしたが、本体ユニット装置１００に装着するのは、支持ポール２００Ｂに限らず、客用表示部２０４の筐体２００Ａであってもよい。

また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
売上データを取引毎に登録処理する売上データ処理装置を構成する本体ユニット装置に装着されていて、撮像機能のカメラを備えたカメラユニット装置であって、
前記本体ユニット装置に対して着脱可能に装着されると共に電気的に接続可能な装着部と、
登録待ち顧客が視認するための客用表示部と、
前記カメラにより撮影された画像を逐次録画する録画部と、
前記客用表示部、前記カメラ、前記録画部の動作をそれぞれ制御する制御部と、
を具備したことを特徴とするカメラユニット装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載のカメラユニット装置において、
前記カメラは、登録待ちの顧客を撮影するための客側カメラ、前記本体ユニット装置への操作の状況を撮影するための操作側カメラのうち、少なくともそのいずれかのカメラを含む、
ことを特徴とするカメラユニット装置である。
（請求項３）
請求項３に記載の発明は、請求項１に記載のカメラユニット装置において、
前記カメラとして登録待ちの顧客を撮影するための客側カメラを備え、前記客側カメラは、前記客用表示部の筐体に搭載されていると共に登録待ちの顧客の顔を対面撮影することが可能な向きに設置されている、
ことを特徴とするカメラユニット装置である。
（請求項４）
請求項４に記載の発明は、請求項１あるいは請求項３に記載のカメラユニット装置において、
前記カメラとして前記本体ユニット装置への操作の状況を撮影するための操作側カメラを備え、前記操作側カメラは、前記客用表示部の筐体に搭載されていると共に前記本体ユニット装置上の操作部及びその周辺を撮影可能な向きに設置されている、
ことを特徴とするカメラユニット装置である。
（請求項５）
請求項５に記載の発明は、請求項１に記載のカメラユニット装置において、
前記カメラとして登録待ちの顧客を撮影するための客側カメラと前記本体ユニット装置への操作の状況を撮影するための操作側カメラを備え、前記客用表示部の筐体の表面側に前記客側カメラを配置し、前記筐体の裏面側に前記操作側カメラを配置した、
ことを特徴とするカメラユニット装置である。
（請求項６）
請求項６に記載の発明は、請求項１あるいは請求項３に記載のカメラユニット装置において、
前記カメラとして登録待ちの顧客を撮影するための客側カメラと、
更に、顧客側の音声を集音するための客側マイクと、
前記客側マイクにより集音された音声を録音する録音部と、
を更に備え、
前記制御部は、前記客用表示部、前記カメラ、前記録画部の動作を制御するほかに、前記客側マイク、前記録音部の動作を制御する、
ようにしたことを特徴とするカメラユニット装置である。
（請求項７）
請求項７に記載の発明は、請求項１あるいは請求項４に記載のカメラユニット装置において、
前記カメラとして前記本体ユニット装置への操作の状況を撮影するための操作側カメラと、
更に、オペレータ側の音声を集音するためのオペレータ側マイクと、
前記オペレータ側マイクにより集音された音声を録音する録音部と、
を更に備え、
前記制御部は、前記客用表示部、前記カメラ、前記録画部の動作を制御するほかに、前記オペレータ側マイク、前記録音部の動作を制御する、
ようにしたことを特徴とするカメラユニット装置である。
（請求項８）
請求項８に記載の発明は、請求項１〜請求項７のいずれかに記載のカメラユニット装置において、
当該カメラユニット装置は、前記客用表示部の筐体と、この筐体を支持する支持ポールを有し、前記支持ポールを前記本体ユニット装置に対して回転可能及び上下動可能に装着する、
ようにしたことを特徴とするカメラユニット装置である。
（請求項９）
請求項９に記載の発明は、請求項１〜請求項８のいずれかに記載のカメラユニット装置において、
前記録画部により録画された画像を記録する可搬型の外部記憶媒体を出し入れ可能に収納する収納部を更に備え、
前記収納部の開口部を覆う蓋体に錠前を配設する、
ようにしたことを特徴とするカメラユニット装置である。
（請求項１０）
請求項１０に記載の発明は、請求項１〜請求項８のいずれかに記載のカメラユニット装置において、
前記録画部により録画された画像を外部機器に送信する送信部を更に備える、
ようにしたことを特徴とするカメラユニット装置である。
（請求項１１）
請求項１１に記載の発明は、請求項１〜請求項１０のいずれかに記載のカメラユニット装置において、
前記客用表示部、前記カメラ、前記録画部、前記制御部は、前記本体ユニット装置から供給される駆動電力を電源として動作し、
前記制御部は、本体ユニット装置側での操作に応じて発生されたイベントが前記装着部を介して転送される毎にイベント内容を判別すると共にそのイベント内容に応じて前記客用表示部、前記カメラ、前記録画部の動作をそれぞれ制御する、
ようにしたことを特徴とするカメラユニット装置である。
（請求項１２）
請求項１２に記載の発明は、
売上データを取引毎に登録処理する売上データ処理装置を構成する本体ユニット装置に装着されていて、撮像機能のカメラを備えたカメラユニット装置であって、
登録待ち顧客が視認するための客用表示部の近傍に備えられた前記カメラにより撮影された画像を逐次録画する録画手段と、
前記本体ユニット装置に対して着脱可能に装着されると共に電気的に接続可能な装着部を介して、前記本体ユニット装置側での操作に応じて発生されたイベントを判別する判別手段と、
前記判別手段により判別されたイベントに応じて、前記録画されている画像の中から保存対象の画像を抽出する抽出手段と、
前記抽出手段により抽出された保存対象の画像を外部に送出する送出手段と、
を具備したことを特徴とするカメラユニット装置である。
（請求項１３）
請求項１３に記載の発明は、請求項１２に記載のカメラユニット装置において、
前記本体ユニット装置側の操作に対応付けて画像の保存開始を指示する開始イベントであるか画像の保存終了を指示する終了イベントであるかを記憶するイベント記憶手段を更に備え、
前記抽出手段は、前記判別手段により判別されたイベントに応じて、前記録画されている画像の中から保存対象の画像を抽出する際に、開始イベントであると判別されてから終了イベントであると判別されるまでの間の画像を保存対象の画像として抽出する、
ようにしたことを特徴とするカメラユニット装置である。
（請求項１４）
請求項１４に記載の発明は、請求項１２あるいは請求項１３に記載のカメラユニット装置において、
前記カメラは、登録待ちの顧客を撮影するための客側カメラであり、
前記録画手段は、前記客側カメラから画像を取り込んで圧縮処理した画像を前記客側の作業ファイルに逐次録画し、
前記抽出手段は、前記客側の作業ファイルに録画されている画像の中から保存対象の画像を抽出することにより客側の保存ファイルを生成する、
ようにしたことを特徴とするカメラユニット装置である。
（請求項１５）
請求項１５に記載の発明は、請求項１２あるいは請求項１３に記載のカメラユニット装置において、
前記カメラは、前記本体ユニット装置への操作の状況を撮影するための操作側カメラであり、
前記録画手段は、前記操作側カメラから画像を取り込んで圧縮処理した画像を前記操作側の作業ファイルに逐次録画し、
前記抽出手段は、前記操作側の作業ファイルに録画されている画像の中から保存対象の画像を抽出することにより操作側の保存ファイルを生成する、
ようにしたことを特徴とするカメラユニット装置である。
（請求項１６）
請求項１６に記載の発明は、請求項１４あるいは請求項１５に記載のカメラユニット装置において、
前記送出手段は、前記生成した保存ファイルを着脱自在な可搬型外部記憶媒体に記録する、
ようにしたことを特徴とするカメラユニット装置である。
（請求項１７）
請求項１７に記載の発明は、請求項１６に記載のカメラユニット装置において、
前記本体ユニット装置側での操作に応じてその操作データをジャーナルデータとして取得して逐次記憶するジャーナル記憶手段を更に備え、
前記送出手段は、前記生成した保存ファイルを着脱自在な可搬型外部記憶媒体に記録する場合に前記ジャーナル記憶手段に記憶されているジャーナルデータも前記可搬型外部記憶媒体に記録する、
ようにしたことを特徴とするカメラユニット装置である。
（請求項１８）
請求項１８に記載の発明は、請求項１４あるいは請求項１５に記載のカメラユニット装置において、
前記送出手段は、前記生成した保存ファイルを外部機器に対して送信する、
ようにしたことを特徴とするカメラユニット装置である。
（請求項１９）
請求項１９に記載の発明は、請求項１８に記載のカメラユニット装置において、
前記本体ユニット装置側での操作に応じてその操作データをジャーナルデータとして取得して逐次記憶するジャーナル記憶手段を更に備え、
前記送出手段は、前記生成した保存ファイルを前記外部機器に送信する場合に前記ジャーナル記憶手段に記憶されているジャーナルデータも前記外部機器に送信する、
ようにしたことを特徴とするカメラユニット装置である。
（請求項２０）
請求項２０に記載の発明は、請求項１２に記載のカメラユニット装置において、
前記抽出手段は、前記判別手段により判別されたイベントが所定の操作であれば、前記録音されている画像のうち、その操作を行った時点を基準としてその前後の時間内に録画されている画像を抽出する、
ようにしたことを特徴とするカメラユニット装置である。
（請求項２１）
請求項２１に記載の発明は、
コンピュータに対して、
登録待ち顧客が視認するための客用表示部の近傍に備えられた前記カメラにより撮影された画像を逐次録画する機能と、
本体ユニット装置に対して着脱可能に装着されると共に電気的に接続可能な装着部を介して、前記本体ユニット装置側での操作に応じて発生されたイベントを判別する機能と、
前記判別されたイベントに応じて、前記録画されている画像の中から保存対象の画像を抽出する機能と、
前記抽出された保存対象の画像を外部に送出する機能と、
を実現させるためのプログラムである。

１ ＥＣＲ
２ サーバ装置
３ ＬＡＮ（構内専用回線）
１００ 本体ユニット装置
２００ カメラユニット装置
１０１、２０１ ＣＰＵ
１０２、２０２ 記憶部
２０４ 客用表示部
２０５ 客側カメラ
２０６ 客側マイク
２０７ 操作側カメラ
２０８ 操作側マイク
２０９ カードインターフェイス部
２１０ ＣＯＭポート
２１１ ＬＡＮ通信部
２１２ ＳＤカード
２００Ａ 筐体
２００Ｂ 支持ポール
２００Ｃ 収納部蓋体
２００Ｄ 錠前
Ａ１ 本体コネクタ部
Ｂ１ ベース固定部
Ｂ２ 可動ポール部
Ｂ３ カメラコネクタ部
Ｙ１ 客側の作業ファイル
Ｙ２ 操作側の作業ファイル
Ｙ３ イベントテーブル
Ｙ４ 客側の保存ファイル
Ｙ５ 操作側の保存ファイル
Ｙ６ 電子ジャーナルファイル
３００ 通信ケーブル
４００ 電源ケーブル

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

本発明の課題は、撮影される画像から対象となる画像を適切に特定して処理できるようにすることである。

請求項１は、所定イベントの発生を検出する検出手段と、前記検出手段による前記所定イベントの検出により、カメラにより撮影される複数の撮影方向又は複数の撮影場所の内で所定の撮影方向又は所定の撮影場所を、前記カメラによる撮影制御内容として選択する選択手段と、前記カメラで撮影される画像の内で、前記選択手段で選択された前記撮影制御内容に基づく前記撮影方向又は前記撮影場所を撮影する画像を、処理対象の画像として特定する特定手段と、を具備したことを特徴とする。
請求項３は、所定イベントの発生を検出する検出手段と、前記検出手段による前記所定イベントの検出により、複数のカメラの内でカメラを特定するための撮影制御内容を選択する選択手段と、前記複数のカメラの内で前記選択手段で選択された前記撮影制御内容に基づいて特定されるカメラが撮影する画像を、処理対象の画像として特定する特定手段と、を具備したことを特徴とする。
請求項５は、所定イベントの発生を検出する検出手段と、前記検出手段による前記所定イベントの検出により、カメラにより撮影される画像の中で、処理対象とする撮影画像の範囲を特定する撮影範囲情報を、撮影制御内容として選択する選択手段と、前記カメラで撮影される画像の内で、前記選択手段で選択された撮影範囲情報に基づく撮影範囲で撮影される画像を、前記処理対象の画像として特定する特定手段と、を具備したことを特徴とする。

本発明によれば、撮影される画像から対象となる画像を適切に特定して処理することができる。

Claims (10)

1. カメラにより撮影された画像を処理する画像処理装置であって、
   操作部による一連の操作中にあって前記カメラにより撮影される複数の撮影方向の画像を逐次録画する録画手段と、
   前記操作部の操作に応じて発生されたイベントの種類を判別する判別手段と、
   前記判別手段により判別されたイベントの種類に応じて、前記複数の撮影方向の内で、第１撮影方向を撮影した画像を保存対象とするか、第２撮影方向を撮影した画像を保存対象とするか、を特定すると共に、前記判別のイベントの種類に応じて、前記録画されている画像の中から前記特定の保存対象の画像を抽出する抽出手段と、
   を具備したことを特徴とする画像処理装置。
2. 前記抽出手段は、複数種類のイベント毎に、そのイベント時に撮影された画像を保存対象とするか否かを示す第１情報と、前記保存対象とする場合には前記複数の撮影方向の内で第１撮影方向を撮影した画像を保存対象とするか第２撮影方向を撮影した画像を保存対象とするかを示す第２情報と、を記憶する記憶手段を参照することで、前記保存対象の前記撮影方向を特定し、その撮影方向の録画の画像の中から前記イベント時に撮影された画像を前記保存対象の画像として抽出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. カメラにより撮影された画像を処理する画像処理装置であって、
   操作部による一連の操作中にあって前記カメラにより撮影される複数の撮影方向の画像を逐次録画する録画手段と、
   前記操作部の操作に応じて発生されたイベントの種類を判別する判別手段と、
   前記判別手段により判別されたイベントの種類に応じて、前記録画されている画像の中から保存対象の画像の撮影タイミングを特定すると共に、前記複数の撮影方向の内で、第１撮影方向を撮影した画像を保存対象とするか、第２撮影方向を撮影した画像を保存対象とするか、を特定する特定手段と、
   前記特定手段で特定された撮影方向を録画した画像の中から、前記特定の撮影タイミングの画像を保存対象の画像として抽出する抽出手段と、
   を具備したことを特徴とする画像処理装置。
4. 前記特定手段は、複数種類のイベント毎に、そのイベントの撮影タイミングの画像を保存対象とするか否か、を示す第１情報と、前記保存対象とする場合には前記複数の撮影方向の内で第１撮影方向を撮影した画像を保存対象とするか第２撮影方向を撮影した画像を保存対象とするかを示す第２情報と、を記憶する記憶手段を参照することで、前記保存対象の前記撮影タイミングと前記撮影方向とを特定する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記カメラは、前記操作部を操作する操作者側の前記第１撮影方向と、前記操作者による操作を待つ客側の前記第２撮影方向と、を撮影する、
   ことを特徴とする請求項１〜４の何れかに記載の画像処理装置。
6. 前記操作部による操作に応じて表示される表示部を有し、
   前記カメラは、前記操作部側の撮影方向を前記第１撮影方向として撮影し、前記表示部を視認する客側の撮影方向を前記第２撮影方向と、を撮影する、
   ことを特徴とする請求項１〜４の何れかに記載の画像処理装置。
7. 前記判別のイベントの種類に応じて、前記複数の撮影方向の内の何れか一方の撮影方向を撮影した撮影画像、あるいは前記第１撮影方向の画像と前記第２撮影方向の画像との双方の撮影画像、を、前記保存対象として特定する、
   ことを特徴とする請求項１〜６の何れかに記載の画像処理装置。
8. 前記抽出手段で抽出された保存対象の画像を、当該装置側の記憶媒体に記録させることで保存するか、当該装置とは通信回線で接続される外部装置に送信することで保存するか、を制御する保存制御手段と、
   を更に具備したことを特徴とする請求項１〜７の何れかに記載の画像処理装置。
9. カメラにより撮影された画像を処理する画像処理装置のコンピュータを制御するためのプログラムであって、
   前記コンピュータを、
   操作部による一連の操作中にあって前記カメラにより撮影される複数の撮影方向の画像を逐次録画する録画手段、
   前記操作部の操作に応じて発生されたイベントの種類を判別する判別手段、
   前記判別手段により判別されたイベントの種類に応じて、前記複数の撮影方向の内で、第１撮影方向を撮影した画像を保存対象とするか、第２撮影方向を撮影した画像を保存対象とするか、を特定すると共に、前記判別のイベントの種類に応じて、前記録画されている画像の中から前記特定の保存対象の画像を抽出する抽出手段、
   として機能させるためのプログラム。
10. カメラにより撮影された画像を処理する画像処理装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    操作部による一連の操作中にあって前記カメラにより撮影される複数の撮影方向の画像を逐次録画する録画手段、
    前記操作部の操作に応じて発生されたイベントの種類を判別する判別手段、
    前記判別手段により判別されたイベントの種類に応じて、前記録画されている画像の中から保存対象の画像の撮影タイミングを特定すると共に、前記複数の撮影方向の内で、第１撮影方向を撮影した画像を保存対象とするか、第２撮影方向を撮影した画像を保存対象とするか、を特定する特定手段、
    前記特定手段で特定された撮影方向を録画した画像の中から、前記特定の撮影タイミングの画像を保存対象の画像として抽出する抽出手段、
    として機能させるためのプログラム。

Images