JP2010237761A - 電子機器 - Google Patents

Abstract

【課題】画像や音楽等のコンテンツを正確に評価できるようにする。
【解決手段】コンテンツとしての画像を再生すると、サブカメラによって鑑賞者の顔が撮像されるとともに、鑑賞者の声が録音される。取得された顔画像データに基づいて表情認識および体動認識が行われ、その結果に基づいて点数付けがなされる。一方、録音された鑑賞者の音声に基づいて音声認識が行われ、その結果に基づいて点数付けがなされる。両点数付けの結果の合計値に基づいて当該画像の評価が決まる。決定された評価は、当該画像データに対応づけられて記憶される。
【選択図】図４

Description

本発明は、画像や音楽等のコンテンツを自動的に評価可能な電子機器に関する。

楽曲や映像等のコンテンツを再生しているときに鑑賞者の体動を検出し、当該コンテンツに対する鑑賞者の嗜好度を算出し、その嗜好度を当該楽曲に対応づけて記録することが可能な再生装置が知られている（例えば、特許文献１参照）。

特開２００７−８６８３５号公報

しかしながら、体動で鑑賞者の嗜好度を判断するのは困難な場合が多い。

本発明に係る電子機器は、コンテンツを再生する再生手段と、コンテンツの再生中に鑑賞者の表情および／または音声を検出する検出手段と、検出手段の検出結果に基づいて上記再生されたコンテンツを評価する評価手段とを具備することを特徴とする。

本発明によれば、コンテンツの評価をその鑑賞者の表情および／または音声にて行うので、コンテンツを正確に評価できる。

一実施形態におけるデジタルカメラの制御ブロック図。 レイティング結果を画像に重ね合わせて表示する際の表示例を示す図。 レイティング時の鑑賞者の様子を画像に重ね合わせて表示する際の表示例を示す図。 スライドショー時の再生レイティング機能を説明するフローチャート。 スライドショー後のレイティング結果をグラフ表示する際の表示例を示す図。

図１〜図５により本発明の一実施の形態を説明する。
図１は本実施形態におけるカメラの制御系を示すブロック図である。不図示の撮影レンズを透過した撮影光束は、光学ローパスフィルタ１を経て撮像センサ２にて撮像される。撮像センサ２の動作は、タイミングジェネレータ（ＴＧ）３によって制御される。

撮像センサ２の光電変換出力である撮像信号は、Ａ／Ｄコンバータ４でデジタル信号に変換されて画像処理ＭＣＵ５に入力され、ＤＳＰ（デジタル信号処理装置）５ａで処理されて画像データが生成される。画像データは、画像ファイルとしてメモリカード６等の画像記録媒体に記録される。

再生モード時には、メモリカード６等に記録された画像ファイルを読み出し、ＤＳＰ５ａおよび表示出力部５ｂの処理を経た後、内蔵ＬＣＤユニット７に画像として表示することができる。ＬＣＤユニット７は、例えばカメラ背面に設けられたカラー液晶モニタである。また再生モードでは、スライドショーの作成および実行が可能である。スライドショーは、メモリカード６内の複数の画像データを、所定時間間隔で順次入れ替えてＬＣＤユニット７に表示する機能である。

さらに、画像データをビデオ信号に変換し、ビデオ出力部８を介してＴＶなどの外部装置に表示することもできる。また、高解像度出力トランスミッター９を介して画像ファイルを外部のハイビジョンＴＶ等へ出力できる。

画像処理ＭＣＵ５には、マイク１０、スピーカ１１およびサブカメラ１２が接続され、マイク１０を介して入力された音声データを記録したり、記録した音声データをスピーカ１１から再生することができる。サブカメラ１２は、専用の撮影レンズや撮像センサ等を有し、ＬＣＤユニット７上の画像を鑑賞する鑑賞者の顔を撮像可能な位置に設けられている。例えばＬＣＤユニット７がカメラ背面に設けられる場合は、サブカメラ１２の撮影レンズもカメラ背面に設けられる。

画像処理ＭＣＵ５に接続されたサブＭＣＵ２０は、レリーズボタン２１や他の操作部２２の操作に応答し、センサ（ＡＦセンサ，ＡＥセンサなど）２２Ａからの入力情報や、姿勢検出部２３から入力されるカメラの姿勢情報等に基づいて各種演算を行い、その演算結果に基づいてカメラ駆動部２４を制御する。カメラ駆動部２４は、ＡＦ駆動部（レンズ駆動部）や、絞り駆動部、ミラー駆動部などから構成される。

次に、画像のレイティング機能について説明する。
本実施形態のカメラは、画像再生中の鑑賞者の表情や発声を検出し、それらの検出結果に基づいて画像を自動的に評価する機能を有している。以下、この機能を「再生レイティング機能」と呼ぶ。

この機能を実現するために、カメラは顔認識機能、表情認識機能および音声認識機能を備えている。顔認識は、公知のように画像データ中に被写体として人物が存在する場合に、その人物の顔領域の位置および大きさを検出する機能であり、一般的には顔部分にピントや露出を合わせるのに用いられる。表情認識は、顔認識で認識された画像データ中の顔の表情を認識する機能であり、例えば「笑顔」、「喜び」、「悲しみ」、「怒り」、「驚き」といった喜怒哀楽の表情を検出できる。これは、例えば特開２００１−５１３３８号公報に記載されている技術を用いて実現可能である。音声認識は、公知のように音声データから音声の内容を認識する機能である。

再生レイティング機能は、その選択／非選択を設定画面等で指定することができる。この機能が選択されているときに再生モードで画像再生を行うと、サブカメラ１２およびマイク１０が作動し、それぞれ撮像および録音を行う。サブカメラ１２は、上述したように画像の鑑賞者の顔を撮像して画像データを生成する。

画像処理ＭＣＵ５は、サブカメラ１２によって得られた顔画像データに対して顔認識を行い、続いて表情認識を行う。また録音された音声データに対して音声認識を行い、音声の内容を取得するとともに、音声の大きさやトーンなどを検出する。そして、表情認識および音声認識の結果に基づいて、再生された画像の評価を行う。

例えば「笑顔」や「喜び」、「驚き」の表情が検出された場合は点数が加算され、「悲しみ」、「怒り」等では点数が減算される。いずれの喜怒哀楽の表情も検出されない場合は点数の加算／減算は行わない。なお、複数人で画像を鑑賞する場合は複数の顔が認識されるが、この場合は複数の顔に対する表情認識結果に基づいて点数が決定される。例えば、各顔に対して点数を求め、それらの最大値あるいは平均値を求める。表情の度合いに基づいて点数を変えてもよい（例えば、同じ「笑顔」でも、微笑み程度と大笑いとで点数を変える）。

また音声では、声の大きさ、トーンに応じて点数を加算／減算する。例えば声が大きいほど、あるいはトーンが高いほど感動が大きいと判断し、点数を加算する。さらに上記音声認識の結果に基づき、「すごい」などの誉め言葉が検出された場合は点数を加算する。

上記表情や音声に加え、体動による点数付けを行ってもよい。体動については、サブカメラ１２によって繰り返し得られる画像データから判断でき、例えば鑑賞者の体が大きく動いた場合や、手を叩く仕草が検出された場合に点数を加算するようにすればよい。さらに、サブカメラ１２により動画撮影を行い、それに基づいて表情認識や体動認識を行ってもよい。

なお、何らかの理由によりサブカメラ１２の画像中に顔領域が検出されなかった場合は、表情認識や体動認識による点数付けは行えない。この場合は、今回の点数付けは行わないようにしてもよいし、音声の結果のみで点数付けを行うようにしてもよい。また、音声が検出されなかった場合は、今回の点数付けは行わないようにしてもよいし、顔領域が検出されていれば、表情認識や体動認識のみによる点数付けを行うようにしてもよい。

上記鑑賞者の撮像および録音から点数付けまでの一連の処理は、１枚の画像の再生中に最低１度行えばよいが、再生中に所定の周期で繰り返し行い、各回の点数の最大値または平均値をその画像の点数としてもよい。

以上のようにして求められた点数をそのまま画像の評価としてもよいが、点数に基づいて５段階評価、あるいは１０段階評価などの評価を行ってもよい。

決定された評価は、当該画像に対応づけられて記憶される。一般に画像は、コンピュータで扱うことが可能な画像ファイルとしてメモリカード６等の記録媒体に記録されるが、その画像ファイルのヘッダ情報として上記評価情報を埋め込むことが可能である。画像ファイルとは別に評価データを記憶してもよい。

レイティングがなされた画像を内蔵ＬＣＤユニット７に再生表示すると、その画像ファイルに対応づけられた評価情報が読み出され、画像とともに表示される。図２はその表示例を示し、５段階評価の結果が星の数で画像に重ね合わせて表示されている。画像の余白部分に表示してもよい。このレイティング表示は、画像選択用のサムネイル表示において各サムネイル画像にも表示することができる。

一方、図３に示すように、レイティングに使用した画像（鑑賞者を撮影したものであり、静止画または動画）をサブウィンドウＳＷに表示したり、レイティングに使用した音声を再生することで、鑑賞者の反応付きで画像を楽しむことができる。これを実現するには、鑑賞者を撮影した画像データや録音した音声データを、評価の対象となった画像ファイルに対応づけて保存しておく必要がある。

ここで、レイティングは、画像の分類や並び替え、画像検索におけるキーとしても利用できる。例えば、レイティングがなされた画像ファイルは、評価別に作成したフォルダに自動的に移動するようにしてもよい（例えば、５つ星の画像ファイルは５つ星フォルダに入れるなど）。また、画像を評価順に並べ替えたり、評価の高い（低い）幾つかの画像を選び出して表示したり（例えば、トップ１０、ワースト１０など、）、特定の評価（例えば、５つ星、３つ星以上など）の画像のみを検索してサムネイル表示したりすることも容易である。

このようなレイティング結果を用いた処理は、パーソナルコンピュータ等の外部装置でも実行可能である。ただし、その場合は外部装置に専用のソフトウェアを組み込むとともに、レイティング済みの画像ファイルを転送する必要がある。

なお、レイティング済みの画像を再生した場合は、再度のレイティングを行わないようにしてもよいし、再度レイティングを行って結果を書き換えたり、結果を累積するようにしてもよい。上記いずれかを選択可能としてもよい。

以上のような再生レイティング機能は、ユーザが１枚ずつ画像を選択して再生するときも可能であるし、スライドショー実行時にも行うことができる。

図４はスライドショーにおける再生レイティング処理の一例を示すフローチャートである。
スライドショーが開始されるとこのプログラムが起動され、まずステップＳ１で枚数カウンタＮを「１」とする。ステップＳ２では、Ｎ枚目の画像を再生表示し、ステップＳ３でサブカメラ１２による撮像とマイク１０による録音とを行う。ステップＳ４では、サブカメラ１２で得られた画像データに対して顔認識を行い、ステップＳ５で顔領域が検出されたか否かを判定する。顔領域が検出された場合はステップＳ６で表情認識を行うとともに、ステップＳ７で体動認識を行う。またステップＳ８では、録音された音声データに対して音の高さやトーンなどを検出するとともに、音声認識を行う。ステップＳ９では、ステップＳ６〜Ｓ８の結果に基づいて上述したようにＮ枚目の表示画像の点数付けを行う。

ステップＳ１０では、Ｎ枚目の画像の表示開始から所定時間（スライドショーにおける１枚の表示時間）が経過したか否かを判定し、まだ経過していない場合はステップＳ３に戻り、経過した場合はステップＳ１１に進む。ステップＳ１１では、例えば各回の点数の最大値に基づいてＮ枚目の画像の評価を決定する。決定された評価情報は、当該画像ファイルに対応づけられて記憶される。

ステップＳ１２ではスライドショーの終了か否かを判定する。予め決められた画像が全て再生された場合や、ユーザがスライドショーを強制終了させる操作を行った場合は、ステップＳ１２が肯定されてステップＳ１３に進む。ステップＳ１３では、例えば図５に示すように、各画像の評価結果をグラフ表示する。図５において、縦線は各画像の評価を表示順に示したものであり、特に評価が基準値以上の画像については、そのサムネイル画像が表示される。これにより高評価の画像を一目で確認できる。

まだスライドショーが終了でない場合はステップＳ１４に進み、ＮをカウントアップしてステップＳ２に戻る。

なお、鑑賞者によって評価が異なることに鑑み、レイティングを鑑賞者ごとに行ってもよい。つまり１枚の画像に対し、鑑賞者Ａによる評価、鑑賞者Ｂによる評価、鑑賞者Ｃによる評価・・・を別々に求めて記憶できるようにする。これを実現するには、カメラに設けられたデータベースに、予め複数の人物の名前（Ａ，Ｂ，Ｃ・・・）と、顔の特徴データとを対応づけて登録しておく。顔の特徴データは、各人の顔を撮像したデータからカメラが自動的に取得する。その後、再生レイティング機能を実行すると、カメラはサブカメラ１２による画像データに対して顔認識を行い、上記データベース検索を行って鑑賞者が誰であるか（複数人の場合は誰と誰であるか）を認識する。そして、各人に対して表情認識を行い、その結果に基づいて各人の評価を求めて記憶する。これによれば、各鑑賞者がどのような画像を好むかが分かって面白い。

また、サブカメラで得た画像をレイティングに用いるようにしたが、例えばレンズ回転式のカメラで、ＬＣＤユニットを視認する鑑賞者に撮影レンズを向けることが可能なものであれば、メインのカメラ機能で得た画像をレイティングに用いることができ、サブカメラは不要となる。また、ＴＶ等の外部装置に画像を表示しているときに上記再生レイティング機能が働くようにした場合も、メインのカメラ機能でレイティング用の画像を得ることができる。

さらに、評価すべきコンテンツは静止画に限定されず、動画や音楽、その他のコンテンツでもよい。

２ 撮像センサ
５ 画像処理ＭＣＵ
７ 内蔵ＬＣＤユニット
１０ マイク
１２ サブカメラ

Claims (10)

1. コンテンツを再生する再生手段と、
   コンテンツの再生中に鑑賞者の表情および／または音声を検出する検出手段と、
   前記検出手段の検出結果に基づいて前記再生されたコンテンツを評価する評価手段とを具備することを特徴とする電子機器。
2. 前記検出手段は、前記コンテンツを鑑賞する鑑賞者を撮像する撮像部と、該撮像部の出力から鑑賞者の表情を検出する表情検出部とを含むことを特徴とする請求項１に記載の電子機器。
3. 前記再生手段は、前記コンテンツとしての画像を内蔵表示装置または外部の表示装置に再生表示する画像再生手段であることを特徴とする請求項１または２に記載の電子機器。
4. 前記再生手段は、前記コンテンツとしての画像を内蔵表示装置に再生表示する画像再生手段であり、前記撮像部は、前記内蔵表示装置の画像を鑑賞する鑑賞者を撮像可能な位置に設けられていることを特徴とする請求項２に記載の電子機器。
5. 前記検出した音声から音声の内容を取得する取得手段を更に備え、前記評価手段は、前記音声の内容に基づいて前記再生されたコンテンツを評価することを特徴とする請求項１に記載の電子機器。
6. 被写体を撮像して前記コンテンツとしての画像を得る撮像手段を更に備えることを特徴とする請求項１〜５のいずれか１項に記載の電子機器。
7. 前記評価手段による評価後に前記コンテンツを再生する際に、当該コンテンツの評価を報知する報知手段を更に備えることを特徴とする請求項１〜６のいずれか１項に記載の電子機器。
8. 前記評価手段による評価後に前記コンテンツを再生する際に、前記撮像部の出力を画像として表示することを特徴とする請求項２に記載の電子機器。
9. 前記評価手段の評価結果を当該コンテンツと対応づけて保存することを特徴とする請求項１〜８のいずれか１項に記載の電子機器。
10. 前記検出手段は、鑑賞者の前記表情および／または音声に加えて鑑賞者の体動をも検出することを特徴とする請求項１〜９のいずれか１項に記載の電子機器。

Images