JP2011071908A - 携帯電子機器 - Google Patents

Abstract

【課題】パンフォーカス状態で被写体を撮像可能に設定された撮像部であっても、主要被写体以外をぼかした画像を得ることができる携帯電子機器を提供すること。
【解決手段】オートフォーカス機構４５１を有し、パンフォーカス状態で被写体を撮像可能な撮像部４５と、オートフォーカス機構４５１により焦点を合わせて主要被写体を撮像する第１処理と、オートフォーカス機構により焦点をずらして主要被写体以外を撮像する第２処理とを切り替える切替制御部４８２と、複数の部分画像をモザイキング処理により合成して合成画像を生成する合成画像生成部４６１と、生成された合成画像に基づいて、部分画像それぞれの重畳部分を超解像処理により高解像度化する高解像度化部４６２とを備える。
【選択図】図２

Description

本発明は、撮像部を有する携帯電子機器に関する。

近年、撮像部を有する携帯電話機等の携帯電子機器において、被写体を走査しながら撮像部により撮像された複数の画像を接合して合成画像を生成するモザイキング処理、及び複数の画像が重畳された部分を用いて高精細画像を生成する超解像処理を行う技術が提案されている（例えば、特許文献１及び２参照）。

特許文献１には、撮像部により撮像された複数の画像にモザイキング処理及び超解像処理を行うときに、被写体を走査しながら撮像部により撮像された領域をユーザに通知することにより、合成画像を生成する際の支援を行う技術が提案されている。

特許文献２には、加速度センサを用いて被写体を走査する際の速度を検出し、被写体を走査する速度を最適化することにより、適切なモザイキング処理及び超解像処理を支援する技術が提案されている。

特開２００７−２６６６６７号公報 特開２００７−３０６５２４号公報

ここで、近年、撮像部を有する携帯電子機器において、撮像部は、様々な撮像状況に対応するために、被写界深度が深く、パンフォーカス状態で撮像可能に設定されているものが多い。また、レンズのサイズも小型化されているため、被写界深度がさらに深くなっている。しかし、このようなパンフォーカス状態で撮像可能に設定された撮像部を用いた場合、主要被写体に焦点を合わせ、主要被写体以外をぼかした画像を得ることは困難である。

そこで、本発明は、パンフォーカス状態で被写体を撮像可能に設定された撮像部であっても、主要被写体以外をぼかした画像を得ることができる携帯電子機器を提供することを目的とする。

本発明に係る携帯電子機器は、上記課題を解決するために、オートフォーカス機構を有し、パンフォーカス状態で被写体を撮像可能な撮像部と、前記オートフォーカス機構により焦点を合わせて一の被写体を撮像する第１処理と、前記オートフォーカス機構により焦点をずらして前記一の被写体以外の他の被写体を撮像する第２処理とを切り替える切替制御部と、前記オートフォーカス機構を制御するオートフォーカス制御部と、前記撮像部により前記第１処理にて撮像された複数の第１の部分画像と、前記第２処理にて撮像された複数の第２の部分画像とをモザイキング処理により合成して合成画像を生成する合成画像生成部と、前記合成画像生成部により生成された前記合成画像に基づいて、前記部分画像それぞれの重畳部分を超解像処理により高解像度化する高解像度化部とを備えることを特徴とする。

また、前記切替制御部は、前記第１処理と前記第２処理とを切替えるか否かを所定の条件に基づいて判定する判定部をさらに備えることが好ましい。

また、前記携帯電子機器は、操作部をさらに備え、前記判定部は、前記操作部による所定の操作を前記所定の条件として前記第１処理と前記第２処理とを切替えるか否かを判定することが好ましい。

また、前記携帯電子機器は、携帯電子機器自身の傾きを算出する傾きセンサ部をさらに備え、前記判定部は、前記傾きセンサ部により算出される傾きを前記所定の条件として用い、前記傾きが所定の範囲内である場合に、前記第１処理を行うべきと判定し、前記傾きが前記所定の範囲外である場合に、前記第２処理を行うべきと判定することが好ましい。

また、前記携帯電子機器は、前記撮像部により撮像された前記複数の第１の部分画像と、前記複数の第２の部分画像とに基づいて、前記被写体における対象物を検出する対象物検出部をさらに備え、前記判定部は、前記対象物検出部により前記対象物が検出された場合、前記第１処理を行うべきと判定し、前記対象物検出部により前記対象物が検出されない場合、前記第２処理を行うべきと判定することが好ましい。

また、前記携帯電子機器は、携帯電子機器自身の位置を算出する位置検出部をさらに備え、前記第１処理と前記第２処理とを切り替えるべきか否かを前記携帯電子機器自身の位置と関連つけて設定する設定部をさらに備えることが好ましい。

本発明に係る携帯電子機器は、上記課題を解決するために、パンフォーカス状態で被写体を撮像可能な撮像部と、前記撮像部により撮像された複数の部分画像の少なくとも一部にエッジ強調処理を行うエッジ強調処理部と、前記複数の部分画像のいずれかに含まれる一の被写体に対して、前記エッジ強調処理部による前記エッジ強調処理を施すとともに、前記一の被写体以外の他の被写体に対して、前記エッジ強調処理部による前記エッジ強調処理を施さないように制御するエッジ強調処理制御部と、前記複数の部分画像をモザイキング処理により合成して合成画像を生成する合成画像生成部と、前記合成画像生成部により生成された前記合成画像に基づいて、前記部分画像それぞれの重畳部分を超解像処理により高解像度化する高解像度化部とを備えることを特徴とする。

また、前記エッジ強調処理制御部は、前記複数の部分画像中のどの領域に対して前記エッジ強調処理を行うか否かを所定の条件に基づいて判定する判定部をさらに備えることが好ましい。

また、前記携帯電子機器は、操作部をさらに備え、前記判定部は、撮像時における前記操作部の所定の操作を前記所定の条件として前記エッジ強調処理を行うか否かを判定することが好ましい。

また、前記携帯電子機器は、携帯電子機器自身の傾きを算出する傾きセンサ部をさらに備え、前記判定部は、前記傾きセンサ部により算出される傾きを前記所定の条件として用い、前記撮像部による撮像時における前記傾きが所定の範囲内である場合に、前記エッジ強調処理を行うべきと判定することが好ましい。

また、前記携帯電子機器は、前記撮像部により撮像された前記複数の部分画像に基づいて、前記被写体における対象物を検出する対象物検出部をさらに備え、前記判定部は、前記対象物検出部により前記対象物が検出された場合、前記エッジ強調処理を行うべきと判定することが好ましい。

また、前記携帯電子機器は、携帯電子機器自身の位置を算出する位置検出部をさらに備え、前記エッジ強調処理を行うべきか否かを、前記撮像部による撮像時における前記携帯電子機器自身の位置と関連つけて設定する設定部をさらに備えることが好ましい。

本発明によれば、パンフォーカス状態で被写体を撮像可能に設定された撮像部であっても、主要被写体以外をぼかした画像を得ることができる携帯電子機器を提供することができる。

本発明に係る携帯電子機器の一例である携帯電話機の外観斜視図である。 第１実施形態の携帯電話機の機能を示す機能ブロック図である。 第１実施形態の携帯電話機により撮像される画像の一例を示す図である。 第１実施形態の撮像部により複数の部分画像を撮像する際の動作を示す図である。 第１実施形態の撮像部により複数の部分画像を撮像する際の動作を示す図である。 第２実施形態の携帯電話機の機能を示す機能ブロック図である。 第３実施形態の携帯電話機の機能を示す機能ブロック図である。 第４実施形態の携帯電話機の機能を示す機能ブロック図である。 加速度センサ及び制御部により携帯電話機自身の傾きを算出する際の具体例を示す模式図である。 第５実施形態の携帯電話機の機能を示す機能ブロック図である。 匂いセンサにより特定の匂いを検出する際の具体例について示す図である。 第６実施形態の携帯電話機の機能を示す機能ブロック図である。 対象物検出部により対象物を検出する際の具体例について示す図である。 第７実施形態の携帯電話機の機能を示す機能ブロック図である。 設定部により撮像時における携帯電話機自身の位置を設定する際の具体例について示す図である。 設定部により設定される領域の具体例を示す図である。

＜第１実施形態＞
以下、本発明の第１実施形態について説明する。図１は、本発明に係る携帯電子機器の一例である携帯電話機１の外観斜視図を示す。なお、図１は、いわゆる折り畳み型の携帯電話機の形態を示しているが、本発明に係る携帯電話機の形態としては特にこれに限られない。例えば、両筐体を重ね合わせた状態から一方の筐体を一方向にスライドさせるようにしたスライド式や、重ね合せ方向に沿う軸線を中心に一方の筐体を回転させるようにした回転式（ターンタイプ）や、操作部と表示部とが一つの筐体に配置され、連結部を有さない形式（ストレートタイプ）でもよい。

携帯電話機１は、操作部側筐体２と、表示部側筐体３とを備える。操作部側筐体２は、表面部に、操作部１１と、携帯電話機１の使用者が通話時に発した音声が入力されるマイク１２とを備える。操作部１１は、各種設定や電話帳機能やメール機能等の各種機能を作動させるための機能設定操作キー１３と、電話番号の数字やメール等の文字等を入力するための入力操作キー１４と、各種操作における決定やスクロール等を行う決定操作キー１５とから構成されている。

また、表示部側筐体３は、表面部に、各種情報を表示するための表示部２１と、通話の相手側の音声を出力するスピーカ２２とを備える。

また、操作部側筐体２の上端部と表示部側筐体３の下端部とは、ヒンジ機構４を介して連結されている。また、携帯電話機１は、ヒンジ機構４を介して連結された操作部側筐体２と表示部側筐体３とを相対的に回転することにより、操作部側筐体２と表示部側筐体３とが互いに開いた状態（開放状態）にしたり、操作部側筐体２と表示部側筐体３とを折り畳んだ状態（折畳み状態）にしたりできる。

図２は、第１実施形態の携帯電話機１の機能を示す機能ブロック図である。携帯電話機１は、図２に示すように、操作部１１と、マイク１２と、表示部２１と、スピーカ２２と、メインアンテナ４０と、ＲＦ回路部４１と、表示制御部４２と、音声処理部４３と、メモリ４４と、撮像部４５と、処理部４６と、一時メモリ４７と、制御部４８とを備える。

表示部２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｏｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）によって構成され、各種情報に基づく画像や動画等を表示する。

メインアンテナ４０は、第１の使用周波数帯（例えば、８００ＭＨｚ）で基地局等と通信を行い、ＧＰＳ通信のための第２の使用周波数帯（例えば、１．５ＧＨｚ）に対応できるデュアルバンド対応構成である。なお、第１実施形態では、第１の使用周波数帯として、８００ＭＨｚとしたが、これ以外の周波数帯であってもよい。また、メインアンテナ４０は、第１の使用周波数帯で外部装置と通信を行い、ＧＰＳ通信のための第２の使用周波数帯に対応できるアンテナを別途設けてもよい。

ＲＦ回路部４１は、メインアンテナ４０によって受信した信号を復調処理し、処理後の信号を制御部４８に供給し、また、制御部４８から供給された信号を変調処理し、メインアンテナ４０を介して外部装置（基地局）に送信する。また、その一方で、メインアンテナ４０によって受信している信号の強度を制御部４８に通知を行う。

表示制御部４２は、制御部４８の制御に従って、所定の画像処理を行い、処理後の画像データをドライバＩＣに出力する。ドライバＩＣは、表示制御部４２から供給された画像データをフレームメモリに蓄え、所定のタイミングで表示部２１に出力する。

音声処理部４３は、制御部４８の制御に従って、ＲＦ回路部４１から供給された信号に対して所定の音声処理（例えば、アナログ変換）を行い、処理後の信号をスピーカ２２に出力する。スピーカ２２は、音声処理部４３から供給された信号を外部に出力する。

また、音声処理部４３は、制御部４８の制御に従って、マイク１２から入力された信号を処理（例えば、デジタル変換）し、処理後の信号をＲＦ回路部４１に出力する。

メモリ４４は、例えば、ワーキングメモリを含み、制御部４８による演算処理に利用される。また、メモリ４４には、各種データファイルや、複数のアプリケーションや、当該アプリケーションが必要とする各種のテーブルや、各種情報等が記憶されている。また、メモリ４４は、着脱可能な外部メモリを兼ねていてもよい。

撮像部４５は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子を備え、撮像素子で撮像した画像を電気信号に変換して、一時メモリ４７に出力する。

撮像部４５は、オートフォーカス機構４５１を有する。また、撮像部４５は、様々な状況に対応し、かつ、被写体との距離に関わらず被写体に焦点が合うように、広角でサイズの小さいレンズを有している。このようなレンズを有するため、撮像部４５は、被写界深度が無限遠に設定されている。つまり、撮像部４５は、パンフォーカス状態で被写体を撮像可能となるように構成されている。被写界深度とは、撮像部４５により被写体に焦点を合わせたときに、被写体の前後において焦点が合っている範囲をいう。

処理部４６は、撮像部４５により撮像された複数の部分画像に所定の処理を行う。処理部４６は、合成画像生成部４６１と、高解像度化部４６２とを備える。

一時メモリ４７は、制御部４８の制御に従い、撮像部４５により撮像された画像を一時的に記憶する。一時メモリ４７に記憶された画像は、制御部４８により読み出され、処理部４６により所定の処理が行われる。

制御部４８は、ＣＰＵ（中央演算装置）等で構成され、携帯電話機１の全体を制御する。制御部４８は、通常の画像を撮像するモードや、以下に示すようなぼけ画像を撮像するモード等の各種機能を選択可能に構成される。また、制御部４８は、オートフォーカス制御部４８１と、切替制御部４８２とを備える。

ここで、第１実施形態の携帯電話機１により撮像される画像について説明する。図３は、第１実施形態の携帯電話機１により撮像される画像の一例を示す図である。図３に示すように、画像Ｐは、画像の中心に位置する主要被写体Ｐ１に焦点が合っており、主要被写体Ｐ１以外の被写体Ｐ２には意図的に焦点をずらして撮像された画像である。

撮像部４５は、パンフォーカス状態で撮像するため、被写体との距離に関わらず、ほとんどの被写体と焦点が合う。このため、例えば、主要被写体Ｐ１のみに焦点を合わせ、その周辺の主要被写体以外の被写体Ｐ２に焦点をずらした図３に示すようなぼけ画像を撮像することは困難であった。

そこで、第１実施形態の携帯電話機１は、オートフォーカス機構４５１を制御し、モザイキング処理及び超解像処理を用いて、図３に示すようなぼけ画像を生成する。

ここで、モザイキング処理とは、平面又は遠景のようなほぼ平面とみなせる被写体に対し、カメラ本来の画角を超えた広視野画像（モザイク画像）を生成する処理である。具体的には、モザイキング処理は、被写体がカメラに収まりきらない場合に、その部分画像を位置や向きを変えて撮像部４５により複数撮影し、撮像された複数の画像を統合して被写体全体が収まった画像を生成する処理である。

超解像処理とは、被写体を微妙にずれたアングルから撮影した複数の画像を統合することで、被写体の細部を推定及び復元し、カメラ本来の性能を超えた高精細な画像を生成する処理である。

図４及び図５は、第１実施形態の撮像部４５により複数の部分画像を撮像する際の動作を示す図である。第１実施形態の撮像部４５は、図４（ａ）に示すように、被写体の左上からＸピクセル×Ｙピクセルの領域Ｓ１を軌跡１００のように順次スキャンしながら複数の部分画像を撮像する。合成画像生成部４６１は、撮像された複数の部分画像をモザイキング処理により合成して合成画像を生成する。高解像度化部４６２は、合成画像生成部４６１により生成された合成画像に基づいて、撮像された複数の部分画像それぞれの重畳部分を超解像処理により高解像度化して、１枚の合成画像を生成する。その結果、図４（ｂ）に示すような１枚の合成画像１１０を得ることができる。

第１実施形態の携帯電話機１は、図５に示すように、撮像部４５は、被写体を軌跡１２０のように順次スキャンしながら複数の部分画像を撮像する。そして、撮像部４５は、主要被写体（一の被写体）を含む領域Ａ１には焦点を合わせ（ぼかさない）、主要被写体以外（一の被写体以外の他の被写体）を含む領域Ｂ１には意図的に焦点を合わせない（ぼかす）ように撮像することにより、図３に示すようなぼけ画像を生成する。

具体的には、切替制御部４８２は、オートフォーカス機構４５１により焦点を合わせて主要被写体を撮像する第１処理と、オートフォーカス機構４５１により焦点をずらして主要被写体以外を撮像する第２処理とを切り替える。そして、オートフォーカス制御部４８１は、オートフォーカス機構４５１を制御して、第１処理及び第２処理をオートフォーカス機構４５１（撮像部４５）に実行させる。

第１処理及び第２処理が実行された後、合成画像生成部４６１は、撮像部４５により第１処理にて撮像された複数の第１の部分画像と、第２処理にて撮像された複数の第２の部分画像とをモザイキング処理により合成して合成画像を生成する。

高解像度化部４６２は、合成画像生成部４６１により生成された合成画像に基づいて、複数の第１の部分画像及び複数の第２の部分画像それぞれの重畳部分を超解像処理により高解像度化する。以上の処理を行った結果、撮像部４５により第１処理にて撮像された複数の第１の部分画像と、第２処理にて撮像された複数の第２の部分画像とを用いて、１枚の合成画像を生成することができる。

このように、第１実施形態の携帯電話機１によれば、切替制御部４８２は、オートフォーカス機構４５１により焦点を合わせて主要被写体を撮像する第１処理と、オートフォーカス機構４５１により焦点をずらして主要被写体以外を撮像する第２処理とを切り替える。このため、携帯電話機１は、主要被写体を含む領域には焦点を合わせ、主要被写体以外を含む領域には意図的に焦点を合わせない（ぼかす）ように撮像することにより、図３に示すようなぼけ画像を生成することができる。

＜第２実施形態＞
次に、本発明の携帯電話機１の第２実施形態について説明する。第２実施形態については、主として、第１実施形態とは異なる点を説明し、第１実施形態と同様の構成について同一符号を付し、説明を省略する。第２実施形態について特に説明しない点については、第１実施形態についての説明が適宜適用される。

図６は、第２実施形態の携帯電話機１の機能を示す機能ブロック図である。図６に示すように、第２実施形態の携帯電話機１は、エッジ強調処理部４６３と、エッジ強調処理制御部４８３と、を備え、オートフォーカス機構４５１を用いる制御に代えてエッジ強調処理を用いる点が第１実施形態とは主として異なる。

エッジ強調処理部４６３は、撮像部４５により撮像された複数の部分画像の少なくとも一部にエッジ強調処理を行う。エッジ強調処理とは、画像の輪郭部の濃度勾配を急峻にして、文字や画像の輪郭を明瞭にする処理である。具体的には、エッジ強調処理は、元の画像からその２次微分を引く処理(ラプラシアンフィルタ）や、アンシャープマスクを施すことにより行なうことができる。

エッジ強調処理制御部４８３は、複数の部分画像のいずれかに含まれる主要被写体（一の被写体）に対して、エッジ強調処理部４６３によるエッジ強調処理を施すとともに、主要被写体以外（一の被写体以外の他の被写体）に対して、エッジ強調処理部４６３によるエッジ強調処理を施さないように制御する。

合成画像生成部４６１は、エッジ強調処理制御部４８３による制御が行われた複数の部分画像をモザイキング処理により合成して合成画像を生成する。

高解像度化部４６２は、合成画像生成部４６１により生成された合成画像に基づいて、複数の部分画像それぞれの重畳部分を超解像処理により高解像度化する。以上の処理を行った結果、撮像部４５により撮像された複数の部分画像を用いて、１枚の合成画像を生成することができる。

第２実施形態の携帯電話機１によれば、エッジ強調処理制御部４８３は、複数の部分画像のいずれかに含まれる主要被写体に対して、エッジ強調処理部４６３によるエッジ強調処理を施すとともに、主要被写体以外に対して、エッジ強調処理部４６３によるエッジ強調処理を施さないように制御する。このため、携帯電話機１は、主要被写体を含む領域にはエッジ強調処理を施し、主要被写体以外を含む領域にはエッジ強調処理を施さないことにより、図３に示すようなぼけ画像を生成することができる。

次に、本発明の携帯電話機１の第３〜第７実施形態について説明する。第３〜第７実施形態については、主として、第１及び第２実施形態とは異なる点を説明し、第１及び第２実施形態と同様の構成について同一符号を付し、説明を省略する。第３〜第７実施形態について特に説明しない点については、第１及び第２実施形態についての説明が適宜適用される。

第３〜第７実施形態の携帯電話機１においては、オートフォーカス機構４５１を用いてぼけ画像を生成する場合（第１実施形態）と、エッジ強調処理を用いてぼけ画像を生成する場合（第２実施形態）とについてそれぞれ説明する。

第３〜第７実施形態の携帯電話機１において、オートフォーカス機構を用いてぼけ画像を生成する場合には、切替制御部４８２は、判定部４８２ａを備える。判定部４８２ａは、前述した第１処理と第２処理とを切替えるか否かを所定の条件に基づいて、判定する。また、エッジ強調処理を用いてぼけ画像を生成する場合には、エッジ強調処理制御部４８３は、判定部４８３ａを備える。判定部４８３ａは、複数の部分画像中のどの領域に対してエッジ強調処理を行うか否かを所定の条件に基づいて判定する。

＜第３実施形態＞
［オートフォーカス機構４５１を用いる場合］
図７は、第３実施形態の携帯電話機１の機能を示す機能ブロック図である。図７に示すように、第３実施形態の判定部４８２ａは、操作部１１による所定の操作を所定の条件として第１処理と第２処理とを切替えるか否かを判定する。

具体的には、判定部４８２ａは、操作部１１を構成する一つのキー（例えば、決定操作キー１５）を押下している場合には、第１処理を行うべきと判定し、決定操作キー１５を離している場合には、第２処理を行うべきと判定する。そして、オートフォーカス制御部４８１は、オートフォーカス機構４５１を制御して、撮像部４５により第１処理及び第２処理を実行させる。

これにより、第３実施形態の携帯電話機１は、操作部１１による操作に応じて、焦点を合わせて主要被写体を撮像する第１処理と、焦点をずらして主要被写体以外を撮像する第２処理とを判定可能なため、主要被写体には焦点を合わせ、主要被写体以外には意図的に焦点をずらすことができる。したがって、携帯電話機１は、図３に示すようなぼけ画像を生成することができる。

［エッジ強調処理を用いる場合］
第３実施形態の判定部４８３ａは、撮像時における操作部１１の所定の操作を所定の条件としてエッジ強調処理を行うか否かを判定する。

具体的には、判定部４８３ａは、例えば、操作部１１を構成する決定操作キー１５を押下している間に撮像部４５により撮像された複数の部分画像には、エッジ強調処理を施すべきと判定し、決定操作キー１５を離している間に撮像部４５により撮像された複数の部分画像には、エッジ強調処理を施さないと判定する。

そして、エッジ強調処理制御部４８３は、決定操作キー１５を押下している間に撮像部４５により撮像された複数の部分画像には、エッジ強調処理を施し、決定操作キー１５を離している間に撮像部４５により撮像された複数の部分画像には、エッジ強調処理を施さない。

これにより、第３実施形態の携帯電話機１は、操作部１１による操作に応じて、撮像部４５により撮像された複数の部分画像にうち、エッジ強調処理を施すべき主要被写体の部分画像が含まれる領域と、エッジ強調処理を施さない主要被写体以外の部分画像が含まれる領域とを判定可能なため、主要被写体にはエッジ強調処理を施し、主要被写体以外にはエッジ強調処理を施さないことができる。したがって、携帯電話機１は、図３に示すようなぼけ画像を生成することができる。

＜第４実施形態＞
次に、本発明の携帯電話機１の第４実施形態について説明する。第４実施形態の携帯電話機１は、加速度センサ４９を備える点が第３実施形態とは異なる。

図８は、第４実施形態の携帯電話機１の機能を示す機能ブロック図である。図８に示すように、携帯電話機１は、加速度センサ４９を備える。加速度センサ４９は、例えば、互いに直交する三軸（Ｘ軸、Ｙ軸、Ｚ軸）方向の加速度を検出する三軸加速度センサで構成される。

加速度センサ４９は、携帯電話機１の位置の変動を加速度値として検出し、制御部４８に出力する。制御部４８は、加速度センサ４９により加速度が出力されると、メモリ４４を参照し、加速度センサ４９により出力された加速度値に関連付けて記憶される携帯電話機１の傾斜角度を読み出して、実際の携帯電話機１自身の傾き（傾斜角度）を算出する。

［オートフォーカス機構４５１を用いる場合］
判定部４８２ａは、加速度センサ４９及び制御部４８により算出される携帯電話機１自身傾きを所定の条件として用い、算出される傾きが所定の範囲内である場合に、第１処理を行うべきと判定し、算出される傾きが所定の範囲外である場合に、第２処理を行うべきと判定する。

［エッジ強調処理を用いる場合］
エッジ強調処理を用いてぼけ画像を生成する場合には、判定部４８３ａは、加速度センサ４９及び制御部４８により算出される傾きを所定の条件として用い、撮像部４５による撮像時における傾きが所定の範囲内である場合に、エッジ強調処理を行うべきと判定する。

図９は、加速度センサ４９及び制御部４８により携帯電話機１自身の傾きを算出する際の具体例を示す模式図である。図９に示すように、オートフォーカス機構４５１により焦点を合わせる主要被写体、又はエッジ強調処理を施す主要被写体に対して、携帯電話機１自身を正対させ、その位置から携帯電話機１を傾けながら軌跡１３０のように複数の部分画像を撮像した場合、携帯電話機１は、図９の位置Ａ〜位置Ｉに示すような傾きとなる。

判定部４８２ａは、加速度センサ４９及び制御部４８により算出される傾きが位置Ｅ、つまり携帯電話機１が主要被写体と正対する位置となる範囲内である場合に、第１処理を行うべきと判定し、算出される傾きが位置Ｅとなる範囲外である場合に、第２処理を行うべきと判定する。

判定部４８３ａは、加速度センサ４９及び制御部４８により算出される傾きが位置Ｅとなる範囲内である場合に、エッジ強調処理を行うべきと判定する。

このように、第４実施形態の携帯電話機１は、携帯電話機１自身の傾きに応じて、焦点を合わせて主要被写体を撮像する第１処理と、焦点をずらして主要被写体以外を撮像する第２処理とを判定可能なため、主要被写体には焦点を合わせ、主要被写体以外には意図的に焦点をずらすことができる。したがって、携帯電話機１は、図３に示すようなぼけ画像を生成することができる。

また、第４実施形態の携帯電話機１は、携帯電話機１自身の傾きに応じて、撮像部４５により撮像された複数の部分画像にうち、エッジ強調処理を施すべき主要被写体の部分画像が含まれる領域と、エッジ強調処理を施さない主要被写体以外の部分画像が含まれる領域とを判定可能なため、主要被写体にはエッジ強調処理を施し、主要被写体以外にはエッジ強調処理を施さないことができる。したがって、携帯電話機１は、図３に示すようなぼけ画像を生成することができる。

＜第５実施形態＞
次に、本発明の携帯電話機１の第５実施形態について説明する。第５実施形態の携帯電話機１は、匂いセンサ５０を備える点が第３及び第４実施形態とは異なる。

図１０は、第５実施形態の携帯電話機１の機能を示す機能ブロック図である。図１０に示すように、第５実施形態の携帯電話機１は、匂いセンサ５０を備える。

匂いセンサ５０は、操作部側筐体２又は表示部側筐体３の表面部に配置され、匂いを検出するセンサである。具体的には、匂いセンサ５０は、例えば、自己組織化単分子膜を用いて、センサの表面に匂い分子を吸着させ、吸着させた匂い分子の分析を行うことにより、匂いを定量的に測定する。これにより、匂いセンサ５０は、例えば、携帯電話機１の近傍における特定の物質の匂いを所定量以上検出した場合に、その匂いを特定することができる。

［オートフォーカス機構４５１を用いる場合］
オートフォーカス機構を用いてぼけ画像を生成する場合には、判定部４８２ａは、匂いセンサ５０により検出される匂いを所定の条件として用い、検出される匂いが特定の匂いである場合に、第１処理を行うべきと判定し、検出される匂いが特定の匂い以外である場合に、第２処理を行うべきと判定する。

［エッジ強調処理を用いる場合］
エッジ強調処理を用いてぼけ画像を生成する場合には、判定部４８３ａは、匂いセンサ５０により検出される匂いを所定の条件として用い、検出される匂いが特定の匂いである場合に、エッジ強調処理を行うべきと判定する。

図１１は、匂いセンサ５０により特定の匂いを検出する際の具体例について示す図である。図１１に示すように、主要被写体である花が含まれる領域Ａ２と、主要被写体以外が含まれる領域Ｂ２とを有する被写体の部分画像を撮像部４５により撮像する場合には、領域Ａ２の部分画像を撮像する際に主要被写体である花に携帯電話機１を近接させる必要がある。

このため、匂いセンサ５０は、携帯電話機１が主要被写体である花に近接した場合に花の匂いを検出し、携帯電話機１が主要被写体である花から離れた場合に花の匂いを検出しないこととなる。

判定部４８２ａは、匂いセンサ５０により検出される匂いが花の匂いである場合に、花の匂いが検出された領域において第１処理を行うべきと判定し、検出される匂いが花の匂い以外である場合に、花の匂いが検出されない領域において第２処理を行うべきと判定する。

判定部４８３ａは、匂いセンサ５０により検出される匂いが花の匂いである場合に、花の匂いが検出された領域において撮像された複数の部分画像にエッジ強調処理を行うべきと判定し、検出される匂いが花の匂い以外である場合に、花の匂いが検出されない領域においてエッジ強調処理を行わないと判定する。

このように、第５実施形態の携帯電話機１は、匂いセンサ５０により検出される匂いに応じて、焦点を合わせて主要被写体を撮像する第１処理と、焦点をずらして主要被写体以外を撮像する第２処理とを判定可能なため、主要被写体には焦点を合わせ、主要被写体以外には意図的に焦点をずらすことができる。したがって、携帯電話機１は、図３に示すようなぼけ画像を生成することができる。

また、第５実施形態の携帯電話機１は、匂いセンサ５０により検出される匂いに応じて、撮像部４５により撮像された複数の部分画像にうち、エッジ強調処理を施すべき主要被写体の部分画像が含まれる領域と、エッジ強調処理を施さない主要被写体以外の部分画像が含まれる領域とを判定可能なため、主要被写体にはエッジ強調処理を施し、主要被写体以外にはエッジ強調処理を施さないことができる。したがって、携帯電話機１は、図３に示すようなぼけ画像を生成することができる。

＜第６実施形態＞
次に、本発明の携帯電話機１の第６実施形態について説明する。第６実施形態の携帯電話機１は、対象物検出部４６４を備える点が第３〜第５実施形態とは異なる。

図１２は、第６実施形態の携帯電話機１の機能を示す機能ブロック図である。図１２に示すように、第６実施形態の携帯電話機１は、制御部４８において対象物検出部４６４を備える。

対象物検出部４６４は、例えば、対象物として人物の顔を検出する場合、撮像部４５により撮像された複数の部分画像内から人物の顔を検出する。顔検出方法は、特に限定されず、例えば、エッジ検出法、ブースティング法、色相抽出法、肌色抽出法等による顔検出方法を用いることができる。なお、対象物検出部４６４により検出される対象物は、人物の顔に限らず、対象物検出部４６４は、花、食べ物、ペット等の各種の対象物ごとに検出モードを設定し、これらの対象物ごとの検出モードを選択可能としてもよい。

［オートフォーカス機構４５１を用いる場合］
オートフォーカス機構を用いてぼけ画像を生成する場合には、対象物検出部４６４は、撮像部４５により撮像された複数の第１の部分画像と、複数の第２の部分画像とに基づいて、被写体における対象物を検出する。

判定部４８２ａは、対象物検出部４６４により対象物が検出された場合、対象物が検出された領域において第１処理を行うべきと判定し、対象物検出部４６４により対象物が検出されない場合、対象物が検出されない領域において第２処理を行うべきと判定する。

［エッジ強調処理を用いる場合］
エッジ強調処理を用いてぼけ画像を生成する場合には、対象物検出部４６４は、撮像部４５により撮像された複数の部分画像に基づいて、被写体における対象物を検出する。

判定部４８３ａは、対象物検出部４６４により対象物が検出された場合、対象物が検出された際に撮像された複数の部分画像にエッジ強調処理を行うべきと判定し、対象物検出部４６４により対象物が検出されない場合、対象物が検出されない際に撮像された複数の部分画像にエッジ強調処理を行わないと判定する。

図１３は、対象物検出部４６４により対象物を検出する際の具体例について示す図である。図１３（ａ）に示すように、撮像部４５をスキャン方向Ｄにスキャンし、領域Ｓ２に主要被写体が完全に入った場合、対象物検出部４６４は、対象物（図１３では「りんご」）を検出する。そして、制御部４８は、対象物が検出されると、図１３（ｂ）に示すように、「一時停止してください」のポップアップ１４０を表示部２１に表示させる。このポップアップ１４０が表示されているときに、撮像部４５のスキャンを停止することにより、オートフォーカス機構４５１により主要被写体に焦点を合わせた部分画像を撮像する、又はエッジ強調処理部４６３により主要被写体が含まれる複数の部分画像にエッジ強調処理を施すことができる。

また、制御部４８は、「一時停止してください」のポップアップ１４０に代えて、例えば、「ボタンを押してください」のポップアップを表示部２１に表示させ、このときに操作部１１による操作を受け付けた場合に、オートフォーカス機構４５１により主要被写体に焦点を合わせた部分画像を撮像する、又はエッジ強調処理部４６３により主要被写体が含まれる複数の部分画像にエッジ強調処理を施してもよい。

このように、第６実施形態の携帯電話機１は、対象物検出部４６４により検出される対象物の有無に応じて、焦点を合わせて主要被写体を撮像する第１処理と、焦点をずらして主要被写体以外を撮像する第２処理とを判定可能なため、主要被写体には焦点を合わせ、主要被写体以外には意図的に焦点をずらすことができる。したがって、携帯電話機１は、図３に示すようなぼけ画像を生成することができる。

また、第６実施形態の携帯電話機１は、対象物検出部４６４により検出される対象物の有無に応じて、撮像部４５により撮像された複数の部分画像にうち、エッジ強調処理を施すべき主要被写体の部分画像が含まれる領域と、エッジ強調処理を施さない主要被写体以外の部分画像が含まれる領域とを判定可能なため、主要被写体にはエッジ強調処理を施し、主要被写体以外にはエッジ強調処理を施さないことができる。したがって、携帯電話機１は、図３に示すようなぼけ画像を生成することができる。

＜第７実施形態＞
次に、本発明の携帯電話機１の第７実施形態について説明する。第７実施形態の携帯電話機１は、制御部４８において設定部４８４を備える点、及び加速度センサ４９又はＧＰＳアンテナ５１並びにＧＰＳ回路部５２を備える点が第３〜第６実施形態とは異なる。

図１４は、第７実施形態の携帯電話機１の機能を示す機能ブロック図である。図１４に示すように、第７実施形態の携帯電話機１は、制御部４８において設定部４８４を備える。また、第７実施形態の携帯電話機１は、位置検出部としての加速度センサ４９又はＧＰＳアンテナ５１及びＧＰＳ回路部５２を備える。

加速度センサ４９は、携帯電話機１の位置の変動を加速度値として検出し、制御部４８に出力する。制御部４８は、加速度センサ４９により加速度が出力されると、メモリ４４を参照し、加速度センサ４９により出力された加速度値に関連付けて記憶される携帯電話機１の位置を読み出して、実際の携帯電話機１自身の位置を算出する。

ＧＰＳアンテナ５１は、ＧＰＳ通信のための第２の使用周波数帯（例えば、１．５ＧＨｚ）でＧＰＳ衛星と通信を行う。ＧＰＳ回路部５２は、ＧＰＳアンテナ５１により受信されたＧＰＳ情報に所定の処理を行い、処理後の信号を制御部４８に出力する。ここで、ＧＰＳ情報とは、例えば、携帯電話機１の位置情報である。

ＧＰＳアンテナ５１及びＧＰＳ回路部５２は、複数のＧＰＳ衛星からそれぞれの位置情報及び時刻情報を受信して、それぞれの衛星と、携帯電話機１との距離を算出し、それぞれの衛星との距離を満たす地点、すなわち、携帯電話機１自身の位置を算出する。

［オートフォーカス機構４５１を用いる場合］
オートフォーカス機構を用いてぼけ画像を生成する場合には、設定部４８４は、第１処理と第２処理とを切り替えるべきか否かを位置検出部により検出された携帯電話機１自身の位置と関連付けて設定する。

［エッジ強調処理を用いる場合］
エッジ強調処理を用いてぼけ画像を生成する場合には、設定部４８４は、エッジ強調処理を行うべきか否かを、撮像部４５による撮像時において、位置検出部により検出された携帯電話機１自身の位置と関連付けて設定する。

図１５は、設定部４８４により撮像時における携帯電話機１自身の位置を設定する際の具体例について示す図である。図１６は、設定部４８４により設定される領域の具体例を示す図である。図１５（ａ）に示すように、一旦、撮像部４５により軌跡１５０のようにスキャンを行う。そして、この際に、位置検出部は、携帯電話機１自身の位置を算出する。設定部４８４は、位置検出部により算出された携帯電話機１自身の位置と、第１処理を行う領域と、第２処理を行う領域とを関連付けて設定（記憶）する。

そして、再度、撮像部４５により軌跡１５０のようにスキャンを行う。この際に、図１５（ａ）に示すように、制御部４８は、表示部２１において、撮像部４５により撮像された画像のプレビュー画面を領域Ａ３に表示させるとともに、スキャン完了時における全体のスキャン領域Ｂ３を表示させる。

このように領域Ａ３と領域Ｂ３とを表示させることで、ユーザは、自分が被写体のどの部分を撮像しているか認識できる。

さらに、図１６（ａ）〜（ｄ）に示すように、設定部４８４は、携帯電話機１自身の位置と、第１処理を行う領域（Ｓ１１，Ｓ２１，Ｓ３１及びＳ４１）と、第２処理を行う領域（Ｓ１２，Ｓ２２，Ｓ３２及びＳ４２）とをそれぞれ関連付けて設定する。このため、オートフォーカス機構４５１は、領域（Ｓ１１，Ｓ２１，Ｓ３１及びＳ４１）では、第１処理を行い、領域（Ｓ１２，Ｓ２２，Ｓ３２及びＳ４２）では、第２処理を行う。

同様にして、エッジ強調処理部４６３は、領域（Ｓ１１，Ｓ２１，Ｓ３１及びＳ４１）では、エッジ強調処理を行い、領域（Ｓ１２，Ｓ２２，Ｓ３２及びＳ４２）では、エッジ強調処理を行わない。

なお、制御部４８は、設定部４８４において、領域（Ｓ１１，Ｓ２１，Ｓ３１及びＳ４１）と、領域（Ｓ１２，Ｓ２２，Ｓ３２及びＳ４２）とは、例えば、操作部１１により所定の操作を受け付けることにより設定され、ユーザが任意に決定することができる。

このように、第７実施形態の携帯電話機１は、設定部４８４により設定される撮像時における携帯電話機１自身の位置に応じて、焦点を合わせて主要被写体を撮像する第１処理と、焦点をずらして主要被写体以外を撮像する第２処理とを判定可能なため、主要被写体には焦点を合わせ、主要被写体以外には意図的に焦点をずらすことができる。したがって、携帯電話機１は、図３に示すようなぼけ画像を生成することができる。

また、第７実施形態の携帯電話機１は、設定部４８４により設定される撮像時における携帯電話機１自身の位置に応じて、撮像部４５により撮像された複数の部分画像にうち、エッジ強調処理を施すべき主要被写体の部分画像が含まれる領域と、エッジ強調処理を施さない主要被写体以外の部分画像が含まれる領域とを判定可能なため、主要被写体にはエッジ強調処理を施し、主要被写体以外にはエッジ強調処理を施さないことができる。したがって、携帯電話機１は、図３に示すようなぼけ画像を生成することができる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に制限されるものではなく、適宜変更が可能である。

また、上述した実施形態において、携帯電子機器としての携帯電話機１について説明したが、これに限定されず、ＰＨＳ（登録商標；Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ ｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ポータブルナビゲーション装置、パソコン、ノートパソコン、携帯ゲーム装置等であってもよい。

１ 携帯電話機（携帯電子機器）
４５ 撮像部
４５１ オートフォーカス機構
４６１ 合成画像生成部
４６２ 高解像度化部
４６３ エッジ強調処理部
４８１ オートフォーカス制御部
４８２ 切替制御部
４８２ａ 判定部
４８３ エッジ強調処理制御部
４８３ａ 判定部

Claims (12)

1. オートフォーカス機構を有し、パンフォーカス状態で被写体を撮像可能な撮像部と、
   前記オートフォーカス機構により焦点を合わせて一の被写体を撮像する第１処理と、前記オートフォーカス機構により焦点をずらして前記一の被写体以外の他の被写体を撮像する第２処理とを切り替える切替制御部と、
   前記オートフォーカス機構を制御するオートフォーカス制御部と、
   前記撮像部により前記第１処理にて撮像された複数の第１の部分画像と、前記第２処理にて撮像された複数の第２の部分画像とをモザイキング処理により合成して合成画像を生成する合成画像生成部と、
   前記合成画像生成部により生成された前記合成画像に基づいて、前記部分画像それぞれの重畳部分を超解像処理により高解像度化する高解像度化部とを備えることを特徴とする携帯電子機器。
2. 前記切替制御部は、
   前記第１処理と前記第２処理とを切替えるか否かを所定の条件に基づいて判定する判定部をさらに備えることを特徴とする請求項１に記載の携帯電子機器。
3. 操作部をさらに備え、
   前記判定部は、前記操作部による所定の操作を前記所定の条件として前記第１処理と前記第２処理とを切替えるか否かを判定することを特徴とする請求項２に記載の携帯電子機器。
4. 携帯電子機器自身の傾きを算出する傾きセンサ部をさらに備え、
   前記判定部は、前記傾きセンサ部により算出される傾きを前記所定の条件として用い、前記傾きが所定の範囲内である場合に、前記第１処理を行うべきと判定し、前記傾きが前記所定の範囲外である場合に、前記第２処理を行うべきと判定することを特徴とする請求項２に記載の携帯電子機器。
5. 前記撮像部により撮像された前記複数の第１の部分画像と、前記複数の第２の部分画像とに基づいて、前記被写体における対象物を検出する対象物検出部をさらに備え、
   前記判定部は、前記対象物検出部により前記対象物が検出された場合、前記第１処理を行うべきと判定し、前記対象物検出部により前記対象物が検出されない場合、前記第２処理を行うべきと判定することを特徴とする請求項２に記載の携帯電子機器。
6. 携帯電子機器自身の位置を算出する位置検出部をさらに備え、
   前記第１処理と前記第２処理とを切り替えるべきか否かを前記携帯電子機器自身の位置と関連付けて設定する設定部をさらに備えることを特徴とする請求項１に記載の携帯電子機器。
7. パンフォーカス状態で被写体を撮像可能な撮像部と、
   前記撮像部により撮像された複数の部分画像の少なくとも一部にエッジ強調処理を行うエッジ強調処理部と、
   前記複数の部分画像のいずれかに含まれる一の被写体に対して、前記エッジ強調処理部による前記エッジ強調処理を施すとともに、前記一の被写体以外の他の被写体に対して、前記エッジ強調処理部による前記エッジ強調処理を施さないように制御するエッジ強調処理制御部と、
   前記複数の部分画像をモザイキング処理により合成して合成画像を生成する合成画像生成部と、
   前記合成画像生成部により生成された前記合成画像に基づいて、前記部分画像それぞれの重畳部分を超解像処理により高解像度化する高解像度化部とを備えることを特徴とする携帯電子機器。
8. 前記エッジ強調処理制御部は、
   前記複数の部分画像中のどの領域に対して前記エッジ強調処理を行うか否かを所定の条件に基づいて判定する判定部をさらに備えることを特徴とする請求項７に記載の携帯電子機器。
9. 操作部をさらに備え、
   前記判定部は、撮像時における前記操作部の所定の操作を前記所定の条件として前記エッジ強調処理を行うか否かを判定することを特徴とする請求項８に記載の携帯電子機器。
10. 携帯電子機器自身の傾きを算出する傾きセンサ部をさらに備え、
    前記判定部は、前記傾きセンサ部により算出される傾きを前記所定の条件として用い、前記撮像部による撮像時における前記傾きが所定の範囲内である場合に、前記エッジ強調処理を行うべきと判定することを特徴とする請求項８に記載の携帯電子機器。
11. 前記撮像部により撮像された前記複数の部分画像に基づいて、前記被写体における対象物を検出する対象物検出部をさらに備え、
    前記判定部は、前記対象物検出部により前記対象物が検出された場合、前記エッジ強調処理を行うべきと判定することを特徴とする請求項８に記載の携帯電子機器。
12. 携帯電子機器自身の位置を算出する位置検出部をさらに備え、
    前記エッジ強調処理を行うべきか否かを、前記撮像部による撮像時における前記携帯電子機器自身の位置と関連付けて設定する設定部をさらに備えることを特徴とする請求項７に記載の携帯電子機器。

Images