JP2012204859A

JP2012204859A - 画像処理装置及びカメラモジュール

Info

Publication number: JP2012204859A
Application number: JP2011064555A
Authority: JP
Inventors: Takayuki Ogasawara; 隆行小笠原
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-03-23
Filing date: 2011-03-23
Publication date: 2012-10-22
Also published as: US20120242804A1; US9392261B2

Abstract

【課題】立体視画像について、通常の平面視画像と同等のフレームレートであっても不自然さの抑制を可能とする画像処理装置及びカメラモジュールを提供すること。
【解決手段】実施形態によれば、画像処理装置であるＩＳＰ７は、第１のサブカメラモジュールＩ／Ｆ１７、第２のサブカメラモジュールＩ／Ｆ１８、画像取り込み部２０及びタイミング調整部１９を有する。画像取り込み部２０は、第１のサブカメラモジュールＩ／Ｆ１７へ入力された第１の画像と、第２のサブカメラモジュールＩ／Ｆ１８へ入力された第２の画像と、を取り込む。タイミング調整部１９は、画像取り込み部２０へ取り込まれる第１の画像のフレームタイミング及び第２の画像のフレームタイミングを調整する。タイミング調整部１９は、第１の画像のフレームタイミングに対して第２の画像のフレームタイミングを遅延させる調整を可能とする。
【選択図】図１

Description

本発明の実施形態は、画像処理装置及びカメラモジュールに関する。

従来、３Ｄ立体視画像を撮影するカメラモジュールとして、例えば、撮像光学系とイメージセンサとを備える２つのサブカメラモジュールにより、左目用画像と右目用画像とを分担して撮影するものが知られている。動画を撮影する場合、カメラモジュールは、左目用画像のフレームと右目用画像のフレームとを同期させることで、互いに視差を持たせた左目用画像と右目用画像とを並行して表示させるための画像データを得る。

３Ｄ立体視画像の一般的な表示方式であるアクティブシャッター方式のように、左目用画像と右目用画像とを交互に再生する場合に、比較的遅いフレームレートでは、表示に若干の遅れを感じさせることがある。従来の技術では、このような表示の遅れによる画像の不自然さを低減させるには、通常の平面視画像の表示よりも高いフレームレートが必要となるという課題を抱えている。

特開平６−１３３３３９号公報

本発明の一つの実施形態は、立体視画像について、通常の平面視画像と同等のフレームレートであっても不自然さの抑制を可能とする画像処理装置及びカメラモジュールを提供することを目的とする。

本発明の一つの実施形態によれば、画像処理装置は、画像取り込み部及びタイミング調整部を有する。画像取り込み部は、第１のサブカメラモジュールにより撮影された第１の画像と、第２のサブカメラモジュールにより撮影された第２の画像と、を取り込む。タイミング調整部は、画像取り込み部へ取り込まれる第１の画像のフレームタイミング及び第２の画像のフレームタイミングを調整する。タイミング調整部は、第１の画像のフレームタイミングに対して第２の画像のフレームタイミングを遅延させる調整を可能とする。

第１の実施形態にかかるカメラモジュールの概略構成を示すブロック図。図１に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図。ＩＳＰの信号処理部による信号処理の手順を説明するフローチャート。アクティブシャッター方式を採用する３Ｄ立体視画像の表示について説明する図。視差バリア方式を採用する３Ｄ立体視画像の表示について説明する図。第１の画像のフレームタイミングと第２の画像のフレームタイミングとを一致させる調整について説明する図。第１の画像のフレームタイミングに対して第２の画像のフレームタイミングを遅延させる調整について説明する図。タイミング調整部によるフレームタイミングの調整について説明するブロック図。タイミング調整部によりフレームタイミングを調整する手順を示すフローチャート。第２の実施形態にかかる画像表示装置であるＩＳＰの構成を示すブロック図。

以下に添付図面を参照して、実施形態にかかる画像処理装置及びカメラモジュールを詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態にかかるカメラモジュールの概略構成を示すブロック図である。図２は、図１に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図である。

デジタルカメラ１は、カメラモジュール２、記憶部３及び表示部４を有する。カメラモジュール２は、被写体像を撮像する。記憶部３は、カメラモジュール２により撮影された画像を格納する。表示部４は、カメラモジュール２により撮影された画像を表示する。表示部４は、例えば、液晶ディスプレイである。

カメラモジュール２は、被写体像の撮像により、記憶部３及び表示部４へ画像信号を出力する。記憶部３は、ユーザの操作等に応じて、表示部４へ画像信号を出力する。表示部４は、カメラモジュール２あるいは記憶部３から入力される画像信号に応じて、画像を表示する。

カメラモジュール２は、第１のサブカメラモジュール５、第２のサブカメラモジュール６及びイメージシグナルプロセッサ（image signal processor；ＩＳＰ）７を有する。第１のサブカメラモジュール５は、第１の画像、例えば、左目用画像を撮影する。第２のサブカメラモジュール６は、第２の画像、例えば、右目用画像を撮影する。ＩＳＰ７は、第１のサブカメラモジュール５で撮影された第１の画像及び第２のサブカメラモジュール６で撮影された第２の画像について、画像処理を実施する画像処理装置として機能する。

第１のサブカメラモジュール５は、撮像光学系１１、イメージセンサ１２及び撮像回路１３を有する。撮像光学系１１は、被写体からの光をイメージセンサ１２へ取り込み、イメージセンサ１２にて被写体像を結像させる。イメージセンサ１２は、撮像光学系１１により取り込まれた光を信号電荷に変換する。イメージセンサ１２は、被写体像を撮像する撮像部として機能する。

撮像回路１３は、イメージセンサ１２を駆動し、かつイメージセンサ１２からの画像信号の処理を実施する。撮像回路１３は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の信号値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、得られた画像信号をアナログ方式からデジタル方式へ変換する。

第２のサブカメラモジュール６は、撮像光学系１４、イメージセンサ１５及び撮像回路１６を有する。撮像光学系１４は、被写体からの光をイメージセンサ１５へ取り込み、イメージセンサ１５にて被写体像を結像させる。イメージセンサ１５は、撮像光学系１４により取り込まれた光を信号電荷に変換する。イメージセンサ１５は、被写体像を撮像する撮像部として機能する。

撮像回路１６は、イメージセンサ１５を駆動し、かつイメージセンサ１５からの画像信号の処理を実施する。撮像回路１６は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の信号値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、得られた画像信号をアナログ方式からデジタル方式へ変換する。

ＩＳＰ７は、第１のサブカメラモジュールＩ／Ｆ（インタフェース）１７、第２のサブカメラモジュールＩ／Ｆ（インタフェース）１８、タイミング調整部１９、画像取り込み部２０、信号処理部２１及びドライバＩ／Ｆ（インタフェース）２２を有する。

第１のサブカメラモジュールＩ／Ｆ１７は、第１のサブカメラモジュール５からの第１の画像の入力を受け付ける。第２のサブカメラモジュールＩ／Ｆ１８は、第２のサブカメラモジュール６からの第２の画像の入力を受け付ける。第１のサブカメラモジュールＩ／Ｆ１７及び第２のサブカメラモジュールＩ／Ｆ１８は、例えば、ＬＶＤＳ（low voltage differential signaling）による伝送方式を採用する。画像取り込み部２０は、第１のサブカメラモジュールＩ／Ｆ１７へ入力された第１の画像と、第２のサブカメラモジュールＩ／Ｆ１８へ入力された第２の画像と、を取り込む。

タイミング調整部１９は、画像取り込み部２０へ取り込まれる第１の画像のフレームタイミングと第２の画像のフレームタイミングとを調整する。信号処理部２１は、画像取り込み部２０へ取り込まれた第１の画像及び第２の画像について、信号処理を実施する。ドライバＩ／Ｆ２２は、信号処理部２１での信号処理を経た画像信号を、不図示の表示ドライバへ出力する。表示ドライバは、カメラモジュール２によって撮像された画像を表示する。

図３は、ＩＳＰの信号処理部による信号処理の手順を説明するフローチャートである。信号処理部２１（図１参照）は、第１の画像及び第２の画像について、シェーディング補正を実施する（ステップＳ１）。信号処理部２１は、シェーディング補正により、撮像光学系１１、１４（図１参照）の中央部と周辺部との光量差による輝度ムラを補正する。

信号処理部２１は、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去するノイズリダクション（ステップＳ２）及び解像度復元処理（ステップＳ３）を実施する。次に、信号処理部２１は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理（デモザイキング）を施す（ステップＳ４）。デモザイキングでは、撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する。信号処理部２１は、デモザイキングによりカラーのビットマップ画像を合成する。

信号処理部２１は、カラー画像に対して、ホワイトバランスの自動調整（automatic white balance control；ＡＷＢ）を実施する（ステップＳ５）。さらに、信号処理部２１は、色再現性を得るためのリニアカラーマトリクス処理（ステップＳ６）、ディスプレイ等に表示される画像の彩度や明るさを補正するためのガンマ補正（ステップＳ７）を実施する。なお、本実施形態で説明するＩＳＰ７における信号処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、順序の変更などを適宜しても良い。

表示ドライブは、カメラモジュール２から伝送される画像信号に応じて、いずれの表示方式によって３Ｄ立体視画像を表示するものであっても良い。図４は、アクティブシャッター方式を採用する３Ｄ立体視画像の表示について説明する図である。アクティブシャッター方式を採用する場合、表示ドライブ３０は、左目用の第１の画像３１と右目用の第２の画像３２とを高速に切り換えて表示する。表示ドライブ３０は、例えば、第１の画像３１と第２の画像３２とを、水平方向のラインごとに交互に表示する。

観察者が使用するメガネ３４は、左目用液晶シャッター３５及び右目用液晶シャッター３６を有する。表示ドライブ３０の赤外線同期エミッタ３３は、表示ドライブ３０における第１の画像３１の表示と第２の画像３２の表示との切り換えに同期して、赤外線信号を発信する。メガネ３４は、赤外線同期エミッタ３３からの赤外線信号に応じて、左目用液晶シャッター３５及び右目用液晶シャッター３６における光の透過及び遮蔽を順次切り換える。

表示ドライブ３０における第１の画像３１の表示に同期して、左目用液晶シャッター３５で光を透過させ、かつ右目用液晶シャッター３６で光を遮蔽することで、観察者は、左目にて第１の画像３１を観察する。また、表示ドライブ３０における第２の画像３２の表示に同期して、左目用液晶シャッター３５では光を遮蔽し、右目用液晶シャッター３６で光を透過させることで、観察者は、右目にて第２の画像３２を観察する。観察者は、第１の画像３１及び第２の画像３２の視差によって、立体感を得ることができる。

図５は、視差バリア方式を採用する３Ｄ立体視画像の表示について説明する図である。視差バリア方式を採用する場合、表示ドライブ４０に対して観察者側に、光の進行方向を制御するための視差バリア４３を設ける。表示ドライブ４０は、例えば、第１の画像４１と第２の画像４２とを、垂直方向の列ごとに交互に表示する。

視差バリア４３は、表示ドライブ４０のうち第１の画像４１を表示する列から左目へ向かう光を通過させるとともに、第２の画像４２を表示する列から左目へ向かう光を遮蔽する。また、視差バリア４３は、表示ドライブ４０のうち第１の画像４１を表示する列から右目へ向かう光を遮蔽させるとともに、第２の画像４２を表示する列から右目へ向かう光を通過させる。観察者は、左目によって第１の画像４１を観察し、右目によって第２の画像４２を観察する。観察者は、第１の画像４１及び第２の画像４２の視差によって、立体感を得ることができる。

図６及び図７は、タイミング調整部による第１の画像及び第２の画像のフレームタイミングの調整について説明する図である。タイミング調整部１９は、図６に示すように、第１の画像のフレームタイミングＦ１と第２の画像のフレームタイミングＦ２とを一致させる調整と、図７に示すように、第１の画像のフレームタイミングＦ１に対して第２の画像のフレームタイミングＦ２を遅延させる調整との切り換えを可能とする。

フレームタイミングＦ２をフレームタイミングＦ１に一致させる調整と、フレームタイミングＦ２をフレームタイミングＦ１から遅延させる調整とのいずれを適用するかは、例えばユーザによって選択される。カメラモジュール２は、タイミング調整部１９におけるタイミング調整を切り換えるための操作を受け付けるスイッチやＧＵＩ（graphical user interface）等を設けても良い。

カメラモジュール２は、第１の画像のフレーム同士の中間に当たるタイミングで第２の画像のフレームを取り込む。第１の画像のフレームタイミングＦ１に対して第２の画像のフレームタイミングＦ２を遅延させる期間Ｔは、例えば、１フレーム期間の半分に相当する半フレーム期間とする。

例えば、第１のサブカメラモジュール５及び第２のサブカメラモジュール６のそれぞれが６０Ｈｚで被写体像を取得したとすると、カメラモジュール２は、第１の画像及び第２の画像を交互に取り込むことで、１２０Ｈｚ相当のタイミングで順次画像を取り込むこととなる。これにより、カメラモジュール２は、通常の平面視画像と同等のフレームレートであっても、比較的動きが滑らかで不自然さが抑制された画像を得ることができる。

なお、第１の画像のフレームタイミングＦ１に対して第２の画像のフレームタイミングＦ２を遅延させる期間Ｔは、少なくとも１フレーム期間より短い期間であれば良く、半フレーム期間とする場合に限られないものとする。

図８は、タイミング調整部によるフレームタイミングの調整について説明するブロック図である。タイミング調整部１９は、水平同期信号Ｈと、垂直同期信号Ｖ１、Ｖ２を生成する。垂直同期信号Ｖ２は、垂直同期信号Ｖ１に対して期間Ｔだけ遅延させたタイミングを示すように生成される。

図９は、タイミング調整部によりフレームタイミングを調整する手順を示すフローチャートである。ステップＳ１において、第１のサブカメラモジュール５は、第１の画像を取得する。第２のサブカメラモジュール６は、第２の画像を取得する。第１のサブカメラモジュール５は、取得した第１の画像を第１のサブカメラモジュールＩ／Ｆ１７へ出力する。第２のサブカメラモジュール６は、取得した第２の画像を第２のサブカメラモジュールＩ／Ｆ１８へ出力する。

ステップＳ２では、タイミング調整部１９は、フレームタイミングＦ１に対して期間ＴだけフレームタイミングＦ２を遅延させる調整が選択されているか否かを判断する。フレームタイミングＦ１に対してフレームタイミングＦ２を遅延させる調整が選択されている場合（ステップＳ２、Ｙｅｓ）、タイミング調整部１９は、半フレーム期間である期間Ｔ分、フレームタイミングＦ２を遅延させる調整を実施する（ステップＳ３）。

タイミング調整部１９は、第１のサブカメラモジュールＩ／Ｆ１７へ入力された第１の画像に対して、水平同期信号Ｈ及び垂直同期信号Ｖ１を適用する。また、タイミング調整部１９は、第２のサブカメラモジュールＩ／Ｆ１８へ入力された第２の画像に対して、水平同期信号Ｈ及び垂直同期信号Ｖ２を適用する。

フレームタイミングＦ１に対してフレームタイミングＦ２を遅延させる調整が選択されていない場合（ステップＳ２、Ｎｏ）、タイミング調整部１９は、フレームタイミングＦ１に対してフレームタイミングＦ２を一致させる調整を実施する（ステップＳ４）。タイミング調整部１９は、第１のサブカメラモジュールＩ／Ｆ１７へ入力された第１の画像、第２のサブカメラモジュールＩ／Ｆ１８へ入力された第２の画像の双方に対して、水平同期信号Ｈ及び垂直同期信号Ｖ１を適用する。このように、タイミング調整部１９は、第２のサブカメラモジュールＩ／Ｆ１８へ入力された第２の画像に適用する垂直同期信号を、タイミング調整の選択に応じて変更可能とする。

画像取り込み部２０は、タイミング調整部１９によるフレームタイミングの調整を経た第１の画像を第１のサブカメラモジュールＩ／Ｆ１７から取り込む。また、画像取り込み部２０は、タイミング調整部１９によるフレームタイミングの調整を経た第２の画像を第２のサブカメラモジュールＩ／Ｆ１８から取り込む。ＩＳＰ７は、画像取り込み部２０へ取り込まれてから信号処理部２１による信号処理を経た画像信号を、ドライバＩ／Ｆ２２から出力する（ステップＳ５）。

このように、カメラモジュール２は、タイミング調整部１９によるフレームタイミングの調整を適用することで、通常の平面視画像と同等のフレームレートであっても、比較的動きが滑らかで不自然さが抑制された画像を得ることが可能となる。なお、カメラモジュール２は、垂直同期信号を変更することでフレームタイミングを調整する他、例えば、第１のサブカメラモジュール５及び第２のサブカメラモジュール６における電子シャッター（electronic shutter；ＥＳ）の制御によりフレームタイミングを調整することとしても良い。

タイミング調整部１９においてフレームタイミングＦ２を遅延させるタイミング調整を実施するか否かは、ユーザによって選択される場合に限られない。タイミング調整部１９は、例えば、ＩＳＰ７へ入力される画像信号に応じて、タイミング調整の設定を切り換えることとしても良い。例えば、タイミング調整部１９は、立体視画像の表示のための画像信号がＩＳＰ７へ入力された場合に、フレームタイミングＦ２をフレームタイミングＦ１から遅延させる調整を実施する。また、タイミング調整部１９は、平面視画像の表示のための画像信号がＩＳＰ７へ入力された場合に、フレームタイミングＦ２をフレームタイミングＦ１に一致させる調整を実施する。

（第２の実施形態）
図１０は、第２の実施形態にかかる画像表示装置であるＩＳＰの構成を示すブロック図である。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。ＩＳＰ５０は、第１の実施形態のＩＳＰ７（図１参照）に設けられた各構成に加えて、第１のフレームメモリ５１及び第２のフレームメモリ５２を有する。

第１のフレームメモリ５１は、第１のサブカメラモジュールＩ／Ｆ１７へ入力された第１の画像を一時格納する。第２のフレームメモリ５２は、第２のサブカメラモジュールＩ／Ｆ１８へ入力された第２の画像を一時格納する。

フレームタイミングＦ１に対してフレームタイミングＦ２を遅延させる調整が選択されている場合、タイミング調整部１９は、第１のフレームメモリ５１へ格納された第１の画像に対して、水平同期信号Ｈ及び垂直同期信号Ｖ１を適用する。また、タイミング調整部１９は、第２のフレームメモリ５２へ格納された第２の画像に対して、水平同期信号Ｈ及び垂直同期信号Ｖ２を適用する。

フレームタイミングＦ１に対してフレームタイミングＦ２を一致させる調整が選択されている場合、タイミング調整部１９は、第１のフレームメモリ５１へ格納された第１の画像、第２のフレームメモリ５２へ格納された第２の画像の双方に対して、水平同期信号Ｈ及び垂直同期信号Ｖ１を適用する。このように、タイミング調整部１９は、第２のフレームメモリへ格納された第２の画像に適用する垂直同期信号を、タイミング調整の選択に応じて変更可能とする。

画像取り込み部２０は、タイミング調整部１９によるフレームタイミングの調整を経た第１の画像を第１のフレームメモリ５１から取り込む。また、画像取り込み部２０は、タイミング調整部１９によるフレームタイミングの調整を経た第２の画像を第２のフレームメモリ５２から取り込む。

本実施形態においても、カメラモジュール２は、タイミング調整部１９によるフレームタイミングの調整を適用することで、通常の平面視画像と同等のフレームレートであっても、比較的動きが滑らかで不自然さが抑制された画像を得ることが可能となる。第１及び第２の実施形態にかかるカメラモジュール２は、デジタルカメラ以外の電子機器、例えばカメラ付き携帯電話等に適用しても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

２カメラモジュール、５第１のサブカメラモジュール、６第２のサブカメラモジュール、７ＩＳＰ、１７第１のサブカメラモジュールＩ／Ｆ、１８第２のサブカメラモジュールＩ／Ｆ、１９タイミング調整部、２０画像取り込み部、２１信号処理部、５１第１のフレームメモリ、５２第２のフレームメモリ。

Claims

第１のサブカメラモジュールにより撮影された第１の画像と、第２のサブカメラモジュールにより撮影された第２の画像と、を取り込む画像取り込み部と、
前記画像取り込み部へ取り込まれる前記第１の画像のフレームタイミング及び前記第２の画像のフレームタイミングを調整するタイミング調整部と、を有し、
前記タイミング調整部は、前記第１の画像のフレームタイミングに対して前記第２の画像のフレームタイミングを遅延させる調整を可能とすることを特徴とする画像処理装置。
前記タイミング調整部は、前記第１の画像のフレームタイミングに対して前記第２の画像のフレームタイミングを遅延させる調整と、前記第１の画像のフレームタイミング及び前記第２の画像のフレームタイミングを一致させる調整と、を切り換え可能であることを特徴とする請求項１に記載の画像処理装置。
前記第１のサブカメラモジュールからの前記第１の画像の入力を受け付ける第１のサブカメラモジュールインタフェースと、
前記第２のサブカメラモジュールからの前記第２の画像の入力を受け付ける第２のサブカメラモジュールインタフェースと、を有し、
前記タイミング調整部は、前記第２のサブカメラモジュールインタフェースへ入力された前記第２の画像に適用する垂直同期信号を変更可能とすることを特徴とする請求項１又は２に記載の画像処理装置。
前記第１のサブカメラモジュールから入力された前記第１の画像を一時格納する第１のフレームメモリと、
前記第２のサブカメラモジュールから入力された前記第２の画像を一時格納する第２のフレームメモリと、をさらに有し、
前記タイミング調整部は、前記第２のフレームメモリへ格納された前記第２の画像に適用する垂直同期信号を変更可能とすることを特徴とする請求項１又は２に記載の画像処理装置。
第１の画像を撮影する第１のサブカメラモジュールと、
第２の画像を撮影する第２のサブカメラモジュールと、
前記第１のサブカメラモジュールで撮影された前記第１の画像及び前記第２のサブカメラモジュールで撮影された前記第２の画像について、画像処理を実施する画像処理装置と、を有し、
前記画像処理装置は、
前記第１のサブカメラモジュールから入力された前記第１の画像と、前記第２のサブカメラモジュールから入力された前記第２の画像と、を取り込む画像取り込み部と、
前記画像取り込み部へ取り込まれる前記第１の画像のフレームタイミング及び前記第２の画像のフレームタイミングを調整するタイミング調整部と、を有し、
前記タイミング調整部は、前記第１の画像のフレームタイミングに対して前記第２の画像のフレームタイミングを遅延させる調整を可能とすることを特徴とするカメラモジュール。