JP2017516421A - 携帯端末及びその撮像方法 - Google Patents

Abstract

本発明は携帯端末及びその撮像方法に関する。前記撮像方法は、カメラは画像データを連続的に収集することと、現在の画像データを過去の画像データと加算演算して合成画像を生成することと、前記合成画像をリアルタイムに表示することとを含む。これによって、画像重畳に関する技術を採用して長時間の露光をシミュレートし、携帯端末にライトペインティング撮影機能を追加して、ユーザーが携帯端末のライトペインティング撮影機能を利用して芸術の創作を行い、創作効果をリアルタイムにプレビューすることができ、ユーザー体験を向上させる。また、収集された画像データに対して鏡像処理を行った後に合成画像を生成することで、表示された合成画像が、創作者が実際に創作した作品と完全に一致するようにすることにより、創作者が創作された作品に対して鏡像処理を事前に行う必要がなく、ユーザーのライトペインティング創作の難易度を下げて、ユーザー体験を向上させる。

Description

本発明は撮像技術分野に関し、特に、携帯端末及びその撮像方法に関する。

携帯電話、タブレットなどの携帯端末における撮像ハードウェアのアップグレードに伴い、携帯端末の撮像機能もますます多様化になり、携帯端末に対するユーザーからの撮像要求もますます高くなっている。現在の携帯端末の有している撮像機能は、撮像ハードウェアデバイスとチップ供給者より提供されたプロセシングアルゴリズムに依存し、合焦、ホワイトバランスなどの幾つか固定の撮像モードのみがある。

近年では、ライトペインティング（ｌｉｇｈｔ ｐａｉｎｔｉｎｇ）撮影モードが興行されており、ユーザーは、ライトペインティング撮影を利用して芸術の創作を行うことができる。前記ライトペインティング撮影は、長時間の露光を利用して、露光過程において、光源を変化させて特殊な映像を創造するという撮像モードである。長時間の露光が必要であるため、長時間の露光をサポート可能な感光ハードウェアも必要である。しかしながら、長時間の露光をサポート可能な感光ハードウェアが高価であるため、現在では、例えば一眼レフカメラのような専門撮像装置のみライトペインティング撮影機能を持っている。そのため、従来の携帯端末は、撮像ハードウェアに制限されてまだライトペインティング撮影機能を持っておらず、ライトペインティング撮影機能を利用して芸術の創作をしようとするユーザーのニーズを満たすことができない。また、専門撮像装置を利用してライトペインティング撮影を行う場合、ユーザーは、創作結果をリアルタイムにプレビューすることができないので、ミスを適時に修正できず、創作効率が低い。

本発明の主な目的は、携帯端末にライトペインティング撮影機能を追加し、ユーザーの芸術創作のニーズを満足し、ユーザー体験を向上させるための、携帯端末及びその撮像方法を提供することにある。

本発明は、前記目的を実現するために、携帯端末の撮像方法を提供する。前記方法は、
カメラは、画像データを連続的に収集することと、
間隔をおいて画像データを読み取り、現在の画像データを過去の画像データと加算演算して合成画像を生成する、合成画像を生成することと、
前記合成画像を表示することとを含む。

好ましくは、前記現在の画像データを過去の画像データと加算演算して合成画像を生成することは、現在の画像データと過去の画像データから、予め設定された条件を満たす画素を選択し、同一位置にある前記画素に対して加算演算を行うことを含む。

好ましくは、前記予め設定された条件を満たす画素を選択することは、
前記画素の輝度パラメータが閾値より大きいかどうかを判断することと、
閾値より大きい場合、前記画素が予め設定された条件を満たすと判定して、前記画素を選択することとを含む。

好ましくは、前記予め設定された条件を満たす画素を選択することは、
前記画素が急変画素であるかどうかを判断することと、
急変画素である場合、前記急変画素の周囲に予め設定された数の画素の輝度パラメータの平均値を計算し、前記平均値が閾値より大きいかどうかを判断し、閾値より大きい場合、前記急変画素が予め設定された条件を満たすと判定して、前記急変画素を選択することと、
急変画素ではない場合、前記画素の輝度パラメータが閾値より大きいかどうかを判断し、閾値より大きい場合、前記画素が予め設定された条件を満たすと判定して、前記画素を選択することとを含む。

好ましくは、前記カメラはリアカメラであり、前記カメラは画像データを連続的に収集した後、更に、収集された前記画像データに対して鏡像処理を行うことを含む。

好ましくは、前記カメラはリアカメラであり、前記合成画像を生成した後、更に、前記合成画像に対して鏡像処理を行うことを含む。

好ましくは、前記カメラはフロントカメラである。

好ましくは、前記カメラは画像データを連続的に収集する前、更に、
撮像命令を受信した後、予め設定された時間を遅延した後に撮像を開始することを含む。

本発明はまた携帯端末を提供する。前記携帯端末は、
カメラを呼び出して画像データを連続的に収集するように構成される画像収集モジュールと、
間隔をおいて画像データを読み取り、現在の画像データを過去の画像データと加算演算して、合成画像を生成するように構成される画像合成モジュールと、
前記合成画像を表示するように構成される表示モジュールとを備える。

好ましくは、前記画像合成モジュールは、更に、現在の画像データと過去の画像データから予め設定された条件を満たす画素を選択し、同一位置にある前記画素に対して加算演算を行うように構成される。

好ましくは、前記画像合成モジュールは、更に、前記画素の輝度パラメータが閾値より大きいかどうかを判断し、閾値より大きい場合、前記画素が予め設定された条件を満たすと判断するように構成される。

好ましくは、前記画像合成モジュールは、更に、
前記画素が急変画素であるかどうかを判断し、
急変画素である場合、前記急変画素の周囲に予め設定された数の画素の輝度パラメータの平均値を計算し、前記平均値が閾値より大きいかどうかを判断し、閾値より大きい場合、前記急変画素が予め設定された条件を満たすと判定して、前記急変画素を選択し、
急変画素ではない場合、前記画素の輝度パラメータが閾値より大きいかどうかを判断し、閾値より大きい場合、前記画素が予め設定された条件を満たすと判定して、前記画素を選択するように構成される。

好ましくは、前記携帯端末は、更に、鏡像モジュールを備え、前記鏡像モジュールは、現在使用されているカメラがリアカメラであるかどうかを判断し、リアカメラである場合、収集された画像に対して鏡像処理を行うように構成される。

好ましくは、前記携帯端末は、更に、鏡像モジュールを備え、前記鏡像モジュールは、現在使用されているカメラがリアカメラであるかどうかを判断し、リアカメラである場合、前記合成画像に対して鏡像処理を行うように構成される。

好ましくは、前記携帯端末は、更に、ジッタ回避モジュールを備え、前記ジッタ回避モジュールは、撮像命令を受信した後、予め設定された時間を遅延した後に前記撮像命令を前記画像収集モジュールへ送信するように構成される。

本発明はまた携帯端末の撮像方法を提供する。前記方法は、
連続的な撮像モードに入り、画像データを収集することと、
間隔をおいて画像データを読み取り、現在の画像データを過去の画像データと加算演算して合成画像を生成することと、
前記合成画像を表示することとを含む。

本発明により提供される携帯端末の撮像方法において、画像データを連続的に収集し、現在の画像データを過去の画像データと加算演算して合成画像を生成し、リアルタイムに表示することにより、画像重畳に関する技術を利用して長時間の露光をシミュレートし、携帯端末にライトペインティング撮影機能を追加して、ユーザーが携帯端末のライトペインティング撮影機能を利用して芸術の創作を行い、創作効果をリアルタイムにプレビューすることができ、ユーザー体験を向上させる。

また、収集された画像データに対して鏡像処理を行った後に合成画像を生成することで、表示された合成画像が、創作者が実際に創作した作品と完全に一致するようにすることにより、創作者が創作された作品に対して鏡像処理を事前に行う必要がなく、ユーザーのライトペインティング創作の難易度を下げて、ユーザー体験を向上させる。

なお、携帯端末におけるフロントカメラを利用してライトペインティング撮影を行ってもよい。一方、フロントカメラにより収集された画像は、実際に創作された作品と完全に一致するので、鏡像処理が必要ではない。一方、創作者は、ライトペインティングで創作を行いながら、自分の創作作品をリアルタイムにプレビューして、適時に修正及び調整できるため、創作効率を高め、創作体験を向上させる。

本発明に係る携帯端末の撮像方法の第一実施例のフローチャートである。 携帯端末が予め設定された条件を満たす画素を選択するフローチャートである。 本発明に係る携帯端末の撮像方法の第二実施例のフローチャートである。 本発明に係る携帯端末の第一実施例のモジュールを表す図である。 本発明に係る携帯端末の第二実施例のモジュールを表す図である。 本発明に係る携帯端末の第三実施例のモジュールを表す図である。

本発明の実施例、図面を参照して、本発明の目的の実現、機能特徴及び利点を詳しく説明する。

ここで記載されている具体的な実施例は、本発明を解釈するためのものであるが、本発明を限定しないと理解すべきである。

図１を参照して、本発明に係る携帯端末の撮像方法の第一実施例を説明する。前記撮像方法は以下のステップを含む。

ステップＳ１０１：撮像が開始された後、カメラは、画像データを連続的に収集する。

本発明は、携帯端末における撮影機能にライトペインティング撮影モードを追加している。ユーザーは、ライトペインティング撮影モード又は通常撮影モードを選択して撮影する。ここで、ライトペインティング撮影モードでは、ライトペインティング撮影シーン（ｓｃｅｎｅ）の要求に基づいて、感度（ＩＳＯ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｏｒｇａｎｉｚａｔｉｏｎ）、ピクチャ品質、シーンモードなどのパラメータを事前に調整して限定する。対応するハードウェアデバイスは収集された画像データに対してサンプル抽出又は処理を行うように、該当パラメータを対応するハードウェアデバイスへ出力する。例えば、通常には、暗い環境でライトペインティング撮影を行うので、感度を最低に調整する。ピクチャ品質例えば解像度は、少し大きく又は少し小さく選択することができる。シーンモード例えば夜景を選択する。

ユーザーはライトペインティング撮影モードを選択して撮影ボタンを押下した又は仮想撮影ボタンをトリガした後、携帯端末は、ライトペインティング撮影を開始し、カメラを利用して画像データを連続的に収集する。カメラで画像データを連続的に収集する速度は、予め設定されてもよい。ライトペインティングの連続性を確保するために、カメラは１秒で少なくとも十数枚画像を連続的に収集する必要がある。しかし、以降の画像の合成処理は、画像を収集する速度に追いつかないことがある。そのため、好ましくは、画像データをキャッシュモジュールにキャッシュする（勿論、携帯端末での処理速度が十分に速い場合、キャッシュしなくてもよい）。また、画像データを収集する過程において、携帯端末は、キャッシュモジュールの余剰スペースに応じて、収集する速度をリアルタイムに調整することができる。したがって、撮像装置での処理能力を最大に利用するとともに、収集する速度が速すぎてデータがオーバーフローして、ひいてはデータが欠落することを防止する。

ステップＳ１０２：現在の画像データを過去の画像データと加算演算して合成画像を生成する。

携帯端末における画像合成モジュールは、収集された画像データを直接に受信し読み取り、又はキャッシュモジュールから画像データをリアルタイムに読み取って画像を合成する。そして、キャッシュモジュールを初期化し、既存のデータをクリアして以降データのための余剰スペースを提供する。画像合成モジュールが画像データを読み取る速度又は間隔時間を予め設定してもよいし、携帯端末の計算速度によって決定してもよい。画像合成モジュールは、現在の画像データと過去の画像データにおける画素を重畳させて一枚の合成画像を生成する。カメラは画像データを連続的に収集するため、合成画像もリアルタイムに連続的に生成される。

好ましくは、画像合成モジュールは、現在の画像データと過去の画像データから予め設定された条件を満たす画素を選択し、該当画素に対して加算演算を行う。本発明における前記過去の画像データとは、過去に収集された画像データの和であり、前回の加算演算して生成した合成画像であるとすることもできる。

ある実施例において、画像合成モジュールは、ある画素が予め設定された条件を満たすかどうかを判断する場合、該当画素の輝度パラメータが閾値より大きいかどうかを直接に判断してもよい。閾値より大きい場合、該当画素が予め設定された条件を満たすと判定する。画像合成モジュールは、現在の画像データと過去の画像データから輝度パラメータが閾値より大きい画素（即ち画像上にある点の輝度の絶対値が閾値より大きい）を選択した後、予め設定された条件を満たすこれらの画素に対して加算演算を行う。したがって、輝度が低い画素をある程度にフィルタリングして、環境光による累積効果が最終の合成画像の画面への汚染を引き起こすことを回避する。前記閾値の大きさは、画像の平均輝度によって決定される。前記輝度パラメータは、ＲＧＢ値、ＹＵＶ値などの光学パラメータである。

例えば、画像データは、画素ユニット１、画素ユニット２．．．画素ユニットｎの合計ｎ個の画素ユニットを含めている。ここで、画素ユニット１０１〜画素ユニット２００について、現在の画像データにおける輝度パラメータが閾値より大きい。画素ユニット１〜１００について、過去の画像データにおける輝度パラメータが閾値より大きい。そして、画素ユニット１〜画素ユニット２００について、現在と過去の輝度パラメータに加算演算を実行する。例えば、画素ユニット１について、現在画像データにおける輝度パラメータ値が１０であり、過去の画像データにおける輝度パラメータ値が１００である場合、加算演算を実行した後、合成画像における画素ユニット１の輝度パラメータ値は１００＋１０＝１１０である。なお、画像合成モジュールは、更に、合成画像に対してノイズの低減処理を行うとともに、現在の画像の露光度に応じて、新しい合成画像の合成比例を制御して露光過度の発生を抑える。

図２のように、ある好ましい実施例において、画像合成モジュールは、以下のステップで予め設定された条件を満たす画素を選択する。

ステップＳ１１０：ある画素が急変画素であるかどうかを判断する。

画像合成モジュールは、ある画素の輝度パラメータを該当画素の周囲におけるいくつか（好ましくは８個である）の画素の輝度パラメータの平均値と比較し、平均値の予め設定された倍数より大きい又は小さい場合、該当画素が急変画素であると判定する。好ましくは、予め設定された倍数は平均値の２倍より大きい又は平均値の０．５倍より小さい。急変画素である場合、ステップＳ１２０へ移行する。急変画素ではない場合、ステップＳ１５０へ移行する。

ステップＳ１２０：該当急変画素の周囲に予め設定された数の画素の輝度パラメータの平均値を計算する。

該当画素が急変画素である場合、その周囲画素の輝度パラメータの平均値を取る。ここで、周囲画素は、前のステップＳ１１０で比較を行う画素であることが好ましく、前記予め設定された数は、８個であることが好ましい。

ステップＳ１３０：該当平均値が閾値より大きいかどうかを判断する。

平均値が閾値より大きい場合、該当急変画素が予め設定された条件を満たすと判定してステップＳ１７０へ移行する。平均値が閾値以下である場合、該当急変画素が予め設定された条件を満たさないと判定してステップＳ１４０へ移行する。

ステップＳ１４０：該当急変画素を選択しない。

ステップＳ１５０：該当非急変画素の輝度パラメータが閾値より大きいかどうかを判断する。

該当画素が急変画素ではない即ち非急変画素である場合、該当非急変画素の輝度パラメータを閾値と直接に比較する。閾値より大きい場合、該当画素が予め設定された条件を満たすと判定してステップＳ１７０へ移行する。閾値以下である場合、該当画素が予め設定された条件を満たさないと判定してステップＳ１６０へ移行する。

ステップＳ１６０：該当非急変画素を選択しない。

ステップＳ１７０：該当画素を選択する
該当画素（急変画素又は非急変画素）が予め設定された条件を満たすと判定した後、該当画素を選択し、加算演算を実行して合成画像を生成する。したがって、画像におけるノイズを排除して、最終の合成画像の画面効果へ影響を与えることを回避する。

画像合成を行う際、画像における輝度が高い領域のみを重畳させ、他の領域を重畳させないため、明るい箇所が明るい又は暗い箇所が暗いことを維持して、合成画像のライトペインティング効果を高める。

各合成画像は、連続的に生成されたものであるが、画像合成モジュールでの処理速度の制限を受けないので、実際には、生成された隣接の画像の間に一定の時間間隔がある。計算速度が速いほど、時間間隔が短い。これと同時に、画像を生成する速度は、前のステップＳ１０１における画像データを収集する速度に影響を与える。画像を生成する速度が速いほど、キャッシュモジュールにおける画像データを読み取る速度が速く、バッファモジュールのスペースを空ける速度も速く、画像データを収集する携帯端末の速度もより速い。

ステップＳ１０３：該当合成画像をリアルタイムに表示する。

携帯端末は、ユーザーが現在のライトペインティング効果をリアルタイムにプレビューするように、表示画面に合成画像をリアルタイムに表示する。スムーズにプレビューするために、携帯端末により表示された合成画像は、圧縮された小さいサイズのサムネイルであり、フールサイズの画像が記憶され、即ち、画像の表示と記憶は二つのスレッドである。

ユーザーは撮影ボタンを再度に押下した又は完了ボタンを押下した後、撮影が終了する。携帯端末は、各合成画像をローカルメモリに記憶してもよいし、撮影が終了した際に最終に生成された一枚の合成画像のみを記憶してもよい。

このように、携帯端末にライトペインティング撮影機能を追加している。ユーザーは、携帯端末におけるライトペインティング撮影機能を利用して芸術の創作を行うことができる。また、創作効果をリアルタイムにプレビューすることができ、ユーザー体験を向上させる。

図３を参照して、本発明に係る携帯端末の撮像方法の第二実施例を説明する。前記撮像方法は、以下のステップを含む。

ステップＳ２０１：撮像命令を受信した後、予め設定された時間を遅延した後に撮像を開始する
本実施例は、撮影ボタンの押下による軽微なジッタが撮影効果に影響を与えることを回避するために、撮影を遅延させてジッタを回避する。即ち、ユーザーが撮影ボタンを押下して撮影命令を送信した後、携帯端末は、すぐに撮影するのではなく、予め設定された時間を遅延させ、ヒューマンにより発生したジッタが終わったら、撮影を開始する。好ましくは、前記予め設定された時間を１〜３秒とする。

ステップＳ２０２：カメラは画像データを連続的に収集する。

ステップＳ２０３：収集された画像データに対して鏡像処理を行う。

ユーザー又は創作者がカメラに向けてライトペインティング創作を行うので、リアカメラにより捕獲されたライトペインティング画面は、創作者が実際に創作した画面と鏡像関係がある。これを鑑みて、本実施例において、画像データを収集した後、まず、収集された画像データに対して鏡像処理を行う。次に、画像合成モジュールが合成画像を生成するように、処理された画像データをキャッシュモジュールへ送信する又は画像合成モジュールへ直接に送信する。ある実施例において、携帯端末は、画像に対して鏡像処理行う必要があるかどうかをユーザーに確認し、ユーザーの選択に応じて対応する操作を実行してもよい。

ステップＳ２０４：現在の画像データを過去の画像データと加算演算して合成画像を生成する。

ステップＳ２０５：該当合成画像をリアルタイムに表示する
収集された画像データに対して事前に鏡像処理を行うため、このとき表示された合成画像は創作者が実際に創作した作品と完全に一致する。これにより、創作者が創作された作品に対して鏡像処理を事前に行う必要がなく、ユーザーのライトペインティング創作の難易度を下げて、ユーザー体験を向上させる。

ある実施例において、リアカメラを利用して撮影する場合、合成画像を生成した後、合成画像に対して鏡像処理を行い、その後、処理された合成画像をリアルタイムに表示して記憶してもよい。

ある実施例において、ユーザーがフロントカメラとリアカメラを切換することを許可する。フロントカメラを利用して撮影する場合、フロントカメラにより収集された画像が実際に創作した作品と完全に一致するので、鏡像処理を行う必要がない。一方、創作者は、ライトペインティング創作を行いながら、自分の創作作品をリアルタイムにプレビューして、適時に修正及び調整できるため、創作効率を高め、創作体験を向上させる。

図４を参照して、本発明に係る携帯端末の第一実施例を説明する。前記携帯端末は、通常のデジタルカメラ例えばカードカメラなどであってもよいし、撮像機能を持つ携帯電話であってもよいし、タブレットなどの携帯端末であってもよい。前記携帯端末は、ライトペインティング撮影の撮像方法を実現する携帯端末であり、画像収集モジュール１１０、キャッシュモジュール１２０、画像合成モジュール１３０、表示モジュール１４０及び記憶モジュール１５０を含む。ここで、画像収集モジュール１１０、キャッシュモジュール１２０及び画像合成モジュール１３０は順次に接続されている。画像合成モジュール１３０は、表示モジュール１４０と記憶モジュール１５０とそれぞれ接続する。

画像収集モジュール１１０は、カメラを呼び出して画像データを収集するように構成される。

本発明は、携帯端末の撮影機能にライトペインティング撮影モードを追加している。ユーザーは、ライトペインティング撮影モード又は通常撮影モードを選択して撮影する。ここで、ライトペインティング撮影モードでは、ライトペインティング撮影シーンの要求に基づいて、感度（ＩＳＯ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｏｒｇａｎｉｚａｔｉｏｎ）、ピクチャ品質、シーンモードなどのパラメータを事前に調整して限定する。対応するハードウェアデバイス例えば画像収集モジュール１１０は収集された画像データに対してサンプル抽出又は処理を行うように、該当パラメータを対応するハードウェアデバイスへ出力する。ユーザーはライトペインティング撮影モードを選択して撮影ボタンを押下した又は仮想撮影ボタンをトリガした後、携帯端末がライトペインティング撮影を開始する。画像収集モジュール１１０は、カメラを呼び出して画像データを連続的に収集する。カメラで画像データを連続的に収集する速度は、予め設定されてもよい。

ライトペインティングの連続性を確保するために、カメラは１秒で少なくとも十数枚画像を連続的に収集する必要がある。しかし、以降の画像の合成処理は、画像を収集する速度に追いつかないことがある。そのため、画像収集モジュール１１０は、収集された画像データをキャッシュモジュール１２０へ送信して記憶する。また、画像データを収集する過程において、画像収集モジュール１１０は、キャッシュモジュール１２０の余剰スペースに応じて、収集速度をリアルタイムに調整することができる。よって、撮像装置での処理能力を最大に利用するとともに、収集する速度が速すぎてデータがオーバーフローして、ひいてはデータが欠落することを防止する。

キャッシュモジュール１２０は、収集された画像データをキャッシュするように構成される。

画像合成モジュール１３０は、キャッシュモジュール１２０から画像データを読み取り、現在の画像データを過去の画像データと加算演算して即ち現在の画像データにおける画素と過去の画像データにおける画素を重畳させて、合成画像を生成するように構成される。画像合成モジュール１３０が画像データを読み取る速度又は間隔時間を予め設定してもよいし、その計算速度によって決定してもよい。カメラは画像データを連続的に収集するため、合成画像もリアルタイムに連続的に生成される。

好ましくは、画像合成モジュール１３０は、現在の画像データと過去の画像データから予め設定された条件を満たす画素を選択し、該当画素に対して加算演算を行う。

ある実施例において、画像合成モジュール１３０は、ある画素が予め設定された条件を満たすかどうかを判断する場合、該当画素の輝度パラメータが閾値より大きいかどうかを直接に判断してもよい。閾値より大きい場合、該当画素が予め設定された条件を満たすと判定する。画像合成モジュール１３０は、現在の画像データと過去の画像データから輝度パラメータが閾値より大きい画素（即ち画像上にある点の輝度の絶対値が閾値より大きい）を選択した後、予め設定された条件を満たすこれらの画素に対して加算演算を行う。したがって、輝度が低い画素をある程度でフィルタリングして、環境光による累積効果が最終の合成画像の画面に汚染を引き起こすことを回避する。前記閾値の大きさは、画像における輝度が低い画素を２０％程度にフィルタすることによって決定されてもよいし、画像の平均輝度よって決定されてもよい。前記輝度パラメータは、ＲＧＢ値、ＹＵＶ値などの光学パラメータである。

例えば、画像データは、画素ユニット１、画素ユニット２．．．画素ユニットｎの合計ｎ個の画素ユニットを含む。ここで、画素ユニット１０１〜画素ユニット２００について、現在の画像データにおける輝度パラメータが閾値より大きい。画素ユニット１〜１００について、過去の画像データにおける輝度パラメータが閾値より大きい。そして、画素ユニット１〜画素ユニット２００について、現在と過去の輝度パラメータに加算演算を実行する。例えば、画素ユニット１について、現在画像データにおける輝度パラメータ値が１０であり、過去の画像データにおける輝度パラメータ値は１００である場合、加算演算を実行した後、合成画像における画素ユニット１の輝度パラメータ値は１００＋１０＝１１０である。なお、画像合成モジュールは、更に、合成画像に対しノイズの低減処理を行うとともに、現在の画像の露光度に応じて、新しい合成画像の合成比例を制御して露光過度の発生を抑える。

ある好ましい実施例において、画像合成モジュールは、ある画素が予め設定された条件を満たすかどうかを判断する場合、まず、該当画素が急変画素であるかどうかを判断する。急変画素である場合、該当急変画素の周囲に予め設定された数の画素における輝度パラメータの平均値を計算し、該当平均値が閾値より大きいかどうかを判断し、閾値より大きい場合、該当画素が予め設定された条件を満たすと判定する。該当画素が急変画素ではない場合、該当画素の輝度パラメータが閾値より大きいかどうかを直接に判断してもよい。閾値より大きい場合、該当画素が予め設定された条件を満たすと判定する。詳しい判断方法は図２のように前記実施例で記載されるので、ここでは詳細な説明を省略する。したがって、画像におけるノイズを排除して、最終の合成画像の画面効果へ影響を与えることを回避する。

画像合成を行う際、画像における輝度が高い領域のみを重畳させ、他の領域を重畳させないため、明るい箇所が明るい又は暗い箇所が暗いことを維持して、合成画像のライトペインティング効果を高める。

次に、画像合成モジュール１３０は、合成画像を表示モジュール１４０へ送信して表示し、記憶モジュール１５０へ送信して記憶する。画像合成モジュール１３０は、各合成画像を記憶モジュール１５０へ送信してもよいし、撮影が完了する際に最終に生成された一枚の合成画像を記憶モジュール１５０へ送信してもよい。

スムーズにプレビューするために、画像合成モジュール１３０は、合成画像を小さいサイズのサムネイルに圧縮した後、表示モジュール１４０に送信して表示する。

表示モジュール１４０は、ユーザーが現在のライトペインティング効果をリアルタイムにプレビューするように、合成画像をリアルタイムに表示するように構成される。

記憶モジュール１５０は、合成画像を記憶するように構成される。

このように、携帯端末にライトペインティング撮影機能を追加している。ユーザーは、携帯端末におけるライトペインティング撮影機能を利用して芸術の創作を行うことができる。そして、創作効果をリアルタイムにプレビューすることができ、ユーザー体験を向上させる。

図５のような第二実施例において、携帯端末は、更に、ライトペインティング撮影を行う際のジッタ回避機能を有する。本実施例と第一実施例との相違点は、ジッタ回避モジュール１６０を追加していることである。該当ジッタ回避モジュール１６０は、画像収集モジュール１１０と接続する。該当ジッタ回避モジュール１６０は、撮影命令を受信した後、予め設定された時間を遅延させ、撮影命令を画像収集モジュール１１０へ送信するように構成される。画像収集モジュール１１０は、撮影命令を受信して画像の収集を開始する。即ち、ユーザーが撮影ボタンを押下して撮影命令を送信した後、携帯端末は、すぐに撮影するのではなく、予め設定された時間を遅延させ、ヒューマンにより発生したジッタが終わったら、撮影を開始する。好ましくは、前記予め設定された時間を１〜３秒とする。

よって、撮影を遅延させてジッタ回避機能を実現する。撮影ボタンの押下による軽微なジッタが撮影効果に影響を与えることを回避して、ユーザー体験を更に向上させる。

図６は本発明に係る携帯端末の第三実施例を示す。本実施例と第一実施例との相違点は、鏡像モジュール１７０を追加していることである。ここで、画像収集モジュール１１０、鏡像モジュール１７０及びキャッシュモジュール１２０が順次に接続されている。該当鏡像モジュール１７０は、現在使用されているカメラがリアカメラであるかどうかを判断する。リアカメラである場合、収集された画像に対して鏡像処理を行い、処理された画像をキャッシュモジュール１２００へ送信する。リアカメラではない場合、鏡像処理を行わず、画像をキャッシュモジュール１２０へ直接に送信する。

実施例において、ユーザーは、携帯端末でライトペインティング撮影を行う際、フロントカメラ又はリアカメラに切り替えること許可する。ユーザー又は創作者がカメラに向けてライトペインティング創作を行うので、画像収集モジュール１１０がリアカメラを利用して画像データを収集する際、収集されたライトペインティング画面は、創作者が実際に創作した画面と鏡像関係がある。これを鑑みて、本実施例において、画像収集モジュール１１０が画像データを収集した後、鏡像モジュール１７０が収集された画像データに対して鏡像処理を行う。次に、処理された画像データをキャッシュモジュール１２０へ送信する。この時、生成された合成画像は、創作者が実際に創作した作品と完全に一致する。したがって、創作者は、創作された作品に対して鏡像処理を事前に行う必要がなく、ユーザーのライトペインティング創作の難易度を下げて、ユーザー体験を向上させる。

画像収集モジュール１１０がフロントカメラを呼び出して画像データを収集する場合、収集された画像は、実際に創作した作品と完全に一致するので、鏡像処理を行う必要がない。そして、創作者は、ライトペインティング創作を行いながら、自分の創作作品をリアルタイムにプレビューして、適時に修正及び調整できるため、創作効率を高め、創作体験を向上させる。

ある実施例において、鏡像モジュール１７０は、画像合成モジュール１３０、表示モジュール１４０及び記憶モジュール１５０とそれぞれに接続し、現在使用されているカメラがリアカメラであると判定した後、画像合成モジュール１３０により生成された合成画像に対して鏡像処理行い、処理された合成画像をそれぞれ表示モジュール１４０と記憶モジュール１５０に送信してリアルタイムに表示と記憶を行ってもよい。

ある実施例において、鏡像モジュール１７０は、画像に対して鏡像処理行う必要があるかどうかをユーザーに確認し、必要がある場合、収集された画像データ又は合成画像に対して鏡像処理行う。

ある実施例において、携帯端末は、キャッシュモジュール１２０を割愛し、画像収集モジュール１１０又は鏡像モジュール１７０が画像データを画像合成モジュール１３０へ直接に送信して画像合成を行ってもよい。この場合、画像合成モジュール１３０での処理速度は十分に速く、カメラは画像データを収集する速度に追いつくことができなければならない。

本発明に係る携帯端末及びその撮像方法において、ライトペインティング撮影に応用される以外に、他の類似する応用シーンに応用されてもよい。

本発明の実施例に係る携帯端末は、撮像ハードウェアを用いて長時間の露光を行うことなく、画像重畳に関する技術を採用して長時間の露光をシミュレートする。そして、ライトペインティング撮影シーンの要求に応じて、ＩＳＯ、ピクチャ品質、シーンモードなどのパラメータを調整して限定する。パラメータをハードウェアデバイスに送信し、その後画像データを取得して画像合成を行い、ライトペインティング撮影の機能を実現する。

当業者であれば、プログラムで対応するハードウェアを制御して、上記方法の実施例の全部又は一部のステップを実現でき、前記プログラムはコンピュータ読取可能記録媒体に記憶され、前記記録媒体は、読出し専用メモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリー（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フレキシブルディスク又は光ディスクなどを含むことを理解することができる。

以上は、本発明の最適的な実施例に過ぎず、本発明を制限するものでなく、本分野の当業者に対して、本発明は様々な種類の変更と変化が可能である。本発明の主旨精神と原則の範囲内で、いかなる改修、同等の入れ替わり、改良等が、本発明の保護範囲内に含まれるべきである。

産業上利用可能性

本発明に係る携帯端末及びその撮像方法によれば、画像データを連続的に収集し、現在の画像データを過去の画像データと加算演算して合成画像を生成し、リアルタイムに表示することによって、画像重畳に関する技術を採用して長時間の露光を模擬シミュレートして、携帯端末にライトペインティング撮影機能を追加している。したがって、ユーザーが携帯端末におけるライトペインティング撮影機能を利用して芸術創作を行うことができ、また、創作効果をリアルタイムにプレビューすることができ、ユーザー体験を向上させる。

Claims (17)

1. 携帯端末の撮像方法であって、
   カメラは、画像データを連続的に収集することと、
   間隔をおいて画像データを読み取り、現在の画像データと過去の画像データから、予め設定された条件を満たす画素を選択し、同一位置にある前記画素に対して加算演算を行って合成画像を生成することと、
   前記合成画像を表示することとを含む
   ことを特徴とする、前記方法。
2. 携帯端末の撮像方法であって、
   カメラは、画像データを連続的に収集することと、
   間隔をおいて画像データを読み取り、現在の画像データを過去の画像データと加算演算して合成画像を生成することと、
   前記合成画像を表示することとを含む
   ことを特徴とする、前記方法。
3. 前記現在の画像データを過去の画像データと加算演算することは、
   現在の画像データと過去の画像データから、予め設定された条件を満たす画素を選択し、同一位置にある前記画素に対して加算演算を行うことを含む
   ことを特徴とする請求項２に記載の方法。
4. 前記予め設定された条件を満たす画素を選択することは、
   前記画素の輝度パラメータが閾値より大きいかどうかを判断することと、
   閾値より大きい場合、前記画素が予め設定された条件を満たすと判定して、前記画素を選択することとを含む
   ことを特徴とする請求項３に記載の方法。
5. 前記予め設定された条件を満たす画素を選択することは、
   前記画素が急変画素であるかどうかを判断することと、
   急変画素である場合、前記急変画素の周囲に予め設定された数の画素の輝度パラメータの平均値を計算し、前記平均値が閾値より大きいかどうかを判断し、閾値より大きい場合、前記急変画素が予め設定された条件を満たすと判定して、前記急変画素を選択することと、
   急変画素ではない場合、前記画素の輝度パラメータが閾値より大きいかどうかを判断し、閾値より大きい場合、前記画素が予め設定された条件を満たすと判定して、前記画素を選択することとを含む
   ことを特徴とする請求項３に記載の方法。
6. 前記カメラはリアカメラであり、
   前記カメラは画像データを連続的に収集した後、更に、
   収集された前記画像データに対して鏡像処理を行うことを含む
   ことを特徴とする請求項２に記載の方法。
7. 前記カメラはリアカメラであり、
   前記合成画像を生成した後、更に、
   前記合成画像に対して鏡像処理を行うことを含む
   ことを特徴とする請求項２に記載の方法。
8. 前記カメラはフロントカメラである
   ことを特徴とする請求項２に記載の方法。
9. 前記カメラは画像データを連続的に収集する前、更に、
   撮像命令を受信した後、予め設定された時間を遅延した後に撮像を開始することを含む
   ことを特徴とする請求項２に記載の方法。
10. 携帯端末であって、
    カメラを呼び出して画像データを連続的に収集するように構成される画像収集モジュールと、
    間隔をおいて画像データを読み取り、現在の画像データを過去の画像データと加算演算して、合成画像を生成するように構成される画像合成モジュールと、
    前記合成画像を表示するように構成される表示モジュールとを備える
    ことを特徴とする、前記携帯端末。
11. 前記画像合成モジュールは、更に、
    現在の画像データと過去の画像データから予め設定された条件を満たす画素を選択し、同一位置にある前記画素に対して加算演算を行うように構成される
    ことを特徴とする請求項１０に記載の携帯端末。
12. 前記画像合成モジュールは、更に、
    前記画素の輝度パラメータが閾値より大きいかどうかを判断し、閾値より大きい場合、前記画素が予め設定された条件を満たすと判定するように構成される
    ことを特徴とする請求項１１に記載の携帯端末。
13. 前記画像合成モジュールは、更に、
    前記画素が急変画素であるかどうかを判断し、
    急変画素である場合、前記急変画素の周囲に予め設定された数の画素の輝度パラメータの平均値を計算し、前記平均値が閾値より大きいかどうかを判断し、閾値より大きい場合、前記急変画素が予め設定された条件を満たすと判定して、前記急変画素を選択し、
    急変画素ではない場合、前記画素の輝度パラメータが閾値より大きいかどうかを判断し、閾値より大きい場合、前記画素が予め設定された条件を満たすと判定して、前記画素を選択するように構成される
    ことを特徴とする請求項１１に記載の携帯端末。
14. 前記携帯端末は、更に、鏡像モジュールを備え、
    前記鏡像モジュールは、現在使用されているカメラがリアカメラであるかどうかを判断し、リアカメラである場合、収集された画像に対して鏡像処理を行うように構成される
    ことを特徴とする請求項１０に記載の携帯端末。
15. 前記携帯端末は、更に、鏡像モジュールを備え、
    前記鏡像モジュールは、現在使用されているカメラがリアカメラであるかどうかを判断し、リアカメラである場合、前記合成画像に対して鏡像処理を行うように構成される
    ことを特徴とする請求項１０に記載の携帯端末。
16. 前記カメラはフロントカメラである
    ことを特徴とする請求項１０に記載の携帯端末。
17. 前記携帯端末は、更に、ジッタ回避モジュールを備え、
    前記ジッタ回避モジュールは、撮像命令を受信した後、予め設定された時間を遅延した後に前記撮像命令を前記画像収集モジュールへ送信するように構成される
    ことを特徴とする請求項１０に記載の携帯端末。

Images