JP6429176B2

JP6429176B2 - 画像処理方法および装置

Info

Publication number: JP6429176B2
Application number: JP2017533664A
Authority: JP
Inventors: 方勇葛; 雅▲麗▼ 王
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2014-09-16
Filing date: 2014-09-16
Publication date: 2018-11-28
Anticipated expiration: 2034-09-16
Also published as: KR20170048454A; US10560644B2; EP3185549A4; CN105612740B; JP2017528096A; WO2016041144A1; EP3185549B1; US20170289466A1; EP3185549A1; CN105612740A

Description

本発明は、画像処理テクノロジーの分野に関し、特に、画像処理方法および装置に関する。

写真を撮るとき、ユーザは、一様な色および明るさ(brightness)の画像を得たい。しかし、ほとんどの場合、赤外線の影響で、カメラによって撮影される画像の撮像効果(imaging effect)は、比較的良くない。概して、画像の色と明るさとの両方は一様でなく、明るさに関しては、概して、画像の真ん中が明るく、画像の周辺は暗い。

従来技術においては、撮影される画像に対する赤外線の影響を除去するために、光フィルタ、たとえば、赤外線フィルタまたはブルーガラス(blue glass)がレンズに取り付けられる。これは、画像に対する赤外線の影響をある程度減らす可能性がある。しかし、光フィルタとレンズ群との間の赤外線の複数回の反射が原因で、最終的な画像品質がある程度影響を受け、画像を過度に茶色または緑色にし、色を一様でなくする。実際、画像品質に対する赤外線の影響は、まだ除去され得ない。

画像品質に対する赤外線の影響が比較的大きい従来技術の問題を解決するために、本発明の実施形態は、撮影中に赤外線が存在する場合に一様な明るさを有するが画像が実現され得る画像処理方法を提供する。本発明の実施形態は、対応する装置をさらに提供する。

本発明の第1の態様によれば、画像処理方法であって、
撮影された元画像の画像データを取得し、元画像が撮影されたときに使用された環境赤外線強度Iを取得するステップと、
テストされた赤外線強度と赤外線画像データとの間の予め設定された対応に従ってIに対応する赤外線画像データを取得するステップと、
元画像の画像データおよびIに対応する赤外線画像データに従って補正された画像データを取得するステップと、
補正された画像データに従って対応する補正された画像を取得し、補正された画像を出力するステップとを含む、方法が提供される。

第1の態様に関連して、第1のあり得る実装方式においては、対応が、テストされた赤外線強度I_xおよび赤外線画像データM_xのn個のグループを含む関係の組であり、赤外線画像データM_xが、テストされた赤外線強度I_xが撮像に関わるときに取得される赤外線画像データであり、xの値が、1、2、...、n-1、nであり、nが、1よりも大きな正の整数であり、
テストされた赤外線強度と赤外線画像データとの間の予め設定された対応に従ってIに対応する赤外線画像データを取得するステップが、
対応から、IがI_mとI_m+1との間であると決定するステップであって、mが、n未満の正の整数である、ステップと、
予め設定された選択ポリシーに従って、I_mに対応するM_mまたはI_m+1に対応するM_m+1をIに対応する赤外線画像データとして決定するステップとを含む。

第1の態様の第1のあり得る実装方式に関連して、第2のあり得る実装方式においては、予め設定された選択ポリシーに従って、I_mに対応するM_mまたはI_m+1に対応するM_m+1をIに対応する赤外線画像データとして決定するステップが、
下限を選択する予め設定されたポリシーに従って、I_mに対応するM_mをIに対応する赤外線画像データとして決定するステップを含む。

第1の態様の第1のあり得る実装方式に関連して、第3のあり得る実装方式においては、予め設定された選択ポリシーに従って、I_mに対応するM_mまたはI_m+1に対応するM_m+1をIに対応する赤外線画像データとして決定するステップが、
近さ選択ポリシーに従って、IとI_mとの間の差がI_m+1とIとの間の差以下である場合、I_mに対応するM_mをIに対応する赤外線画像データとして決定し、またはIとI_mとの間の差がI_m+1とIとの間の差よりも大きい場合、I_m+1に対応するM_m+1をIに対応する赤外線画像データとして決定するステップを含む。

第1の態様、または第1の態様の第1から第3のあり得る実装方式のいずれか1つに関連して、第4のあり得る実装方式においては、元画像の画像データおよびIに対応する赤外線画像データに従って補正された画像データを取得するステップが、
元画像の画像データからIに対応する赤外線画像データを差し引くことによって補正された画像データを取得するステップを含む。

第1の態様、または第1の態様の第1から第3のあり得る実装方式のいずれか1つに関連して、第5のあり得る実装方式においては、補正された画像データに従って対応する補正された画像を取得した後、方法が、
補正された画像に対してホワイトバランス処理を実行するステップをさらに含み、ホワイトバランスが、カラーバランスを取るために異なる色温度環境において三原色の割合が調整されることを意味する。

本発明の第2の態様によれば、画像処理装置であって、
撮影された元画像の画像データを取得し、元画像が撮影されたときに使用された環境赤外線強度Iを取得するように構成された取得ユニットと、
テストされた赤外線強度と赤外線画像データとの間の予め設定された対応に従って、取得ユニットによって取得されたIに対応する赤外線画像データを取得するように構成された決定ユニットと、
取得ユニットによって取得された元画像の画像データおよび決定ユニットによって取得されたIに対応する赤外線画像データに従って補正された画像データを取得するように構成された計算ユニットと、
計算ユニットによって取得された補正された画像データに従って対応する補正された画像を取得するように構成された補正画像取得ユニットと、
補正画像取得ユニットによって取得された補正された画像を出力するように構成された出力ユニットとを含む、装置が提供される。

第2の態様に関連して、第1のあり得る実装方式においては、決定ユニットが、
対応から、IがI_mとI_m+1との間にあると決定するように構成された第1の決定モジュールであって、対応が、テストされた赤外線強度I_xおよび赤外線画像データM_xのn個のグループを含む関係の組であり、赤外線画像データM_xが、テストされた赤外線強度I_xが撮像に関わるときに取得される赤外線画像データであり、xの値が、1、2、...、n-1、nであり、nが、1よりも大きな正の整数であり、mが、n未満の正の整数である、第1の決定モジュールと、
予め設定された選択ポリシーに従って、I_mに対応するM_mまたはI_m+1に対応するM_m+1をIに対応する赤外線画像データとして決定するように構成された第2の決定モジュールであって、I_mおよびI_m+1が、第1の決定モジュールによって決定される、第2の決定モジュールとを含む。

第2の態様の第1のあり得る実装方式に関連して、第2のあり得る実装方式においては、
第2の決定モジュールが、下限を選択する予め設定されたポリシーに従って、I_mに対応するM_mをIに対応する赤外線画像データとして決定するように特に構成される。

第2の態様の第1のあり得る実装方式に関連して、第3のあり得る実装方式においては、
第2の決定モジュールが、近さ選択ポリシーに従って、IとI_mとの間の差がI_m+1とIとの間の差以下である場合、I_mに対応するM_mをIに対応する赤外線画像データとして決定し、またはIとI_mとの間の差がI_m+1とIとの間の差よりも大きい場合、I_m+1に対応するM_m+1をIに対応する赤外線画像データとして決定するように特に構成される。

第2の態様、または第2の態様の第1から第3のあり得る実装方式のいずれか1つに関連して、第4のあり得る実装方式においては、
計算ユニットが、元画像の画像データからIに対応する赤外線画像データを差し引くことによって補正された画像データを取得するように特に構成される。

第2の態様、または第2の態様の第1から第3のあり得る実装方式のいずれか1つに関連して、第5のあり得る実装方式においては、装置が、
補正画像取得ユニットによって取得された補正された画像に対してホワイトバランス処理を実行するように構成された処理ユニットをさらに含み、ホワイトバランスが、カラーバランスを取るために異なる色温度環境において三原色の割合が調整されることを意味する。

本発明の第3の態様によれば、カメラ、赤外線センサー、プロセッサ、メモリ、およびディスプレイ装置を含み、
カメラが、元画像を撮影するように構成され、
赤外線センサーが、カメラが元画像を撮影するときに、環境赤外線を収集し、環境赤外線強度Iを取得するように構成され、
メモリが、テストされた赤外線強度と赤外線画像データとの間の予め設定された対応を記憶するように構成され、
プロセッサが、
撮影された元画像の画像データを取得し、元画像が撮影されたときに使用された環境赤外線強度Iを取得し、
テストされた赤外線強度と赤外線画像データとの間の予め設定された対応に従ってIに対応する赤外線画像データを取得し、
元画像の画像データおよびIに対応する赤外線画像データに従って補正された画像データを取得し、
補正された画像データに従って対応する補正された画像を取得し、補正された画像をディスプレイ装置に出力するように構成され、
ディスプレイ装置が、補正された画像を表示するように構成される端末が提供される。

第3の態様に関連して、第1のあり得る実装方式においては、
対応が、テストされた赤外線強度I_xおよび赤外線画像データM_xのn個のグループを含む関係の組であり、赤外線画像データM_xが、テストされた赤外線強度I_xが撮像に関わるときに取得される赤外線画像データであり、xの値が、1、2、...、n-1、nであり、nが、1よりも大きな正の整数であり、
プロセッサが、対応から、IがI_mとI_m+1との間であると決定することであって、mが、n未満の正の整数である、決定することと、予め設定された選択ポリシーに従って、I_mに対応するM_mまたはI_m+1に対応するM_m+1をIに対応する赤外線画像データとして決定することとを行うように特に構成される。

第3の態様の第1のあり得る実装方式に関連して、第2のあり得る実装方式においては、
プロセッサが、下限を選択する予め設定されたポリシーに従って、I_mに対応するM_mをIに対応する赤外線画像データとして決定するように特に構成される。

第3の態様の第1のあり得る実装方式に関連して、第3のあり得る実装方式においては、
プロセッサが、近さ選択ポリシーに従って、IとI_mとの間の差がI_m+1とIとの間の差以下である場合、I_mに対応するM_mをIに対応する赤外線画像データとして決定し、またはIとI_mとの間の差がI_m+1とIとの間の差よりも大きい場合、I_m+1に対応するM_m+1をIに対応する赤外線画像データとして決定するように特に構成される。

第3の態様、または第3の態様の第1から第3のあり得る実装方式のいずれか1つに関連して、第4のあり得る実装方式においては、
プロセッサが、元画像の画像データからIに対応する赤外線画像データを差し引くことによって補正された画像データを取得するように特に構成される。

第3の態様、または第3の態様の第1から第3のあり得る実装方式のいずれか1つに関連して、第5のあり得る実装方式においては、
プロセッサが、対応する補正された画像が補正された画像データに従って取得された後、補正された画像に対してホワイトバランス処理を実行するようにさらに構成され、ホワイトバランスが、カラーバランスを取るために異なる色温度環境において三原色の割合が調整されることを意味する。

本発明の実施形態によれば、撮影された元画像の画像データが取得され、元画像が撮影されたときに使用された環境赤外線強度Iが取得され、テストされた赤外線強度と赤外線画像データとの間の予め設定された対応に従ってIに対応する赤外線画像データが取得され、撮影された元画像に対する赤外線の影響を除去するために、元画像の画像データおよびIに対応する赤外線画像データに従って補正された画像データが取得され、補正された画像データに従って補正された画像が取得され、補正された画像が出力され、それによって、撮影された画像の品質に対する環境赤外線強度の影響を除去することが、上述の技術的解決策から知られ得る。取得された画像の明るさが赤外線の影響により一様でない従来技術と比較して、本発明の実施形態において提供される画像処理方法によれば、画像品質に対する赤外線の影響が、一様な明るさを有する画像を取得するために、画像処理によって削減され得る。

本発明の実施形態による画像処理方法の実施形態の概略図である。本発明の実施形態による画像処理装置の実施形態の概略図である。本発明の実施形態による画像処理装置の別の実施形態の概略図である。本発明の実施形態による画像処理装置の別の実施形態の概略図である。本発明の実施形態による端末の実施形態の概略図である。

以下で、本発明の実施形態の技術的解決策を本発明の実施形態の添付の図面を参照して明瞭および完全に説明する。明らかに、説明される実施形態は、本発明の実施形態の一部に過ぎず、すべてではない。創造的な努力なしに本発明の実施形態に基づいて当業者によって得られたすべてのその他の実施形態は、本発明の保護範囲内に入る。

図1を参照すると、本発明の実施形態による画像処理方法の実施形態は、以下を含む。

101. 撮影された元画像の画像データを取得し、元画像が撮影されたときに使用された環境赤外線強度Iを取得する。

画像を撮影するとき、端末は、元画像の画像データを得るために、撮影された物体から生成された光学画像を電気信号に変換し、それから、電気信号が、A/D変換によってデジタル信号に変換される。一方、赤外線センサーなどの装置は、元画像が撮影されたときに使用された環境赤外線強度Iを測定する。

102. テストされた赤外線強度と赤外線画像データとの間の予め設定された対応に従ってIに対応する赤外線画像データを取得する。

テストされた赤外線強度と赤外線画像データとの間の対応は、テストされた赤外線強度と赤外線画像データとの間のマッピング関係の組である可能性がある。組内のテストされた赤外線強度は、徐々に(gradiently)変わり、たとえば、徐々に増加または減少する。組内の赤外線画像データは、組内のそれぞれのテストされた赤外線強度が撮像に関わるときに別に取得され、それぞれのテストされた赤外線強度に対応する赤外線画像データである。

テストされた赤外線強度と赤外線画像データとの間の対応は、大量のテストを使用することによって前もって開発担当者によって取得される。特定のテストプロセスは、以下である可能性がある。

研究所において、テストは、暗室内で赤外線発生装置を使用することによって、赤外線センサーを備えた端末に対して実行される。赤外線発生装置は、弱から強まで発せられる赤外線の強度に従って調整される。初めて赤外線発生装置によって発せられるテストされる赤外線の強度は、I₁であり、赤外線暴露および光-電気変換によって端末により取得される赤外線画像データは、M₁である。確かに、I₁は、0である可能性があり、またはテストされる赤外線の非常に弱い強度である可能性がある。赤外線発生装置は調整され、テストされた赤外線強度がI₂であるとき、赤外線画像データM₂が取得される。テストされた赤外線強度は、テストされた赤外線強度I_xと赤外線画像データM_xとの間の対応するn個のグループを取得するために漸進的に調整される。xの値は、1、...、nである。I_xとM_xとの間の対応は、Table 1(表1)を参照することによって理解され得る。

テストされた赤外線強度と赤外線画像データとの間の対応は、上記Table 1(表1)の形態に限定されない。テストされた赤外線強度と赤外線画像データとの間の対応を表現するために、別の形態が使用され得る。たとえば、赤外線強度は、対応する赤外線画像データを得るために強から弱まで変化する可能性がある。

M₁、...、M_nは、行列の形態のデータである可能性がある。

大量のテストの後に取得されたテストされた赤外線強度と赤外線画像データとの間の対応が、端末内に予め設定される。したがって、画像が撮影されるとき、テストされた赤外線強度と赤外線画像データとの間の対応が、画像が撮影されたときに使用された環境赤外線強度Iに対応する赤外線画像データを決定するために使用され得る。

103. 元画像の画像データおよびIに対応する赤外線画像データに従って補正された画像データを取得する。

赤外線画像データは、画像品質に影響を与える要因である。補正された画像データは、元画像の画像データから画像品質に影響を与える要因を除去することによって取得される可能性がある。

特に、画像データの補正は、元画像の画像データとIに対応する赤外線画像データとの間の数学演算を使用することによって実施される可能性がある。

104. 補正された画像データに従って対応する補正された画像を取得し、補正された画像を出力する。

補正された画像データは、GRBまたはYUVなどの標準的なフォーマットの画像信号に変換されるように、処理するためにデジタル信号プロセッサに出力され、つまり、元画像に対応する補正された画像が、取得される。そして、補正された画像が、表示するためにディスプレイ端末に出力される。

本発明のこの実施形態によれば、撮影された元画像の画像データが取得され、元画像が撮影されたときに使用された環境赤外線強度Iが取得され、テストされた赤外線強度と赤外線画像データとの間の予め設定された対応に従ってIに対応する赤外線画像データが取得され、撮影された元画像に対する赤外線の影響を除去するために、元画像の画像データおよびIに対応する赤外線画像データに従って補正された画像データが取得され、補正された画像データに従って補正された画像が取得され、補正された画像が出力され、それによって、撮影された画像の品質に対する環境赤外線強度の影響を除去する。取得された画像の明るさが赤外線の影響により一様でない従来技術と比較して、本発明のこの実施形態において提供される画像処理方法によれば、画像品質に対する赤外線の影響が、一様な明るさを有する画像を取得するために、画像処理によって削減され得る。

上述の実施形態においては、テストされた赤外線強度と赤外線画像データとの間の予め設定された対応に従ってIに対応する赤外線画像データが取得される。実際の応用において、対応は、同様の形態の配列、行列などである可能性があり、本明細書において特に限定されない。加えて、元画像の画像データおよびIに対応する赤外線画像データに従って補正された画像データが取得され、元画像の画像データおよびIに対応する赤外線画像データを計算することによって補正された画像データが取得される可能性があり、または別の実装方式が使用される可能性があり、本明細書において特に限定されない。

任意で、図1に対応する上述の実施形態に基づいて、本発明のこの実施形態による画像処理方法の第1の任意の実施形態において、対応は、テストされた赤外線強度I_xおよび赤外線画像データM_xのn個のグループを含む関係の組であり、赤外線画像データM_xは、テストされた赤外線強度I_xが撮像に関わるときに取得される赤外線画像データであり、ここで、xの値は、1、2、...、n-1、nであり、nは、1よりも大きな正の整数である。

テストされた赤外線強度と赤外線画像データとの間の予め設定された対応に従ってIに対応する赤外線画像データを取得することは、
対応から、IがI_mとI_m+1との間であると決定することであって、mが、n以下であり、mが、0以上である、決定することと、
予め設定された選択ポリシーに従って、I_mに対応するM_mまたはI_m+1に対応するM_m+1をIに対応する赤外線画像データとして決定することとを含む可能性がある。

本発明のこの実施形態においては、理解するためにTable 1(表1)が参照され得る。Table 1(表1)の赤外線強度の大きさに従って、画像が撮影されたときに使用された環境赤外線強度IがI_mとI_m+1との間にあることが決定され得る。たとえば、mが1であるとき、IがI₁とI₂との間にあると決定される可能性があり、この場合、M₁またはM₂がIに対応する赤外線画像データとして選択される可能性がある。

任意で、上述の画像処理方法の第1の任意の実施形態に基づいて、本発明のこの実施形態による画像処理方法の第2の任意の実施形態において、予め設定された選択ポリシーに従って、I_mに対応するM_mまたはI_m+1に対応するM_m+1をIに対応する赤外線画像データとして決定することは、
下限を選択する予め設定されたポリシーに従って、I_mに対応するM_mをIに対応する赤外線画像データとして決定することを含む可能性がある。

本発明のこの実施形態においては、IがI_mとI_m+1との間にあると考えられるとき、M_mが、Iに対応する赤外線画像データとして選択される。M_mはIに対応する実際の赤外線画像データ未満である可能性があるが、たとえ画像データに対する赤外線のわずかな影響が残っているとしても、一様な明るさを有する画像がやはり得られる。

任意で、上述の画像処理方法の第1の任意の実施形態に基づいて、本発明のこの実施形態による画像処理方法の第3の任意の実施形態において、予め設定された選択ポリシーに従って、I_mに対応するM_mまたはI_m+1に対応するM_m+1をIに対応する赤外線画像データとして決定することは、
近さ選択ポリシーに従って、IとI_mとの間の差がI_m+1とIとの間の差以下である場合、I_mに対応するM_mをIに対応する赤外線画像データとして決定し、またはIとI_mとの間の差がI_m+1とIとの間の差よりも大きい場合、I_m+1に対応するM_m+1をIに対応する赤外線画像データとして決定することを含む可能性がある。

本発明のこの実施形態においては、対応する強度がIの値に近いM_mまたはM_m+1がIに対応する赤外線画像データとして選択され、したがって、補正後に得られる画像の効果は、赤外線に晒されていない画像に最も近い。

任意で、画像処理方法の上述の実施形態またはいずれかの任意の実施形態に基づいて、本発明のこの実施形態による画像処理方法の第4の任意の実施形態において、元画像の画像データおよびIに対応する赤外線画像データに従って補正された画像データを取得することは、
元画像の画像データからIに対応する赤外線画像データを差し引くことによって補正された画像データを取得することを含む可能性がある。

本発明のこの実施形態において、元画像の画像データは、M_aによって表され、Iに対応する赤外線画像データはM_mによって表され、補正された画像データはM_rによって表される。この場合、上述の等式の関係は、M_r = M_a - M_mと表され得る。

実際、M_aとM_mとの両方は、概して17*13行列である行列であり、上記等式は行列の減算であり、M_rも行列である。

任意で、画像処理方法の上述の実施形態またはいずれかの任意の実施形態に基づいて、本発明のこの実施形態による画像処理方法の第5の任意の実施形態において、補正された画像データに従って対応する補正された画像を取得することは、
補正された画像に対してホワイトバランス処理を実行することをさらに含む可能性があり、ホワイトバランスが、カラーバランスを取るために異なる色温度環境において三原色の割合が調整されることを意味する。

本発明のこの実施形態において、補正された画像データは、GRBまたはYUVなどの標準的なフォーマットの画像信号に変換されるように、処理するためにデジタル信号プロセッサに出力される。

ホワイトバランスは、画像が、色の偏りのない効果を実現し、レンズパラメータの違いが原因である撮影効果(photographing effect)の違いを補正するために、関連する光源の下でRGB補正パラメータに収束させられるように、カラーバランスを取るために異なる色温度環境において三原色の割合が調整されることを意味する。ホワイトバランス処理の後の画像は、表示するためにディスプレイ端末に出力される。

以下で、本発明の実施形態による画像処理装置の実施形態を説明する。装置は、画像処理の分野に応用される。図2を参照すると、本発明のこの実施形態は、
撮影された元画像の画像データを取得し、元画像が撮影されたときに使用された環境赤外線強度Iを取得するように構成された取得ユニット301と、
テストされた赤外線強度と赤外線画像データとの間の予め設定された対応に従って、取得ユニット301によって取得されたIに対応する赤外線画像データを取得するように構成された決定ユニット302と、
取得ユニット301によって取得された元画像の画像データおよび決定ユニット302によって決定されたIに対応する赤外線画像データに従って補正された画像データを取得するように構成された計算ユニット303と、
計算ユニット303によって取得された補正された画像データに従って対応する補正された画像を取得するように構成された補正画像取得ユニット304と、
補正画像取得ユニット304によって取得された補正された画像を出力するように構成された出力ユニット305とを含む。

本発明のこの実施形態によれば、取得ユニット301が、撮影された元画像の画像データを取得し、元画像が撮影されたときに使用された環境赤外線強度Iを取得し、決定ユニット302が、テストされた赤外線強度と赤外線画像データとの間の予め設定された対応に従って、取得ユニット301によって取得されたIに対応する赤外線画像データを取得し、計算ユニット303が、取得ユニット301によって取得された元画像の画像データおよび決定ユニット302によって決定されたIに対応する赤外線画像データに従って補正された画像データを取得し、補正画像取得ユニット304が、計算ユニット303によって取得された補正された画像データに従って対応する補正された画像を取得し、出力ユニット305が、補正画像取得ユニット304によって取得された補正された画像を出力する。取得された画像の明るさが赤外線の影響により一様でない従来技術と比較して、本発明のこの実施形態において提供される画像処理装置によれば、画像品質に対する赤外線の影響が、一様な明るさを有する画像を取得するために、画像処理によって削減され得る。

任意で、図2に対応する上述の実施形態に基づいて、図3を参照すると、本発明のこの実施形態による画像処理装置の第1の任意の実施形態において、決定ユニット302は、
対応から、IがI_mとI_m+1との間にあると決定するように構成された第1の決定モジュール3021であって、対応が、テストされた赤外線強度I_xおよび赤外線画像データM_xのn個のグループを含む関係の組であり、赤外線画像データM_xが、テストされた赤外線強度I_xが撮像に関わるときに取得される赤外線画像データであり、xの値が、1、2、...、n-1、nであり、nが、1よりも大きな正の整数であり、mが、n未満の正の整数である、第1の決定モジュール3021と、
予め設定された選択ポリシーに従って、I_mに対応するM_mまたはI_m+1に対応するM_m+1をIに対応する赤外線画像データとして決定するように構成された第2の決定モジュール3022であって、I_mおよびI_m+1が、第1の決定モジュール3021によって決定される、第2の決定モジュール3022とを含む。

任意で、図3に対応する上述の実施形態に基づいて、本発明のこの実施形態による画像処理装置の第2の任意の実施形態において、
第2の決定モジュール3022は、下限を選択する予め設定されたポリシーに従って、I_mに対応するM_mをIに対応する赤外線画像データとして決定するように特に構成される。

任意で、図3に対応する上述の実施形態に基づいて、本発明のこの実施形態による画像処理装置の第3の任意の実施形態において、
第2の決定モジュール3022は、近さ選択ポリシーに従って、IとI_mとの間の差がI_m+1とIとの間の差以下である場合、I_mに対応するM_mをIに対応する赤外線画像データとして決定し、またはIとI_mとの間の差がI_m+1とIとの間の差よりも大きい場合、I_m+1に対応するM_m+1をIに対応する赤外線画像データとして決定するように特に構成される。

任意で、画像処理装置の上述の実施形態、第1の、第2の、または第3の任意の実施形態に基づいて、本発明のこの実施形態による画像処理装置の第4の任意の実施形態において、
計算ユニット303は、元画像の画像データからIに対応する赤外線画像データを差し引くことによって補正された画像データを取得するように特に構成される。

任意で、画像処理装置の上述の実施形態、第1の、第2の、または第3の任意の実施形態に基づいて、図4を参照すると、本発明のこの実施形態による画像処理装置の第4の任意の実施形態において、装置30は、
補正画像取得ユニット304によって取得された補正された画像に対してホワイトバランス処理を実行するように構成された処理ユニット306をさらに含み、ホワイトバランスが、カラーバランスを取るために異なる色温度環境において三原色の割合が調整されることを意味する。

図5を参照すると、この実施形態において、端末が、本発明を詳細に説明するための例として使用される。

示される端末は、モバイル電話などのモバイル端末の例であるに過ぎず、端末は、図において示される部分よりも多くのもしくは少ない部分を有する可能性があり、2つ以上の部分を組み合わせる可能性があり、または異なる部分の構成を有する可能性があることを理解されたい。図に示される様々な部分は、1つもしくは複数の信号処理および/もしくは特定用途向け集積回路を含むハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組合せに実装される可能性がある。

ここで、詳細な説明を行うための例として端末が使用される。図5は、本発明による画像処理のために使用される端末の実施形態の概略的な構造図である。図5に示されるように、端末は、プロセッサ160、メモリ120、RF回路110、電源190、入力ユニット130、ディスプレイ装置140、音声回路170、およびWiFiモジュール180を含み、入力ユニット130は、カメラ131および赤外線センサー132を含み、これらの部分は、1つまたは複数の通信バスまたは信号線を使用することによって互いに通信する。

この実施形態において提供される端末はモバイル端末の例に過ぎないことに留意されたい。本発明のこの実施形態に含まれるモバイル端末は、図5に示される部分よりも多くのもしくは少ない部分を有する可能性があり、2つ以上の部分を組み合わせる可能性があり、または異なる部分の構成もしくは設定を有する可能性がある。各部分は、1つもしくは複数の信号処理および/もしくは特定用途向け集積回路を含むハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組合せに実装される可能性がある。

以下で、この実施形態による画像を処理するための端末を詳細に説明する。

カメラ131は、元画像を撮影するように構成される。

赤外線センサー132は、カメラが元画像を撮影するときに、環境赤外線を収集し、環境赤外線強度Iを取得するように構成される。

メモリ120は、テストされた赤外線強度と赤外線画像データとの間の予め設定された対応を記憶するように構成される。

メモリ120は、1つまたは複数のディスクストレージ構成要素、フラッシュメモリ構成要素、またはその他の揮発性ソリッドステートストレージ構成要素である可能性がある。

RF回路110は、主に、端末とワイヤレスネットワーク(つまり、ネットワーク側)との間の通信を確立して、端末とワイヤレスネットワークとの間のデータの受信および送信を実施し、たとえば、SMSメッセージ、電子メールなどの受信および送信を実施するように構成される。特に、RF回路205は、電磁信号とも呼ばれるRF信号を受信および送信し、RF回路205は、電気信号を電磁信号に変換するか、または電磁信号を電気信号に変換し、電磁信号を使用することによって通信ネットワークおよび別のデバイスと通信する。RF回路110は、アンテナシステム、RFトランシーバ、1つまたは複数の増幅器、チューナ、1つまたは複数の発振器、デジタル信号プロセッサ、コーデックチップセット、加入者識別モジュール(Subscriber Identity Module、SIM)などを含むがこれらに限定されない、これらの機能を実行するように構成される知られている回路を含み得る。

音声回路170は、主に、音声データを電気信号に変換するように構成される。

電源190は、端末のすべての部分に電力を供給するように構成される。

プロセッサ160は、信号処理能力を有する集積回路チップである可能性がある。実施プロセスにおいては、上述の方法のすべてのステップが、プロセッサ160のハードウェアの集積論理回路またはソフトウェアの形態の命令によって実行される可能性がある。上述のプロセッサ160は、本発明の実施形態において開示される方法、ステップ、および論理ブロック図を実施または実行することができる汎用プロセッサ、デジタル信号プロセッサ(digital signal processor、DSP)、特定用途向け集積回路(application-specific integrated circuit、ASIC)、フィールドプログラマブルゲートアレイ(field programmable gate array、FPGA)もしくは別のプログラマブルロジックデバイス、ディスクリートゲートもしくはトランジスタ論理デバイス、またはディスクリートハードウェア構成要素である可能性がある。汎用プロセッサがマイクロプロセッサである可能性があり、またはプロセッサが任意の通常のプロセッサである可能性などがある。

本発明のこの実施形態によれば、プロセッサ160が前の実施形態において説明されたようにして画像処理を実行する可能性があることが理解され得る。

プロセッサ160は、
撮影された元画像の画像データを取得し、元画像が撮影されたときに使用された環境赤外線強度Iを取得し、
テストされた赤外線強度と赤外線画像データとの間の予め設定された対応に従ってIに対応する赤外線画像データを取得し、
元画像の画像データおよびIに対応する赤外線画像データに従って補正された画像データを取得し、
補正された画像データに従って対応する補正された画像を取得し、補正された画像をディスプレイ装置に出力するように構成される。

ディスプレイ装置140は、補正された画像を表示するように構成される。

本発明のこの実施形態において提供された端末によれば、画像品質に対する赤外線の影響が、一様な明るさを有する画像を取得するために、画像処理によって削減され得る。

任意で、対応は、テストされた赤外線強度I_xおよび赤外線画像データM_xのn個のグループを含む関係の組であり、赤外線画像データM_xは、テストされた赤外線強度I_xが撮像に関わるときに取得される赤外線画像データであり、ここで、xの値は、1、2、...、n-1、nであり、nは、1よりも大きな正の整数である。

プロセッサ160は、対応から、IがI_mとI_m+1との間であると決定することであって、mが、n以下であり、mが、0以上である、決定することと、予め設定された選択ポリシーに従って、I_mに対応するM_mまたはI_m+1に対応するM_m+1をIに対応する赤外線画像データとして決定することとを行うように特に構成される。

任意で、プロセッサ160は、下限を選択する予め設定されたポリシーに従って、I_mに対応するM_mをIに対応する赤外線画像データとして決定するように特に構成される。

任意で、プロセッサ160は、近さ選択ポリシーに従って、IとI_mとの間の差がI_m+1とIとの間の差以下である場合、I_mに対応するM_mをIに対応する赤外線画像データとして決定し、またはIとI_mとの間の差がI_m+1とIとの間の差よりも大きい場合、I_m+1に対応するM_m+1をIに対応する赤外線画像データとして決定するように特に構成される。

任意で、プロセッサ160は、元画像の画像データからIに対応する赤外線画像データを差し引くことによって補正された画像データを取得するように特に構成される。

任意で、プロセッサ160は、補正された画像に対してホワイトバランス処理を実行するようにさらに構成され、ホワイトバランスは、カラーバランスを取るために異なる色温度環境において三原色の割合が調整されることを意味する。

上述の実施形態において、モバイル端末は、端末、携帯情報端末(Personal Digital Assistant、PDA)、またはタブレットコンピュータなどのモバイル通信デバイスを含むがこれに限定されない。

当業者は、実施形態の方法のプロセスのすべてまたは一部が、関連するハードウェアに命令するコンピュータプログラムによって実装される可能性があることを理解し得ることに留意する必要がある。プログラムは、コンピュータ可読ストレージ媒体に記憶され得る。プログラムが実行されるとき、実施形態の方法のプロセスが実行される。ストレージ媒体は、磁気ディスク、光ディスク、読み出し専用メモリ、ランダムアクセスメモリなどである可能性がある。

上記は、本発明において提供される画像処理方法および装置を詳細に説明する。特定の実施形態が、本発明の原理および実装方式を説明するために本明細書において使用される。上述の実施形態は、本発明の方法および考えの理解を助けるように意図されているに過ぎない。加えて、実装方式および応用範囲に関して、本発明の考えに従って当業者によって修正がなされ得る。したがって、本明細書は、本発明に対する限定と見なされてはならない。本発明の実施形態において使用される用語は、特定の実施形態を説明することを目的としているに過ぎず、本発明を限定するように意図されていない。本発明の実施形態および添付の請求項において使用される単数形の用語「a」、「前記(said)」、および「the」は、文脈ではっきりとそうでないことが示されない限り複数形も含むように意図される。本明細書において使用される「および/または(and/or)」は、1つまたは複数の関連する列挙された項目のいずれかのまたはすべてのあり得る組合せを示し、含むことも理解されたい。

丁度よい簡潔な説明を目的として、上述の装置およびユニットの詳細な作業プロセスに関しては、上述の方法の実施形態の対応するプロセスが参照可能であり、詳細は本明細書において説明されないことが当業者によってはっきりと理解されるであろう。

本出願で提供されるいくつかの実施形態において、開示された装置および方法はその他の方式で実装され得ることを理解されたい。たとえば、説明された装置の実施形態は例示的であるに過ぎない。たとえば、ユニットの分割は、単に論理的な機能の分割であり、実際の実装ではその他の分割である可能性がある。たとえば、複数のユニットまたは構成要素が、組み合わされるか、もしくは別のシステムに統合される可能性があり、または一部の特徴が、無視されるか、もしくは実行されない可能性がある。加えて、示されたかまたは検討された相互の結合または直接的な結合または通信接続は、いくつかのインターフェースを使用することによって実装される可能性がある。装置またはユニットの間の間接的な結合または通信接続は、電子的、機械的、またはその他の形態で実装される可能性がある。

別々の部分として説明されたユニットは、物理的に分かれている可能性があり、または物理的に分かれていない可能性があり、ユニットとして示された部分は、物理的なユニットである可能性があり、または物理的なユニットではない可能性があり、1つの位置に配置される可能性があり、または複数のネットワークユニットに分散される可能性がある。ユニットの一部またはすべては、実施形態の解決策の目的を達成するための実際の必要性に応じて選択され得る。

加えて、本発明の実施形態の機能ユニットが、1つの処理ユニットに統合される可能性があり、またはユニットの各々が、物理的に独立して存在する可能性があり、または2つ以上のユニットが、1つのユニットに統合される。統合されたユニットは、ハードウェアの形態で実装される可能性があり、またはソフトウェアの機能ユニットの形態で実装される可能性がある。

統合されたユニットは、ソフトウェアの機能ユニットの形態で実装され、独立した製品として販売されるかまたは使用されるとき、コンピュータ可読ストレージ媒体に記憶され得る。そのような理解に基づいて、本発明の技術的な解決策は基本的にソフトウェア製品の形態で実装される可能性があり、あるいは従来技術、または技術的な解決策のすべてもしくは一部に寄与する部分はソフトウェア製品の形態で実装される可能性がある。ソフトウェア製品は、ストレージ媒体に記憶され、本発明の実施形態において説明された方法のステップのすべてまたは一部を実行するように(パーソナルコンピュータ、サーバ、またはネットワークデバイスである可能性がある)コンピュータデバイスに命じるためのいくつかの命令を含む。上述のストレージ媒体は、USBフラッシュドライブ、取り外し可能なハードディスク、読み出し専用メモリ(ROM、Read-Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、磁気ディスク、または光ディスクなどのプログラムコードを記憶することができる任意の媒体を含む。

上述の実施形態は、単に本発明の技術的な解決策を説明するために提供されており、本発明を限定するように意図されていない。本発明が上述の実施形態に関連して詳細に説明されているが、当業者は、当業者が、本発明の実施形態の技術的な解決策の精神および範囲を逸脱することなく、上述の実施形態で説明された技術的な解決策に対する修正をやはり行う可能性があり、またはそれらの技術的な解決策の一部の技術的な特徴に対して均等な置き換えを行う可能性があることを理解するに違いない。

30 装置
110 RF回路
120 メモリ
130 入力ユニット
131 カメラ
132 赤外線センサー
140 ディスプレイ装置
160 プロセッサ
170 音声回路
180 WiFiモジュール
190 電源
301 取得ユニット
302 決定ユニット
303 計算ユニット
304 補正画像取得ユニット
305 出力ユニット
306 処理ユニット
3021 第1の決定モジュール
3022 第2の決定モジュール

Claims

画像処理方法であって、
撮影された元画像の画像データを取得し、前記元画像が撮影されたときに使用された環境赤外線強度Iを取得するステップと、
テストされた赤外線強度と赤外線画像データとの間の予め設定された対応に従ってIに対応する赤外線画像データを取得するステップと、
前記元画像の前記画像データおよびIに対応する前記赤外線画像データに従って補正された画像データを取得するステップと、
前記補正された画像データに従って対応する補正された画像を取得し、前記補正された画像を出力するステップとを含む、方法。
前記対応が、テストされた赤外線強度I_xおよび赤外線画像データM_xのn個のグループを含む関係の組であり、前記赤外線画像データM_xが、前記テストされた赤外線強度I_xが撮像に関わるときに取得される赤外線画像データであり、xの値が、1、2、...、n-1、nであり、nが、1よりも大きな正の整数であり、
テストされた赤外線強度と赤外線画像データとの間の予め設定された対応に従ってIに対応する赤外線画像データを取得する前記ステップが、
前記対応から、IがI_mとI_m+1との間であると決定するステップであって、mが、n未満の正の整数である、ステップと、
予め設定された選択ポリシーに従って、I_mに対応するM_mまたはI_m+1に対応するM_m+1をIに対応する前記赤外線画像データとして決定するステップとを含む、請求項1に記載の方法。
予め設定された選択ポリシーに従って、I_mに対応するM_mまたはI_m+1に対応するM_m+1をIに対応する前記赤外線画像データとして決定する前記ステップが、
下限を選択する予め設定されたポリシーに従って、I_mに対応するM_mをIに対応する前記赤外線画像データとして決定するステップを含む、請求項2に記載の方法。
予め設定された選択ポリシーに従って、I_mに対応するM_mまたはI_m+1に対応するM_m+1をIに対応する前記赤外線画像データとして決定する前記ステップが、
近さ選択ポリシーに従って、IとI_mとの間の差がI_m+1とIとの間の差以下である場合、I_mに対応するM_mをIに対応する前記赤外線画像データとして決定し、またはIとI_mとの間の差がI_m+1とIとの間の差よりも大きい場合、I_m+1に対応するM_m+1をIに対応する前記赤外線画像データとして決定するステップを含む、請求項2に記載の方法。
前記元画像の前記画像データおよびIに対応する前記赤外線画像データに従って補正された画像データを取得する前記ステップが、
前記元画像の前記画像データからIに対応する前記赤外線画像データを差し引くことによって前記補正された画像データを取得するステップを含む、請求項1から4のいずれか一項に記載の方法。
前記方法が、前記補正された画像データに従って対応する補正された画像を取得した後、
前記補正された画像に対してホワイトバランス処理を実行するステップをさらに含み、ホワイトバランスが、カラーバランスを取るために異なる色温度環境において三原色の割合が調整されることを意味する、請求項1から5のいずれか一項に記載の方法。
画像処理装置であって、
撮影された元画像の画像データを取得し、前記元画像が撮影されたときに使用された環境赤外線強度Iを取得するように構成された取得ユニットと、
テストされた赤外線強度と赤外線画像データとの間の予め設定された対応に従って、前記取得ユニットによって取得されたIに対応する赤外線画像データを取得するように構成された決定ユニットと、
前記取得ユニットによって取得された前記元画像の前記画像データおよび前記決定ユニットによって取得されたIに対応する前記赤外線画像データに従って補正された画像データを取得するように構成された計算ユニットと、
前記計算ユニットによって取得された前記補正された画像データに従って対応する補正された画像を取得するように構成された補正画像取得ユニットと、
前記補正画像取得ユニットによって取得された前記補正された画像を出力するように構成された出力ユニットとを含む、装置。
前記決定ユニットが、
前記対応から、IがI_mとI_m+1との間にあると決定するように構成された第1の決定モジュールであって、前記対応が、テストされた赤外線強度I_xおよび赤外線画像データM_xのn個のグループを含む関係の組であり、前記赤外線画像データM_xが、前記テストされた赤外線強度I_xが撮像に関わるときに取得される赤外線画像データであり、xの値が、1、2、...、n-1、nであり、nが、1よりも大きな正の整数であり、mが、n未満の正の整数である、第1の決定モジュールと、
予め設定された選択ポリシーに従って、I_mに対応するM_mまたはI_m+1に対応するM_m+1をIに対応する前記赤外線画像データとして決定するように構成された第2の決定モジュールであって、I_mおよびI_m+1が、前記第1の決定モジュールによって決定される、第2の決定モジュールとを含む、請求項7に記載の装置。
前記第2の決定モジュールが、下限を選択する予め設定されたポリシーに従って、I_mに対応するM_mをIに対応する前記赤外線画像データとして決定するように特に構成される、請求項8に記載の装置。
前記第2の決定モジュールが、近さ選択ポリシーに従って、IとI_mとの間の差がI_m+1とIとの間の差以下である場合、I_mに対応するM_mをIに対応する前記赤外線画像データとして決定し、またはIとI_mとの間の差がI_m+1とIとの間の差よりも大きい場合、I_m+1に対応するM_m+1をIに対応する前記赤外線画像データとして決定するように特に構成される、請求項8に記載の装置。
前記計算ユニットが、前記元画像の前記画像データからIに対応する前記赤外線画像データを差し引くことによって前記補正された画像データを取得するように特に構成される、請求項7から10のいずれか一項に記載の装置。
前記装置が、前記補正画像取得ユニットによって取得された前記補正された画像に対してホワイトバランス処理を実行するように構成された処理ユニットをさらに含み、ホワイトバランスが、カラーバランスを取るために異なる色温度環境において三原色の割合が調整されることを意味する、請求項7から11のいずれか一項に記載の装置。
カメラ、赤外線センサー、プロセッサ、メモリ、およびディスプレイ装置を含む端末であって、
前記カメラが、元画像を撮影するように構成され、
前記赤外線センサーが、前記カメラが前記元画像を撮影するときに、環境赤外線を収集し、環境赤外線強度Iを取得するように構成され、
前記メモリが、テストされた赤外線強度と赤外線画像データとの間の予め設定された対応を記憶するように構成され、
前記プロセッサが、
撮影された元画像の画像データを取得し、前記元画像が撮影されたときに使用された前記環境赤外線強度Iを取得し、
テストされた赤外線強度と赤外線画像データとの間の前記予め設定された対応に従ってIに対応する赤外線画像データを取得し、
前記元画像の前記画像データおよびIに対応する前記赤外線画像データに従って補正された画像データを取得し、
前記補正された画像データに従って対応する補正された画像を取得し、前記補正された画像を前記ディスプレイ装置に出力するように構成され、
前記ディスプレイ装置が、前記補正された画像を表示するように構成される、端末。
前記対応が、テストされた赤外線強度I_xおよび赤外線画像データM_xのn個のグループを含む関係の組であり、前記赤外線画像データM_xが、前記テストされた赤外線強度I_xが撮像に関わるときに取得される赤外線画像データであり、xの値が、1、2、...、n-1、nであり、nが、1よりも大きな正の整数であり、
前記プロセッサが、前記対応から、IがI_mとI_m+1との間であると決定することであって、mが、n未満の正の整数である、決定することと、予め設定された選択ポリシーに従って、I_mに対応するM_mまたはI_m+1に対応するM_m+1をIに対応する前記赤外線画像データとして決定することとを行うように特に構成される、請求項13に記載の端末。
前記プロセッサが、下限を選択する予め設定されたポリシーに従って、I_mに対応するM_mをIに対応する前記赤外線画像データとして決定するように特に構成される、請求項14に記載の端末。
前記プロセッサが、近さ選択ポリシーに従って、IとI_mとの間の差がI_m+1とIとの間の差以下である場合、I_mに対応するM_mをIに対応する前記赤外線画像データとして決定し、またはIとI_mとの間の差がI_m+1とIとの間の差よりも大きい場合、I_m+1に対応するM_m+1をIに対応する前記赤外線画像データとして決定するように特に構成される、請求項14に記載の端末。
前記プロセッサが、前記元画像の前記画像データからIに対応する前記赤外線画像データを差し引くことによって前記補正された画像データを取得するように特に構成される、請求項13から16のいずれか一項に記載の端末。
前記プロセッサが、前記対応する補正された画像が前記補正された画像データに従って取得された後、前記補正された画像に対してホワイトバランス処理を実行するようにさらに構成され、ホワイトバランスが、カラーバランスを取るために異なる色温度環境において三原色の割合が調整されることを意味する、請求項13から17のいずれか一項に記載の端末。