JPH10112866A - 画像処理装置及び方法 - Google Patents
画像処理装置及び方法Info
- Publication number
- JPH10112866A JPH10112866A JP26443896A JP26443896A JPH10112866A JP H10112866 A JPH10112866 A JP H10112866A JP 26443896 A JP26443896 A JP 26443896A JP 26443896 A JP26443896 A JP 26443896A JP H10112866 A JPH10112866 A JP H10112866A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- image data
- pixel
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
(57)【要約】
【課題】 高精細の画像を受信側で早期に認識できるよ
うにする。 【解決手段】 撮像素子２０はＣＭＧＹの補色モザイク
フィルタを具備する。光軸シフタ１４により撮影光軸を
右、下及び左と１画素シフトさせ、色処理回路３２が４
つの光軸位置での撮影画像からＲＧＢ画像データを生成
する。生成された画像データ（フレーム１）はメモリ３
４に記憶され、符号化回路３８により符号化されて通信
回線４０に出力される。更に、光軸シフタ１４により光
軸を右側、斜め及び下側に半画素シフトした位置を基準
に同様に１画素シフト処理でフレーム２、３及び４を生
成する。符号化回路３８は、フレーム２、３及び４をフ
レーム１の差分をとって符号化して通信回線４０に送出
する。受信側は、各フレーム１〜４を受信すると、以前
に受信したフレームに合成して映像表示する。
うにする。 【解決手段】 撮像素子２０はＣＭＧＹの補色モザイク
フィルタを具備する。光軸シフタ１４により撮影光軸を
右、下及び左と１画素シフトさせ、色処理回路３２が４
つの光軸位置での撮影画像からＲＧＢ画像データを生成
する。生成された画像データ（フレーム１）はメモリ３
４に記憶され、符号化回路３８により符号化されて通信
回線４０に出力される。更に、光軸シフタ１４により光
軸を右側、斜め及び下側に半画素シフトした位置を基準
に同様に１画素シフト処理でフレーム２、３及び４を生
成する。符号化回路３８は、フレーム２、３及び４をフ
レーム１の差分をとって符号化して通信回線４０に送出
する。受信側は、各フレーム１〜４を受信すると、以前
に受信したフレームに合成して映像表示する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理装置及び
方法に関し、より具体的には、高解像度画像を伝送する
ための画像処理装置及び方法に関する。
方法に関し、より具体的には、高解像度画像を伝送する
ための画像処理装置及び方法に関する。
【０００２】
【従来の技術】画像を伝送する場合、送信側で周知の高
能率圧縮方式により画像情報を圧縮し、受信側で圧縮画
像情報を伸長するのが普通である。自然画像の圧縮方式
には、例えば、ＪＰＥＧ方式が知られている。。
能率圧縮方式により画像情報を圧縮し、受信側で圧縮画
像情報を伸長するのが普通である。自然画像の圧縮方式
には、例えば、ＪＰＥＧ方式が知られている。。
【０００３】
【発明が解決しようとする課題】ＪＰＥＧ方式には、Ｄ
ＣＴ（離散コサイン変換）を使用する非可逆方法と、Ｓ
ｐａｔｉａｌ方式と呼ばれる可逆方法がある。いずれの
圧縮アルゴリズムも、送信すべき１画面の画像全体が得
られない限り、圧縮の符号化行程に進めないので、その
間、受信側は、受信待ちの状態になり、画像を確認（例
えば、モニタに表示）できない。
ＣＴ（離散コサイン変換）を使用する非可逆方法と、Ｓ
ｐａｔｉａｌ方式と呼ばれる可逆方法がある。いずれの
圧縮アルゴリズムも、送信すべき１画面の画像全体が得
られない限り、圧縮の符号化行程に進めないので、その
間、受信側は、受信待ちの状態になり、画像を確認（例
えば、モニタに表示）できない。
【０００４】本発明は、このような問題点を解決し、伝
送画像を受信側でより早く確認できる画像処理装置及び
方法を提示することを目的とする。
送画像を受信側でより早く確認できる画像処理装置及び
方法を提示することを目的とする。
【０００５】本発明はまた、圧縮符号化をより早く開始
できる画像処理装置及び方法を提示することを目的とす
る。
できる画像処理装置及び方法を提示することを目的とす
る。
【０００６】
【課題を解決するための手段】本発明では、前記画素ず
らし機構により画素をずらして同じ被写体像を複数回撮
像し、それで得られた複数の画像データを符号化して、
伝送路を介して伝送する。これにより、高精細な画像情
報を早期に伝送でき、受信側で早期に確認できる。
らし機構により画素をずらして同じ被写体像を複数回撮
像し、それで得られた複数の画像データを符号化して、
伝送路を介して伝送する。これにより、高精細な画像情
報を早期に伝送でき、受信側で早期に確認できる。
【０００７】所定回数のｎ画素ずらしの処理による第１
のフレーム画像と、前記第１のフレーム画像の基準位置
から所定方向にｍ画素ずらしの後の前記所定回数のｎ画
素ずらしによる第２のフレーム画像を撮像することによ
り、フレーム単独の解像度を越える解像度の画像を得る
ことが出来る。また、第２のフレーム画像を第１のフレ
ーム画像からの差分として符号化することにより、第２
のフレーム画像の伝送データ量を削減でき、伝送時間を
短縮できる。
のフレーム画像と、前記第１のフレーム画像の基準位置
から所定方向にｍ画素ずらしの後の前記所定回数のｎ画
素ずらしによる第２のフレーム画像を撮像することによ
り、フレーム単独の解像度を越える解像度の画像を得る
ことが出来る。また、第２のフレーム画像を第１のフレ
ーム画像からの差分として符号化することにより、第２
のフレーム画像の伝送データ量を削減でき、伝送時間を
短縮できる。
【０００８】受信側で、各フレームを受信する毎に、以
前に受信した１以上のフレームを合成して原画像を再構
築することにより、受信側では、徐々に細密になる形で
原画像を確認できる。
前に受信した１以上のフレームを合成して原画像を再構
築することにより、受信側では、徐々に細密になる形で
原画像を確認できる。
【０００９】
【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態を詳細に説明する。
実施の形態を詳細に説明する。
【００１０】図１は、本発明の一実施例の送信側の概略
構成ブロック図を示し、図２は、受信側の概略構成ブロ
ック図を示す。
構成ブロック図を示し、図２は、受信側の概略構成ブロ
ック図を示す。
【００１１】先ず、図１に示す送信側の構成を説明す
る。１０は撮影レンズ、１２は絞り、１４は平行平板か
らなり、撮影レンズ１０による光軸を横方向に任意量シ
フトする光軸シフタである。１６は撮影レンズ１０及び
絞り１２を駆動する駆動回路、１８は撮影レンズ１０の
光軸に対する光軸シフタ１４の傾き量により光軸シフタ
１４の光軸シフト量を制御する制御回路である。
る。１０は撮影レンズ、１２は絞り、１４は平行平板か
らなり、撮影レンズ１０による光軸を横方向に任意量シ
フトする光軸シフタである。１６は撮影レンズ１０及び
絞り１２を駆動する駆動回路、１８は撮影レンズ１０の
光軸に対する光軸シフタ１４の傾き量により光軸シフタ
１４の光軸シフト量を制御する制御回路である。
【００１２】２０は補色モザイク・フィルタを具備し、
撮影レンズ１０、絞り１２及び光軸シフタ１４を通過し
た被写体の光学像を電気信号に変換する撮像素子であ
る。なお、撮像素子２０の補色モザイクフィルタは、マ
ゼンタ（Ｍ）、グリーン（Ｇ）、シアン（Ｃ）、及びイ
エロー（Ｙ）からなる。２２は撮像素子２０の出力信号
をサンプル・ホールドし、その利得を自動制御するＳ／
Ｈ・ＡＧＣ回路、２４はＳ／Ｈ・ＡＧＣ回路のアナログ
信号出力をディジタル信号に変換するＡ／Ｄ変換器、２
６は撮像素子２０、Ｓ／Ｈ・ＡＧＣ回路２２及びＡ／Ｄ
変換器２４に、これらの動作タイミングを規定するタイ
ミング信号を供給するタイミング発生回路である。
撮影レンズ１０、絞り１２及び光軸シフタ１４を通過し
た被写体の光学像を電気信号に変換する撮像素子であ
る。なお、撮像素子２０の補色モザイクフィルタは、マ
ゼンタ（Ｍ）、グリーン（Ｇ）、シアン（Ｃ）、及びイ
エロー（Ｙ）からなる。２２は撮像素子２０の出力信号
をサンプル・ホールドし、その利得を自動制御するＳ／
Ｈ・ＡＧＣ回路、２４はＳ／Ｈ・ＡＧＣ回路のアナログ
信号出力をディジタル信号に変換するＡ／Ｄ変換器、２
６は撮像素子２０、Ｓ／Ｈ・ＡＧＣ回路２２及びＡ／Ｄ
変換器２４に、これらの動作タイミングを規定するタイ
ミング信号を供給するタイミング発生回路である。
【００１３】２８はＡ／Ｄ変換器２４の出力データを一
時記憶するメモリ、３０はメモリ２８の書き込み及び読
み出しを制御するメモリ制御回路、３２は、Ａ／Ｄ変換
器２４の出力データ又はメモリ２８から読み出されたデ
ータを、ＣＭＹＧ空間からＲＧＢ空間に変換する色処理
回路、３４は色処理回路３２の出力データを一時記憶す
るメモリ、３６はメモリ３４の書き込み及び読み出しを
制御するメモリ制御回路、３８はメモリ３４から読み出
されたデータを圧縮符号化して通信回線４０に出力する
符号化回路である。
時記憶するメモリ、３０はメモリ２８の書き込み及び読
み出しを制御するメモリ制御回路、３２は、Ａ／Ｄ変換
器２４の出力データ又はメモリ２８から読み出されたデ
ータを、ＣＭＹＧ空間からＲＧＢ空間に変換する色処理
回路、３４は色処理回路３２の出力データを一時記憶す
るメモリ、３６はメモリ３４の書き込み及び読み出しを
制御するメモリ制御回路、３８はメモリ３４から読み出
されたデータを圧縮符号化して通信回線４０に出力する
符号化回路である。
【００１４】４２は、タイミング発生回路２６及びメモ
リ制御回路３０，３６に同期信号を供給する同期信号発
生回路、４４は全体を制御するシステム制御回路であ
る。
リ制御回路３０，３６に同期信号を供給する同期信号発
生回路、４４は全体を制御するシステム制御回路であ
る。
【００１５】図２に示す受信側の構成を説明する。５０
は通信回線４０から受信した圧縮画像データを伸長する
復号化回路、５２は復号化回路５０の出力データを一時
記憶するメモリ、５４はメモリ５２の書き込み及び読み
出しを制御するメモリ制御回路、５６はメモリ５２から
読み出された画像データをモニタ表示用に記憶するフレ
ーム・バッファ、５８はフレーム・バッファ５６からの
画像データを映像表示するモニタ、６０は全体を制御す
るシステム制御回路である。
は通信回線４０から受信した圧縮画像データを伸長する
復号化回路、５２は復号化回路５０の出力データを一時
記憶するメモリ、５４はメモリ５２の書き込み及び読み
出しを制御するメモリ制御回路、５６はメモリ５２から
読み出された画像データをモニタ表示用に記憶するフレ
ーム・バッファ、５８はフレーム・バッファ５６からの
画像データを映像表示するモニタ、６０は全体を制御す
るシステム制御回路である。
【００１６】本実施例の動作を具体的に説明する前に、
撮影光軸を横シフトすることにより、撮像素子２０の本
来の解像度以上の解像度の画像信号を生成する方法を簡
単に説明する。
撮影光軸を横シフトすることにより、撮像素子２０の本
来の解像度以上の解像度の画像信号を生成する方法を簡
単に説明する。
【００１７】光軸シフタ１４が平行平板からなるので、
周知の通り、撮影光軸に対する光軸シフタ１４の角度
を、撮影光軸に垂直な２軸について変えることにより撮
影光軸を横方向にシフトできる。即ち、光軸シフタ１４
の角度により、撮像素子２０の光電変換面上の光学像
を、例えば、光電変換面の水平方向と垂直方向で１画素
ピッチ又は１／２画素ピッチ、横移動させることができ
る。この画素ずらし処理の詳細は、平成６年特許願第１
０６６４３号に説明されている。
周知の通り、撮影光軸に対する光軸シフタ１４の角度
を、撮影光軸に垂直な２軸について変えることにより撮
影光軸を横方向にシフトできる。即ち、光軸シフタ１４
の角度により、撮像素子２０の光電変換面上の光学像
を、例えば、光電変換面の水平方向と垂直方向で１画素
ピッチ又は１／２画素ピッチ、横移動させることができ
る。この画素ずらし処理の詳細は、平成６年特許願第１
０６６４３号に説明されている。
【００１８】本実施例では、このような画素ずらし処理
を利用することにより、撮像素子２０の基本的な解像度
を越える高解像度の画像信号を生成する。例えば、１画
素ずらし処理により、三板カメラ相当の解像度を得るこ
とができる。図３は、１画素ずらし処理を図解する説明
図である。図３では、簡単のために、撮影光軸を横シフ
トするのではなく、撮像素子２０を横に移動させるかの
ごとく図示してある。図３（１）〜（４）で斜線を施し
た画素が、被写体光学像の同じ位置になる。図３（２）
は同（１）に対し撮像素子２０を相対的に水平右方向に
１画素ずらしたものになり、同（３）は同（２）に対し
撮像素子２０を相対的に垂直下方向に１画素ずらしたも
のになり、同（４）は同（３）に対し撮像素子２０を相
対的に水平左方向に１画素ずらしたものになっている。
このようにして、被写体光学像の同じ位置に対し各補色
Ｍ，Ｇ，Ｃ，Ｙの信号が得られ、色変換によりその位置
のＲＧＢ信号を得ることが出来る。この一連の１画素ず
らし処理により得られた画像をフレーム１とする。
を利用することにより、撮像素子２０の基本的な解像度
を越える高解像度の画像信号を生成する。例えば、１画
素ずらし処理により、三板カメラ相当の解像度を得るこ
とができる。図３は、１画素ずらし処理を図解する説明
図である。図３では、簡単のために、撮影光軸を横シフ
トするのではなく、撮像素子２０を横に移動させるかの
ごとく図示してある。図３（１）〜（４）で斜線を施し
た画素が、被写体光学像の同じ位置になる。図３（２）
は同（１）に対し撮像素子２０を相対的に水平右方向に
１画素ずらしたものになり、同（３）は同（２）に対し
撮像素子２０を相対的に垂直下方向に１画素ずらしたも
のになり、同（４）は同（３）に対し撮像素子２０を相
対的に水平左方向に１画素ずらしたものになっている。
このようにして、被写体光学像の同じ位置に対し各補色
Ｍ，Ｇ，Ｃ，Ｙの信号が得られ、色変換によりその位置
のＲＧＢ信号を得ることが出来る。この一連の１画素ず
らし処理により得られた画像をフレーム１とする。
【００１９】更に、図４に示すように、図３（１）に示
す位置から相対的に水平方向に半画素ずらした位置を基
準に、同様の１画素ずらし処理を実行する。これで得ら
れる画像をフレーム２とする。図４（１）は、図３
（１）の状態から、撮像素子２０を相対的に水平方向右
側に半画素だけシフトした状態を示す。図４（２），
（３）及び（４）は、図４（１）を基準に、図３と同様
に１画素ずらしを実行した状態を示す。
す位置から相対的に水平方向に半画素ずらした位置を基
準に、同様の１画素ずらし処理を実行する。これで得ら
れる画像をフレーム２とする。図４（１）は、図３
（１）の状態から、撮像素子２０を相対的に水平方向右
側に半画素だけシフトした状態を示す。図４（２），
（３）及び（４）は、図４（１）を基準に、図３と同様
に１画素ずらしを実行した状態を示す。
【００２０】今度は、図５に示すように、図３（１）に
示す位置から相対的に水平及び垂直方向に半画素ずらし
た位置を基準に、同様の１画素ずらし処理を実行する。
これで得られる画像をフレーム３とする。図５（１）
は、図３（１）の状態から、撮像素子２０を相対的に水
平方向右側及び垂直方向下側にそれぞれ半画素だけシフ
トした状態を示す。図５（２），（３）及び（４）は、
図５（１）を基準に、図３と同様に１画素ずらしを実行
した状態を示す。
示す位置から相対的に水平及び垂直方向に半画素ずらし
た位置を基準に、同様の１画素ずらし処理を実行する。
これで得られる画像をフレーム３とする。図５（１）
は、図３（１）の状態から、撮像素子２０を相対的に水
平方向右側及び垂直方向下側にそれぞれ半画素だけシフ
トした状態を示す。図５（２），（３）及び（４）は、
図５（１）を基準に、図３と同様に１画素ずらしを実行
した状態を示す。
【００２１】最後に、図６に示すように、図３（１）に
示す位置から相対的に垂直方向に半画素ずらした位置を
基準に、同様の１画素ずらし処理を実行する。これで得
られる画像をフレーム４とする。図６（１）は、図３
（１）の状態から、撮像素子２０を相対的に垂直方向下
側に半画素だけシフトした状態を示す。図６（２），
（３）及び（４）は、図６（１）を基準に、図３と同様
に１画素ずらしを実行した状態を示す。
示す位置から相対的に垂直方向に半画素ずらした位置を
基準に、同様の１画素ずらし処理を実行する。これで得
られる画像をフレーム４とする。図６（１）は、図３
（１）の状態から、撮像素子２０を相対的に垂直方向下
側に半画素だけシフトした状態を示す。図６（２），
（３）及び（４）は、図６（１）を基準に、図３と同様
に１画素ずらしを実行した状態を示す。
【００２２】本実施例の動作を具体的に説明する。タイ
ミング発生回路２６は、同期信号発生回路４２からの同
期信号に従い、撮像素子２０、Ｓ／Ｈ・ＡＧＣ回路２２
及びＡ／Ｄ変換器２４に所定周波数のタイミング信号を
供給する。このタイミング信号に従い、撮像素子２０は
光電変換面の光学像に対応する電荷信号をＳ／Ｈ・ＡＧ
Ｃ回路２２に出力し、Ｓ／Ｈ・ＡＧＣ回路２２は、撮像
素子２０の出力信号を相関二重サンプリングすると共に
利得調整し、Ａ／Ｄ変換器２４はＳ／Ｈ・ＡＧＣ回路２
２の出力をディジタル信号に変換する。この段階のＡ／
Ｄ変換器２４の出力データは、メモリ２８に一時記憶さ
れる。
ミング発生回路２６は、同期信号発生回路４２からの同
期信号に従い、撮像素子２０、Ｓ／Ｈ・ＡＧＣ回路２２
及びＡ／Ｄ変換器２４に所定周波数のタイミング信号を
供給する。このタイミング信号に従い、撮像素子２０は
光電変換面の光学像に対応する電荷信号をＳ／Ｈ・ＡＧ
Ｃ回路２２に出力し、Ｓ／Ｈ・ＡＧＣ回路２２は、撮像
素子２０の出力信号を相関二重サンプリングすると共に
利得調整し、Ａ／Ｄ変換器２４はＳ／Ｈ・ＡＧＣ回路２
２の出力をディジタル信号に変換する。この段階のＡ／
Ｄ変換器２４の出力データは、メモリ２８に一時記憶さ
れる。
【００２３】システム制御回路４４は制御回路１８を介
して光軸シフタ１４に撮影光軸を図３（２）〜（４）に
示すように横シフトさせる。図３（２）及び図同（３）
に対応する横シフトの画像データは、メモリ２８に格納
され、図３（４）に対応する画像データがＡ／Ｄ変換器
２４から出力される段階で、メモリ制御回路３０は、メ
モリ２８から図３（１）〜（３）に対応する３つの画像
データの読み出し、色処理回路３２に供給する。これに
より、色処理回路３２には、同じ被写体位置の４つの補
色データが同時に入力されることになり、色処理回路３
２はその補色データからＲＧＢデータを算出する。得ら
れたＲＧＢ画像データ（即ち、フレーム１）は、メモリ
３４に一時記憶される。
して光軸シフタ１４に撮影光軸を図３（２）〜（４）に
示すように横シフトさせる。図３（２）及び図同（３）
に対応する横シフトの画像データは、メモリ２８に格納
され、図３（４）に対応する画像データがＡ／Ｄ変換器
２４から出力される段階で、メモリ制御回路３０は、メ
モリ２８から図３（１）〜（３）に対応する３つの画像
データの読み出し、色処理回路３２に供給する。これに
より、色処理回路３２には、同じ被写体位置の４つの補
色データが同時に入力されることになり、色処理回路３
２はその補色データからＲＧＢデータを算出する。得ら
れたＲＧＢ画像データ（即ち、フレーム１）は、メモリ
３４に一時記憶される。
【００２４】符号化回路３８は、フレーム１の画像デー
タ（色処理回路３２の出力データをそのまま利用する
か、又は、メモリ３４から読み出す。）を可逆符号化方
式で圧縮符号化し、通信回線４０に送出する。フレーム
１の圧縮符号化方式は、フレーム１の画像データが受信
側で、フレーム２以降の画像データの復元に利用される
ことを考慮すると、可逆方式が理想であるが、画質劣化
が少なければ、非可逆符号化方式であってもよい。
タ（色処理回路３２の出力データをそのまま利用する
か、又は、メモリ３４から読み出す。）を可逆符号化方
式で圧縮符号化し、通信回線４０に送出する。フレーム
１の圧縮符号化方式は、フレーム１の画像データが受信
側で、フレーム２以降の画像データの復元に利用される
ことを考慮すると、可逆方式が理想であるが、画質劣化
が少なければ、非可逆符号化方式であってもよい。
【００２５】送信側は、更に、図４に示すように半画素
ずらしと、その後の１画素ずらし処理により、フレーム
２の画像データを生成する。撮像素子２０から色処理回
路３２までの処理はフレーム１の場合と同じである。色
処理回路３２から出力されるフレーム１のＲＧＢデータ
は符号化回路３８に供給される。符号化回路３８はメモ
リ３４からフレーム１の画像データを読み出し、色処理
回路３２からのフレーム２の画像データの差分を算出
し、その差分画像データを可逆符号化方式で符号化して
通信回線４０に送出する。このときも、信号劣化が少な
ければ、非可逆符号化方式であってもよい。
ずらしと、その後の１画素ずらし処理により、フレーム
２の画像データを生成する。撮像素子２０から色処理回
路３２までの処理はフレーム１の場合と同じである。色
処理回路３２から出力されるフレーム１のＲＧＢデータ
は符号化回路３８に供給される。符号化回路３８はメモ
リ３４からフレーム１の画像データを読み出し、色処理
回路３２からのフレーム２の画像データの差分を算出
し、その差分画像データを可逆符号化方式で符号化して
通信回線４０に送出する。このときも、信号劣化が少な
ければ、非可逆符号化方式であってもよい。
【００２６】同様に、図５及び図６で説明したフレーム
３及びフレーム４の画像データを、フレーム１との間の
差分画像データとして符号化し、通信回線４０に送出す
る。
３及びフレーム４の画像データを、フレーム１との間の
差分画像データとして符号化し、通信回線４０に送出す
る。
【００２７】受信側では、復号化回路５０が、通信回線
４０からフレーム１，２，３及び４の圧縮画像データを
受信して伸長し、復元されたフレーム１，２，３及び４
の画像データはメモリ５２に印加される。フレーム１の
画像データはそのままメモリ５２に格納され、フレーム
２，３，及び４の画像データは差分画像データになって
いるので、メモリ５２に先に記憶されたフレーム１の画
像データを加算されて、それぞれに対応する記憶位置に
記憶される。
４０からフレーム１，２，３及び４の圧縮画像データを
受信して伸長し、復元されたフレーム１，２，３及び４
の画像データはメモリ５２に印加される。フレーム１の
画像データはそのままメモリ５２に格納され、フレーム
２，３，及び４の画像データは差分画像データになって
いるので、メモリ５２に先に記憶されたフレーム１の画
像データを加算されて、それぞれに対応する記憶位置に
記憶される。
【００２８】メモリ５２に記憶される画像データは適宜
に読み出されてフレーム・バッファ５６に書き込まれ、
フレーム・バッファ５６に格納された画像データは、モ
ニタ５８の画面上に映像表示される。フレーム１の受信
画像データがフレーム・バッファ５６に書き込まれた段
階では、モニタ５８の画面に表示される画像の解像度
は、フレーム１に相当する解像度である。フレーム２，
３及び４と受信され、フレーム・バッファ５６にそれら
の画像データが書き込まれるに従い、モニタ５８の画面
に表示される画像の解像度が向上する。
に読み出されてフレーム・バッファ５６に書き込まれ、
フレーム・バッファ５６に格納された画像データは、モ
ニタ５８の画面上に映像表示される。フレーム１の受信
画像データがフレーム・バッファ５６に書き込まれた段
階では、モニタ５８の画面に表示される画像の解像度
は、フレーム１に相当する解像度である。フレーム２，
３及び４と受信され、フレーム・バッファ５６にそれら
の画像データが書き込まれるに従い、モニタ５８の画面
に表示される画像の解像度が向上する。
【００２９】フレーム１〜４の合成画像の表示が最終的
な目的であるので、フレーム４の受信まで映像表示を停
止してもよいが、ユーザがモニタ５８の画面を直視して
いるような場合には、徐々に解像度の上がる画像が表示
される方が、最後のデータ（フレーム４）を受信するま
で映像表示を停止するよりも、ユーザにより好ましい印
象を与えられる。
な目的であるので、フレーム４の受信まで映像表示を停
止してもよいが、ユーザがモニタ５８の画面を直視して
いるような場合には、徐々に解像度の上がる画像が表示
される方が、最後のデータ（フレーム４）を受信するま
で映像表示を停止するよりも、ユーザにより好ましい印
象を与えられる。
【００３０】図７は、本実施例のフレーム１〜４の伝送
方法の概念図を示す。図７に示すように、本実施例で
は、フレーム１はフレーム１のみで圧縮符号化されて伝
送され、受信側で伸長される。フレーム２，３，４につ
いてはフレーム１との差分を符号化して伝送し、受信側
でフレーム１を加算して元の画像データを復元する。受
信側で復元されたフレーム１〜４の各画素データは、各
フレームの撮像位置、即ち被写体位置に対応するフレー
ム・バッファ５６上の記憶位置に書き込まれる。具体的
には、フレーム１の画像データに対し、水平方向に半画
素ピッチずらしてフレーム２の画像データを合成し、水
平方向及び垂直方向の両方に半画素ピッチずらしてフレ
ーム３の画像データを合成し、垂直方向に半画素ピッチ
ずらしてフレーム４の画像データを合成する。
方法の概念図を示す。図７に示すように、本実施例で
は、フレーム１はフレーム１のみで圧縮符号化されて伝
送され、受信側で伸長される。フレーム２，３，４につ
いてはフレーム１との差分を符号化して伝送し、受信側
でフレーム１を加算して元の画像データを復元する。受
信側で復元されたフレーム１〜４の各画素データは、各
フレームの撮像位置、即ち被写体位置に対応するフレー
ム・バッファ５６上の記憶位置に書き込まれる。具体的
には、フレーム１の画像データに対し、水平方向に半画
素ピッチずらしてフレーム２の画像データを合成し、水
平方向及び垂直方向の両方に半画素ピッチずらしてフレ
ーム３の画像データを合成し、垂直方向に半画素ピッチ
ずらしてフレーム４の画像データを合成する。
【００３１】これにより、フレーム１の解像度に対し水
平方向及び垂直方向にそれぞれ２倍の高解像度の画像が
モニタ５８の画面に表示される。換言すると、各フレー
ム１〜４は、最終的な高解像度画像を１／４にサブサン
プリングしたものになっている。フレーム１自体が、撮
像素子２０の補色モザイクフィルタの各補色を１画素と
見た解像度になっているので、モニタ５８に最終的に表
示される画像は、撮像素子２０で通常得られる解像度よ
りも格段に高い解像度になっている。フレーム２〜４に
ついて差分値を符号化するので、伝送符号量を大幅に削
減できる。
平方向及び垂直方向にそれぞれ２倍の高解像度の画像が
モニタ５８の画面に表示される。換言すると、各フレー
ム１〜４は、最終的な高解像度画像を１／４にサブサン
プリングしたものになっている。フレーム１自体が、撮
像素子２０の補色モザイクフィルタの各補色を１画素と
見た解像度になっているので、モニタ５８に最終的に表
示される画像は、撮像素子２０で通常得られる解像度よ
りも格段に高い解像度になっている。フレーム２〜４に
ついて差分値を符号化するので、伝送符号量を大幅に削
減できる。
【００３２】フレーム１を基準フレームとせずに、直前
のフレームを基準フレームとしてフレーム２〜４を差分
符号化してもよい。図８は、その場合のフレーム１〜４
の伝送方法の概念図を示す。直前のフレームを基準フレ
ームとする差分符号化のためには、メモリ３４に記憶さ
れるフレームを、フレーム毎に更新すればよい。例え
ば、色処理回路３２がフレーム２の画像データを出力す
るとき、メモリ３４は記憶するフレーム１の画像データ
を符号化回路３８に出力すると共に、色処理回路３２か
ら出力されるフレーム２の画像データを記憶していく。
フレーム３，４についても同様に、メモリ３４の記憶内
容を更新する。メモリ３４が２フレーム分の記憶容量を
具備するようにすれば、容易に実現できる。
のフレームを基準フレームとしてフレーム２〜４を差分
符号化してもよい。図８は、その場合のフレーム１〜４
の伝送方法の概念図を示す。直前のフレームを基準フレ
ームとする差分符号化のためには、メモリ３４に記憶さ
れるフレームを、フレーム毎に更新すればよい。例え
ば、色処理回路３２がフレーム２の画像データを出力す
るとき、メモリ３４は記憶するフレーム１の画像データ
を符号化回路３８に出力すると共に、色処理回路３２か
ら出力されるフレーム２の画像データを記憶していく。
フレーム３，４についても同様に、メモリ３４の記憶内
容を更新する。メモリ３４が２フレーム分の記憶容量を
具備するようにすれば、容易に実現できる。
【００３３】この場合でも、フレーム１はフレーム１の
みで圧縮符号化されて伝送され、受信側で伸長される。
フレーム２は、フレーム１を基準に差分符号化され伝送
され、フレーム３はフレーム２を基準に差分符号化され
て伝送され、フレーム４はフレーム３を基準に差分符号
化されて伝送される。各差分符号化データは、受信側で
基準となったフレームの復元データを加算されて、元の
画像データに復元される。
みで圧縮符号化されて伝送され、受信側で伸長される。
フレーム２は、フレーム１を基準に差分符号化され伝送
され、フレーム３はフレーム２を基準に差分符号化され
て伝送され、フレーム４はフレーム３を基準に差分符号
化されて伝送される。各差分符号化データは、受信側で
基準となったフレームの復元データを加算されて、元の
画像データに復元される。
【００３４】受信側で復元されたフレーム１〜４の各画
素データは、図７の場合と同様に、各フレームの撮像位
置、即ち被写体位置に対応するフレーム・バッファ５６
上の記憶位置に書き込まれる。具体的には、フレーム１
の画像データに対し、水平方向に半画素ピッチずらして
フレーム２の画像データを合成し、水平方向及び垂直方
向の両方に半画素ピッチずらしてフレーム３の画像デー
タを合成し、垂直方向に半画素ピッチずらしてフレーム
４の画像データを合成する。これにより、高解像度の画
像がモニタ５８の画面に表示される。この場合にも、フ
レーム２〜４について差分値を符号化するので、伝送符
号量を大幅に削減できる。
素データは、図７の場合と同様に、各フレームの撮像位
置、即ち被写体位置に対応するフレーム・バッファ５６
上の記憶位置に書き込まれる。具体的には、フレーム１
の画像データに対し、水平方向に半画素ピッチずらして
フレーム２の画像データを合成し、水平方向及び垂直方
向の両方に半画素ピッチずらしてフレーム３の画像デー
タを合成し、垂直方向に半画素ピッチずらしてフレーム
４の画像データを合成する。これにより、高解像度の画
像がモニタ５８の画面に表示される。この場合にも、フ
レーム２〜４について差分値を符号化するので、伝送符
号量を大幅に削減できる。
【００３５】
【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、撮像系の画素ずらし処理等により
画像情報を複数のサブサンプリング画像として情報圧縮
して伝送するので、受信側で早期に画像の概要を把握及
び確認できるようになる。
に、本発明によれば、撮像系の画素ずらし処理等により
画像情報を複数のサブサンプリング画像として情報圧縮
して伝送するので、受信側で早期に画像の概要を把握及
び確認できるようになる。
【図１】 本発明の一実施例の送信側の概略構成ブロッ
ク図である。
ク図である。
【図２】 本発明の一実施例の受信側の概略構成ブロッ
ク図である。
ク図である。
【図３】 一画素ずらし処理の説明図である。
【図４】 右半画素ずらし後の一画素ずらし処理の説明
図である。
図である。
【図５】 右下半画素ずらし後の一画素ずらし処理の説
明図である。
明図である。
【図６】 下半画素ずらし後の一画素ずらし処理の説明
図である。
図である。
【図７】 フレーム２〜４をフレーム１からの差分とし
て伝送する場合の概略機能ブロック図である。
て伝送する場合の概略機能ブロック図である。
【図８】 フレーム２〜４を前のフレーム１〜３からの
差分として伝送する場合の概略機能ブロック図である。
差分として伝送する場合の概略機能ブロック図である。
１０：撮影レンズ １２：絞り １４：光軸シフタ １６：駆動回路 １８：制御回路 ２０：撮像素子 ２２：Ｓ／Ｈ・ＡＧＣ回路 ２４：Ａ／Ｄ変換器 ２６：タイミング発生回路 ２８：メモリ ３０：メモリ制御回路 ３２：色処理回路 ３４：メモリ ３６：メモリ制御回路 ３８：符号化回路 ４０：通信回線 ４２：同期信号発生回路 ４４：システム制御回路 ５０：復号化回路 ５２：メモリ ５４：メモリ制御回路 ５６：フレーム・バッファ ５８：モニタ ６０：システム制御回路
Claims (11)
- 【請求項１】 画素ずらし機構を備え、前記画素ずらし
機構により同じ被写体像の画像データを複数得ることが
可能な撮像手段と、 前記画素ずらし機構を用いて前記撮像手段により得られ
た複数の画像データを符号化する符号化手段と、 前記符号化手段により符号化された複数の画像データを
伝送媒体を介して伝送する伝送手段とを有することを特
徴とする画像処理装置。 - 【請求項２】 前記撮像手段は、所定回数のｎ画素ずら
しの処理による第１のフレーム画像と、前記第１のフレ
ーム画像の基準位置から所定方向にｍ画素ずらしの後の
前記所定回数のｎ画素ずらしによる第２のフレーム画像
を撮像することを特徴とする請求項１に記載の画像処理
装置。 - 【請求項３】 前記符号化手段は、前記第２のフレーム
画像を前記第１のフレーム画像からの差分として符号化
することを特徴とする請求項２に記載の画像処理装置。 - 【請求項４】 更に、前記伝送媒体からの符号化データ
を復号化する復号化手段を有することを特徴とする請求
項１乃至３の何れか１項に記載の画像処理装置。 - 【請求項５】 画素ずらし機構を用いて同じ被写体を複
数撮像し、符号化した複数の画像データを入力する入力
手段と、 前記入力手段により入力された複数の画像データを復号
化する復号化手段とを有することを特徴とする画像処理
装置。 - 【請求項６】 撮像部の画素ずらし機構を用いて得られ
た同じ被写体像の画像データを複数入力し、 前記入力された複数の画像データを符号化し、 前記符号化された複数の画像データを伝送媒体を介して
伝送することを特徴とする画像処理方法。 - 【請求項７】 画素ずらし機構を用いて同じ被写体を複
数撮像し、符号化した複数の画像データを入力し、 前記入力された複数の画像データを復号化することを特
徴とする画像処理方法。 - 【請求項８】 原画像を、当該原画像を構成する複数の
フレーム画像として符号化して伝送し、受信側で原画像
を再構築することを特徴とする画像処理方法。 - 【請求項９】 前記複数のフレーム画像の内、２番目以
降のフレーム画像が前のフレーム画像と差分符号化され
て伝送されることを特徴とする請求項８に記載の画像処
理方法。 - 【請求項１０】 受信側が、各フレームを受信する毎
に、以前に受信した１以上のフレームを合成して原画像
を再構築することを特徴とする請求項８乃至９の何れか
１項に記載の画像処理方法。 - 【請求項１１】 前記複数のフレーム画像が、光学像を
電気信号に変換する撮像手段の画素ずらし処理により形
成されることを特徴とする請求項８乃至１０の何れか１
項に記載の画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26443896A JPH10112866A (ja) | 1996-10-04 | 1996-10-04 | 画像処理装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26443896A JPH10112866A (ja) | 1996-10-04 | 1996-10-04 | 画像処理装置及び方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10112866A true JPH10112866A (ja) | 1998-04-28 |
Family
ID=17403201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26443896A Pending JPH10112866A (ja) | 1996-10-04 | 1996-10-04 | 画像処理装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10112866A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001285645A (ja) * | 2000-01-25 | 2001-10-12 | Canon Inc | 画像入力装置、画像処理装置、画像入力方法、画像処理方法、及び画像入力システム |
| JP2002516540A (ja) * | 1998-05-21 | 2002-06-04 | インテル・コーポレーション | 知覚的に無損失の画像をもたらす２次元離散ウェーブレット変換に基づくカラー画像の圧縮 |
| JP2023036460A (ja) * | 2021-09-02 | 2023-03-14 | 株式会社エヌテック | 撮像装置、検査装置及び撮像方法 |
-
1996
- 1996-10-04 JP JP26443896A patent/JPH10112866A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002516540A (ja) * | 1998-05-21 | 2002-06-04 | インテル・コーポレーション | 知覚的に無損失の画像をもたらす２次元離散ウェーブレット変換に基づくカラー画像の圧縮 |
| JP2001285645A (ja) * | 2000-01-25 | 2001-10-12 | Canon Inc | 画像入力装置、画像処理装置、画像入力方法、画像処理方法、及び画像入力システム |
| JP2023036460A (ja) * | 2021-09-02 | 2023-03-14 | 株式会社エヌテック | 撮像装置、検査装置及び撮像方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11025857B2 (en) | Camera system, video processing apparatus, and camera apparatus | |
| JP3839526B2 (ja) | ディジタルカメラ | |
| JP3429061B2 (ja) | 電子スチルカメラ | |
| US8098959B2 (en) | Method and system for frame rotation within a JPEG compressed pipeline | |
| JP2002111989A (ja) | 画像処理回路 | |
| JPH04284087A (ja) | 電子スチルカメラ | |
| US6441850B1 (en) | Method and apparatus for image processing using a template image | |
| US6762792B1 (en) | Digital still camera | |
| JP3015183B2 (ja) | ディジタル電子スチル・カメラ | |
| JP3230291B2 (ja) | 画像再生装置及びその方法 | |
| JPH08223570A (ja) | 画像伝送装置 | |
| JPH10112866A (ja) | 画像処理装置及び方法 | |
| JP2000244937A (ja) | カメラの高画質イメージ生成方法及びその装置 | |
| JP4630618B2 (ja) | 画像生成装置およびその方法 | |
| JP3081538B2 (ja) | デジタルスチルカメラ | |
| JP3893788B2 (ja) | 画像信号処理装置およびこの装置を備えた電子スチルカメラ | |
| JP3152258B2 (ja) | 画像処理装置及びその方法 | |
| JP4118272B2 (ja) | 画像処理装置 | |
| JP3109855B2 (ja) | 電子カメラ、画像信号圧縮装置及びその方法 | |
| US6266101B1 (en) | Y/C separator | |
| JPH09284626A (ja) | 画像生成装置 | |
| JP2001016591A (ja) | 圧縮符号化装置および方法 | |
| JP4515546B2 (ja) | 画像信号処理装置およびこの装置を備えた電子スチルカメラ | |
| JP4522640B2 (ja) | データ転送システムおよびデータ転送方法 | |
| JP3360808B2 (ja) | 電子スチルカメラの圧縮率設定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070626 |