JP2000244796A

JP2000244796A - カメラシステム

Info

Publication number: JP2000244796A
Application number: JP11043789A
Authority: JP
Inventors: Nagayoshi Mayahara; 永義馬屋原
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1999-02-22
Filing date: 1999-02-22
Publication date: 2000-09-08

Abstract

(57)【要約】【課題】ＵＳＢインタフェースのアイソクロナス転送
を利用してデータを送る場合、一定時間内に一定量のデ
ータ転送を保証するためにデータの欠落およびデータ送
受信失敗が起きたとき再送することができない。【解決手段】データの欠落などに対するデータを補完
する手段を備えているので、カメラ１からＰＣ７に対し
てデータを送信し、データの欠落があった時に、ＰＣ７
側では前後の１ラインのデータから欠落したデータを補
完したり、または１フィールド前の画面データと２フィ
ールド前のデータによって現在の画面データを補完した
りするので、有効な全画面データとして表示装置１０に
表示することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、シリアルインタフ
ェースの機能を有したカメラシステム、特にＵＳＢ（ユ
ニバーサルシリアルバス）インタフェースの機能を有し
たデジタルカメラシステムに関するものである。

【０００２】

【従来の技術】現在普及しているＴＶ会議システムなど
で利用されているカメラにおいて、カメラで撮影された
映像をパーソナルコンピュータ（以下、ＰＣと称す）に
映し出す場合、カメラからのアナログ映像信号をＰＣ側
のビデオキャプチャーボードと呼ばれるインタフェース
ボードに入力して、映像信号をデジタル信号に加工し
て、ＰＣの表示装置に表示する。ところが、最近カメラ
内部の信号処理回路のデジタル化が進んできたことか
ら、ＰＣへの伝送もデジタルで行なう技術が進んでい
る。また、特開平１０−２３２９２４号公報に開示され
ているように、カメラの映像信号をＰＣ側に伝送する方
式としてＵＳＢインタフェースを利用している。

【０００３】

【発明が解決しようとする課題】従来のデジタルカメラ
システムのようにＵＳＢインタフェースのアイソクロナ
ス（Isocronaus）転送を利用して、データを送る場合、
データの送受信において、データの欠落およびデータ送
受信失敗が起きたとき再送することができない。

【０００４】また、ＪＰＥＧ（Joint Photographic Exp
erts Group）圧縮によって映像信号を信号処理し、ＵＳ
Ｂデータを送信する場合、画像によっては、規定時間内
に１画面全てのデータを送信することができないことが
想定される。

【０００５】

【課題を解決するための手段】本発明のカメラシステム
は上記課題を解決するために、ＵＳＢインタフェースの
アイソクロナス転送を利用して画像を伝送した場合、発
生するデータの欠落などに対するデータを補完する手段
を有し、画像データをＪＰＥＧ圧縮し、伝送する場合に
は、規定のフレームレートで全画像データを伝送できな
いときに、ＥＯＩ（End of image）を検出する手段を有
したカメラ装置システムである。

【０００６】本発明のカメラシステムは、ＣＣＤなどの
固体撮像素子による出力信号をＡＤ変換する変換手段
と、変換された出力信号を信号処理する信号処理手段
と、信号処理手段によって行なわれた信号を記憶する記
憶媒体を設け、記憶された信号をＵＳＢインタフェース
を用いて外部に伝送する伝送手段を有したカメラ装置
と、カメラ装置と接続して映像信号を受信し、受信した
映像信号を表示する表示装置（例えばＰＣ）において、
ＵＳＢインタフェースのアイソクロナス転送で、映像信
号を伝送した時、カメラ装置からＰＣに対してデータを
送信し、データの欠落があった時に、ＰＣ側では前後の
１ラインのデータから欠落したデータを補完し、有効な
全画面データとして、表示装置に表示することができ
る。

【０００７】また、カメラ装置からＰＣに対してデータ
を送信し、多量のデータの欠落があった時に、前フィー
ルドの画面データからデータを補完し、有効な全画面デ
ータとして、表示装置に表示することができる。

【０００８】そして、信号処理手段として、映像信号を
ＪＰＥＧ圧縮で施した場合、カメラ装置で映し出した映
像によって、圧縮率が変化するので、規定のフレームレ
ートで伝送しきれない場合が発生する可能性があり、規
定の時間内において伝送されるデータ内にＥＯＩがある
かどうかを検出できる検出手段を有したことで、有効な
画像データか無効な画像データかを判断できる。

【０００９】そしてまた、規定のフレームレートで伝送
しきれない場合が発生した場合圧縮率を高め、必ずどの
ような映像でも伝送できるようにする。

【００１０】さらに、規定のフレームレートで十分に伝
送できるデータ量であり、そのデータ量が規定のフレー
ムレートから算出される全伝送量よりも小さい場合は、
圧縮率を弱め、高画質の映像を伝送できる。

【００１１】また、画像サイズと、ＵＳＢのパケットサ
イズとフレームレートの設定によって、ＪＰＥＧの量子
化テーブルの設定データを変えることができる。

【００１２】

【発明の実施の形態】以下、本発明のカメラシステムの
実施の形態を図１乃至図８を参照して説明する。

【００１３】図１は本発明の実施の形態を示すカメラシ
ステムのブロック図である。図１において、撮像素子２
は、レンズが捉えた光を電気信号に変換する。そして、
撮像素子２からの信号をＣＤＳ／ＡＧＣ回路３によりサ
ンプリング処理および自動利得調整処理にて必要な信号
振幅に増幅された後、ＡＤ変換器４でデジタル信号に変
換される。デジタル変換処理された信号は信号処理回路
５にてホワイトバランスやガンマ補正あるいは輪郭補正
などの処理が施される。そして信号処理を施した映像デ
ジタル信号をＵＳＢインタフェース回路６Ａにてカメラ
１からＰＣ７に出力される。ＰＣ７のＵＳＢインタフェ
ース回路６Ｂで受信された後出力された映像デジタル信
号は、画像補完処理手段８で処理され、画像処理装置９
を介して表示装置１０にて画像を表示する。

【００１４】次に動画像データを伝送する方法を説明す
る。画像フォーマットとして輝度と色差に分離されたＹ
ＵＶデータを使用する。図２は１画面を構成するＹＵＶ
データの並びを示している。ＹＵＶはＹ、Ｃｒ、Ｙ、Ｃ
ｂの順番で構成されている。ＹＣｒＹＣｂの４つのデー
タで２画素分を構成する。従って、画像サイズが３５２
×２８８の場合、Ｙ：８ビット、Ｃｒ：８ビット、Ｃ
ｂ：８ビットとすれば、１ラインのデータ量は７０４バ
イト（＝３５２×２）となる。

【００１５】これをＵＳＢの一定周期の転送要求に合わ
して、画面左上のデータから随時転送を行なう。その場
合、各ラインの先頭を示すヘッダー（例えばＦＦ０００
０８０など）と、何ライン目かを示すデータを加味して
転送する。この時カメラとＰＣとのデータ伝送の仕組み
は、ＵＳＢの転送タイプとしてアイソクロナス転送を用
いて映像データを送信している。

【００１６】アイソクロナス転送では必ず一定周期で転
送要求が発生してデータ転送が行なわれる仕組みになっ
ている。アイソクロナス転送は一定周期で必ず転送要求
があるため、一定時間内に一定量のデータ転送が保証さ
れている。このため、動画像や音声などのデータ転送が
可能となっている。

【００１７】しかしながら、一定時間内に一定量のデー
タ転送を保証するために、データ転送のエラーによる再
送などは一切行なわれない。従ってデータ転送中にエラ
ーが発生した場合、動画像データならば、１画面データ
の一部あるいは全ての欠落がおこることになる。

【００１８】データの一部、例えば３５２×２８８の動
画像を伝送している途中で一画面中の１３４ライン目の
データが何らかの原因でエラーが発生し、データが欠落
した場合、１３３ライン目と１３５ライン目のデータに
よって、１３４ライン目のデータを補完する。例えば１
３３ライン目と１３５ライン目の各画素の平均値を計算
して１３４ラインのデータとすることで、アイソクロナ
ス転送による再送が無くても欠落したデータを補完する
ことが可能になる。

【００１９】さらに、画面全てのデータを、例えば３５
２×２８８の動画像を伝送している途中で１画面のデー
タが何らかの原因でエラーが発生し、データが欠落した
場合、１フィールド前の画面データと２フィールド前の
データによって、現在の画面データを補完する。例えば
１フィールド前と２フィールド前の各画素の差分値を計
算して各画素の差分値と１フィールドの各画素のデータ
を加算することで、アイソクロナス転送による再送が無
くても欠落したデータを補完することが可能になる。

【００２０】前記の内容は、映像データをＵＳＢインタ
フェースを利用して外部に出力する場合、例えばＹＵＶ
などの画像フォーマットにて出力している。ＹＵＶなど
の画像フォーマットは圧縮せずに出力するために、例え
ば画像サイズが３５２×２８８では、約１秒間に５枚〜
６枚程度の画像しか出力できない。そこで近年ではさま
ざま圧縮方法にて画像データを圧縮して出力する手段が
用いられている。

【００２１】次に本発明を圧縮方法としてＪＰＥＧを利
用した内容で説明する。

【００２２】図３は本発明のＪＰＥＧデコード及びＪＰ
ＥＧエンコード部を付加したシステム構成図である。図
４のようにＪＰＥＧの一つの画像はＳＯＩ(Start of im
age)で始まりＥＯＩ（End of image）で終端される。Ｓ
ＯＩとＥＯＩで挟まれたフレームには量子化テーブルや
ハフマンテーブルなどの付加情報そして圧縮された画像
データなどが含まれる。

【００２３】このＪＰＥＧ圧縮された画像をＵＳＢイン
タフェースで伝送する方法を具体的に説明する。ＵＳＢ
インタフェースで画像を伝送するのにアイソクロナス転
送を利用した場合、パケット要求の周期が１msec、１パ
ケットで伝送可能なバンド幅は１０２２バイト、フレー
ムレート（１秒間に伝送する画像枚数）が３０fpsの条
件下で画像サイズが６４０×４８０のＹＵＶ：１２ビッ
トを圧縮して伝送する。

【００２４】１枚伝送する最大量は３３７２６バイト
（＝33msec×1022バイト）となる。従って１枚の画像サ
イズ４６０８００バイト（＝640×480×12／8）をＪＰ
ＥＧで圧縮して３３７２６バイト以内に収めればよい。
しかしながら必ずどのような映像でも３３７２６バイト
以内に画像データが圧縮される保証はない。

【００２５】従って、有効な１画面のJPEGの圧縮された
画像データを検出する手段が必要となる。図５を使って
その検出手段を説明する。まず、カメラ装置に対してＰ
Ｃ側から送信要求がなされ（ステップＳ１）、その送信
要求を受信したカメラ装置は圧縮した画像データを送信
し、ＰＣ側はそのデータを受信する（ステップＳ２）。
これまでの処理はＵＳＢのアイソクロナス転送により通
常１msec間隔で行なわれる。次に１msec間隔で受信した
データ内からＪＰＥＧのデータの始まりを示すＳＯＩが
含まれるかどうかを検索する（ステップＳ３）。検出さ
れなかった場合は再度ＳＯＩが検出されるまでデータ転
送が繰り返される。

【００２６】そして、ＳＯＩが検出されれば、さらに続
きのデータをＰＣが受信するために、カメラ装置に対し
てＰＣ側から送信要求がなされ（ステップＳ４）、その
送信要求を受信したカメラ装置は圧縮した画像データを
送信し、ＰＣ側はそのデータを受信する（ステップＳ
５）。次に１msec間隔で受信したデータ内からＪＰＥＧ
データの終わりを示すＥＯＩが含まれるかどうかを検索
する（ステップＳ７）。ＥＯＩが検出されれば１画面の
データが転送完了を意味するので、受け取ったＪＰＥＧ
データをＰＣ内部で伸張し（ステップＳ８）、表示部で
画像データを表示する（ステップＳ９）。もしＥＯＩを
検出できずにＳＯＩを検出した場合は（ステップＳ
６）、それまで受信したデータを破棄し、再度、データ
転送を行なう。このような検出手段を用いることで有効
な画像データのみを表示することが可能になる。

【００２７】前記のように１枚伝送する最大量は３３７
２６バイト（＝33msec×1022バイト）となる。従って１
枚の画像サイズ４６０８００バイト（＝640×480×12／
8）をＪＰＥＧで圧縮して３３７２６バイト以内に必ず
どのような映像でも画像データが圧縮される保証はな
い。

【００２８】このような場合に前記で説明したようにＥ
ＯＩが検出できないことになる。前記検出手段によりＥ
ＯＩが検出できなかった場合にはＰＣ側からカメラ装置
に対して圧縮率を高めるように要求を出す。それを受信
したカメラ装置はＪＰＥＧエンコーダ回路により圧縮率
を高める処理を行なう。さらにＥＯＩが常に検出されて
おり、３３７２６バイトよりも小さいならばＰＣ側から
カメラ装置に対して圧縮率を低くすように要求を出す。
それを受信したカメラ装置はＪＰＥＧエンコーダ回路に
より圧縮率を低くする処理を行なう。これらの処理によ
り常に映像が途切れることなく伝送することができる。

【００２９】ＵＳＢインタフェースは多重接続が可能な
ため、１ポートで占有できるバンド幅は限られてくる。
従って、アイソクロナス転送を利用するＵＳＢの周辺機
器が同時に接続されている場合は、カメラ装置は１msec
間隔で転送できるデータ量が減少する。このためカメラ
装置は１msec間隔で転送できるデータ量を例えば、１０
２２バイトと５１２バイトと２５６バイトの３モードあ
るいはそれ以上のモードで転送できるようにしなければ
ならない。

【００３０】また、フレームレートを遅く設定すれば１
枚の画像データを増やすことが可能になる。例えば、パ
ケット要求の周期が１msec、１パケットで伝送可能なバ
ンド幅が１０２２バイト、フレームレートが３０fpsの
条件では１枚伝送する最大量は３３７２６バイト（＝33
msec×1022バイト）となり、フレームレート１０fpsで
あれば１枚伝送する最大量は１０２２００バイト（＝10
0msec×1022バイト）となる。つまり、ＪＰＥＧ圧縮の
場合、フレームレートを遅く設定することで、データ転
送量を増やすことに可能になり、圧縮率を弱めることが
できることになる。従って、圧縮率が弱くなれば、当然
高画質な映像を転送することになる。逆にフレームレー
トを早く設定すれば、圧縮率を高くし、動きの速い映像
を転送することが可能になる。

【００３１】このように、画像サイズとフレームレート
とＵＳＢのバンド幅によって画像を圧縮する割合を変え
ていかなければならない。ＪＰＥＧの圧縮率を変えるに
は量子化テーブルを変えることで実現することが可能で
ある。簡単な方法として、一意的に量子化テーブルを決
定し、その量子化テーブルに対して、係数を乗算する方
法がある。

【００３２】例えば、一意的に図６に示すような８×８
テーブルの量子化テーブルを設定する。このテーブルを
標準として、これに対して、２の係数を乗算すると図７
のようになる。この量子化テーブルを用いてＪＰＥＧ圧
縮を行なうと標準より高い圧縮率となる。乗算する係数
を大きくするとさらに高い圧縮率となる。逆に係数を小
さくすると低圧縮率となる。

【００３３】この機能を利用して、画像サイズが６４０
×４８０の場合、フレームレートとＵＳＢのバンド幅の
組み合わせにおいて、量子化テーブルに乗算する係数を
図８のように決定しておけば、ＵＳＢバンド幅が変化し
たり、フレームレートが変化した場合、スムーズに圧縮
率を変えることができる。

【００３４】

【発明の効果】本発明のカメラシステムは上記のように
構成するため、請求項１および２記載の発明によれば、
ＵＳＢのアイソクロナス転送を用いて画像を伝送し、エ
ラーが発生しても再送処理することなくスムーズな画像
表示が可能である。

【００３５】また、請求項３記載の発明によれば、映像
信号処理手段として、映像信号をＪＰＥＧ圧縮で施した
場合、カメラ装置で映し出した映像によって、圧縮率が
変化するので、規定のフレームレートで伝送しきれない
場合が発生する場合があり、規定の時間内において伝送
されるデータ内にＥＯＩがあるかどうかを検出できる検
出手段でもって、映像の途切れなく伝送することが可能
である。

【００３６】そして、請求項４記載の発明によれば、規
定のフレームレートで伝送しきれない場合が発生した場
合圧縮率を高め、必ずどのような映像でも伝送できる。

【００３７】そしてまた、請求項５記載の発明によれ
ば、規定のフレームレートで十分に伝送できるデータ量
であり、そのデータ量が規定のフレームレートから算出
される全伝送量よりも小さい場合は、圧縮率を弱め、高
画質の映像を伝送できる。

【００３８】また、請求項６記載の発明によれば、ＵＳ
Ｂバンド幅が変化したり、フレームレートが変化した場
合、ＪＰＥＧの量子化テーブルの設定データを変えるこ
とで、スムーズに圧縮率を変えることができる。

【図面の簡単な説明】

【図１】本発明の実施の形態を示すカメラシステムのブ
ロック図である。

【図２】本発明の実施の形態を示す１画面を構成するＹ
ＵＶデータの並びを示す説明図である。

【図３】本発明の実施の形態を示すＪＰＥＧデコード及
びＪＰＥＧエンコード部を付加したシステム構成図であ
る。

【図４】本発明の実施の形態を示す圧縮画像データフォ
ーマットの説明図である。

【図５】本発明の実施の形態を示す画像伝送の流れを示
すフローチャートである。

【図６】本発明の実施の形態を示す標準の量子化テーブ
ルの説明図である。

【図７】本発明の実施の形態を示す乗算した量子化テー
ブルの説明図である。

【図８】本発明の実施の形態を示す量子化テーブルの係
数に対するＵＳＢのバンド幅とフレームレートの関係を
示す図である。

【符号の説明】

１カメラ２撮像素子３ＣＤＳ／ＡＧＣ回路４ＡＤ変換器５信号処理回路６ＡＵＳＢインタフェース回路６ＢＵＳＢインタフェース回路７ＰＣ８画像補完処理手段９画像処理装置１０表示装置１１ＪＰＥＧエンコード回路１２ＪＰＥＧデコード手段

Claims

【特許請求の範囲】

【請求項１】固体撮像素子による出力信号をＡＤ変換
する変換手段と、この変換手段によって変換された出力
信号を信号処理する信号処理手段と、この信号処理手段
によって行なわれた信号を記憶する記憶媒体を備え、記
憶された信号をＵＳＢインタフェースを用いて外部に伝
送する伝送手段を有したカメラと、該カメラと接続して
映像信号を受信し、受信した映像信号を表示する表示装
置とを備えてなるカメラシステムにおいて、上記ＵＳＢインタフェースの伝送方法の一つであるアイ
ソクロナス転送で、映像信号を伝送した場合、データ送
受信でデータの欠落の有無を検出する検出手段と、該検
出手段にてデータの欠落が検出されると欠落データを補
完する補完手段とを備えてなることを特徴とするカメラ
システム。
【請求項２】データ送受信でデータの欠落があった場
合に、一つ前の画面データからデータを補完する補完手
段を備えてなることを特徴とする請求項１記載のカメラ
システム。
【請求項３】信号処理手段として、映像信号をＪＰＥ
Ｇ圧縮で施した場合、受信データ内にＳＯＩが含まれる
かどうかを検出する第１の検出手段と、この第１の検出
手段によりＳＯＩが検出されてから規定の時間内に伝送
されるデータ内にＥＯＩがあるかどうかを検出する第２
の検出手段と、この第２の検出手段によるＥＯＩの有無
の検出結果により画像を表示するか受信データを破棄す
るかを判断する判断手段とを備えてなることを特徴とす
る請求項１記載のカメラシステム。
【請求項４】規定のフレームレートで伝送しきれない
場合、圧縮率を高め、必ずどのような映像でも伝送可能
とする手段を備えてなることを特徴とする請求項３記載
のカメラシステム。
【請求項５】規定のフレームレートで十分に伝送でき
るデータ量であり、そのデータ量が規定のフレームレー
トから算出される全伝送量よりも小さい場合、圧縮率を
弱め、高画質の映像を伝送可能とする手段を備えてなる
ことを特徴とする請求項３記載のカメラシステム。
【請求項６】画像サイズと、ＵＳＢのパケットサイズ
とフレームレートの設定によって、ＪＰＥＧの量子化テ
ーブルの設定データを変える手段を備えてなることを特
徴とする請求項３記載のカメラシステム。