JP6033032B2 - 撮像表示システム - Google Patents

撮像表示システム Download PDF

Info

Publication number
JP6033032B2
JP6033032B2 JP2012224245A JP2012224245A JP6033032B2 JP 6033032 B2 JP6033032 B2 JP 6033032B2 JP 2012224245 A JP2012224245 A JP 2012224245A JP 2012224245 A JP2012224245 A JP 2012224245A JP 6033032 B2 JP6033032 B2 JP 6033032B2
Authority
JP
Japan
Prior art keywords
imaging
imaging device
data
timing
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012224245A
Other languages
English (en)
Other versions
JP2014078793A (ja
Inventor
柳舘　昌春
昌春 柳舘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012224245A priority Critical patent/JP6033032B2/ja
Priority to EP13845016.8A priority patent/EP2908513B1/en
Priority to PCT/JP2013/068662 priority patent/WO2014057719A1/ja
Priority to CN201380051763.2A priority patent/CN104704808B/zh
Publication of JP2014078793A publication Critical patent/JP2014078793A/ja
Priority to US14/679,567 priority patent/US9414001B2/en
Application granted granted Critical
Publication of JP6033032B2 publication Critical patent/JP6033032B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、撮像した画像データを無線送信する複数の撮像装置と、画像データを受信して画像を表示する少なくとも1台の表示装置とを有する撮像表示システムに関する。
従来、複数の撮像装置を有するシステムにおいて、各撮像装置に対して有線で外部同期信号を供給することにより、各撮像装置の撮像タイミングを揃えることが行われてきた。例えば、TVスタジオにおける複数のカメラを同期させる技術がこれに相当する。
また、無線伝送を行う撮像装置の撮像タイミングを制御する方法として、例えば特許文献1には、同期を取るための情報を周期的に同報通信により各撮像装置に通知し、各撮像装置が、通知された情報に基づいて動作することによって撮像タイミングの制御を行うことが示されている。
特許第4466502号公報
近年、表示装置の高画素化に伴い、複数の撮像装置からの画像を同一画面上に表示するマルチ画面表示や、複数の撮像装置からの画像を繋げて表示するパノラマ表示が行われている。例えば、非破壊検査等の作業現場では、複数の撮像装置で撮影された構造物の内部の画像を同一画面上に並べて表示することで、関連する検査箇所を同時に観察することが可能となっている。
複数の撮像装置間の撮像タイミングがずれていると、表示される画像に時間ずれが起こるので、各撮像装置の撮像タイミングが同期していることが求められている。従来技術を使用した場合、同期を取るための情報を周期的に表示装置から撮像装置に供給することが必要となり、同期を取るための表示装置と撮像装置の処理が煩雑になると共に、同期を取るための情報を無線通信することが必要となり、電波の利用効率が下がる。
本発明は、上述した課題に鑑みてなされたものであって、同期を取るための特別な情報の無線通信を行うことなく複数の撮像装置間の撮像タイミングと無線送信タイミングを調整することを目的とする。
本発明は、上記の課題を解決するためになされたもので、所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成し前記撮像データに対応する圧縮画像データを無線送信する複数の撮像装置と、無線送信された前記圧縮画像データを無線受信し、前記圧縮画像データに基づく画像を表示する表示装置と、を有する撮像表示システムであって、複数の前記撮像装置のうち1つの撮像装置を基準撮像装置と定義するとき、前記基準撮像装置は、所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成して出力する撮像部と、前記撮像部から出力される前記撮像データから前記圧縮画像データを生成するデータ処理部と、前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信する第1の無線通信部と、を有し、前記基準撮像装置以外の前記撮像装置は、前記撮像部と、前記データ処理部と、前記第1の無線通信部と、を有し、前記第1の無線通信部はさらに、前記基準撮像装置から無線送信された前記圧縮画像データを無線受信し、更に、前記基準撮像装置における撮像タイミングと、前記基準撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データを記憶し、前記時間関係データと、前記第1の無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記基準撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記基準撮像装置の無線送信タイミングと異なるよう前記第1の無線通信部の無線送信タイミングを調整する制御部と、を有し、前記表示装置は、前記撮像装置から無線送信された前記圧縮画像データを無線受信する第2の無線通信部と、前記第2の無線通信部で無線受信された前記圧縮画像データに基づく画像を所定の表示周期で表示する表示部と、を有し、前記基準撮像装置の前記第1の無線通信部は、1回の撮像に対応する前記撮像データが前記表示装置で無線受信されたことを示す受信完了データを前記表示装置から無線受信し、前記基準撮像装置の前記撮像部は、1回の撮像を行った後、前記第1の無線通信部で前記受信完了データが受信された場合、次の撮像を行い、前記表示装置は、前記基準撮像装置の前記撮像部の1回の撮像に対応する前記撮像データが前記表示部で表示される表示タイミングと、前記第2の無線通信部で無線受信される前記撮像データの受信タイミングとに基づいて前記基準撮像装置の前記撮像部の撮像タイミングの調整時間を算出する算出部を更に有し、前記第2の無線通信部は、算出された前記調整時間に応じたタイミングで前記受信完了データを前記基準撮像装置に無線送信する撮像表示システムである。
本発明の撮像表示システムによれば、基準撮像装置以外の撮像装置において、基準撮像装置における撮像タイミングと、基準撮像装置における圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データと、第1の無線通信部で無線受信された圧縮画像データの受信タイミングとに基づいて、基準撮像装置の撮像タイミングに合わせるよう撮像部の撮像タイミングを調整し、基準撮像装置の無線送信タイミングと異なるよう第1の無線通信部の無線送信タイミングを調整することによって、同期を取るための特別な情報の無線通信を行うことなく複数の撮像装置間の撮像タイミングと無線送信タイミングを調整することができる。
本発明の第1の実施形態による撮像表示システムの構成を示すブロック図である。 本発明の第1の実施形態による撮像表示システムが有する撮像装置の構成を示すブロック図である。 本発明の第1の実施形態による撮像表示システムが有する表示装置の構成を示すブロック図である。 本発明の第1の実施形態による撮像表示システムが有する撮像装置の動作を示すタイミングチャートである。 本発明の第1の実施形態による撮像表示システムが有する撮像装置の動作の手順を示すフローチャートである。 本発明の第1の実施形態による撮像表示システムが有する撮像装置の動作の手順を示すフローチャートである。 本発明の第1の実施形態による撮像表示システムが有する撮像装置の動作の手順を示すフローチャートである。 本発明の第1の実施形態による撮像表示システムが有する表示装置の動作の手順を示すフローチャートである。 本発明の第2の実施形態による撮像表示システムの構成を示すブロック図である。 本発明の第2の実施形態による撮像表示システムが有する撮像装置の構成を示すブロック図である。 本発明の第2の実施形態における表示遅延時間の調整に関する表示装置と撮像装置の動作を示すタイミングチャートである。 本発明の第2の実施形態における画像合成に関する撮像装置の動作を示すタイミングチャートである。
以下、図面を参照し、本発明の実施形態を説明する。
（第1の実施形態）
まず、本発明の第1の実施形態を説明する。本実施形態では、撮像した画像を無線通信で伝送する2台の撮像装置と、無線伝送された画像を受信して表示する1台の表示装置とで構成される撮像表示システムに本発明を適用した場合を例に説明する。
図１は、本実施形態による撮像表示システムの構成を示している。まず、図1を用いて、撮像表示システムの概要を説明する。図1に示す撮像表示システムは、2台の撮像装置(撮像装置1、撮像装置2)と1台の表示装置(表示装置3)で構成されている。
撮像装置では、撮像処理により得られた撮像データが圧縮処理され、所定のプロトコルに従って送信データに変換された後、送信データが無線送信される。無線送信された送信データは、表示装置3により無線受信され、受信データが伸張処理され、表示用データに変換された後、画像が表示される。
本実施形態においては、表示装置3は2台の撮像装置と接続され、接続相手から無線送信される送信データを無線受信し、受信した送信データから得られる2台の撮像装置からの撮像データに基づく画像を同一画面上に表示している。表示装置3と最初に接続した撮像装置が、撮像処理のタイミングを決定する"親"として動作し、後から表示装置3と接続する撮像装置は、撮像処理のタイミングを"親"に合わせる"子"として動作する。本実施形態の説明においては、撮像装置1を"親"、撮像装置2を"子"として説明する。
図2は、撮像装置1の構成を示している。撮像装置2の構成は撮像装置1の構成と同様であるので、代表して撮像装置1の構成を説明する。図2に示すように、撮像装置1は、撮像ユニット4、圧縮回路5、ベースバンド回路6、高周波回路7、撮像制御回路8、アンテナ9で構成されている。
撮像ユニット4は、所定の撮像周期で撮像処理を行って(撮像データを生成し、撮像データを出力する。撮像ユニット4からは、撮像周期毎に撮像データが出力される。圧縮回路5は、撮像ユニット4から出力された撮像データをJPEG圧縮し、圧縮画像データを生成する。ベースバンド回路6は、圧縮回路5から出力された圧縮画像データに対してベースバンド処理を行い、圧縮画像データを送信データに変換する。高周波回路7は、ベースバンド回路6から出力された送信データに高周波処理を行い、アンテナ9を介して送信データを送信する。アンテナ9は、無線により送信データを送信する。撮像装置1からは所定の送信周期で送信データが無線送信される。撮像制御回路8は、撮像ユニット4、圧縮回路5、ベースバンド回路6、高周波回路7の動作を制御する。
また、撮像制御回路8は、撮像制御回路8の動作を制御するためのプログラムや必要なデータを記憶する。撮像装置1の機能は、撮像制御回路8の動作を制御するためのプログラムを、撮像装置1のコンピュータである撮像制御回路8が読み込んで実行することにより、実現される。また、撮像制御回路8の動作を制御するためのプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。また、上述したプログラムは、このプログラムを記憶装置等に格納したコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により撮像装置1に伝送されることで撮像装置1に入力されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体のことをいう。また、上述したプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能を、コンピュータに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
図3は、表示装置3の構成を示している。図3に示すように、表示装置3は、アンテナ10、高周波回路11、ベースバンド回路12、伸張回路13、表示処理回路14、ディスプレーユニット15、表示制御回路16で構成されている。
アンテナ10は、撮像装置1及び撮像装置2から無線送信された送信データを受信する。高周波回路11は、アンテナ10を介して受信された送信データの周波数変換を行う。ベースバンド回路12は、高周波回路11から出力された送信データに対してベースバンド処理を行い、送信データから圧縮画像データを再構成する。伸張回路13は、ベースバンド回路12から出力された圧縮画像データを伸張し、撮像データを再構成する。表示処理回路14は、伸張回路13から出力された撮像データを、ディスプレーユニット15に画像を表示するための表示データに変換する。ディスプレーユニット15は、表示処理回路14から出力された表示データに基づく画像を表示する。表示制御回路16は、高周波回路11、ベースバンド回路12、伸張回路13、表示処理回路14、ディスプレーユニット15の動作を制御する。
次に、撮像装置1と撮像装置2の動作を説明する。図4は、撮像装置1と撮像装置2の動作を示している。図4の右方向が時間の進む方向である。以下では、撮像装置1と表示装置3が接続し、撮像装置1から撮像データの無線送信が行われている状態で、新たに撮像装置2が表示装置3に接続する場合に、撮像装置2が行う撮像タイミングと無線送信タイミングについて説明する。
まず、撮像装置1から撮像データの無線送信が行われている状態について説明する。撮像装置1の撮像動作は所定周期(T：16.67ms=1/60s)で行われる。図4のt1-t2、t8-t13、t19-t21、t27-t31は、撮像ユニット4が撮像処理を行っている期間を示している。図中の撮像処理の終了するタイミング(t2、t13、t21、t31)が所定の撮像周期の区切りとなるため、t2-t13、t13-t21、t21-t31の期間が所定の撮像周期となる。また、撮像処理を行っている期間の先頭のタイミング(t1、t8、t19、t27)は、撮像制御回路8により撮像ユニット4に設定される露光期間に応じて可変である。
撮像処理が終了すると、撮像データが圧縮回路5に送られ圧縮処理が行われる。圧縮処理に必要な時間は、撮像データの状況に応じて変化する。図中のt3-t4、t14-t15、t22-t23は、圧縮回路5が圧縮処理を行っている期間を示している。また、図4では圧縮処理が最長となった場合の時間を破線(t5、t16、t24)で示している。
圧縮処理後の圧縮画像データは、ベースバンド回路6に送られ、所定の通信プロトコルに応じてパケット化された後、無線送信される。図4において、無線送信が行われる期間は、t6-t7、t17-t18、t25-t26で示されている。無線送信の処理時間は通信路の状態に応じて変化するが、本実施形態においては、通信状態が悪化し、通信が終了しない場合でも、通信の開始から所定時間が経過したタイミングで通信が中止される。図4において、破線で示したタイミング(t10、t20、t28)が中止のタイミングである。通信が中止された場合、表示装置3は、通信が中止となったフレームのデータを破棄し、前回のフレームのデータに基づく画像の表示を継続することで、通信の中止に対応する。
t1-t2の期間("撮像1")の撮像処理で生成された撮像データがt3-t4の期間("圧縮1")で圧縮処理され、その圧縮処理により生成された圧縮画像データが送信データとしてt6-t7の期間("送信1")で無線送信される。以降、同様に、撮像処理("撮像2"、"撮像3"、"撮像4"、・・・)、圧縮処理("圧縮2"、"圧縮3"、"圧縮4"、・・・)、無線送信("送信2"、"送信3"、・・・)が周期的に繰り返される。
図示するように、撮像装置1からの無線送信は、圧縮処理が最長となった場合の時間を過ぎた時点(t6、t17、t25)から開始されている。これらのタイミングの制御は、撮像制御回路8が行っており、露光時間に応じて変化する撮像処理の先頭タイミング(t1、t8、t19、t27)以外は固定である。つまり、撮像装置1の送信開始のタイミング(t6)を検出することにより、撮像装置1の撮像処理の終了タイミング(t2、t13、t21、t31)と送信開始/終了のタイミング(t6-t10、t17-t20、t25-t28)を検出することが可能である。
次に、上記の撮像装置1が無線送信を行っている状態で、撮像装置2が表示装置3と接続して無線送信を行う場合の動作を説明する。撮像装置2は、表示装置3との接続を開始する前に、無線の受信処理を行って周囲の通信状態を確認する。本説明では、撮像装置1が無線送信を行っているため、撮像装置2は撮像装置1の無線送信(t6-t7)を確認する。撮像装置2は、上記の処理により撮像装置1の送信開始タイミング(t6)を検出することで、撮像装置1の撮像終了タイミング(t2等)と送信開始/終了タイミング(t6/t10等)を検出する。
具体的には、撮像装置2は、撮像装置1からの送信データを受信し、送信データに含まれる、撮像装置1を示す識別子(ID)を受信した時点を基準として、撮像装置1の撮像終了タイミング(t2)と送信開始/終了タイミング(t6/t10)を検出する。撮像装置2の撮像制御回路8は、予め撮像装置1を示す識別子を記憶しており、送信データ中の識別子と、記憶している撮像装置1の識別子とを比較し、両者が一致した場合に、撮像装置1を示す識別子を受信したと判断する。
送信データを構成するパケットの先頭にあるヘッダに識別子が含まれており、送信データ中の識別子の位置は固定である。また、撮像装置2の撮像制御回路8は、撮像装置1の撮像終了タイミング(t2)と送信開始/終了タイミング(t6/t10)とのそれぞれの時間的な関係(例えば、各タイミングの時間差)を示すデータ(時間関係データ)を予め記憶している。撮像装置2の撮像制御回路8は、撮像装置1を示す識別子を受信したタイミングから検出した撮像装置1の送信開始タイミング(t6)と、予め記憶しているデータとから、撮像装置1の撮像終了タイミング(t2)及び送信終了タイミング(t10)を検出する。尚、撮像装置1の撮像終了タイミング(t2)及び送信開始/終了タイミング(t6/t10)に対して周期(T)の整数倍の時間を加えたタイミングを算出することで、撮像装置1の撮像終了タイミング(t13、t21、t31)及び送信開始/終了タイミング(t17/t20、t25/t28)を検出することも可能である。
本実施形態では、撮像装置1を示す識別子(ID)の検出タイミングを使ったタイミングの検出方法を説明したが、タイミングの検出に用いるデータは、撮像装置2が検出可能なデータであって送信タイミングが既知であれば使用することが可能である。例えば、表示装置3を示す識別子でも、撮像データの先頭を示すマーカーでも可能である。
撮像装置2の撮像制御回路8は、検出した撮像装置1の撮像処理の終了タイミング(t2)に周期(T)の整数倍の時間を加えたタイミングで自装置の撮像処理が終了するように撮像処理の終了タイミング(t21、t31)を設定し、撮像装置1の送信終了(t10)を待って表示装置3との接続処理を開始(t11)する。これによって、撮像装置2の撮像処理は撮像装置1の撮像処理と同じタイミングで実施される。
また、撮像装置2の撮像制御回路8は、撮像処理の終了タイミングに合わせて圧縮処理の開始タイミング(t22等)を設定する。さらに、撮像装置2の撮像制御回路8は、撮像処理及び圧縮処理の終了後のタイミングであって、撮像装置1の送信終了タイミング(t28)の後のタイミングで表示装置3への無線送信が実施されるように、無線送信のタイミング(t29-t32)を設定する。これによって、撮像装置2の無線送信は撮像装置1の無線送信と異なるタイミングで実施される。
尚、撮像装置2による撮像装置1の動作タイミングの確認処理は、接続開始直後以外にも周期的に行われ、装置内クロックのバラつきによる撮像装置間の動作速度の微妙なずれが修正される。
図5、図6、図7は、撮像装置の動作を示している。図5は、"親"の撮像装置と"子"の撮像装置に共通の動作を示している。図6は"親"の撮像装置の動作を示し、図7は"子"の撮像装置の動作を示している。図8は、表示装置3の動作を示している。以下、図5〜図8を用いて撮像装置と表示装置の動作を説明する。
本実施形態における撮像装置1と撮像装置2は同じ機能を持つ装置であり、表示装置3との接続を先に行った装置が"親"の撮像装置となる。本説明では、撮像装置1と表示装置3の無線送信が行われている状態で撮像装置2の動作が開始される場合を例に説明する。この場合、撮像装置1が"親"となる。
図5に示すように、撮像装置1，2の撮像制御回路8は動作を開始(ステップS1)した直後、初期設定(ステップS2)を実行する。初期設定(ステップS2)は、装置の各種動作に関するレジスタ等の初期設置を行う処理である。
続いて、撮像制御回路8は、通信状況確認(ステップS3)を実行する。通信状況確認(ステップS3)は、アンテナ9、高周波回路7、ベースバンド回路6を制御して装置周辺の電波状況を監視し、他の撮像装置が表示装置と通信を行っているか否かを調査する処理である。
他の撮像装置が表示装置と通信を行っていない場合、撮像制御回路8は"通信無"と判定し、親機設定(ステップS4)を実行する。親機設定(ステップS4)は、撮像装置を親機として動作させるための設定を行う処理である。以後、撮像装置は、"親"の撮像装置としての動作を開始(ステップS100)する。他の撮像装置が表示装置と通信を行っている場合、撮像制御回路8は"通信有"と判定し、子機設定(ステップS13)を実行する。子機設定(ステップS13)は、撮像装置を子機として動作させるための設定を行う処理である。以後、撮像装置は、"子"の撮像装置としての動作を開始(ステップS101)する。
本実施形態における撮像装置1の動作を説明する。本説明での撮像装置1が動作を開始した時点で他の撮像装置が表示装置3と通信を行っていないので、撮像装置1では親機設定(ステップS4)が実行される。図6に示すように、"親"の撮像装置としての動作が開始(ステップS100)されると、撮像制御回路8は表示装置接続処理(ステップS5)を実行する。表示装置接続処理(ステップS5)は、表示装置3との無線接続を行う処理である。表示装置接続処理(ステップS5)では、無線接続に伴う各種の設定(通信プロトコル等の設定)が行われる。
表示装置接続処理(ステップS5)の終了後、撮像制御回路8は撮像/送信タイミング設定(ステップS6)を実行する。撮像/送信タイミング設定(ステップS6)は、撮像装置1が実行する撮像や無線送信のタイミングを設定する処理であり、図4に"撮像装置1の動作タイミング"として示した各タイミング(t1〜t31)を設定する処理である。
具体的には、撮像制御回路8は、その内部において、所定周波数を持つ基準クロックをカウンタ回路でカウントし、カウント値を基準に所定周期(T)のタイミング信号を生成することで各タイミング(t1〜t31)を生成する。所定周期で各種タイミング信号を発生させる技術は公知であるので説明を省略する。
撮像/送信タイミング設定(ステップS6)が行われると、撮像ユニット4の動作が開始される。撮像/送信タイミング設定(ステップS6)の終了後、撮像制御回路8は撮像終了待ち(ステップS7)を実行する。撮像終了待ち(ステップS7)は、撮像ユニット4が1フレーム分の撮像を終了するまで次の処理の開始を待つ処理であり、待ち時間は撮像/送信タイミング設定(ステップS6)で設定された値に基づく時間である。
撮像ユニット4が撮像を終了すると、撮像制御回路8は圧縮開始指示(ステップS8)を実行する。圧縮開始指示(ステップS8)は、圧縮回路5に圧縮動作の開始を指示する処理である。撮像制御回路8は、圧縮処理のタイミング(図4でのt3-t5等)も把握しており、圧縮処理の終了まで送信開始待ち(ステップS9)を実行する。送信開始待ち(ステップS9)は、圧縮回路5が1フレーム分の圧縮を終了するまで次の処理の開始を待つ処理である。
送信開始待ち(ステップS9)の終了後、撮像制御回路8は送信開始指示(ステップS10)を実行する。送信開始指示(ステップS10)は、ベースバンド回路6、高周波回路7に無線送信の開始を指示する処理である。送信開始指示(ステップS10)に応じてベースバンド回路6は圧縮回路5からの圧縮画像データを所定の送信プロトコルで、高周波回路7、アンテナ9を介して表示装置3に送信する。
撮像制御回路8は、送信開始指示(ステップS10)の実行後、送信時間監視(ステップS11)を実行する。図4を用いて説明したように、無線送信の実行時間(t6-t10、t16-t19等)は制限されているため、撮像制御回路8は送信時間監視(ステップS11)により無線送信の実行時間を測定する。
制限時間内に無線送信が終了した場合、"時間内終了"と判断され、撮像終了待ち(ステップS7)に戻って処理が実行される。制限時間内に無線送信が終了しなかった場合、撮像制御回路8は送信中止指示(ステップS12)を行い、送信中止指示をベースバンド回路6に送り、無線送信を中止させる。その後、撮像終了待ち(ステップS7)に戻って処理が実行される。以上の動作が、本実施形態における撮像装置1の動作である。
次に、本実施形態における撮像装置2の動作を説明する。前述したように、撮像装置2は、撮像装置1と表示装置3とが接続された後に動作を開始する。その場合、撮像装置2の撮像制御回路8は、初期設定(ステップS2)を行った後、通信状況確認(ステップS3)において、撮像装置1と表示装置3の間の通信を検出する。そのため、撮像装置2の撮像制御回路8は"通信有"と判断し、子機設定(ステップS13)を実行した後、"子"の撮像装置としての動作を開始(ステップS101)する。
図7に示すように、"子"の撮像装置としての動作が開始(ステップS101)されると、撮像制御回路8は、親機通信タイミング検出処理(ステップS14)を実行する。親機通信タイミング検出処理(ステップS14)は、親機と表示装置との通信を監視して、親機からの送信開始のタイミング(図4のt6)を検出する処理である。
続いて、撮像制御回路8は、親機送信終了待ち(ステップS15)を行い、親機と表示装置との通信の終了を待つ。親機送信終了待ち(ステップS15)は、親機と表示装置との通信が終了するまで次の処理の開始を待つ処理である。
親機と表示装置との通信が終了した後、撮像制御回路8は表示装置接続処理(ステップS16)を実行する。表示装置接続処理(ステップS16)は、表示装置接続処理(ステップS5)と同様に表示装置3との無線接続を行う処理である。表示装置接続処理(ステップS16)を、親機と表示装置との通信が終了した後に実行することで、接続処理に伴う無線通信が親機の無線送信とぶつかることを回避している。
表示装置接続処理(ステップS16)の終了後、撮像制御回路8は撮像/送信タイミング設定(ステップS17)を実行する。撮像/送信タイミング設定(ステップS17)は、撮像装置2が実行する撮像や無線送信のタイミングを設定する処理であり、図4に"撮像装置2の動作タイミング"として示した各タイミング(t19〜t32)を設定する処理である。
撮像/送信タイミング設定(ステップS17)では、撮像制御回路8は、親機通信タイミング検出処理(ステップS14)で検出した親機からの送信開始のタイミング(t6)を基準に撮像装置2が撮像処理、圧縮処理、無線送信を実行するタイミングを決定する。撮像装置2の撮像制御回路8は、親機の各部の動作タイミングを把握しており、送信開始のタイミング(t6)を検出することで各動作のタイミングを把握可能となる。これは、撮像装置1が無い場合には撮像装置2が親機のタイミングで動作するためである。
前述したように、撮像装置2の撮像制御回路8は、撮像装置1の撮像終了タイミング(t2)と送信開始/終了タイミング(t6/t10)とのそれぞれの時間的な関係を示すデータ(時間関係データ)を予め記憶している。撮像装置1を示す識別子を検出することにより送信開始のタイミング(t6)を検出した場合、撮像制御回路8は、記憶しているデータを用いて撮像装置2の撮像終了タイミング及び送信開始タイミングを設定することが可能となる。
例えば、撮像終了タイミング(t2)が送信開始タイミング(t6)の3ms前(圧縮処理の時間は最大3ms)であって、最長送信時間(t6-t10)が6msに設定されている場合、撮像装置2の撮像制御回路8は、撮像装置1の送信開始タイミング(t6)を検出すると、撮像装置1の送信開始タイミング(t6)の3ms前のタイミングが撮像終了タイミング(t2)であることを検出し、撮像終了タイミング(t2)と同じタイミングに撮像装置2の撮像終了タイミングを設定する。また、撮像装置2の撮像制御回路8は、撮像装置1の送信開始タイミング(t6)の6ms後のタイミングが撮像装置1の送信終了タイミング(t10)であることを検出し、送信終了タイミング(t10)の後に撮像装置2の送信開始タイミングを設定する。その結果、撮像装置2は、撮像装置1と同じタイミングで撮像動作を行い、撮像装置1と異なったタイミングで無線送信動作を実行することが可能となる。
撮像/送信タイミング設定(ステップS17)の後、撮像制御回路8は、撮像終了待ち(ステップS18)、圧縮開始指示(ステップS19)を実行する。撮像終了待ち(ステップS18)、圧縮開始指示(ステップS19)は、前述した撮像終了待ち(ステップS7)、圧縮開始指示(ステップS8)と同様の処理であるので説明を省略する。
上記のように、撮像装置2は撮像装置1の送信開始のタイミング(t6)を検出することで撮像装置1と動作を同期させているが、長時間が経過すると、各装置に使用されている基準クロックの周波数のバラつきにより動作タイミングにズレが生じてしまう。そのため、撮像装置2は、周期的に撮像装置1の送信開始のタイミング(t6)を検出し、検出したタイミングを使って装置内部のタイミングを再設定することで上記の動作タイミングのズレを無くしている。図7中の再測定実行判断(ステップS20)が、上記の送信開始のタイミング(t6)の再測定を実行するか否かを判断する処理であり、所定周期で再測定が実行される。
再測定を実行する場合、撮像制御回路8は親機通信タイミング検出(ステップS21)を実行する。親機通信タイミング検出(ステップS21)は、前述した親機通信タイミング検出処理(ステップS14)と同じ処理であり、撮像装置1の送信開始のタイミングを検出する処理である。その後、撮像制御回路8は撮像/送信タイミング再設定(ステップS22)を実行することで、検出した送信開始のタイミングを基準に各種タイミングの設定を行い、上記の動作タイミングのズレを無くしている。
撮像/送信タイミング再設定(ステップS22)を行った場合、及び再測定実行判断(ステップS20)で再測定を実行しないと破断した場合、撮像制御回路8は送信開始待ち(ステップS23)を実行する。送信開始待ち(ステップS23)以降の、送信開始指示(ステップS24)、送信時間監視(ステップS25)、送信中止指示(ステップS26)の各処理は、図6における送信開始待ち(ステップS9)、送信開始指示(ステップS10)、送信時間監視(ステップS11)、送信中止指示(ステップS12)と同様の処理であるので、以降の説明を省略する。
次に、図8を用いて、表示装置3の動作を説明する。表示装置3の表示制御回路16は、動作を開始(ステップS30)すると、初期設定処理(ステップS31)を実行する。初期設定処理(ステップS31)は、装置の各種動作に関するレジスタ等の初期設置を行う処理である。初期設定処理(ステップS31)では表示に関するレジスタも設置され、所定の周期での表示処理が開始され、ディスプレーユニット15に初期画面が表示される。
表示制御回路16は、初期設定処理(ステップS31)の終了後、新規接続要求確認(ステップS32)により新規接続要求の有無を判断する。新規接続要求が有る場合には、表示制御回路16は接続処理(ステップS33)を実行することで、撮像装置との接続に伴う各種のパラメータの送受信処理を実行する。
接続処理(ステップS33)の実行後、表示制御回路16は受信タイミング設定処理(ステップS34)を実行する。受信タイミング設定処理(ステップS34)は、接続処理(ステップS33)で接続した撮像装置との通信処理の実行タイミングを設定する処理であり、接続処理(ステップS33)で撮像装置から要求されたタイミングに沿うように実行タイミングの設定が行われる。
新規接続要求が無い場合、及び受信タイミング設定処理(ステップS34)が終了した後、表示制御回路16は撮像装置との接続の有無を判定する接続有無判定(ステップS35)を実行する。接続が無い場合、新規接続要求確認(ステップS32)に戻って処理が実行される。接続が有る場合、表示制御回路16は受信開始待ち(ステップS36)を行い、撮像装置からの送信を待つ。
撮像装置からの送信が開始された時点で、表示制御回路16は受信開始待ち(ステップS36)を終了し、受信時間監視(ステップS37)を実行する。受信時間監視(ステップS37)は、受信処理の実行時間を監視する処理である。表示制御回路16は、受信処理の経過時間が所定の最長実行時間を越えた場合、"時間超過"と判定し、受信中止指示(ステップS38)を実行する。受信中止指示(ステップS38)は、受信中止指示をベースバンド回路12に送り、無線受信を中止させる処理である。
受信処理が時間内で終了した場合、及び受信中止指示(ステップS38)の実行後、表示制御回路16は次装置受信確認(ステップS39)を実行する。次装置受信確認(ステップS39)は、表示画面に画像を表示するために接続中の全ての撮像装置からの送信データの受信処理が終了したか否かをフレーム毎に判断する処理である。
本実施形態の場合、表示装置3は最初に撮像装置1と接続され、その後、撮像装置2とも接続される。表示装置3が撮像装置1とだけ接続している場合、表示制御回路16は撮像装置1からの送信データの受信処理の終了を受信時間監視(ステップS37)で監視しており、受信処理が終了した時点で次装置受信確認(ステップS39)を実行する。表示制御回路16は、接続中の撮像装置が撮像装置1だけであることを認識しており、その時点で"次装置無"と判定する。"次装置無"と判定されると、新規接続要求確認(ステップS32)に戻って処理が実行される。次装置受信確認(ステップS39)は、例えば図4でのt7のタイミングで実行される。
表示装置3が撮像装置1及び撮像装置2と接続している場合、次装置受信確認(ステップS39)は撮像装置1及び撮像装置2からの送信データの受信処理が終了した時点で実行される。撮像装置1からの送信データの受信処理が終了した時点では、次装置受信確認(ステップS39)により"次装置有"と判定され、受信開始待ち(ステップS36)に戻って処理が実行され、撮像装置2からの送信データの受信処理が終了した時点では、次装置受信確認(ステップS39)により"次装置無"と判定され、新規接続要求確認(ステップS32)に戻って処理が実行される。次装置受信確認(ステップS39)は、例えば図4でのt26のタイミングで実行されて"次装置有"と判定され、続いてt30のタイミングで実行されて"次装置無"と判定される。
図4に示したように、撮像装置1と撮像装置2が接続している場合、同じタイミングで撮像が行われた後、撮像装置1からの無線送信が行われ、その後、撮像装置2からの無線送信が行われる。そのため、撮像装置1からの無線送信の後に行われる次装置受信確認(ステップS39)では受信開始待ち(ステップS36)に処理が戻り、撮像装置2からの無線送信の後に行われる次装置受信確認(ステップS38)では新規接続要求確認(ステップS32)に処理が戻る。
本実施形態の撮像装置1は、最上位概念の本発明における基準撮像装置に対応し、撮像装置2は、最上位概念の本発明における基準撮像装置以外の撮像装置に対応し、表示装置3は最上位概念の本発明における表示装置に対応する。本発明における基準撮像装置は、例えば撮像ユニット4を撮像部とし、圧縮回路5をデータ処理部とし、ベースバンド回路6及び高周波回路7を無線通信部とすることで構成可能である。また、本発明における基準撮像装置以外の撮像装置は、例えば撮像ユニット4を撮像部とし、圧縮回路5をデータ処理部とし、ベースバンド回路6及び高周波回路7を無線通信部とし、撮像制御回路8を制御部とすることで構成可能である。また、本発明における表示装置は、例えば高周波回路11及びベースバンド回路12を無線通信部とし、ディスプレーユニット15を表示部とすることで構成可能である。
最上位概念の本発明における基準撮像装置を構成する場合、基準撮像装置以外の撮像装置が行う処理は必須ではないので、例えば図7に示す処理を行わないように基準撮像装置が構成されていてもよい。また、最上位概念の本発明における基準撮像装置以外の撮像装置を構成する場合、基準撮像装置が行う処理は必須ではないので、例えば図6に示す処理を行わないように基準撮像装置以外の撮像装置が構成されていてもよい。
上述したように、本実施形態によれば、親撮像装置(撮像装置1)の送信タイミングから親撮像装置の撮像タイミングを子撮像装置(撮像装置2)が検出し、子撮像装置が自身の撮像タイミングを親撮像装置の撮像タイミングと同一になるように制御するとともに子撮像装置が自身の送信タイミングを親撮像装置の送信タイミングと異なるように制御することが可能となる。そのため、同期を取るための特別な情報の無線通信を行うことなく複数の撮像装置間の撮像タイミングと無線送信タイミングを調整することができる。
（第2の実施形態）
次に、本発明の第2の実施形態を説明する。本実施形態の撮像装置は、別の撮像装置からの画像を受信し、受信した画像と自身が撮像した画像とを合成し、合成した1枚の画像を表示装置に送信する画像合成機能を有している。また、本実施形態の表示装置は、撮像装置からの撮像データの受信開始タイミングと、自身の表示開始タイミングとから表示遅延時間を検出し、目標とする遅延時間と、検出した表示遅延時間との差分である調整時間を撮像装置に通知する通知機能を持つ。撮像装置が表示装置から通知された調整時間に基づいて撮像タイミングを調整することで、表示遅延時間を最短時間に制御することが可能である。
図9は、本実施形態による撮像表示システムの構成を示している。まず、図9を用いて、撮像表示システムの概要を説明する。図9に示す撮像表示システムは、2台の撮像装置(撮像装置17、撮像装置2)と1台の表示装置(表示装置20)で構成されている。
本実施形態では、撮像装置17と表示装置20の機能が第1の実施形態における撮像装置1と表示装置3の機能と一部異なっている。表示装置20は、一部の機能が追加されているだけで、装置の内部構成は表示装置3と同じであるので、図3の表示装置3の構成を用いて本実施形態の表示装置20を説明する。
図9に示すように、撮像装置2は撮像装置17と接続され、撮像装置2で撮像された画像のデータを含む送信データが撮像装置17へ無線送信される。撮像装置2で撮像された画像のデータと、撮像装置17で撮像された画像のデータとが撮像装置17で合成され、合成されたデータを含む送信データが表示装置20に無線送信され、表示装置20で合成画像が表示される。また、他の撮像装置と接続する機能を持つ撮像装置17が"親"として動作し、撮像装置2は、撮像処理のタイミングを"親"に合わせる"子"として動作する。
図10は、撮像装置17の構成を示している。本実施形態の撮像装置2の構成は第1の実施形態の撮像装置2の構成と同一であるので、撮像装置2の構成については説明を省略する。図10に示すように、撮像装置17は、撮像ユニット4、圧縮/伸張回路18、ベースバンド回路19、高周波回路7、撮像制御回路8、アンテナ9で構成されている。第1の実施形態の撮像装置1の構成とは、圧縮/伸張回路18及びベースバンド回路19が異なっている。
ベースバンド回路19は、第1の実施形態のベースバンド回路12が有する機能に対して、他の撮像装置との接続処理を実行し、他の撮像装置から受信した圧縮画像データを圧縮/伸張回路18に出力する機能が追加されている。圧縮/伸張回路18(画像合成部)は、ベースバンド回路19から出力された他の撮像装置からの圧縮画像データに伸張処理を行い、伸張処理後の撮像データと、撮像装置17の撮像ユニット4から出力された撮像データとを合成処理した後、合成処理した撮像データに圧縮処理を行って圧縮画像データを生成し、ベースバンド回路19に出力する機能を持つ点が第1の実施形態の圧縮回路5と異なっている。
次に、図11を用いて、本実施形態における表示遅延時間の調整に関する表示装置20と撮像装置17の動作を説明する。図11は、撮像装置17に対して表示装置20が行う表示遅延時間の調整処理を示している。図11の右方向が時間の進む方向である。図11に示す状態は、撮像装置17が撮像装置2との接続する以前の状態である。撮像装置17と撮像装置2との接続は、図11を用いて説明する表示遅延時間の調整を行った後に行われる。撮像装置17と撮像装置2が接続した状態の説明は、後に図12を用いて行う。
表示装置20は、第1の実施形態の表示装置3と同様に、初期設置が行われた後に所定の表示周期で表示処理を行う。図11のt1-t11(t11-t19、t19-t28)の時間が1周期の時間であり、t1-t9(t11-t16、t19-t26、t28-t29)が表示期間、t9-t11(t16-t19、t26-t28)がブランキング期間である。図11は、表示装置20及び撮像装置17の状態が表示遅延時間の調整前の状態から表示遅延時間の調整後の状態に移る様子を示している。表示遅延時間の調整は、撮像装置17の撮像タイミングを表示装置20の表示タイミングに合わせて調整することで実行される。
最初に、表示装置20が行う表示遅延時間の測定について説明する。表示遅延時間は、撮像装置で撮像処理が実行されてから表示装置で表示処理が実行されるまでの時間である。本実施形態では、表示遅延時間を、撮像装置の撮像処理の終了時点から表示装置の表示開始時点までの時間と定義して説明する。撮像装置17で撮像処理により得られた撮像データは、圧縮処理、送信処理が行われた後、表示装置20に伝送される。表示装置20では、受信処理、伸張処理の後、表示処理が行われる。
図11に示すように、撮像処理から伸張処理までの処理は、撮像処理の終了を起点とした一連の処理となっており、表示処理は別のタイミングで行われている。例えば、撮像処理(t3-t5)、圧縮処理(t6-t7)、無線送信・無線受信(t8-t14)、伸張処理(t5-t18)は一連の処理となっている。また、伸張処理(t5-t18)の後、表示処理(t16-t26)が行われて画像が表示される。撮像処理の終了タイミング(t5)から表示処理の開始タイミング(t19)までの時間が現表示遅延時間として示されている。
表示遅延時間が最短となる条件は、伸張処理が表示処理の開始直前に終了することである。上記の条件を達成するため、本実施形態では、表示装置20の表示制御回路16が、ベースバンド回路12から受信開始タイミング(t8)を検出し、表示処理回路14から表示開始タイミング(t19)を検出して、現表示遅延時間(t5-t19)を検出する。図11に示すように、圧縮時間(t6-t7)は既知であり、撮像終了直後に圧縮処理が開始され(t5=t6)、圧縮処理の終了直後に無線受信が開始される(t7=t8)ため、受信開始タイミング(t8)から撮像処理の終了タイミング(t5)を推定可能である。この撮像処理の終了タイミング(t5)と表示開始タイミング(t19)との時間差を求めることにより、現表示遅延時間が求められる。
最短の表示遅延時間である目標表示遅延時間は既知であるので、表示制御回路16(算出部)は、現表示遅延時間-目標表示遅延時間の演算(減算)を行うことにより調整時間を算出する。本実施形態では、目標表示遅延時間は表示制御回路16内に記憶されている。
調整時間をデータ化して、撮像装置17に通知することも可能であるが、本実施形態では、撮像装置17の送信処理の終了タイミングを上記の調整時間分だけ遅延させる方法により表示装置20は撮像装置17に調整時間を通知する。具体的には、撮像装置17では、圧縮処理後、ベースバンド回路19が圧縮画像データを複数のデータ(分割撮像データ)に分割し、それらのデータを含む複数のパケットを送信する。送信される最後のパケットに対する表示装置20の受信処理の終了を調整時間分遅延させることで撮像装置17に対する調整時間の通知が行われる。
データを複数のパケットに分割して送信する方法は公知であるので説明を省略する。尚、撮像装置17から送信される複数のパケットのうち最後のパケットに対して、最後のパケットであることを示すデータが格納されており、表示装置20の表示制御回路16は、パケットからそのデータを検出した場合に、そのパケットが最後のパケットであることを検出する。
図11において、t10-t14が、調整時間の通知の実行を行っているタイミングである。表示装置20の表示制御回路16は、図中の現表示遅延時間と目標表示遅延時間との差分である調整時間を撮像装置17に通知することで、撮像装置17の撮像タイミングを、図中の"撮像4"で示されるt12-t13からt17-t20に変更する処理を行う。
具体的には、撮像装置17の撮像処理は無線送信の終了から所定の時間が経過したタイミング(t13、又は、t20のタイミング)で終了するように制御されるため、無線送信の終了タイミングを、本来のタイミング(t10)から調整時間分だけ遅らせたタイミング(t14)にすることにより、撮像処理のタイミングがt12-t13からt17-t20に調整される。
図11において、通常の通信では、t8-t10に実行される無線送信("送信3")はt10のタイミングで中止される。本実施形態では、調整時間の通知を行うことを撮像装置17と表示装置20で予め合意しておいて、t10のタイミングでは無線送信を中止せずに調整時間分遅延したt14まで通信を引き伸ばすことで、調整時間の通知が行われる。具体的には、表示装置20の表示制御回路16は、1回(1フレーム)の撮像に対応して撮像装置17から送信される最後のパケットの受信に成功しても、正常に受信したことを示すACK(受信完了データ)を返さず、パケットを受信する毎にNAKを返し続けるように高周波回路11及びベースバンド回路12を制御する。
撮像装置17の撮像制御回路8は、表示装置20からNAKが受信されると、最後のパケットの再送を行うようにベースバンド回路19及び高周波回路7を制御する。調整時間の通知が行われている間、撮像制御回路8は撮像ユニット4が撮像処理(図11の"撮像4")を開始しないように制御を行う。表示装置20の表示制御回路16は、1回(1フレーム)の撮像に対応して撮像装置17から送信される最後のパケットの受信を開始してから調整時間が経過したタイミングでACKを返して通信を終了するように高周波回路11及びベースバンド回路12を制御する。表示装置20から撮像装置17にACKが返信されることで、撮像装置17に調整時間が通知される。撮像装置17の撮像制御回路8は最後のパケットを送信したタイミングからACKを受信するまでの時間を測定することで調整時間を認識する。
撮像装置17の撮像制御回路8は、図11に示すように、調整時間に応じて撮像処理の終了タイミングを調整する。図11では、撮像処理の終了タイミングがt13から、調整時間分だけ遅延したt20に調整される。その結果、表示遅延時間は目標表示遅延時間に調整される。
最後に、図12を用いて、撮像装置17が行う画像合成処理の方法を説明する。図12は、撮像装置17が表示装置20との接続中に、新たに撮像装置2が撮像装置17に接続される場合に撮像装置17と撮像装置2が行う処理のタイミングを示している。図12の右方向が時間の進む方向である。
この時、撮像装置2は、第1の実施形態と同様に、撮像タイミングを撮像装置17の撮像タイミングと同じになるように調整すると共に、撮像装置17に対して所定のタイミングで無線送信を行うように送信タイミングを調整する。また、撮像装置17は撮像装置2からの撮像データを受信し、自身の撮像データと合成した後、表示装置3に送信する。
最初に、撮像装置2が未接続の状態での撮像装置17の動作を説明する。尚、表示装置20と撮像装置17の接続処理は完了しており、図11を用いて説明した表示遅延時間の調整も終了しているものとする。撮像装置17の撮像動作は所定周期(T：16.67ms=1/60s)で行われ、図中のt30-t31、t32-t35、t39-t43、t50-t54は撮像ユニット4が撮像処理を行っている期間を示している。図中の撮像処理の終了するタイミング(t31、t35、t43、t54)が所定の撮像周期の区切りとなり、撮像処理の期間の先頭のタイミング(t30、t32、t39、t50)は、撮像ユニット4に設定される露光期間に応じて可変である。
撮像処理が終了すると、所定時間後に撮像データが圧縮/伸張回路18に送られ圧縮処理が行われる。圧縮処理の処理時間は、撮像データの状況に応じて変化する。図12では圧縮処理が最長となった場合の時間(t32-t33、t40-t41、t51-t52)が示されている。上記の圧縮処理では、まだ撮像装置2が接続されていないため、撮像装置2からの撮像データが合成される部分のデータは黒画像データで置き換えられて処理される。
また、撮像処理終了から圧縮処理までの空き時間(t31-t32、t35-t40)は、撮像装置2が接続された場合に撮像装置2からのデータの受信処理や伸張処理に必要な処理時間である。撮像装置2が接続された場合の各処理の実施タイミングの詳細については後で説明する。圧縮処理の終了(t33)直後に無線送信(t34-t36)が開始される。図12において、"撮像1"で示したタイミングで撮像されたデータが"送信1"で示したタイミングで無線送信される。同様に、"撮像2"で示したタイミングで撮像されたデータが"送信2"で示したタイミングで無線送信され、"撮像3"で示したタイミングで撮像されたデータが"送信3"で示したタイミングで無線送信される。
次に、撮像装置2と撮像装置17の接続について説明する。接続開始前、撮像装置2は、第1の実施形態の場合と同様に撮像装置17と表示装置20の無線通信[図12の"送信1" (t34-t36)]で伝送された送信データを受信して撮像装置17の動作タイミングを把握し、撮像タイミングを撮像装置17と同じタイミングに調整する(同期処理を行う)と共に、撮像装置17の無線送信の終了後に接続処理(t37-t38)を実施する。撮像タイミングの同期処理と、接続処理の詳細は第1の実施形態と同じであるので説明を省略する。
最後に、撮像装置2との接続処理の終了後の撮像装置17の動作について説明する。前述したように、撮像装置2の撮像処理は、撮像装置17の撮像処理と同時に実施されるように調整されている。図12には、"撮像3"(t39-t43)のタイミングで撮像装置2の撮像処理を行う例が示されている。
撮像装置2では、撮像処理(t39-t43)の直後に圧縮処理(t44-t46)が実行され、圧縮処理の直後に撮像装置17への無線送信(t47-t48)が実行される。撮像装置17では、撮像装置2からの送信データの無線受信(t47-t48)の後、高周波回路7が送信データの周波数変換を行い、ベースバンド回路19が送信データから圧縮画像データを再構成して圧縮/伸張回路18に出力する。圧縮/伸張回路18は、伸張処理(t49-t51)により、圧縮画像データを通常の撮像データに戻した後、撮像ユニット4での撮像処理["撮像3"(t39-t43)]により生成された撮像データと合成する。その後、圧縮/伸張回路18は、圧縮処理(t51-t52)を行い、2画面分の画像を合成した後の圧縮画像データを生成する。尚、合成処理は伸張処理の過程におけるデータの書込み位置の制御により行われるため、図12では合成処理が伸張処理に含まれて表示されている。圧縮処理(t51-t52)の終了後に、ベースバンド回路19は表示装置20への送信処理(t53-t56)を実行する。
上述したように、本実施形態によれば、表示装置が決定した調整時間に基づいて、撮像装置が行う撮像処理の実施タイミングを調整することで、撮像から表示までの経過時間である表示遅延時間を最短時間となるように制御することができる。
また、無線通信で通信エラーが発生しない状況で、1回(1フレーム)の撮像で生成された撮像データを分割したデータを含む複数パケットのうち最終パケットの送信終了タイミングを調整時間に応じて遅延させることで、撮像装置は調整時間を検出することができる。さらに、調整時間の通知を通常のプロトコルの無線通信により行うことができる。
また、子撮像装置の撮像データと親撮像装置の撮像データを合成して生成した撮像データを親撮像装置が表示装置に送信することで、表示装置が特別な処理を行わずに合成画像を表示することができる。このことにより、表示装置が標準的な携帯端末であっても合成画像の受信/表示が可能となる。
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
1，2，17 撮像装置、4 撮像ユニット、5 圧縮回路、6，12，19 ベースバンド回路、7，11 高周波回路、8 撮像制御回路、9，10 アンテナ、13 伸張回路、14 表示処理回路、15 ディスプレーユニット、16 表示制御回路、18 圧縮/伸張回路

Claims (6)

  1. 所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成し前記撮像データに対応する圧縮画像データを無線送信する複数の撮像装置と、無線送信された前記圧縮画像データを無線受信し、前記圧縮画像データに基づく画像を表示する表示装置と、を有する撮像表示システムであって、
    複数の前記撮像装置のうち1つの撮像装置を基準撮像装置と定義するとき、
    前記基準撮像装置は、
    所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成して出力する撮像部と、
    前記撮像部から出力される前記撮像データから前記圧縮画像データを生成するデータ処理部と、
    前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信する第1の無線通信部と、
    を有し、
    前記基準撮像装置以外の前記撮像装置は、
    前記撮像部と、前記データ処理部と、前記第1の無線通信部と、を有し、
    前記第1の無線通信部はさらに、前記基準撮像装置から無線送信された前記圧縮画像データを無線受信し、
    更に、
    前記基準撮像装置における撮像タイミングと、前記基準撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データを記憶し、前記時間関係データと、前記第1の無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記基準撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記基準撮像装置の無線送信タイミングと異なるよう前記第1の無線通信部の無線送信タイミングを調整する制御部と、
    を有し、
    前記表示装置は、
    前記撮像装置から無線送信された前記圧縮画像データを無線受信する第2の無線通信部と、
    前記第2の無線通信部で無線受信された前記圧縮画像データに基づく画像を所定の表示周期で表示する表示部と、
    を有し、
    前記基準撮像装置の前記第1の無線通信部は、1回の撮像に対応する前記撮像データが前記表示装置で無線受信されたことを示す受信完了データを前記表示装置から無線受信し、
    前記基準撮像装置の前記撮像部は、1回の撮像を行った後、前記第1の無線通信部で前記受信完了データが受信された場合、次の撮像を行い、
    前記表示装置は、前記基準撮像装置の前記撮像部の1回の撮像に対応する前記撮像データが前記表示部で表示される表示タイミングと、前記第2の無線通信部で無線受信される前記撮像データの受信タイミングとに基づいて前記基準撮像装置の前記撮像部の撮像タイミングの調整時間を算出する算出部を更に有し、前記第2の無線通信部は、算出された前記調整時間に応じたタイミングで前記受信完了データを前記基準撮像装置に無線送信する撮像表示システム。
  2. 前記表示装置の前記第2の無線通信部は、前記受信完了データとして、前記基準撮像装置の前記撮像部の1回の撮像に対応する前記撮像データを複数に分割した分割撮像データを含む無線パケットのうち前記基準撮像装置から最後に無線送信された無線パケットを正常に受信したことを示すデータを前記基準撮像装置に無線送信する請求項１に記載の撮像表示システム。
  3. 前記表示装置の前記第2の無線通信部は、前記受信完了データとしてACKデータを前記基準撮像装置に無線送信する請求項２に記載の撮像表示システム。
  4. 前記表示装置の前記第2の無線通信部は、前記基準撮像装置から最後に無線送信された無線パケットを正常に無線受信した後、前記ACKデータを無線送信するまでの間、前記基準撮像装置から再送された前記無線パケットを受信する毎にNACデータを前記基準撮像装置に無線送信する請求項３に記載の撮像表示システム。
  5. 前記基準撮像装置以外の前記撮像装置の前記第1の無線通信部は、前記撮像データを前記基準撮像装置に無線送信し、
    前記基準撮像装置は、前記撮像部から出力された前記撮像データと、前記第1の無線通信部で無線受信された前記撮像データとを合成する画像合成部を更に有し、
    前記基準撮像装置の前記第1の無線通信部は、前記基準撮像装置以外の前記撮像装置から無線送信された前記撮像データを無線受信し、前記画像合成部で合成された前記撮像データを前記表示装置に無線送信する請求項１に記載の撮像表示システム。
  6. 前記基準撮像装置の前記画像合成部は、前記撮像部から出力された前記撮像データと、当該撮像データが生成された撮像周期と同一の期間内に前記第1の無線通信部で無線受信された前記撮像データとを合成する請求項５に記載の撮像表示システム。
JP2012224245A 2012-10-09 2012-10-09 撮像表示システム Expired - Fee Related JP6033032B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012224245A JP6033032B2 (ja) 2012-10-09 2012-10-09 撮像表示システム
EP13845016.8A EP2908513B1 (en) 2012-10-09 2013-07-08 Image pick-up and display system, image pick-up device, image pick-up method, and program
PCT/JP2013/068662 WO2014057719A1 (ja) 2012-10-09 2013-07-08 撮像表示システム、撮像装置、撮像方法、及びプログラム
CN201380051763.2A CN104704808B (zh) 2012-10-09 2013-07-08 摄像显示系统、摄像装置、摄像方法和程序
US14/679,567 US9414001B2 (en) 2012-10-09 2015-04-06 Image pick-up and display system, image pick-up device, image pick-up method, and computer readable storage device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012224245A JP6033032B2 (ja) 2012-10-09 2012-10-09 撮像表示システム

Publications (2)

Publication Number Publication Date
JP2014078793A JP2014078793A (ja) 2014-05-01
JP6033032B2 true JP6033032B2 (ja) 2016-11-30

Family

ID=50477195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012224245A Expired - Fee Related JP6033032B2 (ja) 2012-10-09 2012-10-09 撮像表示システム

Country Status (5)

Country Link
US (1) US9414001B2 (ja)
EP (1) EP2908513B1 (ja)
JP (1) JP6033032B2 (ja)
CN (1) CN104704808B (ja)
WO (1) WO2014057719A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5888873B2 (ja) * 2011-05-12 2016-03-22 オリンパス株式会社 画像送信装置及び撮像表示システム
EP3150102A4 (en) * 2014-05-27 2018-01-24 Olympus Corporation Capsule endoscope apparatus
JP6481225B2 (ja) * 2015-02-24 2019-03-13 オリンパス株式会社 情報端末装置、情報支援方法及び情報支援プログラム
CN106303651A (zh) * 2015-05-15 2017-01-04 中强光电股份有限公司 显示系统及显示系统的显示方法
CN108702461B (zh) * 2016-03-31 2021-10-26 麦克赛尔株式会社 带摄像机的便携式信息终端装置
US10200571B2 (en) * 2016-05-05 2019-02-05 Nvidia Corporation Displaying an adjusted image according to ambient light conditions
JP2018042003A (ja) * 2016-09-05 2018-03-15 カシオ計算機株式会社 撮像制御装置、撮像装置、撮像制御方法、撮像方法及びプログラム
WO2018235258A1 (ja) * 2017-06-23 2018-12-27 オリンパス株式会社 画像伝送システム、撮像端末、表示端末、調整方法、調整補助方法、調整プログラム、および調整補助プログラム
DE112019002983T5 (de) * 2018-06-12 2021-03-18 Rohm Co., Ltd. Kamerasystem sowie Steuerung dafür, Fahrzeug und Deserialisierungsschaltkreis
US11924397B2 (en) * 2020-07-23 2024-03-05 Samsung Electronics Co., Ltd. Generation and distribution of immersive media content from streams captured via distributed mobile devices
GB2626217B (en) * 2022-10-31 2025-04-16 Genius Sports Ss Llc A system for capturing video

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815667A (en) * 1995-11-28 1998-09-29 Ncr Corporation Circuits and methods for intelligent acknowledgement based flow control in a processing system network
US7327387B2 (en) * 2000-02-21 2008-02-05 Fujifilm Corporation Image pick-up information transmitting system and remote control method for an information transmitting system
US7796162B2 (en) * 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
JP3787498B2 (ja) * 2001-02-13 2006-06-21 キヤノン株式会社 撮像装置及び撮像システム
US7298964B2 (en) * 2001-02-26 2007-11-20 Matsushita Electric Industrial Co., Ltd. Recording system, video camera device and video image recording method
US7274661B2 (en) * 2001-09-17 2007-09-25 Altera Corporation Flow control method for quality streaming of audio/video/media over packet networks
US7679649B2 (en) * 2002-04-19 2010-03-16 Ralston John D Methods for deploying video monitoring applications and services across heterogenous networks
JP2003324649A (ja) * 2002-04-30 2003-11-14 Fuji Photo Film Co Ltd 通信機能付電子カメラおよびその電子カメラシステムにおける撮影方法
JP3731589B2 (ja) * 2003-07-18 2006-01-05 ソニー株式会社 撮像装置と同期信号発生装置
US7327385B2 (en) * 2003-11-20 2008-02-05 Texas Instruments Incorporated Home picture/video display system with ultra wide-band technology
JP4466052B2 (ja) 2003-11-21 2010-05-26 日本電気株式会社 無線画像通信システム、無線画像通信装置及び無線画像通信方法
JP4589631B2 (ja) * 2004-01-13 2010-12-01 ソニー株式会社 撮像装置，位相制御方法，および同期確立方法
JP2006005608A (ja) * 2004-06-17 2006-01-05 Hitachi Ltd 撮像装置
CN1624580A (zh) * 2004-12-06 2005-06-08 苏建国 时间摄像机
JP4320658B2 (ja) * 2005-12-27 2009-08-26 ソニー株式会社 撮像装置、制御方法、並びにプログラム
JP4812693B2 (ja) * 2007-05-31 2011-11-09 富士通株式会社 撮像装置におけるフレーム同期方法および装置
US8675074B2 (en) * 2007-07-20 2014-03-18 Honeywell International Inc. Custom video composites for surveillance applications
JP5056359B2 (ja) * 2007-11-02 2012-10-24 ソニー株式会社 情報表示装置、情報表示方法および撮像装置
KR101208427B1 (ko) * 2008-12-22 2012-12-05 한국전자통신연구원 동기화된 다중 영상 취득을 위한 다중 카메라 제어 및 영상저장 장치 및 방법
JP5432799B2 (ja) * 2010-03-30 2014-03-05 オリンパスイメージング株式会社 撮像装置、撮像システム、撮像方法
JP5251926B2 (ja) * 2010-06-16 2013-07-31 セイコーエプソン株式会社 撮影装置およびタイミング制御回路
US20120154510A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Smart Camera for Virtual Conferences
US20120274856A1 (en) * 2011-04-27 2012-11-01 Purushotam Kumar Frame List Processing for Multiple Video Channels
JP5988249B2 (ja) * 2012-03-26 2016-09-07 パナソニックＩｐマネジメント株式会社 無線通信システム及び方法並びにデータ受信装置、方法及びプログラム

Also Published As

Publication number Publication date
EP2908513A1 (en) 2015-08-19
CN104704808A (zh) 2015-06-10
JP2014078793A (ja) 2014-05-01
EP2908513A4 (en) 2016-04-06
CN104704808B (zh) 2017-10-13
WO2014057719A1 (ja) 2014-04-17
EP2908513B1 (en) 2018-09-05
US20150215563A1 (en) 2015-07-30
US9414001B2 (en) 2016-08-09

Similar Documents

Publication Publication Date Title
JP6033032B2 (ja) 撮像表示システム
US20190289242A1 (en) Electronic apparatus and method for conditionally providing image processing by an external apparatus
US9198557B2 (en) Electronic endoscopic apparatus
JP5526638B2 (ja) ワイヤレス画像伝送装置およびワイヤレス画像伝送方法
US10098080B2 (en) Device, method and computer readable medium
US9992402B2 (en) Imaging apparatus and imaging control apparatus having synchronous type wireless communication function
JP2014011529A (ja) 撮像装置、撮像システム、撮像方法及びプログラム
US10542192B2 (en) Image transfer system, image receiver, image transmitter, image transfer method, image reception method, image transmission method, and program
RU2542343C2 (ru) Система камер, способ настройки величины задержки сигнала и программа
US9571799B2 (en) Wireless communication system and method, and data receiving apparatus, method and program
JP5465106B2 (ja) 表示装置及び表示システム
JP2009147831A (ja) 画像伝送装置及びワイヤレス画像受信装置
US10587783B2 (en) Image reception terminal, image communication system, image reception method, and recording medium
US12284138B2 (en) Communication apparatus, communication system, and communication method
US10764616B2 (en) Image transmission apparatus, image transmission method, and recording medium
US11184502B2 (en) Communication system, reception terminal, communication method, and recording medium
JP2025074624A (ja) サーバ装置、送信方法、及びコンピュータプログラム
JP2017005588A (ja) 表示制御装置及び表示制御方法
JP6153812B2 (ja) 通信仲介装置及び通信システム並びに通信方法
JP2017118303A (ja) 撮影システム、撮影装置、撮影方法、及び撮影制御プログラム
JP2015023500A (ja) 映像信号出力機器及び設定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161025

R151 Written notification of patent or utility model registration

Ref document number: 6033032

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees