JP2017143340A - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP2017143340A
JP2017143340A JP2016021848A JP2016021848A JP2017143340A JP 2017143340 A JP2017143340 A JP 2017143340A JP 2016021848 A JP2016021848 A JP 2016021848A JP 2016021848 A JP2016021848 A JP 2016021848A JP 2017143340 A JP2017143340 A JP 2017143340A
Authority
JP
Japan
Prior art keywords
moving image
video
input
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016021848A
Other languages
English (en)
Other versions
JP2017143340A5 (ja
Inventor
浩己 木谷
Hiroki Kitani
浩己 木谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016021848A priority Critical patent/JP2017143340A/ja
Priority to US16/075,871 priority patent/US10623610B2/en
Priority to PCT/JP2017/004153 priority patent/WO2017138473A1/ja
Priority to CN201780010483.5A priority patent/CN108605116A/zh
Publication of JP2017143340A publication Critical patent/JP2017143340A/ja
Publication of JP2017143340A5 publication Critical patent/JP2017143340A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

【課題】見たい動画の内容を容易に確認することができる技術を提供する。【解決手段】情報処理装置7は、動画生成部31と、表示制御部33と、入力検出部35と、を備える。動画生成部31は、少なくとも複数の動画を合成した動画である合成動画101を生成する。表示制御部33は、動画を表示可能である表示部5に動画を表示させる。入力検出部35は、表示部5に表示された合成動画上の位置及び合成動画101を基準とした方向のうちの少なくともいずれか一方を入力する入力操作を実行可能である入力装置5に対する入力操作を検出する。また上記表示制御部33は、合成動画101を構成する複数の動画のうちの入力検出部35により検出された入力に応じた1つ以上の動画に基づく動画であって、少なくとも合成動画101とは異なる表示態様である動画を、表示部5に表示させる。【選択図】図1

Description

本発明は、車両の周辺を撮影して表示する技術に関する。
車両に搭載されたカメラにて撮影された動画を記録しておき、後に再生する技術が知られている。例えば、特許文献1では、撮影した動画を構成する静止画に時刻とGPS信号とを関連付けて記録する技術が提案されている。
特許第5324722号公報
車両に備えられた複数のカメラにより同時に動画を撮影した場合などには、関連する複数の動画が存在することとなる。これらの動画を再生する際には、例えばファイル名に基づいて動画を個別に選択して再生する方法が考えられるが、その場合は、各動画の内容がどのようなものであるのかが感覚的に分かりにくいという問題があった。
本発明は、見たい動画の内容を容易に確認することができる技術を提供することを目的としている。
本開示の第1の局面は、動画生成部(31)と、表示制御部(33)と、入力検出部(35)と、を備える情報処理装置(7)である。
動画生成部は、少なくとも複数の動画を合成した動画である合成動画(101、141a)を生成する。表示制御部は、動画を表示可能である表示部(5)に動画を表示させる。入力検出部は、表示部に表示された合成動画上の位置及び合成動画を基準とした方向のうちの少なくともいずれか一方を入力する入力操作を実行可能である入力装置(5)に対する入力操作を検出する。
そして、上記表示制御部は、合成動画を構成する複数の動画のうちの入力検出部により検出された入力に応じた1つ以上の動画に基づく動画であって、少なくとも上記合成動画とは異なる表示態様である動画(121、123、125、127、141b)を、表示部に表示させる。
このような構成によれば、複数の動画により構成される合成動画が表示された状態から、ユーザの操作に応じて、少なくとも1つの動画に基づく動画が表示される。よってユーザは、合成動画を構成する動画に含まれる、ユーザが見たい動画の内容を容易に確認することができる。
本開示の第2の局面は、コンピュータを、動画生成部(31)、表示制御部(33)、入力検出部(35)、として機能させるプログラムである。動画生成部、表示制御部、入力検出部の構成は、上述した第1の局面と同様の構成である。
このような構成によれば、コンピュータに、上述した第1の局面の情報処理装置と同様の機能を発揮させることができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
画像処理システムの構成を示すブロック図である。 画像表示処理のフローチャートである。 第1実施形態の合成動画を示す図である。 タッチ入力処理のフローチャートである。 フロントレフト映像を示す図である。 フロント映像を示す図である。 レフト映像を示す図である。 ライト映像を示す図である。 バック映像を示す図である。 第2実施形態の合成動画を示す図である。 第2実施形態の合成動画であって、表示態様を変化させた状態を示す図である。 他の実施形態の合成動画を示す図である。
以下、図面を参照しながら、発明を実施するための形態を説明する。
[1.第1実施形態]
[1−1.構成]
画像処理システム1は自動車等の車両に搭載されて用いられるシステムであって、図1に示すように、車両に搭載される4つのカメラである前カメラ3a,後カメラ3b,左カメラ3c,及び右カメラ3dと、タッチパネル5と、Electronic Control Unit(以下、ECU)7と、を備えている。以下の説明において、上記4つのカメラ全てを指すときには単にカメラ3と記載する。なおECU7が、情報処理装置の一例である。
画像処理システム1は、カメラ3にて撮影された車両周辺の画像を合成した合成動画を生成し、タッチパネル5にその合成動画を表示させることによって合成動画の再生を実現する。
カメラ3は、車両に設けられた撮像装置であって、例えば公知のCCDイメージセンサやCMOSイメージセンサなどを用いることができる。各カメラは所定の時間間隔(一例として1/15s)で車両周辺を撮影し、撮影した撮影画像をECU7に出力する。前カメラ3a,後カメラ3b,左カメラ3c,右カメラ3dは、それぞれ、車両の前方、後方、左方、右方を撮影するように配置されている。
タッチパネル5は、画像を表示可能な液晶や有機ELなどの表示画面を有する表示装置と、その表示画面に重ねて配置される光を透過する入力装置と、を有する一般的なタッチパネル装置であり、ECU7から入力される信号に従って表示装置が画像を表示するとともに、入力装置に対するユーザの入力操作を受け付け、入力信号としてECU7に出力する。なお、このタッチパネル5が表示部及び入力装置に相当する。
ECU7は、カメラ入力信号処理部11、タッチパネル入力信号処理部12、出力信号処理部13、画像処理部14を有する。
カメラ入力信号処理部11は、カメラ3から入力される撮影画像のアナログ信号をデジタル信号に変換して画像処理部14に出力する。
タッチパネル入力信号処理部12は、タッチパネル5から入力される入力信号をデジタル信号に変換して画像処理部14に出力する。
出力信号処理部13は、画像処理部14から出力された画像データのデジタル信号をアナログ信号に変換し、タッチパネル5に出力する。タッチパネル5は、受信した信号に基づいて画像を表示する。
画像処理部14は、CPU21と、RAM、ROM、フラッシュメモリ等の半導体メモリ(以下、メモリ23)と、を有する周知のマイクロコンピュータを中心に構成される。画像処理部14の各種機能は、CPU21が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ23が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、画像処理部14を構成するマイクロコンピュータの数は1つでも複数でもよい。
カメラ入力信号処理部11から入力された動画データは、メモリ23に格納され、合成動画や後述する個別動画を生成するときに使用される。
画像処理部14は、CPU21がプログラムを実行することで実現される機能の構成として、図1に示すように、動画生成部31と、表示制御部33と、入力検出部35と、画像合成部37と、を備える。画像処理部14を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。
動画生成部31は、少なくとも複数の動画を合成した動画である合成動画を生成する。合成動画は、複数の動画のみを合成して生成されるものであってもよいし、動画以外の画像が含まれていてもよい。
本実施形態において、動画とは、複数の静止画像を連続的に切り換えることで静止画像の変化に応じた動きを表現することのできる、複数の静止画像から構成される映像を意味する。また合成動画とは、複数の動画に含まれる静止画像同士を合成して新たな静止画像を生成し、その生成された複数の静止画像から構成される動画を意味する。
なお、合成動画を構成する複数の動画は、カメラ3により過去に撮影されてメモリ23に保存されている動画であってもよいし、カメラ3により撮影中の動画であってもよい。
表示制御部33は、表示すべき画像を示す制御信号をタッチパネル5に出力して、タッチパネル5に動画を表示させる。
入力検出部35は、タッチパネル5におけるユーザの指などによりタッチされた位置を検出するとともに、その位置の変化を検出する。即ち、所謂タップやフリックなどの操作を検出する。これにより、タッチパネル5に表示された合成動画上の位置及び合成動画101を基準とした方向を入力する入力操作を検出する。
本実施例において、タッチパネル5は、タッチされた位置を0≦X≦240、0≦Y≦360の範囲の座標で特定する。以下の説明において、タッチされた位置をタッチ座標とも記載する。
画像合成部37は、合成動画を構成する複数の動画、即ち4つのカメラ3により撮影された4つ動画のうち、入力検出部35により検出された入力に応じて定まる2つ以上の動画を合成する。
また、上述した表示制御部33は、合成動画を構成する複数の動画のうちの入力検出部35により検出されたタッチパネル5への入力に応じた1つ以上の動画に基づく動画であって、少なくとも上記合成動画とは異なる表示態様である動画である個別動画を、タッチパネル5に表示させる。
個別動画とは、合成動画を構成する複数の動画のうちの一部の動画であって、入力検出部35により検出された入力に応じた1つ以上の動画に基づく動画である。ここでいう、1つ以上の動画に基づく動画、とは、1つ以上の動画を材料とした動画であって、材料となる動画そのものや、材料となる動画の視点を変換したり、複数の動画を合成したりする画像処理が施されたものなどが該当する。本実施形態では、個別動画には、4つのカメラ3により撮影されたそれぞれの動画と、画像合成部37により合成された動画と、が含まれる。
[1−2.処理]
次に、画像処理部14のCPU21が実行する画像表示処理について、図2のフローチャートを用いて説明する。
まずS1では、CPU21は、タッチパネル5に車両の周辺を示す鳥瞰図の動画を再生する。ここで表示される動画を、図3を用いて説明する。
鳥瞰図である合成動画101は、画像処理システム1が搭載された車両103の上方の視点から車両103を真下に見下ろした画像から構成される動画である。この合成動画101は、4つのカメラ3により撮影された異なる視点の動画を1つの視点の動画に合成したものである。なお、車両103自体はカメラによって撮影されないため、予め準備された画像が合成に用いられる。
この合成動画101は、破線で区切られた9つの領域に分けられる。合成動画101において、車両103の左前方を第1領域111とし、車両103の中央前方を第2領域112とし、車両103の右前方を第3領域113とし、車両103の左方を第4領域114とし、車両103の中央部分を第5領域115とし、車両103の右方を第6領域116とし、車両103の左後方を第7領域117とし、車両103の中央後方を第8領域118とし、車両103の右後方を第9領域119とする。
合成動画101は、合成動画101を構成する複数の動画それぞれに対応する合成動画101上の範囲が設定されている。具体的には、前カメラ3aにより撮影された動画には第1領域111、第2領域112、第3領域113が対応付けられており、後カメラ3bにより撮影された動画には第7領域117、第8領域118、第9領域119が対応付けられており、左カメラ3cにより撮影された動画には第1領域111、第4領域114、第7領域117が対応付けられており、右カメラ3dにより撮影された動画には第3領域113、第6領域116、第9領域119が対応付けられている。
S2では、CPU21は、タッチパネル5にタッチ入力がなされるまで待機する。タッチ入力がなされれば、処理がS3に移行する。
S3では、CPU21は、タッチ入力処理を実行する。タッチ入力処理について、図4のフローチャートを用いて説明する。
まずS11では、CPU21は、タッチ座標のYの値が240<Yを満たすか否かを判定する。Yの値が240<Yを満たせば、処理がS12に移行する。一方、Yの値が240<Yを満たさなければ、処理がS17に移行する。
S12では、CPU21は、タッチ座標のXの値がX≦80を満たすか否かを判定する。Xの値がX≦80を満たせば、即ちタッチ座標が第1領域111に位置していれば、処理がS13に移行する。一方、Xの値がX≦80を満たさなければ、処理がS14に移行する。
S13では、CPU21は、個別動画の一例であるフロントレフト映像を合成してタッチパネル5に表示させる。図5に示すように、フロントレフト映像121は、前カメラ3aと左カメラ3cとにより撮影された動画を合成した動画であって、第1領域111に対応する動画である。つまり、図3における第1領域111をタップすることで、その部分を拡大して合成された動画が合成動画101に代えてタッチパネル5に表示される。このS12の後、本処理を終了する。本処理が終了したときに、図4の画像表示処理も同時に終了する。以下の説明においても同様である。
なおフロントレフト映像121は、それまで表示されていた合成動画101の続きとなるタイミングから表示される構成としてもよいし、動画の最初や一定時間前のタイミングから表示される構成としてもよい。このことは以下の個別動画においても同様である。
説明を図4に戻る。S14では、CPU21は、タッチ座標のXの値が80<X≦160を満たすか否かを判定する。Xの値が80<X≦160を満たせば、即ちタッチ座標が第2領域112に位置していれば、処理がS15に移行する。一方、Xの値が80<X≦160を満たさなければ、即ちタッチ座標が第3領域113に位置していれば、処理がS16に移行する。
S15では、CPU21は、個別動画の一例であるフロント映像をタッチパネル5に表示させる。図6に示すように、フロント映像123は、前カメラ3aにより撮影された動画であって、第2領域112に対応する動画である。つまり、図3における第2領域112をタップすることで、その部分を拡大し、またより前方まで表示される動画が合成動画101に代えて表示される。このS15の後、本処理を終了する。
S16では、CPU21は、個別動画の一例であるフロントライト映像をタッチパネル5に表示させる。フロントライト映像は、図示しないが、前カメラ3aと右カメラ3dとにより撮影された動画を合成した動画であって、第3領域111に対応する動画である。このS16の後、本処理を終了する。
S17では、CPU21は、タッチ座標のYの値が120<Y≦240を満たすか否かを判定する。Yの値が120<Y≦240を満たせば、処理がS18に移行する。一方、Yの値が120<Y≦240を満たさなければ、つまりY<240であれば、処理がS23に移行する。
S18では、CPU21は、タッチ座標のXの値がX≦80を満たすか否かを判定する。Xの値がX≦80を満たせば、即ちタッチ座標が第4領域114に位置していれば、処理がS19に移行する。一方、Xの値がX≦80を満たさなければ、処理がS20に移行する。
S19では、CPU21は、個別動画の一例であるレフト映像をタッチパネル5に表示させる。図7に示すように、レフト映像125は、左カメラ3cにより撮影された動画であって、第4領域114に対応する動画である。つまり、図3における第4領域114をタップすることで、その部分を拡大した動画が合成動画101に代えて表示される。このS19の後、本処理を終了する。
S20では、CPU21は、タッチ座標のXの値が80<X≦160を満たすか否かを判定する。Xの値が80<X≦160を満たせば、即ちタッチ座標が第5領域115に位置していれば、処理がS21に移行する。一方、Xの値が80<X≦160を満たさなければ、即ちタッチ座標が第6領域116に位置していれば、処理がS22に移行する。
S21では、CPU21は、個別動画の一例である拡大映像を表示する。拡大映像とは、図3の合成動画101と視点の方向は同じであるが、縮尺を大きくして車両103の周辺を合成動画101よりも遠くまで表示した動画である。このS21の後、本処理を終了する。
S22では、CPU21は、個別動画の一例であるライト映像をタッチパネル5に表示させる。図8に示すように、ライト映像127は、右カメラ3dにより撮影された動画であって、第6領域116に対応する動画である。つまり、図3における第6領域116をタップすることで、その部分を拡大した動画が合成動画101に代えて表示される。このS22の後、本処理を終了する。
S23では、CPU21は、タッチ座標のXの値がX≦80を満たすか否かを判定する。Xの値がX≦80を満たせば、即ちタッチ座標が第7領域117に位置していれば、処理がS24に移行する。一方、Xの値がX≦80を満たさなければ、処理がS25に移行する。
S24では、CPU21は、個別動画の一例であるバックレフト映像をタッチパネル5に表示させる。バックレフト映像は、図示しないが、後カメラ3bと左カメラ3cとにより撮影された動画を合成した動画であって、第7領域117に対応する動画である。このS24の後、本処理を終了する。
S25では、CPU21は、タッチ座標のXの値が80<X≦160を満たすか否かを判定する。Xの値が80<X≦160を満たせば、即ちタッチ座標が第8領域118に位置していれば、処理がS26に移行する。一方、Xの値が80<X≦160を満たさなければ、即ちタッチ座標が第9領域119に位置していれば、処理がS27に移行する。
S26では、CPU21は、個別動画の一例であるバック映像をタッチパネル5に表示させる。図9に示すように、バック映像129は、後カメラ3bにより撮影された動画であって、第8領域118に対応する動画である。つまり、図3における第8領域118をタップすることで、その部分を拡大し、またより後方まで表示される動画が合成動画101に代えて表示される。このS26の後、本処理を終了する。
S27では、CPU21は、バックライト映像をタッチパネル5に表示させる。バックライト映像は、図示しないが、後カメラ3bと右カメラ3dとにより撮影された動画を合成した動画であって、第9領域119に対応する動画である。このS27の後、本処理を終了する。
[1−3.効果]
以上詳述した第1実施形態によれば、以下の効果が得られる。
(1a)画像処理システム1では、複数の動画に基づいて構成される合成動画101が表示されることで、ユーザは複数の動画を同時に確認することができる。そして、ユーザがタッチパネル5にタッチして合成動画101上の範囲を指定することで、合成動画101を構成する動画の一部の動画に基づく個別動画が表示される。よってユーザは、タッチパネル5を操作して、任意のタイミングで、容易に見たい動画の内容を確認することができる。
(1b)個別動画には、合成動画101を構成する動画のうちの2つの動画を合成して生成された動画が含まれている。そのため、ユーザにタッチパネル5が操作されたときには、単に合成動画101を構成する動画が拡大して表示されるだけでなく、ユーザが見たい範囲をより適切な態様として表示させることができる。
なお、個別動画を構成する動画の数は2つに限定されることは無く、例えば、3つの動画を合成して生成されるものであってもよい。3つの動画を合成した動画の例としては、例えば、車両の前方かつ上方から車両を後方に見下ろした視点の動画が考えられる。
(1c)ユーザがタッチパネル5を操作して合成動画101上の任意の位置をタップしたときに、タッチ座標に応じた個別動画が表示される。よって、ユーザは、個別動画が車両を基準としたどの位置の動画であるのかを容易に認識することができる。
[2.第2実施形態]
[2−1.第1実施形態との相違点]
第2実施形態は、基本的な構成は第1実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
前述した第1実施形態では、タッチパネル5には合成動画101を表示し、合成動画101上の領域をユーザがタップしたときに、表示される画像が個別動画に切り換えられる構成を例示した。これに対し、第2実施形態では、タッチパネル5への入力操作に応じて合成動画の視点を変更する構成である点で、第1実施形態と相違する。
図10に示すように、本実施形態の合成動画は、画像処理システム1が搭載された車両103の後方かつ上方の視点から、車両143を斜め後方に見下ろした画像である三次元ビュー動画141aを示す図である。
この三次元ビュー動画141aは、少なくとも前カメラ3a、左カメラ3c、右カメラ3dの3つ又は4つのカメラにより撮影された動画、即ち異なる視点の動画を1つの視点の動画に合成したものである。車両143自体はカメラ3によって撮影されないため、予め準備された画像が合成に用いられる。
この三次元ビュー動画141aは、タッチパネル5に対して指147等によってフリック操作を行うことで、表示される動画の視点が変更する。例えば、左から右にフリック操作を行うと、図11に示す三次元ビュー動画141bのように、表示される動画の視点が左側に移動して表示態様が変化し、車両143を左から見たような視点となる。
このように本実施形態では、フリック操作を行うことで、車両143を見る視点を移動させることができる。つまり、例えば視点を車両143の前方かつ上方に移動させることで、三次元ビュー動画は車両の前方かつ上方から車両143を後方に見下ろす視点となり、車両143の後方を広く視認することができるようになる。また例えば視点を車両143の右方に移動させることで、三次元ビュー動画は車両の右方から車両143を左に見る視点となり、車両143の左方を広く視認することができるようになる。
[2−2.効果]
以上詳述した第2実施形態によれば、以下の効果が得られる。
(2a)タッチパネル5に表示される合成動画である三次元ビュー動画141aは、フリック操作により視点を変化させることができる。よって、ユーザは車両143を基準として視認したい方向の動画を容易に視認することができるとともに、表示されている動画が車両143を基準としてどの方向を示しているのかを容易に把握することができる。
[3.他の実施形態]
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。
(3a)上記実施形態では、ユーザが入力操作を行う入力装置としてタッチパネル5を例示したが、表示装置に表示された合成動画上の位置及び合成動画を基準とした方向のうちの少なくともいずれか一方を指定する入力操作が実行可能な装置であれば、これに限定されるものではない。なお、合成動画を基準とした方向とは、ユーザが合成動画の表示される表示画面の正面から合成動画を見たときに、そのユーザを基準とした合成動画の上下、左右などの方向である。
このような入力装置としては、例えば、表示装置から離れた位置に設置されたタッチパッドやジョイスティック、方向を指示するボタンなど、様々な装置を採用することができる。
また上述した合成動画上の位置とは、上記実施形態で示したタッチ座標に限定されるものではなく、一定の範囲を示すものであってもよい。例えば、入力装置は、第1領域111〜第9領域119のいずれかを指定できるように構成されていてもよい。
(3b)上記実施形態では、車両に搭載されたカメラ3により撮影された車両周辺の動画がタッチパネル5に表示される構成を例示したが、車両周辺の動画以外の動画を再生する場合に本発明の構成を適用してもよい。
例えば、複数の防犯カメラにより撮影された動画を合成して合成動画として再生し、ユーザの操作に応じて、所望の位置が個別画像により表示される構成とすることが考えられる。
(3c)上記第1実施形態では、タッチパネル5に合成動画101が表示され、タッチパネル5に入力操作を行うことでタッチパネル5に個別動画が表示される構成を例示した。
しかしながら、合成動画が表示される表示装置と、個別動画が表示される表示装置と、は異なる表示装置であってもよい。このように構成することで、合成動画と個別動画とを同時に視認することができる。この場合、それらの2つ以上の表示装置が表示部に相当する。
(3d)カメラ3それぞれの設置される位置、及び、設置されるカメラの数は、上記実施形態の構成に限定されない。複数のカメラは、それぞれ、少なくとも一部が異なる撮影範囲を撮影可能となるように、異なる位置や異なる角度で設けることができる。また、車両の周囲全体を撮影する構成でなく、例えば、車両の前方と左右のみ、又は、車両の後方と左右のみを撮影するように複数のカメラが配置されていてもよい。
(3e)上記第1実施形態では、合成動画として、4つのカメラ3にて撮影された動画を1つの視点の動画に変更した動画を表示する構成を例示したが、合成動画は、1つの視点の動画でなくともよい。
例えば、図12に示す合成動画151は、車両103を中心として、各カメラ3の撮影方向と対応する位置に各カメラ3にて撮影された動画を合成した動画である。この合成動画151において、フロント映像123、レフト映像125、ライト映像127、バック映像129をタップすると、タップした動画が拡大して表示される。このように構成されていても、ユーザの任意のタイミングで希望する個別動画を再生することができる。
(3f)上記第1実施形態では、タッチパネル5への入力に応じて個別動画が表示される構成を例示し、上記第2実施形態ではタッチパネル5への入力に応じて合成動画の視点が変化する構成を例示した。しかしながら、タッチパネル5への入力が行われたときに合成動画とは異なる表示態様である動画が表示される構成であれば、表示される動画は上記実施形態の例に限定されず、合成動画を構成する動画に基づく様々な態様の動画を表示させることができる。
なお、ここでいう表示態様とは、動画として視認される状態のことを意味する。但し、カメラ3により撮影された元の動画が示す内容そのものは除外する。つまり、異なる表示態様の動画とは、撮影対象の経時的な変化による動画の内容の変化を除き、表示される動画の一部又は全部において、動画を構成する元の動画の変更、視点の変化、拡大・縮小、明るさ、色、表示・非表示の変化、強調演出、などの状態が異なる動画を意味する。
(3g)上記各実施形態における1つの構成要素が有する機能を複数の構成要素に分担させたり、複数の構成要素が有する機能を1つの構成要素に発揮させたりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
(3h)上述したECU7の他、当該ECU7を構成要素とするシステム、当該ECU7としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体など、種々の形態で本発明を実現することもできる。
1…画像処理システム、5…タッチパネル、7…ECU、31…動画生成部、33…表示制御部、35…入力検出部、37…画像合成部、101…合成動画、121…フロントレフト映像、123…フロント映像、125…レフト映像、127…ライト映像、129…バック映像、141a…三次元ビュー動画、141b…三次元ビュー動画、151…合成動画

Claims (6)

  1. 少なくとも複数の動画を合成した動画である合成動画(101、141a、151)を生成する動画生成部(31)と、
    動画を表示可能である表示部(5)に動画を表示させる表示制御部(33)と、
    前記表示部に表示された前記合成動画上の位置及び前記合成動画を基準とした方向のうちの少なくともいずれか一方を入力する入力操作を実行可能である入力装置(5)に対する前記入力操作を検出する入力検出部(35)と、を備え、
    前記表示制御部は、前記合成動画を構成する前記複数の動画のうちの前記入力検出部により検出された前記入力に応じた1つ以上の動画に基づく動画であって、少なくとも前記合成動画とは異なる表示態様である動画(121、123、125、127、141b)を、前記表示部に表示させる、情報処理装置(7)。
  2. 請求項1に記載の情報処理装置であって、
    前記表示制御部は、前記複数の動画のうち前記入力検出部により検出された前記入力に応じた前記合成動画の一部を構成する1つ以上の動画に基づく動画である個別動画を、前記表示部に表示させる、情報処理装置。
  3. 請求項2に記載の情報処理装置であって、
    前記複数の動画のうち、前記入力検出部により検出された前記入力に応じて定まる2つ以上の動画を合成する画像合成部(37)を備え、
    前記個別動画は、前記画像合成部により合成された動画を含む、情報処理装置。
  4. 請求項2又は請求項3に記載の情報処理装置であって、
    前記合成動画は、該合成動画を構成する前記複数の動画それぞれに対応する該合成動画上の範囲が設定されており、
    前記入力装置は、前記合成動画上の位置を入力する入力操作が実行可能に構成されており、
    前記個別動画は、前記複数の動画のうち、前記入力検出部により検出された前記位置に対応する1つ以上の動画に基づく動画である、情報処理装置。
  5. 請求項1から請求項4までのいずれか1項に記載の情報処理装置であって、
    前記複数の動画は、車両に搭載される複数のカメラにより撮影された動画である、情報処理装置。
  6. コンピュータを、
    少なくとも複数の動画を合成した動画である合成動画(101、141a)を生成する動画生成部(31)、
    動画を表示可能である表示部(5)に動画を表示させる表示制御部(33)、
    前記表示部に表示された前記合成動画上の位置及び前記合成動画を基準とした方向のうちの少なくともいずれか一方を入力する入力操作を実行可能である入力装置(5)に対する前記入力操作を検出する入力検出部(35)、として機能させるプログラムであって、
    前記表示制御部は、前記合成動画を構成する前記複数の動画のうちの前記入力検出部により検出された前記入力に応じた1つ以上の動画に基づく動画であって、少なくとも前記合成動画とは異なる表示態様である動画(121、123、125、127、141b)を、前記表示部に表示させる、プログラム。
JP2016021848A 2016-02-08 2016-02-08 情報処理装置及びプログラム Pending JP2017143340A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016021848A JP2017143340A (ja) 2016-02-08 2016-02-08 情報処理装置及びプログラム
US16/075,871 US10623610B2 (en) 2016-02-08 2017-02-06 Display processing device and display processing method
PCT/JP2017/004153 WO2017138473A1 (ja) 2016-02-08 2017-02-06 表示処理装置及び表示処理方法
CN201780010483.5A CN108605116A (zh) 2016-02-08 2017-02-06 显示处理装置以及显示处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016021848A JP2017143340A (ja) 2016-02-08 2016-02-08 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2017143340A true JP2017143340A (ja) 2017-08-17
JP2017143340A5 JP2017143340A5 (ja) 2018-06-14

Family

ID=59563824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016021848A Pending JP2017143340A (ja) 2016-02-08 2016-02-08 情報処理装置及びプログラム

Country Status (4)

Country Link
US (1) US10623610B2 (ja)
JP (1) JP2017143340A (ja)
CN (1) CN108605116A (ja)
WO (1) WO2017138473A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110696720A (zh) * 2019-10-31 2020-01-17 广东好帮手丰诺电子科技有限公司 一种带原车按健控制的3d全景倒车系统
JP2023006860A (ja) * 2021-06-30 2023-01-18 フォルシアクラリオン・エレクトロニクス株式会社 ビュー表示装置およびビュー表示方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020255661A1 (ja) * 2019-06-20 2020-12-24 住友電気工業株式会社 車載通信システム、スイッチ装置、機能部、通信制御方法および通信制御プログラム
US11457181B1 (en) 2021-03-19 2022-09-27 Denso International America, Inc. Vehicle maneuver assist with environment-fixed overhead composite image
JP2024144827A (ja) * 2023-03-31 2024-10-15 本田技研工業株式会社 再現システム、再現方法、および再現プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
JP2009239674A (ja) * 2008-03-27 2009-10-15 Mitsubishi Motors Corp 車両周辺表示装置
JP2012124610A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 画像表示システム、画像処理装置及び画像表示方法
JP2013109418A (ja) * 2011-11-17 2013-06-06 Kayaba Ind Co Ltd ドライブレコーダ
JP2015076062A (ja) * 2013-10-11 2015-04-20 富士通テン株式会社 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP2015184839A (ja) * 2014-03-21 2015-10-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
JP2016012895A (ja) * 2014-06-30 2016-01-21 ダイハツ工業株式会社 車両周辺表示装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51132614A (en) 1975-05-14 1976-11-17 Kyokado Eng Co Composite grouting method
EP2179589A4 (en) * 2007-07-20 2010-12-01 Fujifilm Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
JP5181294B2 (ja) * 2008-03-31 2013-04-10 富士フイルム株式会社 撮像システム、撮像方法、およびプログラム
JP5231284B2 (ja) * 2008-03-31 2013-07-10 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
JP5684488B2 (ja) * 2009-04-20 2015-03-11 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
JP5655667B2 (ja) * 2011-03-31 2015-01-21 カシオ計算機株式会社 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム
CN102745138B (zh) * 2012-07-23 2014-12-03 北京智华驭新汽车电子技术开发有限公司 一种双视场动态轨迹倒车影像系统
JP5324722B1 (ja) 2012-12-27 2013-10-23 アサヒリサーチ株式会社 映像記録再生装置
KR101871945B1 (ko) * 2013-01-17 2018-08-02 한화에어로스페이스 주식회사 영상 처리 장치 및 방법
US10382674B2 (en) * 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering
JP6271926B2 (ja) * 2013-09-18 2018-01-31 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
JP6392572B2 (ja) * 2014-07-22 2018-09-19 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
JP6717564B2 (ja) * 2015-02-16 2020-07-01 大塚電子株式会社 配光特性測定装置および配光特性測定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
JP2009239674A (ja) * 2008-03-27 2009-10-15 Mitsubishi Motors Corp 車両周辺表示装置
JP2012124610A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 画像表示システム、画像処理装置及び画像表示方法
JP2013109418A (ja) * 2011-11-17 2013-06-06 Kayaba Ind Co Ltd ドライブレコーダ
JP2015076062A (ja) * 2013-10-11 2015-04-20 富士通テン株式会社 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP2015184839A (ja) * 2014-03-21 2015-10-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
JP2016012895A (ja) * 2014-06-30 2016-01-21 ダイハツ工業株式会社 車両周辺表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110696720A (zh) * 2019-10-31 2020-01-17 广东好帮手丰诺电子科技有限公司 一种带原车按健控制的3d全景倒车系统
JP2023006860A (ja) * 2021-06-30 2023-01-18 フォルシアクラリオン・エレクトロニクス株式会社 ビュー表示装置およびビュー表示方法
JP7699977B2 (ja) 2021-06-30 2025-06-30 フォルシアクラリオン・エレクトロニクス株式会社 ビュー表示装置およびビュー表示方法

Also Published As

Publication number Publication date
WO2017138473A1 (ja) 2017-08-17
CN108605116A (zh) 2018-09-28
US10623610B2 (en) 2020-04-14
US20190045092A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
KR102875191B1 (ko) 상이한 줌 레벨들에서 카메라를 오리엔팅하기 위한 보조
TWI450180B (zh) Display control device, display control method, program
CN102111542B (zh) 图像处理设备、成像设备和图像处理方法
JP2017143340A (ja) 情報処理装置及びプログラム
US20150149960A1 (en) Method of generating panorama image, computer-readable storage medium having recorded thereon the method, and panorama image generating device
US10904418B2 (en) Foldable electronic device and method for capturing view using at least two image sensors based on operating mode corresponding to folding angle
JP5915514B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5220157B2 (ja) 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
US10789987B2 (en) Accessing a video segment
JP2016096449A (ja) 画像表示装置、明るさ変更方法、及び、プログラム
JP5168186B2 (ja) 画像処理装置
JP2014241569A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP5825921B2 (ja) 表示装置及びその制御方法
US9621809B2 (en) Display control apparatus and method for controlling the same
JP2016100883A (ja) フォーカスアシスト装置およびそのプログラム
US20240203012A1 (en) Electronic device for generating three-dimensional photo based on images acquired from plurality of cameras, and method therefor
US9924093B1 (en) Method and apparatus for displaying panoramic images
JP2021005168A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
JP2014099820A (ja) 画像撮影装置、画像撮影方法
JP5063671B2 (ja) 画像表示装置
JP2025187575A (ja) 頭部装着型表示装置
JP2006311063A (ja) 資料提示装置およびその動作方法
JP2008022132A (ja) 画像表示装置、画像表示方法、画像表示プログラムおよびコンピュータに読み取り可能な記録媒体
JP2015056825A (ja) 撮像装置、その制御方法及びプログラム
KR101228319B1 (ko) 임베디드 os를 탑재한 실물화상 시스템에서 영상을오버레이하는 장치 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180427

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190902

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200107