TW201619933A - 圖像處理裝置、圖像處理裝置之控制方法及電腦程式 - Google Patents

圖像處理裝置、圖像處理裝置之控制方法及電腦程式 Download PDF

Info

Publication number
TW201619933A
TW201619933A TW104137587A TW104137587A TW201619933A TW 201619933 A TW201619933 A TW 201619933A TW 104137587 A TW104137587 A TW 104137587A TW 104137587 A TW104137587 A TW 104137587A TW 201619933 A TW201619933 A TW 201619933A
Authority
TW
Taiwan
Prior art keywords
image
scenario
unit
virtual
image processing
Prior art date
Application number
TW104137587A
Other languages
English (en)
Inventor
青沼正志
山口薰
Original Assignee
精工愛普生股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014233263A external-priority patent/JP2016099638A/ja
Priority claimed from JP2015100694A external-priority patent/JP6609988B2/ja
Application filed by 精工愛普生股份有限公司 filed Critical 精工愛普生股份有限公司
Publication of TW201619933A publication Critical patent/TW201619933A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明提供一種使顯示於顯示裝置之動畫與現實之對象產生關聯而提高使用者之便利性之圖像處理裝置。圖像處理裝置包含：外景感測器，其拍攝至少1個對象；及圖像生成部，其生成與所拍攝之對象中移動的對象之至少1個對應之虛擬圖像。

Description

圖像處理裝置、圖像處理裝置之控制方法及電腦程式
本發明係關於圖像處理裝置之技術。
先前，已知有一種如專利文獻1所記載之顯示裝置，其係將對應於視訊拍攝之被攝體之動作中之一部分之動作而生成之圖像與視訊拍攝之被攝體之動畫同步顯示。
[先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2002-230086號公報
但是，於專利文獻1記載之技術中，雖然於顯示裝置所顯示之被攝體之動畫與所生成之圖像同步，但於顯示裝置所顯示之動畫等與於顯示裝置未顯示之現實之對象無任何關係。因此，有欲藉由顯示於顯示裝置之動畫與現實之對象產生關聯而提高使用者之便利性或可用性之課題。又，有欲簡單地製成將顯示於顯示裝置之動畫與現實之對象產生關聯之動畫之課題。
本發明係為解決上述課題之至少一部分而完成者，可作為以下形態實現。
(1)根據本發明之一實施形態，可提供一種圖像處理裝置。該圖像處理裝置包含：外景感測器，其拍攝至少1個對象；及圖像生成部，其生成與於所拍攝之上述對象中移動之上述對象之至少1個所對應之虛擬圖像。根據該形態之圖像處理裝置，由於圖像生成部生成與移動對象對應之虛擬圖像，故使用者可簡單地製成例如包含作業支援等之虛擬圖像之動畫，而提高使用者之順手性。
(2)於上述形態之圖像處理裝置中，上述圖像生成部亦可將生成上述虛擬圖像之上述對象即圖像生成對象之移動區域，與所拍攝之上述對象中之除上述圖像生成對象以外之上述對象之至少1個產生對應，而生成上述圖像生成對象之上述虛擬圖像。根據該形態之圖像處理裝置，於播放包含所生成之虛擬圖像之動畫之情形時，虛擬圖像與對應於虛擬圖像之存在於現實之對象之位置及大小等產生對應而顯示。例如，於動畫為作業等之支援動畫之情形時，藉由使進行作業之對象與虛擬圖像重疊，而更提高使用者之作業性，而提高使用者之順手性。
(3)於上述形態之圖像處理裝置中，上述圖像生成部亦可生成將上述虛擬圖像之大小及上述移動區域之至少一者與對應於上述圖像生成對象之上述移動區域之上述對象之大小產生對應的上述虛擬圖像。根據該形態之圖像處理裝置，於播放包含所生成之虛擬圖像之動畫之情形時，虛擬圖像藉由與虛擬圖像產生對應之存在於現實之對象之位置及大小等產生對應而顯示，而更提高使用者之順手性。
(4)於上述形態之圖像處理裝置中，上述圖像生成部亦可使上述虛擬圖像之顯示之有無對應於所設定之觸發對象之檢測有無而生成。根據該形態之圖像處理裝置，由於以藉由預先設定之特定條件之檢測 而顯示虛擬圖像之方式製成虛擬圖像，故可設定對應於虛擬圖像之用途之顯示時序。
(5)於上述形態之圖像處理裝置中，上述圖像生成部亦可將拍攝之複數個上述對象中之移動之上述對象即移動對象，與判斷為位於距移動之上述對象特定距離以內且不移動之上述對象即關聯靜止對象設定為觸發對象；且與於上述移動對象之有無與上述關聯靜止對象之有無之組合相對應，而生成作為上述移動對象之虛擬圖像之移動對象對應圖像、與作為上述關聯靜止對象之虛擬圖像之關聯靜止對象圖像之組合的虛擬圖像。根據該形態之圖像處理裝置，即使未特別接收任何操作，亦可製成包含與移動對象關聯之虛擬圖像之複數個虛擬圖像之動畫，而提高圖像處理裝置之順手性。
(6)於上述形態之圖像處理裝置中，亦可進而包含：操作接收部，其接收操作。此處，上述圖像生成部亦可基於接收到之操作，抹除無用部分而生成上述虛擬圖像。根據該形態之圖像處理裝置，可選出無需生成之移動物體或需要生成之靜止物體作為虛擬圖像，故使用者可製成更方便使用之AR情景(scenario)或復合情景，而提高使用者之順手性。
(7)於上述形態之圖像處理裝置中，上述圖像生成部亦可生成與所拍攝之複數個上述對象中移動之上述對象移動期間所對應之圖像，作為上述虛擬圖像。根據該形態之圖像處理裝置，即使不進行選擇生成虛擬圖像之對象之操作，亦可自動生成移動物體之虛擬圖像。因此，例如，於包含虛擬圖像之動畫為作業等之支援動畫、且作業中需要移動任何對象之情形時，自動生成應移動之物體即移動物體之虛擬圖像，故提高使用者之順手性。
(8)於上述形態之圖像處理裝置中，亦可進而包含：對象選擇部；且上述對象選擇部辨識人體之形狀與人體以外之形狀，作為上述 至少1個對象；上述圖像生成部不生成與所拍攝之上述對象中對應於人體之形狀之上述虛擬圖像。根據該形態之圖像處理裝置，於執行包含虛擬圖像之動畫之情形時，由於用於移動應移動之物體之手段即人手等並未作為虛擬圖像顯示，故使用者無需辨識手等之無用之虛擬圖像即可，而提高使用者之順手性。
(9)於上述形態之圖像處理裝置中，亦可進而包含：音頻取得部，其取得外部之音頻；且上述圖像生成部將生成上述虛擬圖像之上述對象即圖像生成對象，與於上述圖像生成對象移動期間取得之音頻產生對應，而生成上述虛擬圖像。根據該形態之圖像處理裝置，由於製成之包含虛擬圖像之動畫中，除如基於拍攝圖像而生成之虛擬圖像般之視覺資訊外，還包含與音頻之聽覺資訊產生對應之虛擬圖像，故提高使用者之便利性。
(10)於上述形態之圖像處理裝置中，上述圖像生成部亦可將所取得之音頻作為文字圖像，與上述虛擬圖像產生對應而生成。根據該形態之圖像處理裝置，可將音頻作為視覺資訊與虛擬圖像並列生成，故使用者容易辨識資訊，而更提高使用者之便利性。
(11)於上述形態之圖像處理裝置中，亦可進而包含：距離測定部，其測定距上述對象之距離；且上述圖像生成部基於所測定之上述距離而生成上述虛擬圖像。根據該形態之圖像處理裝置，由於生成之虛擬圖像可作為三次元模型生成，故使用者更容易辨識虛擬圖像，而更提高使用者之便利性。
(12)於上述形態之圖像處理裝置中，上述圖像生成部亦可於上述虛擬圖像為隨著時間而變化之虛擬動畫之情形時，於上述虛擬動畫之特定時點，插入特定之圖像。根據該形態之圖像處理裝置，可將於特定之時點進行者通過特定之圖像而作為視覺資訊令使用者辨識，故提高使用者之順手性。
(13)於上述形態之圖像處理裝置中，亦可進而包含：音頻取得部，其取得外部之音頻；且上述圖像生成部於上述虛擬圖像為隨著時間而變化之虛擬動畫之情形時，使上述虛擬動畫之特定時點、與所取得之上述音頻產生對應而生成上述虛擬動畫。根據該形態之圖像處理裝置，由於可藉由音頻令使用者辨識特定之時點，故與顯示特定之圖像之情形相比，特定之圖像與虛擬圖像不重複，而更提高於特定之時點之使用者之順手性。
上述之本發明之各形態所具有之複數個構成要件並非全部為必須者，為了解決上述課題之一部分或全部，或為了達成本說明書所記述之效果之一部分或全部，可適當對上述複數個構成要件之一部分之構成要件進行其變更、削除、與新的其他構成要件之替換、及限定內容之一部分削除。又，為了解決上述課題之一部分或全部，或為了達成本說明書所記述之效果之一部分或全部，亦可將上述之本發明之一形態所包含之技術性特徵之一部分或全部與上述之本發明之其他形態所包含之技術性特徵之一部分或全部加以組合，而作為本發明之獨立之一形態。
例如，本發明之一形態可作為具備外景感測器與圖像生成部之2個要件中之一者或兩者之裝置實現。即，該裝置可具有外景感測器，亦可不具有外景感測器。又，裝置可具有圖像生成部，亦可不具有圖像生成部。外景感測器例如可至少拍攝1個對象。圖像生成部例如可生成與所拍攝之對象中之移動之上述對象的至少1個對應之虛擬圖像。此種裝置係例如可作為圖像處理裝置實現，但亦可作為圖像處理裝置以外之其他裝置實現。根據如此形態，可解決裝置之操作性之提高及簡易化、裝置之一體化、使用裝置之使用者之便利性之提高、等各種課題之至少1個。上述之圖像處理裝置之各形態之技術特徵之一部分或全部均可應用於該裝置。
本發明亦可藉由圖像處理裝置以外之各種形態實現。例如，可藉由以下形態實現：圖像處理裝置之控制方法、包含圖像處理裝置之系統、用於實現圖像處理裝置之控制方法及系統之電腦程式、記錄該電腦程式之記錄媒體、及於包含該電腦程式之載波內具體化之資料信號等。
10‧‧‧CPU
10a‧‧‧CPU
10b‧‧‧CPU
11‧‧‧AR情景控制部
11a‧‧‧AR情景控制部
11b‧‧‧AR情景控制部
12‧‧‧物體追蹤部(對象選擇部)
12a‧‧‧物體追蹤部(對象選擇部)
12b‧‧‧物體追蹤部(對象選擇部)
13‧‧‧物體辨識部
13a‧‧‧物體辨識部
14‧‧‧3D模型生成部
14a‧‧‧3D模型生成部
14b‧‧‧3D模型生成部
15‧‧‧感測器控制部
15a‧‧‧感測器控制部
15b‧‧‧感測器控制部
16‧‧‧UI控制部
17‧‧‧AR情景操作設定部
18‧‧‧附加資訊取得部
19‧‧‧無用圖像抹除部
21‧‧‧AR圖像擷取部(圖像生成部)
31‧‧‧RGB相機(拍攝部)
32‧‧‧距離感測器(距離測定部)
33‧‧‧麥克風(操作接收部、音頻取得部)
34‧‧‧操作部(操作接收部)
35‧‧‧顯示部
41‧‧‧ROM
42‧‧‧RAM
50‧‧‧資料記憶部
60‧‧‧電源
70‧‧‧控制部
80‧‧‧圖像顯示部
81‧‧‧右耳機
82‧‧‧右顯示驅動部
83‧‧‧左耳機
84‧‧‧左顯示驅動部
85‧‧‧連接部
86‧‧‧右光學像顯示部
87‧‧‧9軸感測器
88‧‧‧左光學像顯示器
89‧‧‧相機
91‧‧‧深度感測器
100‧‧‧圖像處理裝置
100a‧‧‧圖像處理裝置
100b‧‧‧圖像處理裝置
161‧‧‧文本轉換部
200‧‧‧HMD(頭戴型顯示裝置)
311‧‧‧第1相機(拍攝部)
312‧‧‧第2相機(拍攝部)
313‧‧‧第3相機(拍攝部)
321‧‧‧第1距離感測器(距離測定部)
322‧‧‧第2距離感測器(距離測定部)
323‧‧‧第3距離感測器(距離測定部)
331‧‧‧第1相機
332‧‧‧第2相機
333‧‧‧第3相機
AR1‧‧‧圖像
AR2‧‧‧圖像
Bh‧‧‧框體之內螺紋部
BX‧‧‧框體(關聯靜止圖像)
Ch‧‧‧蓋體之孔
CV‧‧‧蓋體(移動對象)
D‧‧‧距離
DV‧‧‧起子
FS‧‧‧魚
IMC‧‧‧蓋體圖像(移動對象對應圖像)
IMX‧‧‧盒體圖像(關聯靜止對象圖像)
KC‧‧‧編輯圖像
KN‧‧‧菜刀
LH‧‧‧左手
OB‧‧‧被攝體
RH‧‧‧右手
SC‧‧‧外景
TL‧‧‧去魚鱗器
TX‧‧‧文本圖像
TX1‧‧‧文本圖像
TX2‧‧‧文本圖像
VR‧‧‧視野
圖1係功能性顯示本發明之第1實施形態之圖像處理裝置之構成之方塊圖。
圖2係藉由RGB相機及距離感測器拍攝包含被攝體之外景之情形之說明圖。
圖3係AR情景製成處理之流程圖。
圖4係AR情景製成處理之流程圖。
圖5係顯示於無被攝體之作業開始前所拍攝之拍攝圖像之說明圖。
圖6係顯示包含被追蹤之移動物體之外景之拍攝圖像之說明圖。
圖7係顯示對AR情景所包含之於特定之時點之拍攝圖像附加上附加資訊之圖像之說明圖。
圖8係顯示自拍攝圖像中抹除無用物體後之圖像之說明圖。
圖9係顯示所生成之AR圖像及與AR圖像產生對應之物體之說明圖。
圖10係複合情景製成處理之流程圖。
圖11係顯示於設定有觸發對象時顯示之編輯圖像之說明圖。
圖12係顯示於檢測出觸發對象之情形向分支情景分支時顯示之圖像之說明圖。
圖13係顯示頭戴型顯示裝置(HMD)之外觀構成之說明圖。
圖14係複合情景執行處理之流程圖。
圖15係顯示於所執行之複合情景中檢測出設定之對應物體之情形時，使用者視認之視野之說明圖。
圖16係顯示於所執行之分支情景中檢測出設定之觸發對象之情形時，使用者視認之視野之說明圖。
圖17係功能性顯示第2實施形態之圖像處理裝置之構成之方塊圖。
圖18係第2實施形態之AR情景製成處理之一部分之流程圖。
圖19係功能性顯示第3實施形態之圖像處理裝置之構成之方塊圖。
圖20係第3實施形態之AR情景製成處理之一部分之流程圖。
圖21係第4實施形態之AR情景製成處理之流程圖。
圖22係第4實施形態之AR情景製成處理之流程圖。
圖23係第4實施形態之藉由RGB相機及距離感測器拍攝包含複數個被攝體之外景之情形之說明圖。
圖24係第4實施形態之藉由RGB相機及距離感測器拍攝包含複數個被攝體之外景之情形之說明圖。
圖25係第4實施形態之藉由RGB相機及距離感測器拍攝包含複數個被攝體之外景之情形之說明圖。
圖26係第4實施形態之藉由RGB相機及距離感測器拍攝包含複數個被攝體之外景之情形之說明圖。
圖27係第4實施形態之藉由RGB相機及距離感測器拍攝包含複數個被攝體之外景之情形之說明圖。
圖28係顯示於第4實施形態之AR情景製成處理之步驟S95之處理中所製成之觸發對象之組合與AR情景之組合之一例之一覽表。
圖29係執行AR情景之情形之顯示圖像決定處理之流程圖。
圖30係顯示於在光學像顯示部顯示與組合(1)產生對應之顯示圖 像時，使用者視認之視野之一例之說明圖。
圖31係顯示於在光學像顯示部顯示與組合(2)產生對應之顯示圖像時，使用者視認之視野之一例之說明圖。
圖32係顯示於在光學像顯示部顯示與組合(3)產生對應之顯示圖像時，使用者視認之視野之一例之說明圖。
圖33係顯示於在光學像顯示部顯示與組合(4)產生對應之顯示圖像時，使用者視認之視野之一例之說明圖。
本說明書中之用語「外景感測器」係包含於以下說明之RGB相機、距離感測器之至少一者之用語。因此，RGB相機、距離感測器、或該等之組合之任一者均係「外景感測器」之一例。當然，「外景感測器」並非限定於在實施形態中說明之RGB相機、距離感測器、或該等之組合，亦可指能獲得並輸出用於推斷外景或外景所包含之對象(該等亦稱為實境或實體)之2次元座標或3次元座標之資訊之裝置。
本說明書中之用語「對象選擇部」意指包含選擇成為作為虛擬圖像(AR圖像)顯示之實體之功能、或提供成為用於選擇之基礎之資訊之功能之構成。於實施形態中，物體追蹤部12a、12b、12c之各者係「對象選擇部」之一例。
A.第1實施形態：
A-1.圖像處理裝置之構成
圖1係功能性顯示本發明之第1實施形態之圖像處理裝置100之構成之方塊圖。圖像處理裝置100生成連續拍攝之被攝體之三次元模型，並基於生成之被攝體之三次元模型與接收到之各種操作，而生成AR(augmented reality：擴充實境)圖像。另，於本實施形態所稱之AR圖像意指與藉由圖像辨識等辨識之現實之對象物產生關聯而顯示之圖像。
圖像處理裝置100包含：CPU10、資料記憶部50、電源60、RGB相機31、距離感測器32、麥克風33、操作部34、顯示部35、ROM41、及RAM42。資料記憶部50記憶各種資料，由例如硬碟驅動器等構成。電源60對圖像處理裝置100之各部供給電力。作為電源60，可使用例如二次電池。
RGB相機31係拍攝包含被攝體之特定範圍之外景之相機。於本實施形態中，RGB相機31由配置於不同位置之3台之第1相機311、第2相機312、及第3相機313構成。RGB相機31將拍攝之外景之RGB資料發送至後述之CPU10之感測器控制部15。距離感測器32係藉由使用紅外線相機拍攝所照射之無數個點，而測定距所照射對象之距離之深度感測器。於本實施形態中，距離感測器32以與第1相機311、第2相機312、及第3相機313各者1對1對應之方式，配置於相機各者之附近。即，距離感測器32與RGB相機31相同，由配置於不同位置之3台之深度感測器(第1距離感測器321、第2距離感測器322、第3距離感測器323)構成。距離感測器32將藉由紅外線相機拍攝之於物體表面反射之紅外線反射光之無數個點之資料發送至CPU10之感測器控制部15。另，於不同實施形態中，距離感測器32亦可使用TOF(Time-of-Flight：飛行時間)法，測定距對象之距離。又，於本實施形態中，RGB相機31與距離感測器32之各者由3台之相機311、312、313與感測器321、322、323構成，但於不同實施形態中，既可為少於3台之數量之相機或感測器，亦可為多於3台之數量之相機或感測器。又，RGB相機31之數量與距離感測器32之數量並非必須相同，無需1對1對應。RGB相機31、相機311、312、313相當於申請專利範圍中之外景感測器。但是，於RGB相機31與距離感測器32係1對1對應之情形時，亦有將包含自距離感測器32至實體之距離D之計測在內之藉由RGB相機31及距離感測器32捕捉外景或實體之動作記作「拍攝」之情形。此時， 拍攝之圖像成為以RGBD資料顯示。RGBD資料係例如對每像素具有R、G、B、及距離D之數值之資料。
圖2係藉由RGB相機31及距離感測器32拍攝包含被攝體OB之外景SC之情形之說明圖。如圖2所示，配置於不同位置之3台相機331、332、333拍攝包含被攝體OB之外景。相機331之拍攝圖像對應於第1相機311及第1距離感測器321之拍攝圖像，相機332之拍攝圖像對應於第2相機312及第2距離感測器322之拍攝圖像，相機333之拍攝圖像對應於第3相機313及第3距離感測器323之拍攝圖像。如圖2所示，拍攝了作為被攝體OB之料理人之右手持去魚鱗器TL、被攝體OB之左手按壓魚FS之頭之料理人藉由去魚鱗器TL刮除魚FS之魚鱗之狀態。基於藉由配置於不同位置之相機331、332、333取得之RGB資料及距離資料，可特定出被攝體OB、去魚鱗器TL、魚FS等所謂外景SC所包含之對象之位置及顏色等。
作為特定出相機或感測器之位置之方法，亦可採用其他態樣。又，實體之外景SC之三次元位置之求法係例如於相機331、332、333之位置關係及相機參數為已知，且距離感測器32之水平軸與地面平行之情形時，於相機331、332、333之共通之拍攝範圍內，設置間歇發光(例如紅外線)之光源。藉由相機331、332、333各者拍攝該光源(圖像係對每像素以RGBD資料顯示。距離D係與距離感測器32之距離)，而推斷自相機331、332、333各者觀察到之光源之三次元位置(Xi,Yi,Zi)(i=0,1,2)。然後，例如將自相機332、333(i=1,2)各者觀察到之共通之光源之2個座標轉換成自相機331(i=0)觀察到之座標。此時，針對相機332、333各者導出使將自相機332、333觀察到之座標予以轉換之座標與自相機331觀察到之座標一致之轉換矩陣。具體而言，藉由反復計算算出使相機331之座標與轉換後之座標之差值成為最小之轉換矩陣。藉由設為如此設定，可融合自相機331、332、333各者之 視點生成之各者之三次元模型，而生成不依存於相機之視點之1個三次元模型。另，亦可變更所設置之光源位置，並藉由相機331、332、333拍攝，而提高精度。又，RGB相機31與距離感測器32之組數亦可為4組以上。
麥克風33(圖1)於RGB相機31及距離感測器32拍攝特定範圍期間、或接收來自使用者之操作之情形，取得外部之音頻。麥克風33將基於取得之音頻生成之音頻信號發送至後述之CPU10之UI控制部16。操作部34係接收來自使用者之輸入之使用者介面(UI)。操作部34由鍵盤、滑鼠等構成。操作部34將對應於按下之鍵盤之鍵之控制信號、基於滑鼠之指標之位置變化生成之控制信號發送至CPU10之UI控制部16。顯示部35係基於自UI控制部16發送之圖像信號，而顯示圖像之液晶面板。使用者可藉由一邊觀察顯示部35所顯示之圖像，一邊操作操作部34及麥克風33，而操作圖像處理裝置100。操作部34及麥克風33相當於申請專利範圍中之操作接收部，且，麥克風33相當於音頻取得部。
CPU10藉由讀出儲存於ROM41之電腦程式，且於RAM42將其展開並執行，而控制圖像處理裝置100。CPU10具有：AR情景控制部11、物體追蹤部12、物體辨識部13、三次元模型生成部14(3D模型生成部14)、感測器控制部15、使用者介面控制部16(UI控制部16)、AR情景操作設定部17、附加資訊取得部18、無用圖像抹除部19、及AR圖像擷取部21。
感測器控制部15取得自RGB相機31發送之外景之RGB資料、與自距離感測器32發送之藉由紅外線相機拍攝之無數個點之資料。感測器控制部15將自RGB相機31及距離感測器32取得之資料發送至物體追蹤部12與3D模型生成部14之各者。且，基於自UI控制部16發送之控制信號，而控制RGB相機31及距離感測器32。
3D模型生成部14基於自AR情景控制部11發送之控制信號，而使用自感測器控制部15發送之RGB相機31之RGB資料與距離感測器32之距離資料，就存在於拍攝之特定範圍中之對象，製成三次元模型(3D模型)。作為三次元模型之具體製作，3D模型生成部14基於藉由距離感測器32取得之距離資料而取得拍攝範圍之物體之形狀，且基於取得之距離資料而檢測出取得之物體形狀之相同邊界，而生成三次元模型。且，3D模型生成部14基於自RGB相機31發送之RGB資料，而對生成之三次元模型著色。3D模型生成部14將生成之著色完成之三次元模型、與檢測出之相同邊界之資料發送至物體辨識部13。
物體辨識部13基於自AR情景控制部11發送之控制信號，而使用生成之三次元模型與檢測出之相同邊界之資料，將具有連續之邊界之資料之三次元模型作為1個物體辨識。換言之，物體辨識部13基於不連續之邊界之資料，切離三次元模型，而作為一個個物體予以辨識。又，物體辨識部13經由AR情景控制部11，藉由圖案匹配或統計辨識法與於後述之資料記憶部50記憶之人體部位(例如、手或腳)比較，而自三次元模型擷取出人體。另，距離感測器32及感測器321、322、323相當於距離測定部。
物體追蹤部12基於自AR情景控制部11發送之控制信號，而於所辨識之物體之一個個中，特定出於拍攝期間移動物體之動作。物體追蹤部12將特定出移動物體(moving target)與未移動物體(靜止物體)之資訊發送至UI控制部16及AR情景控制部11。
UI控制部16基於麥克風33或操作部34接收到之操作，而向顯示部35或CPU10所包含之各部發送控制信號。例如，UI控制部16基於操作部34接收到之操作，而將控制RGB相機31及距離感測器32之信號發送至感測器控制部15。又，對自物體追蹤部12發送之特定之物體，以使用者可選擇並操作物體各者之方式，發送用於在顯示部35顯示物體 各者之圖像信號。又，UI控制部16具有文本轉換部161，其於後述之AR情景製成時，將藉由麥克風33取得之音頻自動轉換為文字圖像。文本轉換部161對取得之音頻進行音頻辨識，並轉換為對應之文字圖像。
AR情景操作設定部17對藉由圖像處理裝置100製成之AR情景操作之狀況進行設定。另，於本實施形態中，AR情景意指，包含對應於至少1個移動物體之AR圖像之動畫，且於AR情景中，包含由使用者插入之音頻或文字圖像等。AR情景操作設定部17係設定為例如以與生成之AR圖像產生對應之對象物藉由圖像辨識等而作為現實之對象檢測出之情形等，執行AR情景。又，AR情景操作設定部17於現實中，藉由檢測出預先設定之特定物體，而設定複數個AR情景之分支等。
附加資訊取得部18基於自UI控制部16發送之UI接收到之操作信號或自AR情景控制部11發送之控制信號，而取得附加於AR情景之資訊。作為附加於AR情景之資訊，有例如根據操作部34接收到之操作而設定之AR圖像之放大或縮小而顯示之顯示方法之設定，或使麥克風33取得之音頻轉換成之文本之插入等。
AR情景控制部11為了製成AR情景，而控制CPU10之各部。AR情景控制部11基於藉由物體追蹤部12特定出之移動物體及靜止物體、UI接收到之操作，而區分作為AR圖像生成之物體與不生成AR圖像之物體，並將區分之結果發送至無用圖像抹除部19及AR圖像擷取部21。又，AR情景控制部11藉由與資料記憶部50間收發各種資料，而讀入並編輯以前製成之AR情景，或將新製成之AR情景記憶至資料記憶部50。
無用圖像抹除部19基於自AR情景控制部11及AR情景操作設定部17發送之控制信號，而抹除特定出之物體中未作為AR圖像生成之物 體之圖像。換言之，亦可說無用圖像抹除部19自拍攝圖像中選擇作為AR圖像生成之物體。無用圖像抹除部19將作為無用物體抹除之圖像之圖像信號發送至AR情景控制部11。
AR圖像擷取部21基於自AR情景控制部11發送之控制信號，而擷取作為AR圖像於AR情景顯示之物體，並生成圖像。AR圖像擷取部21基於藉由距離感測器32取得之距離資料，將AR圖像作為三次元圖像生成。又，AR圖像擷取部21基於藉由RGB相機31取得之RGB資料，而對生成之AR圖像進行著色。AR圖像擷取部21將特定出作為擷取之AR圖像生成之物體之信號發送至AR情景控制部11。又，AR圖像擷取部21可藉由經由操作部34接收特定之操作，而自動擷取於資料記憶部50記憶之特定物體，作為生成為AR圖像之物體。作為擷取出之物體，有例如根據由CAD(omputer aided design：電腦輔助設計)製成之圖式而特定出之物體等。另，AR圖像擷取部21相當於申請專利範圍中之圖像生成部。
A-2.AR情景製成處理：
圖3及圖4係AR情景製成處理之流程圖。AR情景製成處理係圖像處理裝置100製成藉由RGB相機31及距離感測器32拍攝之外景圖像所包含之移動物體等之AR圖像之處理。
於AR情景製成處理中，首先，麥克風33或操作部34等待接收開始AR情景之製成之操作(步驟S12)。藉由麥克風33接收預先設定之特定音頻，而使圖像處理裝置100開始AR情景製成處理。又，藉由操作部34接收預先設定之特定之鍵盤之按鍵操作，而使圖像處理裝置100開始AR情景製成處理。於步驟S12之處理中，於麥克風33或操作部34未接收到開始AR情景製成處理之操作之情形時(步驟S12：否(NO))，繼續等待接收開始AR製成處理之操作(步驟S12)。
於接收到開始AR情景製成處理之操作之情形時(步驟S12：是 (YES))，AR情景控制部11設定RGB相機31及距離感測器32拍攝之拍攝範圍(步驟S14)。AR情景控制部11藉由操作部34接收特定之操作，而設定拍攝範圍之範圍及位置。另，於本實施形態中，RGB相機31之拍攝範圍與距離感測器32之拍攝範圍雖設定為相同範圍，但於不同實施形態中，RGB相機31之拍攝範圍與距離感測器32之拍攝範圍亦可個別設定。
若設定RGB相機31及距離感測器32之拍攝範圍，則RGB相機31取得拍攝範圍之RGB資料，距離感測器32測定自距離感測器32至存在於拍攝範圍內之物體之距離(步驟S16)。RGB相機31將取得之拍攝範圍之RGB資料經由感測器控制部15，發送至3D模型生成部14及物體追蹤部12。距離感測器32將測定之距存在於拍攝範圍之物體之距離資料經由感測器控制部15，發送至3D模型生成部14及物體追蹤部12。
3D模型生成部14基於自RGB相機31發送之RGB資料、與自距離感測器32發送之距離資料，而生成三次元模型(3D模型)(步驟S18)。3D模型生成部14基於距離資料，而生成拍攝範圍所包含之物體之形狀之三次元模型。且，3D模型生成部14基於RGB資料，而對生成之三次元模型著色。另，於本實施形態中，3D模型生成部14生成之三次元模型係自相機331、332、333各者之視點生成之各者之三次元模型融合為1個者。物體辨識部13藉由對生成之三次元模型，使用檢測出之相同邊界之資料，而辨識三次元模型中包含之各個物體(步驟S20)。
圖5係顯示於無被攝體OB之作業開始前拍攝之拍攝圖像之說明圖。若設定拍攝範圍，則RGB相機31及距離感測器32開始外景SC之拍攝。於拍攝剛開始時，由於被攝體OB不在拍攝範圍內，故如圖5所示般，於拍攝圖像中，不包含料理人即被攝體OB。於本實施形態中，於拍攝剛開始時，以無被攝體OB之狀態，製成魚FS與去魚鱗器 TL各者之三次元模型。細節見後述，生成之去魚鱗器TL之三次元模型藉由與由物體追蹤部12特定出之去魚鱗器TL之動作產生關聯，而作為構成AR情景之一部分之圖像使用。
若進行圖3之步驟S20之處理，則麥克風33或操作部34等待接收顯示開始動畫之拍攝前之初期設定完成之操作(步驟S21)。於未接受到顯示初期操作完成之操作之情形時，CPU10再次執行步驟S14以後之處理。於步驟S21之處理中，於麥克風33或操作部34接收到顯示初期操作完成之操作之情形時(步驟S21：是)，接著等待接收開始移動物體之拍攝之操作(步驟S22)。麥克風33或操作部34於未接收到開始拍攝之操作之情形時(步驟S22：否)，等待接收開始拍攝之操作(步驟S22)。於步驟S22之處理中，於接收到開始拍攝之操作之情形時(步驟S22：是)，RGB相機31及距離感測器32將設定之拍攝範圍作為伴隨時間經過之動畫而拍攝(步驟S22)。物體追蹤部12於包含於拍攝範圍內且作為三次元模型生成之物體中、區分移動物體與靜止物體，並對移動物體進行追蹤(步驟S24)。物體追蹤部12計測區分之移動物體之RGB資料之變化量與測定之距離之變化量，而特定出移動物體之軌跡或姿勢等之位置變化。
圖6係顯示包含被追蹤之移動物體之外景SC之拍攝圖像之說明圖。於圖6中，顯示於設定為與圖2之拍攝範圍相同之範圍之情形，RGB相機31及距離感測器32顯示拍攝之外景SC。於圖6之外景SC中，與圖2之外景SC相比，不同點在於料理人即被攝體OB把持之去魚鱗器TL之位置接近被攝體OB之左手按壓之魚FS之頭。因此，物體追蹤部12將去魚鱗器TL與把持去魚鱗器TL之被攝體OB之右手作為移動物體而進行追蹤，且將其他之被攝體之左手及魚FS等區分為靜止物體。另，於圖6中，由於顯示藉由相機331、332、333拍攝之拍攝圖像，故相機331、332、333並未包含於拍攝圖像中。於本實施形態中，雖將 被攝體OB之右手與去魚鱗器TL作為移動物體進行追蹤，但於其他實施形態中，亦可將藉由去魚鱗器TL之移動而自魚FS刮除之魚鱗作為移動物體進行追蹤。
AR情景控制部11將被追蹤之移動物體或被追蹤之移動物體所接觸之靜止物體之中至少1個，於執行製成之AR情景之情形時，設定於AR情景資料內而作為用於開始AR情景之執行之觸發。若設定用於執行AR情景之觸發，且於安裝於可執行AR顯示之頭戴型顯示裝置(Head Mounted Display：頭戴顯示器、HMD)之相機之拍攝圖像中檢測出觸發，則自動執行設定有觸發之AR情景。另，AR情景控制部11對AR情景設置或不設置觸發均可。
其次，附加資訊取得部18基於麥克風33或操作部34接收到之操作，而取得於製成之AR情景附加之附加資訊(步驟S26)。作為附加資訊，有例如於RGB相機31及距離感測器32拍攝包含移動物體之拍攝範圍期間，藉由麥克風33取得之音頻由文本轉換部161轉換成之文字圖像等。又，作為附加資訊之另一例，於使用在其他資訊處理裝置製成之AR情景之情形時，相對於期望被檢測出之物體(推薦物體)即去魚鱗器TL，亦可設定菜刀作為不期望被檢測出之物體(非推薦物體)。於該情形，若於執行AR情景時，檢測出非推薦物體即菜刀，則停止AR情景，亦可切換為其他AR情景。另，關於AR情景執行之細節，於後述之「A-4.複合情景之執行」中說明。
圖7係顯示對AR情景所包含之於特定之時點之拍攝圖像附加上附加資訊之圖像之說明圖。於圖7，顯示對藉由RGB相機31及距離感測器32拍攝之圖6之拍攝圖像，將麥克風33取得之音頻作為附加資訊之文本圖像TX1而附加之圖像。另，亦可藉由操作部34接收使用者之操作，而進行文本圖像TX1之照片之大小或顏色之變更、或變更於拍攝圖像附加文本圖像TX1之位置等。
若取得附加資訊(圖3之步驟S26)，則為了AR情景控制部11決定製成哪一個物體之AR圖像，操作部34接收選擇是否自動抹除不成為製成AR圖像之對象之物體之無用圖像之操作(步驟S28)。AR情景控制部11將選擇自動進行無用圖像之抹除、或非自動而手動進行無用圖像之抹除之選擇畫面顯示於顯示部35，並根據操作部34接收到之操作，決定無用圖像之抹除處理。於步驟S28之處理中，於接收到選擇自動抹除無用圖像之操作之情形時(步驟S28：是)，無用圖像抹除部19將靜止物體與移動物體中之人體作為非生成AR圖像之對象之無用物體抹除(步驟S38)。換言之，無用圖像抹除部19不抹除移動物體中之除人體以外之物體，而作為生成AR圖像之對象。又，無用圖像抹除部19自拍攝之圖像中抹除由物體辨識部13擷取出之人體部位。自拍攝圖像中抹除之物體於製成之AR情景中，不作為AR圖像顯示。另，於本實施形態中，即使為相同物體，亦於移動期間稱作移動物體，於不移動期間稱作靜止物體。於其他實施形態中，亦可對每物體定義為移動物體與靜止物體。
圖8係顯示自拍攝圖像之中抹除無用物體後之圖像之說明圖。作為無用物體而未抹除之移動物體雖僅有去魚鱗器TL，但於圖8中，為了便於說明，亦顯示作為無用物體而抹除之魚FS(虛線)與被攝體OB(一點鏈線)。無用圖像抹除部19自拍攝圖像中抹除外景SC所包含之靜止物體之魚FS等，且，無論靜止或移動，均抹除判斷為人體之料理人即被攝體OB。另，於本實施形態中，雖將魚FS作為靜止之物體進行了說明，但是靜止還是移動之判斷亦可由移動量之大小決定。例如，有被攝體OB將魚FS之尾部提起等之情形，於該情形時，即使根據移動量之大小或移動速度等，使魚FS等移動之情形，亦可判斷為靜止物體。
若自影像抹除無用物體(圖4之步驟S38)，則AR圖像擷取部21擷 取藉由無用圖像抹除部19選擇為生成AR圖像之對象之無用物體以外之物體，並生成將擷取之物體(以下、亦稱為「擷取物體」)與擷取之物體所接觸之物體(以下、亦稱為「接觸物體」)產生對應之AR圖像(步驟S34)。作為使擷取物體與接觸物體產生對應，可列舉將擷取物體之移動區域或擷取物體之大小對接觸物體之大小或方向及接觸物體之移動區域產生對應之例。藉由生成AR圖像之對象之物體之移動區域或大小等、與存在於距該對象物體之特定距離內之物體之移動區域或大小產生對應，而於執行製成之AR情景之情形時，檢測出與AR圖像產生對應之接觸物體，並與檢測出之接觸物體之位置、形狀、大小產生對應，而顯示基於擷取物體所生成之AR圖像。又，AR圖像擷取部21亦可於生成AR圖像之移動物體於拍攝中移動之期間，將藉由麥克風33取得之音頻作為附加資訊而與AR圖像產生對應。作為將作為附加資訊之音頻與AR圖像產生對應之方法，有例如僅於顯示移動物體之AR圖像之期間，將對應於移動物體之音頻作為文本圖像進行顯示等。另，生成AR圖像之對象相當於申請專利範圍中之圖像生成對象。
圖9係顯示生成之AR圖像與對應於AR圖像之物體之說明圖。於圖9，顯示作為AR圖像生成之去魚鱗器TL之圖像AR1(實線)、及與圖像AR1相對應之魚FS(虛線)。於執行包含圖像AR1之AR情景之情形時，若執行AR情景之裝置檢測出魚FS，則與檢測出之魚FS之位置產生對應而顯示去魚鱗器TL之圖像AR1。另，針對藉由裝置執行AR情景之情形時之魚FS之檢測或圖像AR1之顯示之細節，於「A-4.複合情景之執行」說明。
若生成AR圖像(圖4之步驟S34)，則AR情景控制部11基於AR圖像與附加資訊，製成作為AR情景之動畫，並將製成之AR情景資料保存至資料記憶部50(步驟S36)，而圖像處理裝置100結束AR情景製成處 理。
於步驟S28之處理中，於接收到非自動而是手動選擇無用圖像之操作之情形時(步驟S28：否)，AR情景控制部11於顯示部35顯示用於選擇拍攝範圍所包含之移動物體與靜止物體各者之選擇圖像(步驟S30)。無用圖像抹除部19基於操作部34接收到之操作，而自藉由RGB相機31及距離感測器32取得之拍攝圖像中，抹除選擇為應抹除之無用物體之移動物體或靜止物體。於自拍攝圖像中手動選擇應抹除之物體之情形時，與自拍攝圖像自動抹除靜止物體或人體部位之情形相比，使用者可自由地選擇生成AR圖像之對象。例如，除了去魚鱗器TL之AR圖像之外，亦可生成把持去魚鱗器TL之被攝體OB之右手之AR圖像或魚FS之AR圖像等。另，於其他實施形態中，亦可為選擇生成AR圖像之對象，而非應抹除之物體之態樣。若藉由使用者之操作，抹除無用物體(步驟S32)，則AR圖像擷取部21及AR情景控制部11執行步驟S34以後之處理。
A-3.複合情景製成處理：
圖10係複合情景製成處理之流程圖。複合情景製成處理係CPU10將複數個AR情景組合而製成複合情景之處理。CPU10之AR情景操作設定部17製成於例如在某AR情景檢測出觸發之情形時，向其他AR情景分支之複合情景，作為製成之復合情景。作為觸發，有例如拍攝範圍內之特定物體之檢出、或麥克風33及操作部34接收到之操作等。
於複合情景製成處理中，首先，麥克風33或操作部34等待接收開始複合情景之製成之操作(步驟S42)。於未接收到開始複合情景製成處理之操作之情形時(步驟S42：否)，AR情景操作設定17結束複合情景製成處理(步驟S42)。
於步驟S42之處理中，於接收到開始複合情景製成處理之操作之情形時(步驟S42：是)，AR情景操作設定部17選擇用於選擇成為複合 情景之基礎之1個AR情景(以下，亦稱為「基礎情景」)之畫面(步驟S44)。AR情景操作設定部17為了供使用者選擇基礎情景，而於顯示部35顯示保存於資料記憶部50之複數個AR情景，並藉由使用者操作操作部34，而自複數個AR情景選擇1個基礎情景。另，就基礎情景之選擇方法，並非限於此，亦可進行各種變化。
其次，AR情景操作設定部17設定用於向複合於基礎情景之其他情景(以下，亦稱為「分支情景」)分支之觸發(步驟S46)。AR情景操作設定部17基於麥克風33及操作部34接收到之操作，而對基礎情景設定觸發。AR圖像擷取部21於設定觸發時，為了令使用者視認正在進行設定觸發之基礎情景之編輯，而於顯示部35顯示預先設定之圖像。換言之，AR圖像擷取部21於編輯複合情景時，於AR情景中插入預先設定之圖像。另，本實施形態之分支情景亦包含於基礎情景全部結束後執行之新的AR情景。
圖11係顯示於設定有觸發時顯示之編輯圖像KC之說明圖。於圖11中，顯示於基礎情景為催促剝除魚FS之魚鱗之AR情景之情形時，於向分支情景分支之編輯時所顯示之編輯圖像KC。於在基礎情景設定觸發之情形時，以與執行基礎情景時相同之方式檢測出之實物之魚FS之位置產生對應，而顯示去魚鱗器TL之AR圖像即圖像AR1與編輯圖像KC。編輯圖像KC係顯示基礎情景為「刮除魚鱗」之AR情景、基礎情景開始後經過「8分37秒」、於現時點為「分支編輯」狀態之圖像。編輯圖像KC可藉由操作部34接收到之操作移動或抹除。另，編輯時相當於申請專利範圍中之特定時點，編輯圖像KC相當於申請專利範圍中之特定圖像。
若AR情景操作設定部17設定觸發(圖10之步驟S46)，則於檢測出於執行基礎情景時所設定之觸發之情形時，設定分支之分支情景(步驟S48)。AR情景操作設定部17為了設定分支情景，而於顯示部35顯 示保存於資料記憶部50之複數個AR情景，並藉由使用者操作操作部34，而自複數個AR情景設定1個分支情景。另，就分支情景之選擇方法，並非限於此，亦可進行各種變化。
圖12係顯示於檢測出觸發之情形向分支情景分支時顯示之圖像之說明圖。於圖12，顯示自拍攝圖像中檢測出設定為觸發之菜刀KN，而向分支情景分支時顯示之文本圖像TX2與AR圖像即圖像AR2。文本圖像TX2係用於催促使用去魚鱗器TL刮除魚FS之魚鱗之文字圖像，且係用於在已向分支情景分支之情形時顯示之附加之附加資訊。文本圖像TX2係以與執行AR情景之裝置可顯示圖像之顯示範圍產生對應而顯示之方式設定。圖像AR2係用於顯示作為觸發被檢測出之菜刀KN與魚FS之魚鱗之剝除無關之表示「×」之AR圖像。圖像AR2係以於檢測出觸發即菜刀KN之情形時，於分支情景中顯示之方式設定之附加資訊。圖像AR2係設定為以與檢測出之菜刀KN之位置產生對應而顯示。
若設定分支情景(圖10之步驟S48)，則麥克風33或操作部34接收是否對選出之基礎情景，進而追加其他分支情景之操作(步驟S50)。於接收到追加其他分支情景之操作之情形時(步驟S50：是)，AR情景操作設定部17執行步驟S46以後之處理。
於步驟S50之處理中，於未接收到追加其他分支情景之操作之情形時(步驟S50：否)，AR情景操作設置部17配合在選出之基礎情景中設定之分支情景而製成複合情景，並將製成之複合情景保存至資料記憶部50，並結束複合情景製成處理。
A-4.複合情景之執行
對執行藉由圖像處理裝置100製成之複合情景之複合情景執行處理進行說明。複合情景執行處理係使可檢測出外景之物體且可於圖像顯示部顯示AR圖像之裝置基於自外景中檢測出之特定物體，而執行 特定之複合情景之處理。另，作為可執行複合情景之裝置，有例如裝載有用於檢測出外景之物體之攝像相機之HMD等。
圖13係顯示頭戴型顯示裝置200(HMD200)之外觀構成之說明圖。HMD200係使用者於視認虛像之同時亦可直接視認外景之光學透過型之頭戴型顯示裝置。HMD200包含：圖像顯示部80，其可於配戴於使用者頭部之狀態下令使用者視認虛像；及控制部70(控制器70)，其控制圖像顯示部80。
圖像顯示部80係配戴於使用者頭部之配戴體，具有眼鏡形狀。圖像顯示部80包含：右顯示驅動部82、左顯示驅動部84、右光學像顯示部86、左光學像顯示部88、相機89、深度感測器91、及9軸感測器87。右光學像顯示部86及左光學像顯示部88分別配置為在使用者配戴圖像顯示部80時位於使用者之右及左眼前。右顯示驅動部82及左顯示驅動部84配置於在使用者配戴圖像顯示部80時與使用者之頭部對向之側。
顯示驅動部82、84由液晶顯示器形成。作為光學構件之光學像顯示部86、88包含導光板與調光板。導光板由光透過性之樹脂材料等形成，並將自顯示驅動部82、84輸出之圖像光導向使用者之眼睛。調光板係薄板狀之光學元件，其以覆蓋與使用者之眼睛側相反之側即圖像顯示部80之表側之方式配置。
相機89配置於使用者配戴圖像顯示部80時與使用者之眉間對應之位置。因此，相機89於使用者將圖像顯示部80配戴於頭部之狀態下，拍攝使用者之視線方向之外部景色即外景，而取得拍攝之圖像即拍攝圖像。深度感測器91係測定距拍攝範圍所包含之對象物之距離之距離感測器。
9軸感測器87配置於與使用者之右側之太陽穴對應之位置。9軸感測器87係檢測加速度(3軸)、角速度(3軸)、地磁(3軸)之運動感測 器。9軸感測器87由於設置於圖像顯示部80，故於圖像顯示部80配戴於使用者之頭部時，作為檢測HMD200之使用者之頭部之動作之動作檢測部發揮功能。此處，頭部之動作包含：頭部之速度、加速度、角速度、方向、及方向之變化。
圖像顯示部80進而具有：連接部85，其用於將圖像顯示部80連接於控制部70。連接部85之一部分向右耳機81及左耳機83延伸。作為構成連接部之導線，可採用例如金屬纜線或光纖。圖像顯示部80與控制部70經由連接部85進行各種信號之傳送。
控制部70係用於控制HMD200之裝置。控制部70係由複數個鍵及軌跡板等構成之操作部。控制部70之複數個鍵檢測出按下操作，而向圖像顯示部80發送對應於按下之鍵之控制信號。控制部70之軌跡版檢測出於軌跡板之操作面上之使用者之手指之操作，而輸出對應於檢測出內容之信號。
控制部70具有：CPU75(未圖示)，其控制圖像顯示部80。CPU75執行藉由無線通訊等接收到之保存於資料記憶部50之複合情景。若控制部70接收到特定之鍵操作，則CPU75自相機89拍攝之拍攝圖像中，檢測出與複合情景中之基礎情景所包含之AR圖像產生對應之物體(以下亦稱為「對應物體」)。CPU75於圖像顯示部80之光學像顯示部86、88顯示出與檢測出之對應物體產生對應之基礎情景所包含之AR圖像。又，CPU75自相機89拍攝之拍攝圖像中，檢測出作為用以自基礎情景向分支情景分支之處觸發之對象(以下亦稱為「觸發對象」)之圖像。若CPU75自相機89之拍攝圖像中檢測出觸發對象之圖像，則自基礎情景向分支情景分支，且於光學像顯示部86、88顯示基於分支情景之AR圖像。
圖14係複合情景執行處理之流程圖。於複合情景執行處理中，首先，配戴於使用者頭部之HMD200之控制部70判斷是否接受到執行 複合情景處理之操作(步驟S61)。於控制部70未接收到執行複合情景之操作之情形時(步驟S61：否)，HMD200結束複合情景執行處理。
於步驟S61之處理中，於控制部70接收到執行複合情景之操作之情形(步驟S61：是)，於圖像顯示部80之光學像顯示部86、88顯示用於供使用者選擇執行之複合情景之圖像(步驟S63)。使用者可藉由視認於光學像顯示部86、88中顯示之圖像，並操作控制部70之鍵，而選擇執行之1個複合情景。若選擇複合情景，則控制部70之CPU75自相機89拍攝之拍攝圖像中，檢測出與選出之複合情景中之基礎情景所包含之AR圖像產生對應之對應物體(步驟S65)。CPU75使用圖案匹配或統計辨識法自拍攝圖像中檢測出AR圖像之對應物體。又，CPU75測定距深度感測器91測定之對應物體之距離。另，於本實施形態中，雖選擇1個複合情景，但於其他實施形態中，亦可選擇複數個複合情景，而決定藉由檢測出之對應物體執行之複合情景。另，對於執行之複合情景之數量或複合情景之選擇方法，可進行各種變化。
若CPU75自拍攝圖像中檢測出對應物體，則特定出拍攝圖像中之對應物體之位置，並與特定出之對應物體之位置產生對應，而顯示複合情景所包含之AR圖像或附加資訊(步驟S67)。於HMD200中，由於以相機89之拍攝範圍與使用者視認之於光學像顯示部86、88中顯示之像素之位置整合之方式預先設定，故若CPU75於光學像顯示部86、88中顯示與對應物體產生對應之AR圖像，則使用者可視認與現實之對應物體之位置產生對應之AR圖像。又，CPU75亦可與由深度感測器91測定之至對應物體之距離對應而立體視覺顯示AR圖像(此處立體視覺顯示意指，於左右眼用之2個AR圖像間附加視差而顯示)。另，CPU75於未檢測出對應物體之情形，不顯示複合情景所包含之AR圖像。又，於附加資訊中，例如不僅包含文本圖像等之於光學像顯示部86、88顯示之圖像，亦可包含經由耳機81、83輸出之音頻等。
圖15係顯示於執行之複合情景檢測出設定之對應物體之情形時，使用者視認之視野VR之說明圖。如圖15所示，於使用者視認之視野VR中，包含透過配戴於頭部之圖像顯示部80之光學像顯示部86、88之外景SC，與於光學像顯示部86、88顯示之去魚鱗器TL之圖像AR1及文本圖像TX1。於外景SC中，包含置放於砧板上之魚FS。去魚鱗器TL之圖像AR1及文本圖像TX1與藉由CPU75自拍攝圖像中檢測出之魚FS之位置產生對應而於光學像顯示部86、88顯示。圖像AR1係自魚FS之頭至尾往復之動畫，而非靜止畫。
若CPU75於光學像顯示部86、88顯示複合情景所包含之AR圖像(圖14之步驟S67)，則監測自相機89之拍攝圖像中，用於向分支情景分支之觸發對象之圖像之檢測(步驟S69)。CPU75於自拍攝圖像中檢測出觸發對象之圖線之情形時(步驟S69：是)，向與檢測出之觸發對象產生對應之分支情景分支而執行(步驟S73)。CPU75若使執行之AR情景向分支情景分支，則檢測出與分支情景所包含之AR圖像產生對應之對應物體(步驟S65)。CPU75特定出所檢測出之對應物體之位置，並與特定出之對應物體之位置產生對應，而顯示分支情景所包含之AR圖像(步驟S67)。另，與分支情景所包含之AR圖像產生對應之對應物體與觸發對象既可為相同物體，亦可為不同物體。
圖16係顯示於執行之分支情景檢測出設定之觸發對象之情形時，使用者視認之視野VR之說明圖。如圖16所示，於使用者視認之視野VR中，包含透過配戴於頭部之圖像顯示部80之光學像顯示部86、88之外景SC，與於光學像顯示部86、88顯示之表示「×」之圖像AR2及文本圖像TX2。於外景SC中，包含置放於砧板上之魚FS、及使用者以右手把持之菜刀KN。文本圖像TX2與藉由CPU75自拍攝圖像中檢測出之魚FS之位置產生對應而於光學像顯示部86、88顯示。圖像AR2與自拍攝圖像中檢測出之菜刀KN之位置產生對應而於光學像顯 示部86、88顯示。
於圖14之步驟S69之處理中，CPU75於未自拍攝圖像中檢測出觸發對象之圖像之情形時(步驟S69：否)，判斷是否結束複合情景中執行之AR情景(以下亦稱為「執行情景」)(步驟S71)。CPU75於控制部70接收到結束執行情景之操作之情形或判斷為無需顯示執行情景之情形時，結束執行情景。作為CPU75判斷為無需顯示執行情景之例，有於執行催促魚FS之刮除魚鱗之AR情景之情形時，於相機89之拍攝範圍內，判斷為魚FS之表面不存在魚FS之魚鱗之情形等。
於步驟S71之處理中，CPU75於判斷為不結束執行情景之情形時(步驟S71：否)，繼續於光學像顯示部86、88顯示執行情景所包含之AR圖像及附加資訊。於步驟S71之處理中，於判斷為結束執行情景之情形時(步驟S71：是)，HMD200結束複合情景執行處理。
如以上說明，於本實施形態之圖像處理裝置100中，AR圖像擷取部21生成由物體辨識部13及3D模型生成部14辨識之一個個物體中之移動物體之AR圖像。因此，於本實施形態之圖像處理裝置100中，由於僅特定出移動物體即可生成對應於特定之物體之AR圖像，故使用者例如可簡單地製成作業支援等之AR情景，並提高使用者之順手性。
又，於本實施形態之圖像處理裝置100中，AR圖像擷取部21將生成AR圖像之對象之移動區域與藉由無用圖像抹除部19抹除之物體產生對應而生成AR圖像。因此，於本實施形態之圖像處理裝置100中，於執行包含所生成之AR圖像之AR情景之情形時，AR圖像與對應於AR圖像之存在於現實之物體之位置及大小等相對應而顯示。例如，於AR情景為作業等之支援動畫之情形時，藉由使進行作業之對象與AR圖像重合，更提高使用者之作業性，且提高使用者之順手性。
又，於本實施形態之圖像處理裝置100中，AR圖像擷取部21於將 生成AR圖像之對象之大小或移動區域與對應於生成之AR圖像之對象之大小產生對應，而生成AR圖像。因此，於本實施形態之圖像處理裝置100中，於執行包含所生成之AR圖像之AR情景之情形時，AR圖像藉由與對應於AR圖像之存在於現實之物體之位置及大小等產生對應而顯示，而更提高使用者之順手性。
如以上說明，於本實施形態之圖像處理裝置100中，距離感測器32測定距拍攝對象之表面之距離，物體辨識部13使用由3D模型生成部14生成之三次元模型，而辨識拍攝圖像中所包含之一個個物體。AR圖像擷取部21生成藉由無用圖像抹除部19抹除之靜止物體以外之移動中之移動物體之AR圖像。因此，於本實施形態之圖像處理裝置100中，由於可僅拍攝特定範圍，而製成包含已測定距離之移動物體之AR圖像之AR情景，故使用者可簡單地製成AR情景，而提高使用者之便利性。
又，於本實施形態之圖像處理裝置100中，無用圖像抹除部19基於操作部34接收到之操作，而將自拍攝圖像中選出之移動物體或靜止物體，作為不生成AR圖像之對象而抹除。即，無用圖像抹除部19選擇所生成之AR圖像之對象。因此，於本實施形態之圖像處理裝置100中，作為AR圖像可選出無需生成之移動物體或需要生成之靜止物體，故使用者可製成更方便使用之AR情景或複合情景，而提高使用者之順手性。
又，於本實施形態之圖像處理裝置100中，無用圖像抹除部19將拍攝圖像所包含之移動物體以外之靜止物體作為不生成AR圖像之對象而抹除，AR圖像擷取部21生成未由無用圖像抹除部19抹除之拍攝圖像所包含之移動物體之AR圖像。因此，於本實施形態之圖像處理裝置100中，即使不進行選擇生成AR圖像之對象之操作，亦能自動生成移動物體之AR圖像。因此，例如，於AR情景為作業等之支援動 畫，且作業中需要移動任何對象之情形時，自動生成應移動之物體即移動物體之AR圖像，而提高使用者之順手性。
又，於本實施形態之圖像處理裝置100中，無用圖像抹除部19自拍攝之圖像中抹除藉由物體辨識部13擷取出之人體部位，AR圖像擷取部21不會將自拍攝圖像中抹除之人體部位作為AR圖像生成。因此，於本實施形態之圖像處理裝置100中，於執行AR情景之情形時，由於未顯示用於移動應移動之物體之手段即人手等，故使用者無需視認手等無用之AR圖像，而提高使用者之便利性。
又，於本實施形態之圖像處理裝置100中，AR圖像擷取部21生成於拍攝中之移動物體移動之期間，對應藉由麥克風33取得之音頻，且以移動物體為對象之圖像。因此，於本實施形態之圖像處理裝置100中，由於製成之AR情景中，除如基於拍攝圖像而生成之AR圖像般之視覺資訊外，還包含與音頻之聽覺資訊產生對應之AR圖像，故提高使用者之便利性。
又，於本實施形態之圖像處理裝置100中，由於將藉由麥克風33取得之音頻作為文本圖像與移動物體產生對應而生成AR圖像，故可將音頻作為視覺資訊與虛擬圖像並列生成，故使用者容易辨識資訊，進而更提高使用者之便利性。
又，於本實施形態之圖像處理裝置100中，AR圖像擷取部21使用藉由RGB相機31取得之拍攝範圍之RGB資料，對生成之AR圖像進行著色。因此，於本實施形態之圖像處理裝置100中，由於生成之AR圖像與未進行著色之AR圖像相比，更類似拍攝圖像所包含之對象，故使用者更容易辨識AR圖像，而更提高使用者之便利性。
又，於本實施形態之圖像處理裝置100中，於用於在分支情景分支之觸發設定等之複合情景之編輯時，AR圖像擷取部21於AR情景中插入顯示處於編輯狀態之編輯圖像KC。因此，於本實施形態之圖像 處理裝置100中，於對AR情景進行編輯等之情形時，由於在編輯之AR情景中插入用於將正在編輯之情形作為視覺資訊令使用者辨識之圖像，故使用者之可用性提高。
又，於本實施形態之圖像處理裝置100中，由於以三次元模型可自360度之任意方向觀察之方式生成而作為AR圖像，故於執行AR情景之情形時，使用者可自任意方向確認三次元模型，而提高使用者之便利性。
B.第2實施形態：
圖17係功能性顯示第2實施形態之圖像處理裝置100a之構成之方塊圖。於第2實施形態中，與第1實施形態之不同點在於，藉由將自感測器控制部15a發送之RGBD資料作為串流資料輸出，3D模型生成部14、物體辨識部13a、及物體追蹤部12a生成拍攝範圍所包含之對象等之全部之三次元模型，並將生成之三次元模型作為串流信號發送至AR情景控制部11a。
圖18係第2實施形態之AR情景製成處理之一部分之流程圖。於第2實施形態之AR情景製成處理中，由於在感測器控制部15a將拍攝外景之每像素之RGBD資料作為串流信號輸出期間，輸出期望之三次元模型作為串流信號，故圖18之步驟S24a之處理與第1實施形態之AR情景製成處理(圖3)之步驟S24之處理不同。因此，於第2實施形態中，對圖18之步驟S24a進行說明，並省略其他之處理之說明。於圖18之步驟S24a之處理中，基於來自感測器控制部15a之每像素之RGBD資料之串流資料，3D模型生成部14a生成包含存在於拍攝範圍內之實體、實境之對象之全部之三次元模型(以下，簡稱為「整體三次元模型」)。於本實施形態中，具體而言，3D模型生成部14係生成自相機331、332、333各者之視點生成之各者之三次元模型，並將該等三次元模型融合為1個，而獲得不依存於自相機331、332、333之視點之整 體三次元模型。於本實施形態中，整體三次元模型由多邊形網格(例如渲染之紋理三角形網格)之資料顯示。然後，3D模型生成部14a將該整體三次元模型之資料作為串流資料輸出。另，於以後，亦可將作為串流資料輸出簡稱為串流輸出。
其次，物體辨識部13a基於自感測器控制部15a發送之每像素之RGBD資料中之RGB資料之串流資料，區分並辨識全部之三次元模型所包含之各個要素即三次元模型(以下，簡稱為「要素三次元模型」)。於第2實施形態中，作為區分三次元模型之方法，例如，物體辨識部13a藉由於RGB資料內進行邊緣檢測等，而區分實體，並將所區分之實體於以RGB資料顯示之圖像空間所佔區域與整體三次元模型之空間之區域產生對應。如此一來，整體三次元模型中該區域包含之部分(要素三次元模型)與其他部分加以區分。物體辨識部13a根據三次元模型之區分結果，而修正整體三次元模型所包含之要素三次元模型。
物體追蹤部12a藉由對自感測器控制器15a發送之RGB資料之串流資料進行圖像處理，而特定出移動中之實體(移動物體)與靜止之實體。物體追蹤部12a於以RGB資料顯示之圖像空間內追蹤特定出之移動物體。
AR情景控制部11a串流輸出物體辨識部13a所特定出之整體三次元模型中之要素三次元模型中之對應於物體追蹤部12a追蹤之移動物體之要素三次元模型。物體追蹤部12a串流輸出之要素三次元模型中，不僅包含三次元模型之移動，還包含包括方向之姿勢之變化(例如、旋轉等)。另，串聯輸出之要素三次元模型於本實施形態中以多邊形網格之資料顯示。
AR圖像擷取部21於AR情景控制部11a串聯輸出之要素三次元模型中包含無用部分之情形，自該要素三次元模型抹除無用部分。由 AR圖像擷取部21判斷之無用部分有：複數個要素三次元模型中之1個要素三次元模型，或要素三次元模型之一部分，例如表示覆蓋作為對象的實體之人體之一部分(例如手)之要素三次元模型之部分等。AR圖像擷取部21串流輸出於自要素三次元模型抹除無用部分後剩餘之要素三次元模型。
資料記憶部50將由AR圖像擷取部21串流輸出之要素三次元模型作為擷取三次元模型加以記錄。其後，AR情景控制部11a使用所記錄之擷取三次元模型，製成AR情景。AR情景所包含之AR圖像可為顯示擷取三次元模型之圖像，亦可為已修正擷取三次元模型之外觀之圖像。又，擷取三次元模型可為於AR情景製成處理之拍攝開始時拍攝之三次元模型(例如，如圖5所示之去魚鱗器TL之三次元模型)，又，亦可置換為由CAD資料而成者等其他三次元模型。於該情形，即使於自要素三次元模型削除無用部分後，亦可實現例如被手等遮住之部分不缺失之AR圖像。又，本實施形態之AR圖像由三次元模型之串流資料(例如，多邊形網格之串流資料)顯示。因此，於串流資料之起點與終點之間規定之時間期間內之任意時點，均可對AR圖像自由變換視點，而改變顯示之AR圖像之方向。另，自相機331~333之任一者之視點亦可藉由AR情景控制部11a作為預設(default)視點資訊包含於AR情景中。
製成之AR情景亦可包含具備於串流輸出之移動物體實際上移動之期間拍攝之連續動作之AR圖像。另，AR圖像連續移動之時間之長度既可與成為AR圖像之基礎所拍攝之移動物體實際上移動之時間相同，亦可與其不同。又，AR情景亦可由離散動作之AR圖像構成，而非由連續動作之AR圖像構成。作為離散動作之AR圖像，例如，於AR情景中，既可生成為自拍攝之移動物體之開始移動時點之狀態至結束移動之時點之狀態之至少一時點之狀態，作為AR圖像，亦可為生成 開始移動之時點、結束之時點、自移動開始至結束之時點期間之一時點之AR圖像。
C.第3實施形態：
圖19係功能性顯示第3實施形態之圖像處理裝置100b之構成之方塊圖。圖20係第3實施形態之AR情景製成處理之一部分之流程圖。於第3實施形態中，與第2實施形態之構成相比，不同點在於，圖像處理裝置100a之CPU10a不具有物體辨識部13a，其他構成相同。如圖19所示，於第3實施形態中，由於無物體辨識部13a，故AR製成處理之步驟S24b之處理與第2實施形態之AR製成處理(圖18)之步驟S24a之處理不同。於第3實施形態中，針對與第2實施形態不同之點進行說明，並省略對相同之點之說明。
於圖19之步驟S24b之處理中，物體追蹤部12b接收3D模型生成部14b串流輸出之整體三次元模型。然後，物體追蹤部12b於整體三次元模型中，特定(區分)出移動之三次元模型(要素三次元模型)與非移動之三次元模型。然後，物體追蹤部12b串流輸出經特定(區分)之要素三次元模型。
D.第4實施形態：
於第4實施形態中，與第1實施形態及第2實施形態相比，主要不同在於，自拍攝之拍攝資料自動製成將移動物體之AR圖像、與判斷為與移動物體關聯且靜止之關聯靜止物體之AR圖像組合而成之複數個AR情景。於第4實施形態中，AR情景控制部11a設定移動物體與關聯靜止物體之各者，作為執行AR情景之觸發對象。AR情景控制部11a製成於下述(1)-(4)之情形之各者之AR情景，作為執行AR情景之情形時檢測出之作為觸發對象之移動物體與關聯靜止物體之特定組合。
(1)僅檢測出作為觸發對象之移動物體之情形
(2)僅檢測出作為觸發對象之關聯靜止物體之情形
(3)作為觸發對象之移動物體與關聯靜止物體均檢測出之情形
(4)作為觸發對象之移動物體與關聯靜止物體均未檢測出之情形
另，於第4實施形態中，雖製成對應於上述(1)-(4)之條件之各者之AR情景，但於其他實施形態中，亦可製成對應於上述(1)-(4)之4種情形中之3種以下之情形之AR情景。
圖21及圖22係第4實施形態之AR情景製成處理之流程圖。於第4實施形態之AR情景製成處理中，與第2實施形態之AR情景製成處理相比，以下之2點不同。其1點為，可以已拍攝之拍攝資料為基礎而製成AR情景，另1點為，自動製成上述(1)-(4)之情形之複數個AR情景。另，關於第4實施形態之其他處理，與第2實施形態之AR情景製成處理相同。因此，於第4實施形態之AR情景製成處理中，省略與第2實施形態及第3實施形態相同之自步驟S14至步驟S22之處理之說明。
於第4實施形態之AR情景製成處理中，首先，麥克風33或操作部34接收開始AR情景製成之特定操作(步驟S81)。若麥克風33或操作部34接收到開始AR情景之製成之特定操作(步驟S81：是)，則接收所製成之AR情景是否以拍攝資料為基礎而製成之特定操作(步驟S83)。若接收到不以拍攝資料為基礎製成AR情景之特定操作(步驟S83：否)，則AR情景控制部11a進行與第2實施形態相同之步驟S14至步驟S22之處理。於步驟S83之處理中，若接收到以拍攝資料為基礎製成AR情景之特定操作(步驟S83：是)，則與第2實施形態相同，3D模型生成部14a生成整體三次元模型(圖22之步驟S24a)。具體而言，3D模型生成部14a基於來自感測器控制部15a之每像素之RGBD資料之串流資料，生成整體三次元模型。
圖23至圖27係第4實施形態之藉由RGB相機31及距離感測器32拍攝包含複數個被攝體之外景SC之情形之說明圖。於圖23中，顯示包含框體BX、蓋體CV、工具之起子DV、及4個螺栓BT之外景SC。於圖 23至圖26中，顯示藉由起子DV與螺栓BT，將作為單獨零件拆開之框體BX與蓋體CV安裝為一體之零件之變化。於框體BX，形成有供螺栓BT之外螺紋部嵌合之4處內螺紋部Bh。又，為了對框體BX固定蓋體CV，於蓋體CV，於在組裝框體BX與蓋體CV時對應於框體BX之內螺紋部Bh之位置，形成有正圓狀之孔Ch。
於圖24中，與圖23所示之外景SC相比，顯示了作業者之左手LH將蓋體CV相對於不移動之框體BX保持在固定位置之外景SC。於圖24所示之狀態中，框體BX與蓋體CV並非由螺栓BT固定，蓋體CV之位置由左手LH暫時固定。另，於自圖23所示之外景SC向圖24所示之外景SC變化之狀態中，蓋體CV移動，故為移動物體。又，框體BX由於為與移動物體之蓋體CV接觸之靜止物體，故為關聯靜止物體。
於圖25中，與圖24所示之外景SC相比，顯示了作業者之右手RH把持起子DV，且於起子DV之前端安裝有1個螺栓BT之外景SC。另，於圖25中，框體BX、蓋體CV、及左手LH之位置不變化。於自圖24所示之外景SC向圖25所示之外景SC變化之狀態中，起子DV與安裝於起子DV之前端之螺栓BT為移動物體。且，起子DV與螺栓BT成為一體而移動時亦可視為1個移動物體。未安裝於起子DV之3個螺栓BT係與移動物體無關聯之靜止物體。又，雖未圖示，但於起子DV與螺栓BT一體化之前之狀態中，有起子DV或螺栓BT為移動物體，而另一者為關聯靜止物體之狀態。
於圖26中，與圖25所示之外景SC相比，顯示了安裝於右手RH所把持之起子DV之前端之1個螺栓BT插入框體BX之1個內螺紋部Bh並旋轉之外景SC。另，於自圖25所示之外景SC向圖26所示之外景SC變化之狀態中，框體BX及蓋體CV不移動。因此，起子DV及螺栓BT為移動物體，框體BX及蓋體CV為關聯靜止物體。
於圖27中，與圖26所示之外景SC相比，顯示了藉由1個螺栓BT與 框體BX之1個內螺紋部Bh嵌合，而固定框體BX與蓋體CV，且起子DV之前端自螺栓BT離開之狀態之外景SC。於自圖26所示之外景SC向圖27所示之外景SC變化之狀態中，起子DV為移動物體，框體BX與蓋體CV為關聯靜止物體。另，於不同實施形態中，亦可設為起子DV為移動物體，框體BX、蓋體CV、及螺栓BT與起子DV無關係，而不作為關聯靜止物體處理。
於圖22之步驟S24a中，自於圖23至圖27顯示之外景SC之變化之拍攝圖像，製成包含移動物體與關聯靜止物體之全部對象之各者之3D模型。其後，AR情景控制部11a自生成之整體三次元模型中，自由物體追蹤部12a特定出之1個以上之移動物體中選擇1個移動物體(步驟S85)。AR情景控制部11a於自圖23至圖27之外景SC之變化中，選擇例如自圖23至圖24之外景SC之變化中作為移動物體之蓋體CV。
AR圖像擷取部21生成後述之蓋體圖像IMC，作為成為選出之移動物體的蓋體CV之AR圖像(步驟S87)。其後，AR情景控制部11a基於由物體辨識部13a測定之測定距離，而判斷特定為與作為選出之移動物體的蓋體CV接觸之關聯靜止物體是否存在(步驟S89)。AR情景控制部11a將相對於移動物體存在於特定距離以內之靜止物體，特定為與移動物體接觸之關聯靜止物體。於自圖23至圖24之外景SC之變化中，AR情景控制部11a將框體BX特定為作為成為移動物體之蓋體CV之關聯靜止物體。因此，判斷為存在相對於蓋體CV之關聯靜止物體(步驟S89：是)，AR圖像擷取部21生成所有關聯靜止物體之AR圖像(步驟S91)。AR圖像擷取部21生成後述之框體圖像IMX，作為關聯靜止物體即框體BX之AR圖像。
其後，無用圖像抹除部19將除了選出之移動物體與關聯靜止物體以外之其他移動物體及靜止物體作為無用物體而抹除(步驟S93)。於自圖23至圖24之外景SC之變化中，無用圖像抹除部19將蓋體CV、 螺栓BT、及左手LH作為無用物體予以抹除。其後，AR情景控制部11a將生成AR圖像之移動物體之蓋體CV與關聯靜止物體之框體BX之各者設定為用於執行AR情景之觸發對象。AR情景控制部11a製成對應於作為設定之觸發對象之移動物體之有無與關聯靜止物體之有無之組合之AR情景(步驟S95)。對應於觸發對象之組合而製成之AR情景之細節見後述。
AR情景控制部11a若製成對應於特定組合之各者之AR情景，則判斷是否選擇拍攝資料所包含之所有移動物體而製成AR情景(步驟S97)。由於AR情景控制部11a僅選擇蓋體CV作為移動物體，並未選擇所有移動物體(步驟S97：否)，故進行步驟S85以後之處理。於步驟S97之處理中，於判斷為AR情景控制部11a選擇了蓋體CV以外之拍攝資料之所有移動物體之情形(步驟S97：是)，將製成之所有AR情景保存至資料記憶部50，而結束AR情景製成處理。
圖28係顯示第4實施形態之AR情景製成處理之步驟S95之處理中製成之觸發對象之組合與AR情景之組合之一例之一覽表。於圖28中，顯示於執行製成之AR情景之情形時，與檢測出之觸發對象之特定組合(1)-(4)對應而顯示之顯示圖像。於圖28中，顯示針對移動物體為蓋體CV，關聯靜止物體為框體BX之情形，與(1)-(4)之組合對應之顯示圖像。於以後，針對於執行AR情景之情形時，與檢測出之觸發對象對應而顯示之顯示圖像進行說明。
另，於第4實施形態中，針對移動物體之一例係蓋體CV，關聯靜止物體之一例係框體BX之情形進行了說明，但關於圖28所示之組合與顯示圖像之關係，係作為資料或程式予以記憶，故即使為蓋體CV或框體BX以外亦可應用。因此，即使為與第4實施形態不同之移動物體或關聯靜止物體，亦可製成對應於如下述之(1)-(4)之組合之圖像，並顯示於AR情景執行時製成之圖像。
作為(1)組合，於觸發對象僅有移動物體之情形，顯示關聯靜止物體之圖像作為顯示圖像。
作為(2)組合，於觸發對象僅有關聯靜止物體之情形，顯示與檢測出之關聯靜止物體一體化之移動物體之圖像。
作為(3)組合，於觸發對象為移動物體及關聯靜止物體之情形，顯示與檢測出之關聯靜止物體一體化之移動物體之圖像。
作為(4)組合，於未檢測出觸發對象之情形(未檢測到之情形)，顯示移動物體與關聯靜止物體一體化之圖像。
圖29係執行AR情景之情形之顯示圖像決定處理之流程圖。顯示圖像決定處理係於執行AR情景之情形時，對應於檢測出之觸發對象之組合，而使作為執行AR情景之機器的HMD200決定於光學像顯示部86、88顯示之顯示圖像之處理。
於顯示圖像決定處理中，首先HMD200之相機89拍攝外景(步驟S101)。HMD200之CPU75判斷於相機89之拍攝圖像中是否檢測出圖28所示之組合(1)之觸發對象(步驟S103)。CPU75於判斷為檢測出組合(1)之觸發對象之情形時(步驟S103：是)，將與組合(1)產生對應之顯示圖像決定為於光學顯示部86、88顯示之圖像(步驟S111)。其後，CPU75結束顯示圖像決定處理。
圖30係顯示於與組合(1)產生對應之顯示圖像於光學像顯示部86、88顯示時，使用者視認之視野VR之一例之說明圖。於圖30中，顯示於檢測出作為觸發對象之移動物體即蓋體CV之情形時，將HMD200之圖像顯示部80配戴於頭部之使用者所視認之視野VR之一例。如圖30所示，使用者除了視認到外景SC所包含之實物之蓋體CV、起子DV、及螺栓BT之外，還視認到作為圖像顯示之框體圖像IMX。換言之，如圖28所示之組合(1)般，AR情景控制部11a於執行AR情景，且僅檢測出作為觸發對象之移動物體即蓋體CV之情形時， 製成僅將關聯靜止物體之框體圖像IMX設定為顯示圖像之AR情景。另，於圖30中，雖檢測出實物之起子DV及複數個螺栓BT，但於圖28所示之組合中，實物之起子DV及螺栓BT與顯示圖像之有無並無關係。另，於後述之圖31至圖33中，實物之起子DV及螺栓BT與顯示圖像之有無並無關係。
於圖29之步驟S103之處理中，CPU75於判斷為未檢測出組合(1)之觸發對象之情形時(步驟S103：否)，判斷是否檢測出圖28所示之組合(2)之觸發對象(步驟S105)。CPU75於判斷為檢測出組合(2)之觸發對象之情形時(步驟S105：是)，將與組合(2)產生對應之顯示圖像決定為於光學顯示部86、88顯示之圖像(步驟S113)。其後，CPU75結束顯示圖像決定處理。
圖31係顯示於與組合(2)產生對應之顯示圖像顯示於光學像顯示部86、88時，使用者視認之視野VR之一例之說明圖。於圖31中，顯示於檢測出作為觸發對象之關聯靜止物體即框體BX之情形時，HMD200之使用者所視認之視野VR之一例。如圖31所示，CPU75於執行AR情景，且僅檢測出作為觸發對象之關聯靜止物體即框體BX之情形時，於光學像顯示部86、88顯示圖28之組合(2)所示之圖像。CPU75將移動物體即蓋體CV之蓋體圖像IMC，於AR情景製成時之拍攝資料中之最後靜止之位置、即蓋體CV安裝於框體BX之位置，顯示蓋體圖像IMC作為顯示圖像。換言之，AR情景控制部11a製成在與關聯靜止物體即框體BX一體化之位置顯示蓋體CV之AR圖像即蓋體圖像IMC之AR情景。
於圖29之步驟S105之處理中，CPU75於判斷為未檢測出組合(2)之觸發對象之情形時(步驟S105：否)，判斷是否檢測出圖28所示之組合(3)之觸發對象(步驟S107)。CPU75於判斷為檢測出組合(3)之觸發對象之情形時(步驟S107：是)，將與組合(3)產生對應之顯示圖像決定為 顯示於光學顯示部86、88之圖像(步驟S115)。其後，CPU75結束顯示圖像決定處理。
圖32係顯示於與組合(3)產生對應之顯示圖像於光學像顯示部86、88顯示時，使用者所視認之視野VR之一例之說明圖。於圖32中，顯示於檢測出作為觸發對象之移動物體即蓋體CV及關聯靜止物體即盒體BX之情形時，HMD200之使用者視認之視野VR之一例。如圖32所示，CPU75於執行AR情景，且檢測出作為觸發對象之框體BX及蓋體CV之情形時，於光學像顯示部86、88顯示圖28之組合(3)所示之圖像。CPU75與圖31所示之蓋體圖像IMC相同，在與關聯靜止物體即框體BX一體化之位置顯示蓋體CV之蓋體圖像IMC作為顯示圖像於光學像顯示部86、88顯示。換言之，AR情景控制部11a製成在與關聯靜止物體即框體BX一體化之位置顯示蓋體CV之AR圖像即蓋體圖像IMC之AR情景。
於圖29之步驟S107之處理中，CPU75於判斷為未檢測出組合(3)之觸發對象之情形時(步驟S107：否)，判斷是否檢測出圖28所示之組合(4)之觸發對象(步驟S109)。CPU75於判斷為檢測出組合(4)之觸發對象之情形時(步驟S109：是)，將與組合(4)產生對應之顯示圖像決定為於光學顯示部86、88顯示之圖像(步驟S117)。其後，CPU75結束顯示圖像決定處理。
圖33係顯示於與組合(4)產生對應之顯示圖像於光學像顯示部86、88顯示時，使用者所視認之視野VR之一例之說明圖。於圖33中，顯示於未檢測出作為觸發對象之移動物體即蓋體CV及關聯靜止物體即框體BX之情形時，HMD200之使用者所視認之視野VR。如圖33所示，CPU75於執行AR情景，且未檢測出任何觸發對象之情形時，於光學像顯示部86、88顯示圖28之組合(4)所示之圖像。CPU75將表示移動物體即蓋體CV與關聯靜止物體即框體BX一體化之狀態之蓋 體圖像IMC與框體圖像IMX作為顯示圖像於光學像顯示部86、88顯示。換言之，AR情景控制部11a於未檢測出任何觸發對象之情形時，製成顯示作為框體BX與蓋體CV一體化之AR圖像之框體圖像IMX與蓋體圖像IMC之AR情景。
於圖29之步驟S109之處理中，CPU75於判斷為未檢測出組合(4)之觸發對象之情形時(步驟S109：否)，於光學像顯示部86、88不顯示任何AR圖像，並結束顯示圖像決定處理。另，於其他實施形態中，亦可於第4實施形態之顯示關聯處理之後，進行將不同之移動物體與關聯靜止物體設為觸發對象之顯示關聯處理。如此，第4實施形態之AR情景控制部11a如圖28所示，自動製成包含與觸發對象之組合之各者對應之AR圖像之AR情景。另，移動物體即蓋體CV相當於申請專利範圍中之移動對象，相關靜止物體即框體BX相當於申請專利範圍中之關聯靜止對象。又，蓋體CV之蓋體圖像IMC相當於申請專利範圍中之移動對象對應圖像，關聯靜止物體即框體BX之盒體圖像IMX相當於申請專利範圍中之關聯靜止對象圖像。
如以上說明，於第4實施形態之圖像處理裝置100a中，AR情景控制部11a將蓋體CV與框體BX設定為用於執行AR情景之觸發對象。因此，於第4實施形態之圖像處理裝置100a中，由於以藉由預先設定之特定條件之檢測而執行AR情景之方式製成，故可設定對應於AR情景之用途之執行時序。
又，於第4實施形態之圖像處理裝置100a中，AR情景控制部11a製成包含蓋體圖像IMC與框體圖像IMX之AR圖像之顯示有無之之AR情景，且該蓋體圖像IMC與框體圖像IMX與於執行AR情景時檢測出之移動物體之蓋體CV之有無與關聯靜止物體BX之有無之組合相對應。因此，於第4實施形態之圖像處理裝置100a中，即使不進行任何特別操作，亦可基於拍攝資料，而製成包含與移動物體關聯之AR圖像之 複數個AR情景，故圖像處理裝置100a之順手性提高。
E.變化例：
另，本發明並非限於上述實施形態者，可在不脫離其主旨之範圍內之各種態樣中實施，例如亦可進行如下變化。
E-1.變化例1：
於上述第1實施形態中，對由催促刮除魚FS之魚鱗之基礎情景、與於自基礎情景檢測出菜刀KN之情形時分支之分支情景所構成之複合情景進行了說明，但關於複合情景並非限於此，亦可進行各種變化。例如，並非必須為由2個AR情景構成之複合情景，亦可為1個AR情景，或複合3個以上之AR情景之複合情景。又，無需如基礎情景與分支情景般，以上與下區分AR情景，亦可由並列處理之複數個複數個AR情景製成複合情景。
於上述實施形態中，雖基於RGB相機31或麥克風33取得之資料，而進行AR圖像等之生成，但並非該等裝置為必須之構成，關於該等裝置可進行各種變化。例如，圖像處理裝置100無需具備RGB相機31、麥克風33、操作部34、顯示部35，亦可僅製成自動拍攝之拍攝範圍中之移動物體之AR圖像，而製成AR情景。又，CPU10無需具有附加資訊取得部18，亦可僅基於只拍攝圖像之圖像資料，而製成AR情景。
於上述實施形態1中，AR情景操作設定部17雖於製成由基礎情景與分支情景構成之複合情景時，於設定自基礎情景向分支情景分支時之觸發之情形時，顯示如編輯圖像KC之圖像，但並非必須顯示此種圖像。AR情景設定操作部17於編輯時亦可替代顯示編輯圖像KC之圖像，藉由變更AR圖像等之顏色而顯示，而令使用者辨識設定有觸發。又，AR情景設定操作部17亦可替代顯示編輯圖像KC之圖像，而藉由輸出音頻，令使用者辨識設定有觸發。於該變化例中，由於可藉 由音頻令使用者辨識編輯等之狀態，故與顯示編輯圖像KC等之圖像之情形相比，編輯圖像KC與AR圖像不重複，而更提高編輯時等之使用者之順手性。
又，於上述實施形態中，雖藉由3台相機311、312、313、與3台距離感測器321、322、323進行拍攝，但亦可藉由1台相機拍攝，亦可藉由1對之相機與距離感測器進行拍攝。例如，亦可藉由搭載於HMD之1對之相機311及距離感測器321，拍攝外景SC，且HMD之配戴者成為被攝體OB(示範者)，並藉由追蹤被攝體OB之行動或作業，而製成AR情景。於該情形，即使因被攝體OB之頭部之動作而拍攝範圍變化，亦可藉由搭載於HMD之9軸感測器87等，修正實際空間與三次元模型之空間之對應關係。又，即使為1台相機，亦可簡單地製成包含二次元模型或三次元模型之AR圖像之AR情景。於該情形，生成AR圖像或AR情景之圖像處理裝置100既可藉由HMD上之處理器及記憶裝置實現，亦可藉由與HMD可經由網路(例如、無線LAN)雙向通訊之外部之電腦所包含之處理器及記憶裝置而實現。
且，於該情形時，作為防止被手等遮住而於AR圖像產生遮蔽部分之方法之一，除上述方法外，還有以下方法。該方法可為例如，於AR情景製成時，對配戴HMD之示範者，該HMD提示「請從不同角度或方向觀看您手持之物體」等訴諸於視覺或聽覺之訊息，並於相機311、距離感測器321取得該物體之不同角度或方向之圖像之情形時，亦可合成自不同角度或方向之圖像而作為1個三次元模型。
又，於上述實施形態中，無用圖像抹除部19雖將無用物體抹除而不作為AR圖像生成，但針對無用物體之處理，亦可進行各種變化。例如，即可將無用物體與移動物體同樣作為AR圖像生成，亦可藉由改變RGB資料，而生成為半透明之AR圖像或二次元之圖像。於該變化例中，於例如於執行製成之AR情景之使用者不明白去魚鱗器 TL之把持方法之情形時，可藉由將被攝體OB之手之部分之圖像與去魚鱗器TL之AR圖像產生對應而顯示，而提高使用者之便利性。
E-2.變化例2：
又，CPU10亦可具有自動學習部。自動學習部藉由學習關於拍攝圖像所包含之物體之圖像之姿勢或位置，而亦可辨識移動物體或未決定規格之不定形物。又，自動學習部藉由複數種辨識運算法，自動選擇形狀、顏色、模樣等最適合之組合，而可實現對環境變化(例如步驟變化或照明變化)之順應性較高之學習型之辨識。
於上述實施形態中，雖使生成AR圖像之對象與於距該對象特定範圍內檢測出之對應物體之位置關係產生對應，但亦可不生成與距生成AR圖像之對象較近距離之對應物體之位置關係產生對應之AR圖像。例如，無論自拍攝圖像中檢測出之對應物體之位置，只要檢測出對應物體，則亦可於預先設定之位置顯示AR圖像。又，對應物體與AR圖像之位置關係亦可根據操作部34接收到之操作而適當設定。
又，於上述實施形態中，無用圖像抹除部19雖與檢測出之對應物體之位置產生對應而生成AR圖像，但並非必須與檢測出之對應物體之位置產生對應而生成AR圖像。例如，AR圖像亦可與由麥克風33取得之使用者之音頻產生對應而生成。
於第1實施形態及第2實施形態中，雖例示製作料理之作業作為被攝體OB進行之行動或作業而說明實施形態。但是，本發明之其他態樣可應用於製成於工廠之機械零件之安裝、機械之檢查、及其他對機械實體進行之作業時顯示之AR圖像之實施形態。又，本發明之進而其他態樣亦可應用於製成樂高(Lego)公司之樂高(註冊商標)組塊之組裝法等、使用玩具之作業(休閒娛樂或遊戲)時顯示之AR圖像之實施形態。
E-3.變化例3：
如此，於第4實施形態之圖像處理裝置100a中，AR情景控制部11a自動製成與在執行AR時檢測出之觸發對象之組合之各者對應之AR情景。此外，亦可藉由AR情景控制部11a接收特定之操作，而如第1實施形態般，附加資訊取得部18對製成之AR情景追加音頻等附加資訊。
又，於第4實施形態之圖像處理裝置100a中，AR情景控制部11a雖製成與移動物體之有無與靜止關聯物體之有無之所有組合對應之AR情景，但亦可僅製成與一部分之組合對應之AR情景。又，AR情景控制部11a雖於圖22之步驟S97之處理中，製成與選擇拍攝資料中之所有移動物體之組合對應之AR情景，但亦可製成僅製成與選擇之一部分之移動物體對應之AR情景。
又，於圖29所示之第4實施形態之顯示圖像決定處理中，雖藉由是否與圖28所示之組合之觸發對象一致之判斷，而決定顯示圖像，但亦可藉由是否檢測出一個個之觸發對象之判斷，而決定顯示圖像。例如，於作為AR情景所包含之所有觸發對象，有4個零件之蓋體CV、框體BX、起子DV、螺栓BT之情形，亦可藉由檢測出各者之零件之有無，而使流程分支，決定顯示圖像。具體而言，亦可首先，判斷蓋體CV之檢測，其次，判斷框體BX之檢測，其次，判斷起子DV之檢測，其次，判斷螺栓BT之檢測，並基於所有判斷結果，而決定顯示圖像。於該變化例之顯示圖像決定處理中，即使為於AR情景設定複數個觸發對象之情形時，亦可顯示對應之AR情景所包含之AR圖像。
本發明並非限定於上述之實施形態或變化例者，可於不脫離其要旨之範圍內以各種構成實現。例如，與發明內容之欄所記述之各形態中之技術性特徵對應之實施形態、變化例中之技術性特徵係為解決上述課題之一部分或全部，或為達成上述效果之一部分或全部，而可適當進行替換或組合。又，若該技術性特徵於本說明書中未作為必須 者而說明，則可適當削除。
10‧‧‧CPU
11‧‧‧AR情景控制部
12‧‧‧物體追蹤部
13‧‧‧物體辨識部
14‧‧‧3D模型生成部
15‧‧‧感測器控制部
16‧‧‧UI控制部
17‧‧‧AR情景操作設定部
18‧‧‧附加資訊取得部
19‧‧‧無用圖像抹除部
21‧‧‧AR圖像擷取部
31‧‧‧RGB相機
32‧‧‧距離感測器
33‧‧‧麥克風
34‧‧‧操作部
35‧‧‧顯示部
41‧‧‧ROM
42‧‧‧RAM
50‧‧‧資料記憶部
60‧‧‧電源
100‧‧‧圖像處理裝置
161‧‧‧文本轉換部

Claims (15)

  1. 一種圖像處理裝置，其係包含以下者：外景感測器，其拍攝至少一個對象；及圖像生成部，其生成對應於所拍攝之上述對象中移動之上述對象之至少1個之虛擬圖像。
  2. 如請求項1之圖像處理裝置，其中上述圖像生成部係將生成上述虛擬圖像之上述對象即圖像生成對象之移動區域，與所拍攝之上述對象內之除上述圖像生成對象以外之上述對象之至少1個產生對應，而生成上述圖像生成對象之上述虛擬圖像。
  3. 如請求項2之圖像處理裝置，其中上述圖像生成部係生成將上述虛擬圖像之大小及上述移動區域之至少一者與對應於上述圖像生成對象之上述移動區域之上述對象之大小產生對應的上述虛擬圖像。
  4. 如請求項2或3之圖像處理裝置，其中上述圖像生成部係對應於設定之觸發對象之檢測之有無而決定上述虛擬圖像之顯示之有無。
  5. 如請求項4之圖像處理裝置，其中上述圖像生成部係將所拍攝之複數個上述對象中移動之上述對象即移動對象，與判定為位於距移動之上述對象特定距離以內且不移動之上述對象即關聯靜止對象設定為觸發對象；且與上述移動對象之有無與上述關聯靜止對象之有無之組合產生對應，而生成將作為上述移動對象之虛擬圖像之移動對象對應圖像、與作為上述關聯靜止對象之虛擬圖像之關聯靜止對象圖像組合而成之虛擬圖像。
  6. 如請求項1至5中任一項之圖像處理裝置，其進而包含：操作接收部，其接收操作；且上述圖像生成部基於接收到之上述操作，抹除無用部分而生成上述虛擬圖像。
  7. 如請求項1至6中任一項之圖像處理裝置，其中上述圖像生成部生成對應於所拍攝之複數個對象中移動之上述對象移動期間之圖像作為上述虛擬圖像。
  8. 如請求項1至7中任一項之圖像處理裝置，其進而包含：對象選擇部；且上述對象選擇部辨識人體之形狀與人體以外之形狀作為上述至少1個對象；上述圖像生成部不生成所拍攝之上述對象中對應於人體之形狀之上述虛擬圖像。
  9. 如請求項1至8中任一項之圖像處理裝置，其進而包含：音頻取得部，其取得外部之音頻；上述圖像生成部係將生成上述虛擬圖像之上述對象即圖像生成對象，與於上述圖像生成對象移動期間取得之音頻產生對應，而生成上述虛擬圖像。
  10. 如請求項9之圖像處理裝置，其中上述圖像生成部將取得之音頻作為文字圖像，與上述虛擬圖像產生對應而生成。
  11. 如請求項1至10中任一項之圖像處理裝置，其中進而包含：距離測量部，其測定距上述對象之距離；且上述圖像生成部基於測定之距離而生成上述虛擬圖像。
  12. 如請求項1至11中任一項之圖像處理裝置，其中上述圖像生成部於上述虛擬圖像為隨著時間而變化之虛擬動 畫之情形時，於上述虛擬動畫之特定時點，插入特定之圖像。
  13. 如請求項1至12中任一項之圖像處理裝置，其進而包含：音頻取得部，其取得外部之音頻；上述圖像生成部於上述虛擬圖像為隨著時間而變化之虛擬動畫之情形時，使上述虛擬動畫之特定時點、與取得之上述音頻產生對應而生成上述虛擬動畫。
  14. 一種圖像處理裝置之控制方法，其係包含以下步驟者：拍攝至少1個對象之步驟；及生成對應於所拍攝之上述對象中移動之上述對象之至少一個之虛擬圖像之步驟。
  15. 一種電腦程式，其係用於圖像處理裝置，且由電腦實現以下功能者：對象拍攝功能，其拍攝至少一個對象；及圖像生成功能，其生成對應於所拍攝之上述對象中移動之上述對象之至少1個之虛擬圖像。
TW104137587A 2014-11-18 2015-11-13 圖像處理裝置、圖像處理裝置之控制方法及電腦程式 TW201619933A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014233263A JP2016099638A (ja) 2014-11-18 2014-11-18 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム
JP2015100694A JP6609988B2 (ja) 2015-05-18 2015-05-18 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム

Publications (1)

Publication Number Publication Date
TW201619933A true TW201619933A (zh) 2016-06-01

Family

ID=54754716

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104137587A TW201619933A (zh) 2014-11-18 2015-11-13 圖像處理裝置、圖像處理裝置之控制方法及電腦程式

Country Status (3)

Country Link
US (2) US10664975B2 (zh)
TW (1) TW201619933A (zh)
WO (1) WO2016079960A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115665545A (zh) * 2022-10-24 2023-01-31 维沃移动通信有限公司 拍摄方法、装置及电子设备

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589000B2 (en) * 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US10176642B2 (en) * 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
JP6540472B2 (ja) * 2015-11-18 2019-07-10 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP6458713B2 (ja) * 2015-11-18 2019-01-30 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP5954606B1 (ja) * 2015-12-16 2016-07-20 富士ゼロックス株式会社 診断装置、診断システム、装置およびプログラム
JP7098870B2 (ja) * 2016-07-25 2022-07-12 富士フイルムビジネスイノベーション株式会社 測色システム、画像生成装置、および、プログラム
CA3045286C (en) * 2016-10-28 2024-02-20 Axon Enterprise, Inc. Systems and methods for supplementing captured data
US10249044B2 (en) * 2016-12-30 2019-04-02 Facebook, Inc. Image segmentation with touch interaction
US10860748B2 (en) * 2017-03-08 2020-12-08 General Electric Company Systems and method for adjusting properties of objects depicted in computer-aid design applications
US10509556B2 (en) * 2017-05-02 2019-12-17 Kyocera Document Solutions Inc. Display device
JP7426237B2 (ja) 2017-06-16 2024-02-01 テクトロニクス・インコーポレイテッド 拡張現実に関連する試験測定装置、システム及び方法
CN111480342B (zh) * 2017-12-01 2024-04-23 索尼公司 编码装置、编码方法、解码装置、解码方法和存储介质
US10997410B2 (en) * 2018-08-31 2021-05-04 Ricoh Company, Ltd. Information processing device and information processing system
CN111311632B (zh) * 2018-12-11 2023-12-01 深圳市优必选科技有限公司 一种物体位姿跟踪方法、装置及设备
CN114026592A (zh) * 2019-06-25 2022-02-08 株式会社半导体能源研究所 信息处理系统及信息处理方法
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
KR102877562B1 (ko) * 2020-12-03 2025-10-28 삼성전자주식회사 적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치
US12361661B1 (en) 2022-12-21 2025-07-15 Meta Platforms Technologies, Llc Artificial reality (XR) location-based displays and interactions
US20250139836A1 (en) * 2023-10-30 2025-05-01 Htc Corporation Image shooting system and image generating method

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3976507B2 (ja) 2001-01-29 2007-09-19 トヨタ自動車株式会社 画像表示装置
US7044912B2 (en) * 2003-08-28 2006-05-16 Siemens Medical Solutions Usa Inc. Diagnostic medical ultrasound system having method and apparatus for storing and retrieving 3D and 4D data sets
JP2009237878A (ja) * 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
US8947455B2 (en) 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
CN103201731B (zh) * 2010-12-02 2016-01-20 英派尔科技开发有限公司 增强现实系统
KR101669119B1 (ko) * 2010-12-14 2016-10-25 삼성전자주식회사 다층 증강 현실 시스템 및 방법
US20120170800A1 (en) * 2010-12-30 2012-07-05 Ydreams - Informatica, S.A. Systems and methods for continuous physics simulation from discrete video acquisition
JP5279875B2 (ja) * 2011-07-14 2013-09-04 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
WO2013028813A1 (en) * 2011-08-23 2013-02-28 Microsoft Corporation Implicit sharing and privacy control through physical behaviors using sensor-rich devices
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US20130088413A1 (en) * 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
GB2511663A (en) * 2011-12-20 2014-09-10 Intel Corp Local sensor augmentation of stored content and AR communication
US9530060B2 (en) * 2012-01-17 2016-12-27 Avigilon Fortress Corporation System and method for building automation using video content analysis with depth sensing
KR101713772B1 (ko) 2012-02-06 2017-03-09 한국전자통신연구원 사전 시각화 영상 생성 장치 및 방법
EP2860968B1 (en) 2012-06-12 2020-06-24 Sony Corporation Information processing device, information processing method, and program
US9035970B2 (en) * 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
GB201216210D0 (en) * 2012-09-12 2012-10-24 Appeartome Ltd Augmented reality apparatus and method
JP5841033B2 (ja) * 2012-09-27 2016-01-06 京セラ株式会社 表示装置、制御システムおよび制御プログラム
US9448407B2 (en) * 2012-12-13 2016-09-20 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and work supporting system
US10269180B2 (en) * 2013-04-16 2019-04-23 Sony Corporation Information processing apparatus and information processing method, display apparatus and display method, and information processing system
US9514574B2 (en) * 2013-08-30 2016-12-06 Qualcomm Incorporated System and method for determining the extent of a plane in an augmented reality environment
KR20150041249A (ko) * 2013-10-07 2015-04-16 한국전자통신연구원 가상 체험북 시스템과 그 동작 방법
US10416834B1 (en) * 2013-11-15 2019-09-17 Leap Motion, Inc. Interaction strength using virtual objects for machine control
KR101415944B1 (ko) * 2013-12-30 2014-07-04 (주) 골프존 기상 상태에 대한 입체 음향을 제공하는 가상 골프 시뮬레이션 장치 및 방법
JP2015149634A (ja) * 2014-02-07 2015-08-20 ソニー株式会社 画像表示装置および方法
US9438891B2 (en) * 2014-03-13 2016-09-06 Seiko Epson Corporation Holocam systems and methods
US20150348323A1 (en) * 2014-06-02 2015-12-03 Lenovo (Singapore) Pte. Ltd. Augmenting a digital image with distance data derived based on actuation of at least one laser
US9589362B2 (en) * 2014-07-01 2017-03-07 Qualcomm Incorporated System and method of three-dimensional model generation
US20170256283A1 (en) * 2014-09-08 2017-09-07 Sony Corporation Information processing device and information processing method
CN105607253B (zh) * 2014-11-17 2020-05-12 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
KR102274743B1 (ko) * 2015-01-30 2021-07-08 삼성전자주식회사 전자 장치 및 전자 장치의 화면 영역 처리 방법
US9734579B1 (en) * 2015-02-03 2017-08-15 Google Inc. Three-dimensional models visual differential
JP6572600B2 (ja) * 2015-04-09 2019-09-11 セイコーエプソン株式会社 情報処理装置、情報処理装置の制御方法、および、コンピュータープログラム
US10158840B2 (en) * 2015-06-19 2018-12-18 Amazon Technologies, Inc. Steganographic depth images
WO2017039348A1 (en) * 2015-09-01 2017-03-09 Samsung Electronics Co., Ltd. Image capturing apparatus and operating method thereof
US9928648B2 (en) * 2015-11-09 2018-03-27 Microsoft Technology Licensing, Llc Object path identification for navigating objects in scene-aware device environments

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115665545A (zh) * 2022-10-24 2023-01-31 维沃移动通信有限公司 拍摄方法、装置及电子设备

Also Published As

Publication number Publication date
US20200286242A1 (en) 2020-09-10
US10664975B2 (en) 2020-05-26
US20170323449A1 (en) 2017-11-09
WO2016079960A1 (en) 2016-05-26
US11176681B2 (en) 2021-11-16

Similar Documents

Publication Publication Date Title
TW201619933A (zh) 圖像處理裝置、圖像處理裝置之控制方法及電腦程式
JP6609988B2 (ja) 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム
CN112926428B (zh) 使用合成图像训练对象检测算法的方法和系统和存储介质
JP6598617B2 (ja) 情報処理装置、情報処理方法およびプログラム
US8139087B2 (en) Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program
CN105607253B (zh) 头部佩戴型显示装置以及控制方法、显示系统
WO2021242451A1 (en) Hand gesture-based emojis
CN106873778A (zh) 一种应用的运行控制方法、装置和虚拟现实设备
EP3385827B1 (en) Display control device and display control method
US10878285B2 (en) Methods and systems for shape based training for an object detection algorithm
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
KR20240091224A (ko) 사용자의 표현을 생성 및 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
WO2014128773A1 (ja) ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法
CN104423046A (zh) 图像处理装置及具有其的头部安装型显示装置
JP2000172431A (ja) 情報入力装置及びゲーム装置
JP2019164420A (ja) 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
JP2021009270A (ja) 表示装置および表示方法
KR100917100B1 (ko) 입체 영상 디스플레이 장치 및 그 입체 영상 디스플레이장치에서의 표시부 위치 조절 방법
EP3402410B1 (en) Detection system
KR20110070514A (ko) 헤드 마운트 디스플레이 장치 및 3차원 그래픽 사용자 인터페이스 상에서 3차원 공간 터치를 제어하는 방법
JP2016099638A (ja) 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム
JP2016218306A (ja) 頭部装着型表示装置、表示システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2017134630A (ja) 表示装置、表示装置の制御方法、及び、プログラム
US12314487B2 (en) Information processing apparatus, device speed estimation method, and device position estimation method