TWI822158B - 沉浸式串流影像擷取與成像之裝置及方法 - Google Patents

沉浸式串流影像擷取與成像之裝置及方法 Download PDF

Info

Publication number
TWI822158B
TWI822158B TW111124522A TW111124522A TWI822158B TW I822158 B TWI822158 B TW I822158B TW 111124522 A TW111124522 A TW 111124522A TW 111124522 A TW111124522 A TW 111124522A TW I822158 B TWI822158 B TW I822158B
Authority
TW
Taiwan
Prior art keywords
image
image capture
module
stream
capture module
Prior art date
Application number
TW111124522A
Other languages
English (en)
Other versions
TW202404372A (zh
Inventor
陳韋廷
Original Assignee
光陣三維科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 光陣三維科技股份有限公司 filed Critical 光陣三維科技股份有限公司
Priority to TW111124522A priority Critical patent/TWI822158B/zh
Priority to JP2023107056A priority patent/JP7653724B2/ja
Priority to US18/216,613 priority patent/US12395749B2/en
Application granted granted Critical
Publication of TWI822158B publication Critical patent/TWI822158B/zh
Publication of TW202404372A publication Critical patent/TW202404372A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Accessories Of Cameras (AREA)
  • Studio Circuits (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Cameras In General (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一種沉浸式串流影像擷取與成像之裝置及方法,其透過第一影像擷取模組所擷取之包含拍攝目標的偵測影像判斷距離參數後,依據距離參數及各第二影像擷取模組與第一影像擷取模組間之裝置距離分別計算各第二影像擷取模組的轉動角度,並依據各轉動角度控制各第二影像擷取模組轉動後,生成包含第一影像擷取模組與各第二影像擷取模組同步產生之第一影像串流與各第二影像串流的串流組合之技術手段,可以達成降低架設提供多拍攝角度之串流媒體之環境的複雜度及降低架設者困擾的技術功效。

Description

沉浸式串流影像擷取與成像之裝置及方法
一種影像擷取與成像裝置及其方法,特別係指一種沉浸式串流影像擷取與成像之裝置及方法。
隨著硬體技術的進步與網路頻寬的提升,透過網際網路傳遞影音內容也越來越普及。目前,透過網際網路傳遞影音內容的方式主要使用串流媒體或媒體檔案等方式,其中,媒體檔案的方式即為將下載的影音內容完整儲存為檔案後再播放,串流媒體則是在下載影音內容的同時播放影音內容且通常不儲存下載的影音內容。
串流媒體通常被使用在影音點播、網路電視、視訊通話、直播等場合,其中,目前視訊通話與直播的環境大多是通話者或直播者使用一個影像擷取裝置產生影音串流並將所產生的影音串流透過網際網路傳遞給其他通話者或直播觀眾,因此,在通話或直播過程中,其他通話者或直播觀眾只能由同一個拍攝角度觀看到通話者或直播者,若要需要以多個不同的拍攝角度進行通話或直播,通話者或直播者需要架設多個影像擷取裝置並以多個不同的頻道進行通話或直播,其他通話者或直播觀眾也需要切換頻道才能觀看到不同拍攝角度的畫面,如此,除了造成通話者或直播者在架設通話/直播環境的複雜度與困擾外,其他通話者或直播觀眾切換觀看的拍攝角度也不方便。
綜上所述,可知先前技術中長期以來一直存在架設提供多拍攝角度之串流媒體之環境容易造成被拍攝者困擾的問題,因此有必要提出改進的技術手段,來解決此一問題。
有鑒於先前技術存在架設提供多拍攝角度之串流媒體之環境容易造成被拍攝者困擾的問題,本發明遂揭露一種沉浸式串流影像擷取與成像之裝置及方法,其中:
本發明所揭露之沉浸式串流影像擷取與成像之裝置,至少包含:第一影像擷取模組,用以擷取包含一拍攝目標之一第一偵測影像,及用以擷取包含該拍攝目標之第一目標影像以產生一第一影像串流;多個第二影像擷取模組,每一該第二影像擷取模組用以與該第一影像擷取模組同步擷取第二目標影像以分別產生多個第二影像串流;控制模組,用以依據該第一偵測影像判斷一距離參數,及用以依據該距離參數及各該第二影像擷取模組與該第一影像擷取模組間之一裝置距離分別計算與各該第二影像擷取模組對應之各轉動角度,並依據各該轉動角度控制各該第二影像擷取模組轉動;成像模組,用以生成一串流組合,該串流組合包含該第一影像串流及該些第二影像串流。
本發明所揭露之沉浸式串流影像擷取與成像之方法,應用於包含第一影像擷取模組及多個第二影像擷取模組之裝置,其步驟至少包括:依據該第一影像擷取模組所擷取之包含一拍攝目標之一第一偵測影像判斷一距離參數;依據該距離參數及各該第二影像擷取模組與該第一影像擷取模組間之各裝置距離分別計算各該第二影像擷取模組之各轉動角度;依據各該轉動角度控制各該第二影像擷取模組轉動;生成一串流組合,該串流組合包含該第一影像擷取模組擷取包含該拍攝目標之第一目標影像所產生之一第一影像串流及該些第二影像擷取模組與該第一影像擷取模組同步擷取第二目標影像所產生之各第二影像串流。
本發明所揭露之裝置與方法如上,與先前技術之間的差異在於本發明透過第一影像擷取模組所擷取之包含拍攝目標的偵測影像判斷距離參數後,依據距離參數及各第二影像擷取模組與第一影像擷取模組間之裝置距離分別計算各第二影像擷取模組的轉動角度,並依據各轉動角度控制各第二影像擷取模組轉動後,生成包含第一影像擷取模組與各第二影像擷取模組同步產生之第一影像串流與各第二影像串流的串流組合,藉以解決先前技術所存在的問題,並可以達成降低架設多拍攝角度之視訊環境的技術功效。
以下將配合圖式及實施例來詳細說明本發明之特徵與實施方式,內容足以使任何熟習相關技藝者能夠輕易地充分理解本發明解決技術問題所應用的技術手段並據以實施,藉此實現本發明可達成的功效。
本發明可以控制裝置內的多個影像擷取模組轉向特定的目標並控制各個影像擷取模組產生同步的影像串流,並可以將各個影像擷取模組所產生之同步的影像串流組合生成串流組合。
在本發明中,影像擷取模組可以包含第一影像擷取模組、第二影像擷取模組,在部分的實施例中,影像擷取模組還可以包含第三影像擷取模組。其中,第一影像擷取模組與第三影像擷取模組通常只有一個,第二影像擷取模組可以有多個,但本發明並不以上述為限。
以下先以「第1圖」本發明所提之沉浸式串流影像擷取與成像之系統架構圖及「第2圖」本發明所提之沉浸式串流影像擷取與成像之裝置之元件示意圖來說明本發明的運作。如「第1圖」所示,本發明之裝置100含有第一影像擷取模組110、多個第二影像擷取模組120、控制模組150、成像模組160,及可附加的第三影像擷取模組130、通訊模組170、顯示模組190。其中,裝置100通常是長方體等六面體,但本發明並不以此為限。
第一影像擷取模組110與控制模組150及成像模組160電性連接,且第一影像擷取模組110所設置的位置通常與裝置100之殼體的最左側與最右側的距離相同或相近,即第一影像擷取模組110可以設置在裝置100之中央的軸線上,但本發明並不以此為限。
第一影像擷取模組110負責擷取包含拍攝目標210的第一偵測影像。第一影像擷取模組110可以在接收到控制模組150所傳送的偵測訊號時擷取第一偵測影像。一般而言,第一影像擷取模組110可以每隔一定時間接收到一次偵測訊號,也就是說,第一影像擷取模組110可以每隔一定時間擷取一次第一偵測影像。
第一影像擷取模組110也負責擷取包含拍攝目標210之目標影像,並負責產生影像串流(在本發明中,第一影像擷取模組110所擷取之目標影像也被稱為第一目標影像,且第一影像擷取模組110所產生之影像串流也被稱為第一影像串流)。更詳細的,第一影像擷取模組110可以持續擷取第一目標影像,並依照第一目標影像的擷取順序產生包含各個第一目標影像的第一影像串流,也就是產生依序以各第一目標影像為影格(frame)的第一影像串流,其中,第一影像擷取模組110可以在接收到控制模組150所傳送的開拍訊號時開始持續擷取第一目標影像並產生第一影像串流,也可以在接收到控制模組150所傳送的停拍訊號時停止擷取第一目標影像以結束第一影像串流。
每一個第二影像擷取模組120都與控制模組150及成像模組160電性連接,負責與第一影像擷取模組110同步擷取目標影像,並負責產生影像串流(在本發明中,第二影像擷取模組120所擷取之目標影像也被稱為第二目標影像,且第二影像擷取模組120所產生之影像串流也被稱為第二影像串流)。第二影像擷取模組120可以在第一影像擷取模組110開始擷取第一目標影像的同時開始持續擷取第二目標影像,並依照第二目標影像的擷取順序產生包含各個第二目標影像的第二影像串流,也就是產生依序以各第二目標影像為影格的第二影像串流,其中,第二影像擷取模組120可以在接收到控制模組150所傳送的開拍訊號時開始持續擷取第二目標影像並產生第二影像串流,藉以與第一影像擷取模組110同步擷取目標影像並同步產生影像串流,也可以在接收到控制模組150所傳送的停拍訊號時停止擷取第二目標影像以結束第二影像串流。
第三影像擷取模組130與控制模組150及成像模組160電性連接,且第三影像擷取模組130通常與第一影像擷取模組110相鄰,即第三影像擷取模組130與第一影像擷取模組110之間通常沒有其他影像擷取模組,但本發明並不以此為限。在部分的實施例中,第三影像擷取模組130與第一影像擷取模組110所設置之位置之連線的中點通常與裝置100之殼體的最左側與最右側的距離相同或相近,即第一影像擷取模組110與第三影像擷取模組130可以設置在裝置100之中央的軸線的兩側,且第一影像擷取模組110與第三影像擷取模組130與裝置100之中央的軸線的距離相同或相近;在某些實施例中,第一影像擷取模組110可以設置在裝置100之中央的軸線上,第三影像擷取模組130可以設置在第一影像擷取模組的一側,即第三影像擷取模組130可以設置在裝置100之中央的軸線的任一側,但本發明並不以上述為限。
第三影像擷取模組130可以擷取包含拍攝目標210的第二偵測影像。第三影像擷取模組130可以在接收到控制模組150所傳送的偵測訊號時擷取第二偵測影像。一般而言,第三影像擷取模組130可以每隔一定時間接收到一次偵測訊號並擷取一次第三偵測影像。
第三影像擷取模組130也可以與第一影像擷取模組110同步擷取目標影像,並負責產生影像串流(在本發明中,第三影像擷取模組130所擷取之目標影像也被稱為第三目標影像,且第三影像擷取模組130所產生之影像串流也被稱為第三影像串流)。第三影像擷取模組130可以在第一影像擷取模組110開始擷取第一目標影像的同時開始持續擷取第三目標影像,並依照第三目標影像的擷取順序產生包含各個第三目標影像的第三影像串流,也就是產生依序以各第三目標影像為影格的第三影像串流,其中,第三影像擷取模組120可以在接收到控制模組150所傳送的開拍訊號時開始持續擷取第三目標影像並產生第三影像串流,藉以與第一影像擷取模組110同步擷取目標影像並同步產生影像串流,也可以在接收到控制模組150所傳送的停拍訊號時停止擷取第三目標影像以結束第三影像串流。
一般而言,第二影像擷取模組120與第三影像擷取模組130所擷取的目標影像可以包含拍攝目標210,但在部分的實施例中,第二影像擷取模組120與第三影像擷取模組130所擷取的目標影像也可能沒有包含拍攝目標210,本發明沒有特別的限制。
要說明的是,本發明之影像擷取模組(即第一影像擷取模組110、第二影像擷取模組120、第三影像擷取模組130)可以排列於同一平面,且本發明之影像擷取模組可以直線或弧形排列;本發明之影像擷取模組也可以排列於兩個或兩個以上的多個平面,且排列於同一平面之影像擷取模組可以直線或弧形排列。
控制模組150與影像擷取模組電性連接,可以產生偵測訊號、開拍訊號、與停拍訊號,並可以將所產生的偵測訊號傳送給第一影像擷取模組110與第三影像擷取模組130,及可以將所產生的開拍訊號與停拍訊號傳送給所有的影像擷取模組。
一般而言,控制模組150可以在影像擷取模組未產生影像串流時,也就是裝置100啟動後或傳送所產生之停拍訊號給影像擷取模組後,每隔一定時間產生一次偵測訊號並傳送偵測訊號給第一影像擷取模組110(若裝置100包含第三影像擷取模組130則傳送偵測訊號給第一影像擷取模組110與第三影像擷取模組130),直到產生開拍訊號使得影像擷取模組同步產生影像串流時停止產生偵測訊號。
控制模組150也負責依據第一影像擷取模組110所擷取到的第一偵測影像判斷距離參數。其中,控制模組150所判斷之距離參數通常是第一影像擷取模組110與拍攝目標210的距離值(在本發明中也被稱為目標距離),但本發明並不以此為限,例如,距離參數也可以是與第一影像擷取模組110對應的焦距或第一影像擷取模組110中用來擷取影像的透鏡組的位置訊息等。
控制模組150可以使用習知之方式由第一偵測影像判斷距離參數,例如,控制模組150可以對第一偵測影像進行影像辨識(如依序進行邊緣偵測、像素組合、特徵擷取、特徵比對等處理)以辨識第一偵測影像中的特定物體(如人頭、人臉、五官、鈕扣等),並依據所辨識出之特定物體在第一偵測影像中的大小(或像素數)、第一影像擷取模組110擷取第一偵測影像的焦距、與預先記錄之該特定物體的真實大小的範圍以相似三角形的計算式(焦距*特定物體之真實大小/特定物體在第一偵測影像中之大小)計算距離參數的可能範圍;又如,控制模組150可以控制第一影像擷取模組110調整所包含之透鏡組的位置以透過牛頓法判斷距離參數。但本發明由第一偵測影像判斷距離參數之方式並不以上述為限。
若裝置100包含第三影像擷取模組130,則控制模組150也可以依據第一影像擷取模組110與第三影像擷取模組130同步擷取之第一偵測影像與第二偵測影像判斷距離參數。控制模組150同樣可以使用三角視差法等習知方式由第一偵測影像與第二偵測影像判斷距離參數,但本發明並不以此為限。
控制模組150也負責依據所判斷出之距離參數及預先建立之各第二影像擷取模組120與第一影像擷取模組110間的距離(在本發明中也被稱為「裝置距離」)分別計算與各第二影像擷取模組120對應的轉動角度,並負責依據所計算出之轉動角度控制各第二影像擷取模組轉動。
舉例來說,若如「第3圖」所示,距離參數為第一影像擷取模組110與拍攝目標210間的目標距離311,則控制模組150可以依據目標距離311及第一影像擷取模組110與第二影像擷取模組121間之裝置距離321透過三角函數計算出第二影像擷取模組121的轉動角度331,即轉動角度331為tan -1(裝置距離321/目標距離311);相似的,第二影像擷取模組122~124的轉動角度332~334分別可以由目標距離311及第一影像擷取模組110與第二影像擷取模組122~124間之裝置距離322~324計算產生。
成像模組160與影像擷取模組及通訊模組170電性連接,負責生成包含影像擷取模組同步產生之影像串流的串流組合,也就是說,成像模組160所產生的串流組合可以包含第一影像擷取模組110所產生的第一影像串流、第二影像擷取模組120與第一影像擷取模組同步產生的第二影像串流,若裝置100也包含第三影像擷取模組130,則串流組合也可以包含第三影像擷取模組130與第一影像擷取模組同步產生的第三影像串流。
更詳細的,成像模組160所產生串流組合也可以是包含多個影格的影像串流,串流組合中的每一個影格可以包含多個像素區塊,且串流組合中所有影格所包含之像素區塊的大小與數量可以都相同,如「第4圖」所示,影格400包含25個像素區塊。串流組合中每個影格的每一個像素區塊包含一個不同影像擷取模組所擷取之目標影像(在本發明中,像素區塊所包含的目標影像也被稱為影像畫面),且串流組合中每一個影格的不同像素區塊為各影像擷取模組同步擷取之目標影像。換句話說,由於各影像擷取模組所產生的影像串流同步,即各個影像擷取模組所產生之影像串流中的目標影像同步,所以成像模組160可以將同步之目標影像分別加入串流組合之同一個影格的不同像素區塊中。
一般而言,串流組合所包含之各個影像串流的目標影像(影像畫面)在串流組合之所有影格中的位置是固定的,也就是說,在串流組合的影格中排列在相同位置之像素區塊所包含的影像畫面都是同一個影像擷取模組所產生之影像串流在不同時間的目標影像(影格)。舉例來說,若第二影像擷取模組124所擷取之第二目標影像被排列在影格400中最左上角的像素區塊411,則在串流組合的所有影格中,第二影像擷取模組124所擷取之第二目標影像都固定排列在最左上角的像素區塊411。
需要特別一提的是,串流組合中各個影像串流之目標影像在串流組合的各影格中所對應之像素區塊的位置可以依據各影像串流之擷取角度所決定,也就是說,成像模組160可以依據各影像擷取模組在裝置100中的相對位置或模組識別資料決定各影像擷取模組所擷取之目標影像在串流組合之各影格中像素區塊的位置。舉例來說,若裝置100包含25個影像擷取模組,假設依據影像擷取模組設置在裝置100中之位置由左至右分別為第二影像擷取模組124、…、第二影像擷取模組122、…、第一影像擷取模組110、…、第二影像擷取模組121、…、第二影像擷取模組123,則第二影像擷取模組124所擷取第二目標影像將可以排列在串流組合之影格400中最左上角的像素區塊411,排列在第二影像擷取模組124右側且與第二影像擷取模組124相鄰的影像擷取模組所產生之影像串流中的第二目標影像可以排列在影格400的第一列左邊第二個像素區塊412,依此類推,…,第一影像擷取模組110所擷取的第一目標影像可以排列在串流組合之影格400最中央的像素區塊433,…,排列在第二影像擷取模組123左側且與第二影像擷取模組123相鄰的影像擷取模組所產生之影像串流中的第二目標影像可以排列在影格400的最後一列右邊第二個像素區塊454,第二影像擷取模組123所擷取第二目標影像將可以排列在串流組合之影格400中最右下角的像素區塊455。
通訊模組170可以與成像模組160及顯示模組190電性連接,也可以透過有線及/或無線通訊技術與顯示裝置250等外部裝置連接,藉以使得裝置100與外部裝置可以相互傳遞資料或訊號,例如,將成像模組160所產生的串流組合傳送至顯示裝置250,或接收其他通訊裝置所傳送的影音串流等。
顯示模組190與通訊模組170電性連接,可以顯示通訊模組170所接收到的影音串流。
顯示裝置250可以與通訊模組170連接,並可以接收通訊模組170所傳送的串流組合,及可以顯示所接收到之串流組合中的第一影像串流、特定一個或多個第二影像擷取模組120第二影像串流、及/或第三影像串流,顯示模組250也可以顯示所有影像串流。
接著以一個實施例來解說本發明的運作裝置與方法,並請參照「第5圖」本發明所提之沉浸式串流影像擷取與成像之方法流程圖。
在裝置100之使用者啟動裝置100後,第一影像擷取模組110可以擷取包含拍攝目標210之第一偵測影像(步驟510)。在本實施例中,假設在裝置100啟動後,控制模組150可以每隔一定時間產生偵測訊號,第一影像擷取模組110可以在控制模組150每一次產生偵測訊號後,擷取一次第一偵測影像。
在第一影像擷取模組110擷取第一偵測影像後,控制模組150可以依據第一影像擷取模組110所擷取到的第一偵測影像產生距離參數(步驟520)。在本實施例中,假設距離參數為目標距離,控制模組150可以依據牛頓法判斷距離參數或透過辨識第一偵測影像中之特定物體的大小並與預存值比對以判斷距離參數。
在控制模組150產生距離參數後,控制模組150可以依據所產生的距離參數及各第二影像擷取模組120與第一影像擷取模組110之裝置距離分別計算各第二影像擷取模組120的轉動角度(步驟530),並可以依據所計算出之各第二影像擷取模組120的轉動角度控制各第二影像擷取模組120轉動(步驟540)。在本實施例中,假設控制模組150可以逐一透過tan -1(裝置距離/距離參數)的三角函數計算出各第二影像擷取模組120的轉動角度,並控制各第二影像擷取模組120向拍攝目標210旋轉轉動角度,若影像擷取模組如「第3圖」所示,控制模組150可以先計算第二影像擷取模組124的轉動角度再控制第二影像模組124逆時鐘轉動所計算出之轉動角度,接著,控制模組150可以計算第二影像擷取模組122的轉動角度並控制第二影像模組122逆時鐘旋轉轉動角度、計算第二影像擷取模組121/123的轉動角度並控制第二影像擷取模組121/123順時鐘旋轉轉動角度。
在控制模組150控制第二影像擷取模組像拍攝目標210轉動後,第一影像擷取模組110可以擷取包含拍攝目標210之第一目標影像以產生包含第一目標影像的第一影像串流,第二影像擷取模組120也可以與第一影像擷取模組110同步擷取第二目標影像並產生包含第二目標影像的第二影像串流(步驟550)。在本實施例中,假設控制模組150可以產生開拍訊號,使得第一影像擷取模組110與第二影像擷取模組120可以在控制模組150產生開拍訊號時同步開始擷取目標影像以產生同步的第一影像串流與第二影像串流。
在影像擷取模組同步擷取目標影像並產生同步的影像串流後,成像模組160可以生成包含所有影像擷取模組同步產生之影像串流的串流組合(步驟560)。在本實施例中,假設成像模組160可以依據各影像擷取模組在裝置100中之排列位置(相對位置)或影像擷取模組的模組識別資料決定第一影像串流與第二影像串流中同步之目標影像的排列順序,並可以逐一將第一影像串流與第二影像串流中同步的目標影像依序加入同一個影格的不同像素區塊中,藉以生成包含所有影像擷取模組同步產生之影像串流的串流組合。
如此,透過本發明,可以透過一個裝置取得使用者在同一時間不同角度的目標影像以供後續使用,例如,儲存為串流檔案以等待播放,或傳送到外部裝置顯示等。
舉例來說,在上述實施例中,若裝置100包含通訊模組170,則成像模組160生成串流組合(步驟560)後,通訊模組170可以將成像模組160所生成的串流組合傳送給顯示裝置250,使得顯示裝置250顯示串流組合中所包含的一個或多個影像串流(步驟570)。例如,顯示裝置250可以每隔一段時間依序由串流組合的每個影格中取出不同像素區域的目標影像並顯示所取出目標影像以輪播不同的影像串流,顯示裝置250也可以直接顯示串流組合使得被顯示的畫面同時呈現出不同拍攝角度的使用者,顯示裝置250由串流組合的各個影格中取出各個像素區域中目標影像並以對應的像素顯示所讀出的目標影像藉以在不同的視角顯示出對應拍攝角度的影像串流。
綜上所述,可知本發明與先前技術之間的差異在於具有透過第一影像擷取模組所擷取之包含拍攝目標的偵測影像判斷距離參數後,依據距離參數及各第二影像擷取模組與第一影像擷取模組間之裝置距離分別計算各第二影像擷取模組的轉動角度,並依據各轉動角度控制各第二影像擷取模組轉動後,生成包含第一影像擷取模組與各第二影像擷取模組同步產生之第一影像串流與各第二影像串流的串流組合之技術手段,藉由此一技術手段可以來解決先前技術所存在架設提供多拍攝角度之串流媒體之環境容易造成被拍攝者困擾的問題,進而達成降低架設多拍攝角度之視訊環境之複雜度的技術功效。
再者,本發明之沉浸式串流影像擷取與成像之方法,可實現於硬體、軟體或硬體與軟體之組合中,亦可在電腦裝置中以集中方式實現或以不同元件散佈於若干互連之電腦裝置的分散方式實現。
雖然本發明所揭露之實施方式如上,惟所述之內容並非用以直接限定本發明之專利保護範圍。任何本發明所屬技術領域中具有通常知識者,在不脫離本發明所揭露之精神和範圍的前提下,對本發明之實施的形式上及細節上作些許之更動潤飾,均屬於本發明之專利保護範圍。本發明之專利保護範圍,仍須以所附之申請專利範圍所界定者為準。
100:裝置 110:第一影像擷取裝置 120:第二影像擷取裝置 121~124:第二影像擷取裝置 130:第三影像擷取裝置 150:控制模組 160:成像模組 170:通訊模組 190:顯示模組 210:拍攝目標 250:顯示裝置 311:目標距離 321~324:裝置距離 331~334:轉動角度 400:影格 411~455:像素區域 步驟510:第一影像擷取模組擷取包含拍攝目標之第一偵測影像 步驟520:依據第一偵測影像產生距離參數 步驟530:依據距離參數及各第二影像擷取模組與第一影像擷取模組之裝置距離分別計算各第二影像擷取模組之轉動角度 步驟540:依據各轉動角度控制各第二影像擷取模組向第一影像擷取模組轉動 步驟550:第一影像擷取模組擷取包含拍攝目標之第一目標影像以產生第一影像串流及第二影像擷取模組與第一影像擷取模組同步擷取第二目標影像以產生第二影像串流 步驟560:生成包含第一影像串流與第二影像串流之串流組合 步驟570:傳送串流組合至顯示裝置,顯示裝置顯示第一影像串流與第二影像串流至少其中之一
第1圖為本發明所提之沉浸式串流影像擷取與成像之系統架構圖。 第2圖為本發明所提之沉浸式串流影像擷取與成像之裝置之元件示意圖。 第3圖為本發明實施例所提之轉動角度之示意圖。 第4圖為本發明實施例所提之串流組合之影格之示意圖。 第5圖為本發明所提之沉浸式串流影像擷取與成像之裝置之方法流程圖。
步驟510:第一影像擷取模組擷取包含拍攝目標之第一偵測影像
步驟520:依據第一偵測影像產生距離參數
步驟530:依據距離參數及各第二影像擷取模組與第一影像擷取模組之裝置距離分別計算各第二影像擷取模組之轉動角度
步驟540:依據各轉動角度控制各第二影像擷取模組向第一影像擷取模組轉動
步驟550:第一影像擷取模組擷取包含拍攝目標之第一目標影像以產生第一影像串流及第二影像擷取模組與第一影像擷取模組同步擷取第二目標影像以產生第二影像串流
步驟560:生成包含第一影像串流與第二影像串流之串流組合
步驟570:傳送串流組合至顯示裝置,顯示裝置顯示第一影像串流與第二影像串流至少其中之一

Claims (10)

  1. 一種沉浸式串流影像擷取與成像之裝置,該裝置至少包含:多個影像擷取模組,其中更包含:一第一影像擷取模組,用以擷取包含一拍攝目標之一第一偵測影像,及用以擷取包含該拍攝目標之第一目標影像以產生一第一影像串流;及多個第二影像擷取模組,每一該第二影像擷取模組用以與該第一影像擷取模組同步擷取第二目標影像以分別產生多個第二影像串流;一控制模組,用以依據該第一偵測影像判斷一距離參數,及用以依據該距離參數及各該第二影像擷取模組與該第一影像擷取模組間之一裝置距離分別計算與各該第二影像擷取模組對應之各轉動角度,並依據各該轉動角度控制各該第二影像擷取模組轉動;及一成像模組,用以生成一串流組合,該串流組合包含該第一影像串流及該些第二影像串流,且該成像模組依據該些影像擷取模組在該裝置中之排列位置或該些影像擷取模組之模組識別資料決定該第一影像串流與該些第二影像串流於該串流組合中之位置。
  2. 如請求項1所述之沉浸式串流影像擷取與成像之裝置,其中該些影像擷取模組更包含一第三影像擷取模組,用以與該第一影像擷取模組同步擷取包含該拍攝目標之一第二偵測影像及用以與該第一影像擷取模組同步擷取第三目標影像以產生一第三影像串流,該控制模組更用以依據同步之該第一偵測影像與該第二偵測影像判斷該距離參數。
  3. 如請求項1所述之沉浸式串流影像擷取與成像之裝置,其中該些影像擷取模組是以弧形排列,且該些影像擷取模組是排列於同一平面或多個平面。
  4. 如請求項1所述之沉浸式串流影像擷取與成像之裝置,其中該裝置與一顯示裝置連接,該顯示裝置用以接收該串流組合,並顯示該第一影像串流與該些第二影像串流至少其中之一。
  5. 如請求項1所述之沉浸式串流影像擷取與成像之裝置,其中該裝置更包含一通訊模組與一顯示模組,該通訊模組用以接收一影音串流,該顯示模組用以顯示該影音串流。
  6. 如請求項1所述之沉浸式串流影像擷取與成像之裝置,其中該控制模組是依據一特定物體在該第一偵測影像中之大小或像素數、該第一影像擷取模組擷取該第一偵測影像之焦距、及該特定物體之真實大小計算該距離參數。
  7. 一種沉浸式串流影像擷取與成像之方法,係應用於一裝置,該裝置包含一第一影像擷取模組及多個第二影像擷取模組,該方法至少包含下列步驟:依據該第一影像擷取模組所擷取之包含一拍攝目標之一第一偵測影像判斷一距離參數;依據該距離參數及各該第二影像擷取模組與該第一影像擷取模組間之各裝置距離分別計算各該第二影像擷取模組之各轉動角度;依據各該轉動角度控制各該第二影像擷取模組轉動;及 生成一串流組合,該串流組合包含該第一影像擷取模組擷取包含該拍攝目標之第一目標影像所產生之一第一影像串流及該些第二影像擷取模組與該第一影像擷取模組同步擷取第二目標影像所產生之各第二影像串流。
  8. 如請求項7所述之沉浸式串流影像擷取與成像之方法,其中依據該第一影像擷取模組所擷取之包含該拍攝目標之第一目標影像判斷該距離參數之步驟更包含依據該第一目標影像及與該第一目標影像同步擷取之一第二偵測影像判斷該距離參數之步驟。
  9. 如請求項7所述之沉浸式串流影像擷取與成像之方法,其中生成該串流組合之步驟是依據該第一影像擷取模組與該些第二影像擷取模組在該裝置中之排列位置或該第一影像擷取模組與該些第二影像擷取模組之模組識別資料決定該第一影像串流與該些第二影像串流於該串流組合中之位置。
  10. 如請求項7所述之沉浸式串流影像擷取與成像之方法,其中該方法更包含傳送該串流組合至一顯示裝置,使該顯示裝置顯示該第一影像串流與該些第二影像串流至少其中之一之步驟。
TW111124522A 2022-06-30 2022-06-30 沉浸式串流影像擷取與成像之裝置及方法 TWI822158B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW111124522A TWI822158B (zh) 2022-06-30 2022-06-30 沉浸式串流影像擷取與成像之裝置及方法
JP2023107056A JP7653724B2 (ja) 2022-06-30 2023-06-29 没入型ストリーミング画像のキャプチャ及び結像の装置と方法
US18/216,613 US12395749B2 (en) 2022-06-30 2023-06-30 Device for immersive capture of streaming video and imaging and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111124522A TWI822158B (zh) 2022-06-30 2022-06-30 沉浸式串流影像擷取與成像之裝置及方法

Publications (2)

Publication Number Publication Date
TWI822158B true TWI822158B (zh) 2023-11-11
TW202404372A TW202404372A (zh) 2024-01-16

Family

ID=89432920

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111124522A TWI822158B (zh) 2022-06-30 2022-06-30 沉浸式串流影像擷取與成像之裝置及方法

Country Status (3)

Country Link
US (1) US12395749B2 (zh)
JP (1) JP7653724B2 (zh)
TW (1) TWI822158B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250211704A1 (en) * 2023-12-20 2025-06-26 Dell Products, L.P. Systems and methods for optimal placement of overlay in video conferences

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179800A (ja) 2001-12-13 2003-06-27 Sony Corp 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム
CN105627995B (zh) * 2016-03-31 2018-03-23 京东方科技集团股份有限公司 摄像装置、转动装置、测距装置、测距系统和测距方法
CN109196853B (zh) 2016-05-25 2020-10-30 索尼公司 信息处理装置、信息处理方法以及计算机可读存储介质
US10924691B2 (en) 2016-11-14 2021-02-16 Sony Corporation Control device of movable type imaging device and control method of movable type imaging device
CN107087112B (zh) * 2017-05-31 2020-01-10 Oppo广东移动通信有限公司 双摄像头的控制方法和控制装置
US10417744B2 (en) 2017-09-20 2019-09-17 Amatelus Inc. Video distribution device, video distribution system, video distribution method, and video distribution program
CN109922251B (zh) 2017-12-12 2021-10-22 华为技术有限公司 快速抓拍的方法、装置及系统
US10839594B2 (en) 2018-12-11 2020-11-17 Canon Kabushiki Kaisha Method, system and apparatus for capture of image data for free viewpoint video
US20230319218A1 (en) * 2022-04-01 2023-10-05 Nvidia Corporation Image stitching with dynamic seam placement based on ego-vehicle state for surround view visualization

Also Published As

Publication number Publication date
TW202404372A (zh) 2024-01-16
JP2024007471A (ja) 2024-01-18
US12395749B2 (en) 2025-08-19
JP7653724B2 (ja) 2025-03-31
US20240007758A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
US8115799B2 (en) Method and apparatus for obtaining acoustic source location information and a multimedia communication system
WO2022019719A1 (en) Generation and distribution of immersive media content from streams captured via distributed mobile devices
US9774896B2 (en) Network synchronized camera settings
JP6432029B2 (ja) 低コストでテレビ番組を制作する方法及びシステム
JP6894687B2 (ja) 画像処理システム、画像処理装置、制御方法、及び、プログラム
EP2352290A1 (en) Method and apparatus for matching audio and video signals during a videoconference
WO2021147702A1 (zh) 一种视频处理方法及其装置
CN101742096A (zh) 多视角互动电视系统与方法
WO2007061068A1 (ja) 受信装置及び本線映像配信装置
CN110536164A (zh) 显示方法、视频数据处理方法及相关设备
WO2022143212A1 (zh) 由组合传送的多个串流取出特定串流播放的系统及方法
TW202404372A (zh) 沉浸式串流影像擷取與成像之裝置及方法
KR102024437B1 (ko) 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
TWI852855B (zh) 無線多路雙向視頻處理系統
WO2021179102A1 (zh) 实境仿真全景系统及其使用方法
TWM635659U (zh) 沉浸式串流影像擷取與成像之裝置
KR102599664B1 (ko) 다시점 영상을 전송하기 위한 시스템의 동작 방법 및 이를 수행하는 시스템
JP2025008645A (ja) 情報処理装置、情報処理方法、及びプログラム
CN117395521A (zh) 沉浸式串流影像获取与成像的装置及方法
WO2013060295A1 (zh) 一种视频处理方法和系统
CN110493621B (zh) 一种双弧幕放映系统及播控系统
KR102055777B1 (ko) 다채널 영상을 위한 전송 시스템 및 이의 제어 방법, 다채널 영상 처리 방법
CN121239897B (zh) 一种视频数据的处理方法、系统和计算设备
TWI867770B (zh) 無線多路雙向視頻處理裝置
US12363318B2 (en) Virtual reality streaming system and method