TW201322733A

TW201322733A - 影像處理裝置、立體影像顯示裝置、影像處理方法及影像處理程式

Info

Publication number: TW201322733A
Application number: TW100148039A
Authority: TW
Inventors: Norihiro Nakamura; Takeshi Mita; Kenichi Shimoyama; Ryusuke Hirai; Nao Mishima
Original assignee: Toshiba Kk
Priority date: 2011-11-16
Filing date: 2011-12-22
Publication date: 2013-06-01
Also published as: WO2013073028A1; JPWO2013073028A1; JP5881732B2; CN103947199A; KR20140073584A; US20140247329A1

Abstract

本發明之課題為，不受限於視聽者位置，並盡可能抑制畫質劣化，使能視聽立體影像。本發明之解決手段中，實施形態之影像處理裝置，係為令具有面板與光學開口部之顯示裝置顯示立體影像之影像處理裝置，其特徵為，具備視差影像取得部、視聽者位置取得部、影像產生部。前述視差影像取得部，取得至少一個視差影像，該視差影像為一個視點內之影像。前述視聽者位置取得部，係取得視聽者位置。前述影像產生部，係依據相對於前述顯示裝置之前述視聽者位置，來修正前述面板和光學開口部之間的對應關係相關參數，產生分配前述視差影像的各像素之影像，以便顯示在前述顯示裝置時視聽者可辨識立體影像。

Description

影像處理裝置、立體影像顯示裝置、影像處理方法及影像處理程式

本發明實施形態，係關於影像處理裝置、立體影像顯示裝置、影像處理方法及影像處理程式。

立體影像顯示裝置當中，有讓視聽者不必使用特殊眼鏡，即可以裸眼觀察立體影像者。此類立體影像顯示裝置，會顯示視點相異的複數影像(以下稱這些影像為視差影像)，這些視差影像的光線是靠如視差屏障(parallax barrier)、柱狀透鏡(lenticular lens)等來控制。此時，所顯示之影像必須經過排序，才能在透過視差屏障、柱狀透鏡等來觀察的情形下，於正確的方向觀察到正確的影像。此一排序方法，以下稱之為像素映射(pixel mapping)。如上所述，光線通過視差屏障、柱狀透鏡等，並受到相應之像素映射所控制，而被引導至視聽者的雙眼。只要視聽者的觀察位置適當，便可辨識到立體影像。以下，把視聽者可觀察到立體影像的區域稱為視域。

然而問題是，這樣的視域會受到限制。例如，存在有所謂的逆視區域。所謂逆視區域，是在該觀察區域中，左眼知覺到影像的視點，相較於右眼知覺到影像的視點，相對較偏右側，而無法正確辨識立體影像。

習知有因應視聽者所在位置而設定視域之技術，如下所揭示。亦即，以某種手段(如感測器)檢測出視聽者位置，並因應視聽者位置，調換像素映射前的視差影像，藉以控制視域之技術。

[先前技術文獻] [專利文獻]

[專利文獻1]美國專利第6064424號

[非專利文獻]

[非專利文獻1]Image Preparation for 3D-LCD

然而，以習知技術來調換視差影像，僅能以離散方式來控制視域位置。也就是說，當視聽者位置有連續性的變動時，便無法充份配合。因此，當視點位置改變時，影像畫質會有變化，且在移動當中，具體來說是在調換視差影像等時間點，映像看起來會有突然切換的感覺，這會帶給視聽者不協調感。其原因如下。亦即，各視差影像可在什麼位置看見，受限於視差屏障、柱狀透鏡之設計，以及面板次像素之間的位置關係，是事先決定好的。因此當偏離該位置時，無論視差影像如何調換亦無法對應。

本發明所欲解決之其中一個課題，是不受限於視聽者位置，並盡可能抑制畫質劣化，使能視聽立體影像。

本發明實施形態之影像處理裝置，係為令具有面板與光學開口部之顯示裝置顯示立體影像之影像處理裝置，其特徵為，具備視差影像取得部、視聽者位置取得部、影像產生部。

前述視差影像取得部，取得至少一個視差影像，該視差影像為一個視點內之影像。

前述視聽者位置取得部，係取得視聽者位置。

前述影像產生部，係依據前述視聽者位置，來修正前述面板和光學開口部之間的對應關係相關參數，再依據修正後之參數，產生分配前述視差影像的各像素之影像，以便顯示在前述顯示裝置時視聽者可辨識立體影像。

本實施形態之影像處理裝置，可適用於視聽者可以裸眼觀察到立體影像之TV、PC、智慧型手機、數位相框等立體影像顯示裝置。所謂立體影像，是指影像中包含彼此有視差之複數視差影像，視聽者介由柱狀透鏡或視差屏障等光學開口部來觀察該影像，藉以認知到立體影像。又，實施形態所述之影像，可為靜止畫面或動態畫面的任一者。

圖1為本實施形態立體影像顯示裝置之構成例方塊圖。立體影像顯示裝置，具備影像取得部1、視聽位置取得部2、映射控制參數算出部3、像素映射處理部4、以及顯示部(顯示裝置)5。影像取得部1、視聽位置取得部2 、映射控制參數算出部3、以及像素映射處理部4，共同構成影像處理裝置7。映射控制參數算出部3和像素映射處理部4，構成影像產生部8。

顯示部5，係用以顯示立體影像之顯示裝置。視聽者可觀察到顯示裝置所顯示立體影像之範圍(區域)，稱為視域。

本實施形態中，如圖6所示，在實際空間上，以面板顯示面(顯示器)的中心為原點，設定顯示器面的水平方向為X軸、顯示器面的鉛直方向為Y軸、顯示器面的法線方向為Z軸。本實施形態中，高度方向係指Y軸方向。但，實際空間上座標的設定方法並不限於此。

如圖2(A)所示，顯示裝置包含顯示元件20及開口控制部26。視聽者介著開口控制部26觀察顯示元件20，來觀察顯示裝置所顯示之立體影像。

顯示元件20，係顯示用於顯示立體影像之視差影像。顯示元件20可為直視型2維顯示器、例如有機發光半導體(Organic Electro Luminescence)或LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、投射式顯示器等。

顯示元件20之例，可將RGB各色之次像素(subpixel)構成含RGB之1單位像素，並配置成矩陣狀，係為周知(圖2(A)中顯示元件20的每個小矩形，即代表RGB次像素)。此時，沿第1方向排列之RGB各色次像素構成1單位像素，相互鄰接之像素依據視差影像的數量，在與第1方向交叉之第2方向排列之像素群所顯示之影像，稱為要素影像30。第1方向例如為列方向(垂直方向，或Y軸方向)，第2方向例如為行方向(水平方向，或X軸方向)。顯示元件20之次像素配列，亦可呈其他周知之配列方式。此外，次像素不限於RGB3色，例如4色亦可。

開口控制部26，係將顯示元件20朝其前方散發出之光線，經由開口部而令其朝規定方向射出(以下將具有此功能之開口部稱之為光學開口部)。光學開口部26可為柱狀透鏡或視差屏障等。

光學開口部係對應於顯示元件20之各要素影像30而配置。1個光學開口部、對應至1個要素影像。顯示元件20顯示複數之要素影像30時，顯示元件20會對應複數之視差方向而顯示視差影像群(多視差影像)。該多視差影像之光線，會透過各光學開口部。而位於視域內之視聽者33，針對要素影像30所含之像素，分別以左眼33A及右眼33B來觀察。像這樣，對於視聽者33的左眼33A及右眼33B，會分別顯示視差相異之影像，使視聽者33可觀察到立體影像。

本實施形態中，如圖2(B)平面圖及圖4(A)立體圖所示，光學開口部26與面板的顯示面呈平行配置。光學開口部的延伸方向，相對於顯示元件20的第1方向(Y軸方向)，具有規定之傾角θ。

以下，詳細說明圖1中立體影像顯示裝置的各方塊。

[影像取得部1]

影像取得部1中，因應欲顯示之視差影像數(視差數)，取得1個或複數個視差影像。視差影像係從記錄媒體取得。例如可事先儲存於硬碟機或伺服器，並從該處取得。此外，亦可從相機、複數相機串聯而成之相機陣列、或立體攝影機(stereo camera)等輸入裝置，直接取得視差影像。

[視聽位置取得部2]

視聽位置取得部2，會將視聽區域內實際空間中的視聽者位置，以3次元座標值的形式取得。取得視聽者位置的方式，例如可使用可視光相機、紅外線相機等攝影機器，另可利用雷達或感測器等機器。利用此些機器所獲得之資訊(例如相機時為其拍攝影像)，運用周知技術，取得視聽者的位置。

舉例來說，使用可見光相機時，透過對拍攝所得之影像進行影像解析，來檢測出視聽者及算出視聽者的位置。藉此，視聽位置取得部2取得視聽者之位置。

此外，使用雷達時，透過對獲得之雷達訊號進行訊號處理，來檢測出視聽者及算出視聽者的位置。藉此，視聽位置取得部2取得視聽者之位置。

此外，在人物檢測、位置算出之視聽者檢測過程中，亦可以檢測臉部、頭、人物全體、標記等，可供其判定為人的任意對象部位。亦可檢測視聽者的眼睛位置。又，取得視聽者位置之方法，並不限於上述方法。

[像素映射處理部4]

像素映射處理部4，係將影像取得部1取得之視差影像群的各個次像素，依據控制參數來排序(分配)它們，據以決定各要素影像30。控制參數包含有視差數N、光學開口部相對於Y軸之傾角θ、光學開口部與面板之間於X軸方向的偏差量(面板換算偏移量)koffset、以及對應於一個光學開口部之面板上的寬度Xn等。又，以下將顯示於顯示元件20全體之複數要素影像30，稱為要素影像陣列。要素影像陣列，係分配視差影像的各像素而成之影像，以便顯示時視聽者可辨識立體影像。

其排序方法是，先算出要素影像陣列的各次像素所射出之光線，穿過光學開口部26後所行進之方向。該計算例如可運用非專利文獻1(Image Preparation for 3D-LCD)所記載之方法。

例如可以下列式1，來算出光線的行進方向。式中，sub_x，sub_y分別為以面板左上角為基準時之次像素座標。v(sub_x，sub_y)為從sub_x，sub_y次像素射出之光線，穿過光學開口部26後之行進方向。

此處求得之光線方向為一編號，該編號代表各次像素射出之光穿過光學開口部26後之行進方向。該編號以下述方法決定。亦即，相對於光學開口部26的延伸方向，以X軸為基準時，定義出水平寬度Xn的區域，該區域中X軸方向存在一負值最大之界限，從對應於該界限之位置射出的光，訂定其行進方向為0。接著，訂定距離該界限Xn/N之位置所射出之光的行進方向為1。像這樣依序決定編號。更詳細之說明，請參考非專利文獻1。

其後，將每個次像素計算出的方向，與取得之視差影像做配對。例如在視差影像群中，選擇視差影像產生時之視點位置，與光線方向彼此最接近者。或者是，位於中間的視點位置之視差影像，以視差影像之間的插補方式來產生。藉此，針對每個次像素，可決定取得其顏色的視差影像(參照視差影像)。

圖4(B)所示例者，為視差數N=12，將各視差影像以0~11之編號分配時，各參照視差影像的編號。沿紙面長邊排列之0，1，2，3，…，係表示次像素的X軸方向位置，而沿紙面短邊排列之0，1，2，…，則表示Y軸方向位置。斜線表示相對於Y軸呈θ角度配置之光學開口部。各矩形方框內所記載之數字，對應參照視差影像之編號，同時亦對應前述的光行進方向。若數字為整數，則該整數對應至同編號之視差影像；若為小數，則對應至該小數前後2整數編號之視差影像所插補而成之影像。舉例來說，若數字為7.0，則以編號7之視差影像作為參照視差影像；若數字為6.7，則以編號6及編號7之參照視差影像所產生之插補影像，作為參照視差影像。最後，針對要素影像陣列的每個次像素，在參照視差影像對應至顯示元件20全體的情況下，分配對應位置之次像素。藉上述方式，來決定顯示裝置中分配至各顯示像素的各次像素之值。又，當視差影像取得部1僅讀取到一個視差影像時，可從該視差影像產生出其他視差影像。舉例來說，當只讀取到相當於上述0號之一個視差影像時，可從該視差影像產生出相當於1~11號之視差影像。

又，像素映射處理未必一定要使用非專利文獻1。凡像素映射處理是以面板和光學開口部之對應關係相關參數來進行者，可採用任何手法。該面板和光學開口部之間的對應關係相關參數，在上述例中，是對應至面板和光學開口部的位置偏差之定義參數、及對應至對應於一個光學開口部之面板上的寬度之定義參數。

在此，按理說各參數是由面板27和光學開口部26之間的關係所決定，若硬體上未重新設計是無法變更的。但本實施形態中，依據觀察者的視點位置，藉由修正上述參數(特別是光學開口部與面板之間於X軸方向的偏差量koffset、以及對應於一個光學開口部之面板上的寬度Xn)，來使視域移動至所需位置。例如以非專利文獻1之方法應用於像素映射時，是如下列式2修正參數，來達成視域的移動。

r_offset，係表示對於koffset之修正量。r_Xn表示對於Xn之修正量。該些修正量之算出方法詳如後述。

上述式2中，定義koffset為相對於光學開口部之面板的偏差量。若要定義相對於面板之光學開口部的偏差量，則如下列式3所示。又，對於Xn之修正同上述式2。

[映射控制參數算出部3]

映射控制參數算出部3會算出修正參數(修正量)，該修正參數使得視域配合觀察者而移動。修正參數亦可稱為映射控制參數。本實施形態中，修正對象之參數為koffset與Xn兩個參數。

當面板及光學開口部如圖5(A)所示之狀態時，若將面板與光學開口部之位置關係朝水平方向錯開，則會如圖5(C)所示，視域朝向錯開的方向移動。在圖5(C)的例子中，光學開口部朝向紙面左方偏移，相較於圖5(A)之情形，光線向左移動了η，藉此，視域亦向左靠近。若假設透鏡位置固定在原來位置時，則相當於顯示影像朝反方向移動了。按理說，該偏差值在像素映射時會作為koffset，並考量兩者的偏差量來決定v(sub_x，sub_y)。藉此，即使在兩者有相對偏差的情形下，也會在面板正面構成視域。但本實施形態中，對此再做改進。亦即，因應視聽者位置，修正面板和光學開口部的偏差量koffset，使其增減量高於實際的物理偏差量。藉此，以像素映射對視域的水平方向(X軸方向)進行位置修正時，修正程度便可更為連續(細分化)。因此，不若習知技術中利用調換視差影像，僅能使視域位置於水平方向(X軸方向)產生離散性變化，而可使其連續性變化。是故，視聽者處在任意水平位置(X軸方向位置)時，皆可適當地使視域配合視聽者。

此外，當面板及光學開口部呈現如圖5(A)之狀態時，若如圖5(B)所示，將對應於一個光學開口部之面板上的寬度Xn放寬時，則視域會變得接近面板(換言之，圖5(B)相較於圖5(A)，其要素影像寬度變大)。因此，藉由修正Xn之值使其增減量高於實際值，以像素映射對視域的垂直方向(Z軸方向)進行位置修正時，修正程度便可更為連續(細分化)。藉此，不若習知技術中利用調換視差影像，僅能使視域位置於垂直方向(Z軸方向)產生離散性變化，而可使其連續性變化。是故，視聽者處在任意垂直位置(Z軸方向位置)時，皆可適當地使視域配合視聽者。

透過以上方式，適當地修正參數koffset、Xn，則無論在水平方向或垂直方向，皆可使視域位置產生連續性變化。是故，即使觀察者處在任意位置，皆可設定視域來配合該位置。

以下揭示對於koffset之修正量r_koffset、對於Xn之修正量r_Xn的計算方法。

．r_koffset

r_koffset係從視聽位置的X座標所算出。具體來說，是以下列式4來算出r_koffset。X為目前視聽位置之X座標。L為從視聽位置至面板(或透鏡)的距離，亦即視距。G為光學開口部(若為透鏡時，為主點P)與面板之間的距離，亦即間隙(參考圖4(C))。又，目前視聽位置，是從視聽位置取得部2所取得；視距L，是從該目前視聽位置所計算出。

．r_Xn

r_Xn係依據視聽位置的Z座標，由下列式5所算出。又，lens_width(參考圖4(C))為光學開口部沿X軸方向(透鏡長邊方向)剖面時之寬度。

[顯示部5]

顯示部5如前所述，為包含顯示元件20和光學開口部26之顯示裝置。視聽者介著光學開口部26觀察顯示元件20，來觀察顯示裝置所顯示之立體影像。

如前所述，顯示元件20可為直視型2維顯示器、例如有機發光半導體(Organic Electro Luminescence)或LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、投射式顯示器等。顯示元件20之例，可將RGB 各色之次像素(subpixel)構成含RGB之1單位像素，並配置成矩陣狀，係為周知。顯示元件20之次像素配列，亦可呈其他周知之配列方式。此外，次像素不限於RGB3色，例如4色亦可。

圖3為示意圖1之影像處理裝置動作流程之流程圖。

步驟S101中，視差影像取得部1從記錄媒體取得1個或複數個視差影像。

步驟S102中，視聽位置取得部2利用攝影機器或雷達、感測器等機器，取得視聽者的位置資訊。

步驟S103中，映射控制參數算出部3依據視聽者的位置資訊，計算用以修正面板和光學開口部的對應關係相關參數之修正量(映射控制參數)。修正量之計算例，如式4及式5所示。

步驟S104中，像素映射處理部4依據該修正量，修正該面板和光學開口部的對應關係相關參數(參考式2、式3)。像素映射處理部4依據修正後的參數，產生分配前述視差影像的各像素之影像，以便顯示在前述顯示裝置時視聽者可辨識立體影像(參考式1)。

其後，顯示部5驅動各顯示像素，使該產生之影像顯示於面板。視聽者介著光學開口部26觀察顯示元件，可觀察到立體影像。

如以上所說明的，本實施形態中，於像素映射時，將理應為固定值之物理性參數，因應觀察者位置而做修正，來控制視域以導向視聽者的方向。該物理性參數，是採用面板和光學開口部的位置偏差量，以及對應於一個光學開口部之面板上的寬度。因這些參數可為任意值，故相較於習知技術(以調換視差影像來進行離散性控制)，可更正確地使視域配合視聽者。是故，可配合視聽者的移動，正確地令視域進行追蹤。

以上已針對本發明的幾個實施形態進行說明，但此些實施形態僅做為舉例之用，並非用來限定發明之範圍。此些新穎之實施形態，尚可以其他各式各樣的形態加以實施，只要不背離本發明之要旨，皆可進行各種省略、置換、或變更。

上述實施形態之影像處理裝置，係由包含CPU(Central Processing Unit)、ROM、RAM、及通訊I/F裝置等之硬體所構成。上述各部之功能，係藉由CPU將存儲於ROM內之程式，於RAM上展開並執行來達成。又或者不限於此，各部功能中至少一部分另以個別電路(硬體)來達到亦可。

又，由上述實施形態之影像處理裝置所執行之程式，亦可存放在與網際網路等網路連接之電腦上，並經由網路下載之方式予以提供。此外，上述各實施形態及變形例之影像處理裝置所執行之程式，亦可經由網際網路等網路予以提供或發佈。此外，上述實施形態之影像處理裝置所執行之程式，亦可預先寫入ROM等當中一併提供。

1‧‧‧影像取得部

2‧‧‧視聽位置取得部

3‧‧‧映射控制參數算出部

4‧‧‧像素映射處理部

5‧‧‧顯示部

7‧‧‧影像處理裝置

8‧‧‧影像產生部

20‧‧‧顯示元件

26‧‧‧開口控制部

27‧‧‧面板

30‧‧‧要素影像

33‧‧‧視聽者

33A、33B‧‧‧視聽者之左眼、右眼

[圖1]具備本實施形態影像處理裝置之立體影像顯示裝置構成示例圖。

[圖2]光學開口部及顯示元件圖。

[圖3]圖1的影像處理裝置之處理流程圖。

[圖4]面板及透鏡間的角度、像素映射、以及各種用語之意義說明圖。

[圖5]面板和光學開口部之對應關係相關參數，與視域之間的關係說明圖。

[圖6]以面板中心為原點時之X，Y、Z座標空間圖。

1‧‧‧視差影像取得部

2‧‧‧視聽位置取得部

3‧‧‧映射控制參數算出部

4‧‧‧像素映射處理部

5‧‧‧顯示部

7‧‧‧影像處理裝置

8‧‧‧影像生成部

Claims

一種影像處理裝置，係為令具有面板與光學開口部之顯示裝置顯示立體影像之影像處理裝置，其特徵為：具備：視差影像取得部，取得至少一個視差影像，該視差影像為一個視點內之影像；及視聽者位置取得部，取得視聽者位置；及影像產生部，係依據相對於前述顯示裝置之前述視聽者位置，來修正前述面板和光學開口部之間的對應關係相關參數，再依據修正後之參數，產生分配前述視差影像的各像素之影像，以便顯示在前述顯示裝置時前述視聽者可辨識前述立體影像。
如申請專利範圍第1項所述之影像處理裝置，其中，前述影像產生部，因應相對於前述面板之前述視聽者的水平方向位置，以及前述視聽者之視距，來修正前述參數。
如申請專利範圍第2項所述之影像處理裝置，其中，更具備映射控制參數算出部，前述參數用以表示前述面板和前述光學開口部之間的位置偏差量，前述映射控制參數算出部，因應相對於前述面板之前述視聽者的水平方向位置，以及前述視聽者之視距，來算出修正量，前述影像產生部，依據前述修正量來修正前述參數。
如申請專利範圍第1至3項任一項所述之影像處理裝置，其中，前述影像產生部，因應相對於前述面板之前述視聽者的垂直方向位置，以及前述光學開口部之寬度，來修正前述參數。
如申請專利範圍第4項所述之影像處理裝置，其中，更具備映射控制參數算出部，前述參數用以表示對應於一個光學開口部之面板上的寬度，前述映射控制參數算出部，因應相對於前述面板之前述視聽者的垂直方向位置，以及前述光學開口部之寬度，來算出修正量，前述影像產生部，依據前述修正量來修正前述參數。
如申請專利範圍第1至5項任一項所述之影像處理裝置，其中，前述視聽者位置取得部，藉由對攝影機器所攝影之影像進行解析，來辨識出臉部，依據被辨識的臉部來取得前述視聽者的位置。
如申請專利範圍第1至5項任一項所述之影像處理裝置，其中，前述視聽者位置取得部，藉由可檢測視聽者動作之感測器所檢測出之訊號進行處理，來取得前述視聽者的位置。
一種影像處理方法，係為令具有面板與光學開口部之顯示裝置顯示立體影像之影像處理方法，其特徵為：具備：視差影像取得步驟，係取得至少一個視差影像，該視差影像為一個視點內之影像；及視聽者位置取得步驟，係取得視聽者位置；及影像產生步驟，係依據相對於前述顯示裝置之前述視聽者位置，來修正前述面板和光學開口部之間的對應關係相關參數，再依據修正後之參數，產生分配前述視差影像的各像素之影像，以便顯示在前述顯示裝置時前述視聽者可辨識前述立體影像。
一種影像處理程式，係為令具有面板與光學開口部之顯示裝置顯示立體影像之影像處理程式，其特徵為：令電腦執行下列步驟：視差影像取得步驟，係取得至少一個視差影像，該視差影像為一個視點內之影像；及視聽者位置取得步驟，係取得視聽者位置；及影像產生步驟，係依據相對於前述顯示裝置之前述視聽者位置，來修正前述面板和光學開口部之間的對應關係相關參數，再依據修正後之參數，產生分配前述視差影像的各像素之影像，以便顯示在前述顯示裝置時前述視聽者可辨識前述立體影像。
一種立體影像顯示裝置，其特徵為：具備：顯示部，具有面板與光學開口部；及視差影像取得部，取得至少一個視差影像，該視差影像為一個視點內之影像；及視聽者位置取得部，取得視聽者位置；及影像產生部，係依據相對於前述顯示部之前述視聽者位置，來修正前述面板和光學開口部之間的對應關係相關參數，再依據修正後之參數，產生分配前述視差影像的各像素之影像，以便顯示在前述顯示部時前述視聽者可辨識前述立體影像；前述顯示部，係顯示前述影像產生部所產生之影像。