KR20200056709A - 3차원 영상을 렌더링하는 방법, 상기 방법을 사용하는 영상처리장치, 상기 영상처리장치와 연동하는 촬영장치, 상기 촬영장치의 촬영방법, 및 3차원 영상을 렌더링하는 시스템 - Google Patents

Abstract

본 발명의 일 양태는 2차원 영상을 기반으로 3차원 영상을 렌더링하는 방법을 개시하고 있다. 상기 방법은, 2차원 영상을 획득하는 단계, 상기 획득된 2차원 영상의 컬러 모델을 변환하는 단계(상기 컬러모델의 변환은 RGB(Red, Green, Blue) 영상 데이터를 HSV(Hue, Saturation, Value) 영상 데이터로 변환하는 것을 포함함), 상기 변환된 컬러모델의 영상 데이터의 성분 중 V(Value) 성분을 분석하여 밝기 정보를 추출하는 단계, 상기 추출된 밝기 정보를 기반으로 깊이 맵(Depth Map)을 획득하는 단계 및 상기 획득된 깊이 맵을 기반으로 3차원 영상을 렌더링하는 단계를 포함한다.

Description

3차원 영상을 렌더링하는 방법, 상기 방법을 사용하는 영상처리장치, 상기 영상처리장치와 연동하는 촬영장치, 상기 촬영장치의 촬영방법, 및 3차원 영상을 렌더링하는 시스템{METHOD FOR RENDERING 3D IMAGE, IMAGE PROCESSING APPARATUS USING SAID METHOD, CAMERA APPARATUS INTERLOCKING WITH SAID IMAGE PROCESSING APPARATUS, PHOTOGRAPHING METHOD OF SAID CAMERA, AND 3D IMAGE RENDERING SYSTEM}

본 발명은 3차원 영상을 재생하기 위한 시스템에 관한 것으로, 보다 상세하게는, 2차원 영상으로부터 3차원 영상의 렌더링(rendering)을 가능케 하는 시스템에 관한 것이다.

최근 영상기술의 발달로, 특정 영상을 현장감있게 바라볼 수 있도록 3차원 영상 재생 기술에 대한 연구가 활발히 진행되고 있으며, 이러한 추세는 의료계에도 미쳐 내시경으로 촬영한 영상에 대해서도 3차원 영상 렌더링이 실행되는 상황에 이르렀다.

의료계뿐만 아니라 다양한 분야에서 활용되는, 종래 방식의 3차원 영상재생을 위한 스테레오 비전 기술은 좌영상과 우영상과 같은 적어도 둘 이상의 영상 데이터를 요구하고 있고, 둘 이상의 영상이 하나의 지점으로 포커싱(focusing)되어 있어야 한다는 제약조건 또한 가지고 있었다.

다만, 내시경 또는 캡슐 내시경과 같은 작은 체적이 요구되는 장비에서 하나의 지점을 동시에 촬영하기 위한 둘 이상의 영상촬상 소자를 장치에 실장하는 것은 상당히 어렵고, 이를 위한 노력과 장비의 비용적인 측면을 고려하면 하나의 장비를 생성하여 3차원 영상을 획득하는데 시간 및 비용적인 면에서 매우 비효율적인 부분이 존재한다는 문제점이 있다.

상술한 문제점을 해결하기 위한 본 발명의 일 실시예에 따른 목적은 거리에 따른 빛의 세기를 모델링하여 모델에 의해 깊이맵(depth map)을 획득함으로써 2차원 영상으로부터 3차원 영상을 재생할 수 있도록 하는 3차원 영상을 렌더링하는 방법, 상기 방법을 사용하는 영상처리장치, 상기 영상처리장치와 연동하는 촬영장치, 상기 촬영장치의 촬영방법, 및 3차원 영상을 렌더링하는 시스템을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 2차원 영상을 기반으로 3차원 영상을 렌더링하는 방법은, 2차원 영상을 획득하는 단계, 상기 획득된 2차원 영상의 컬러 모델을 변환하는 단계(상기 컬러모델의 변환은 RGB(Red, Green, Blue) 영상 데이터를 HSV(Hue, Saturation, Value) 영상 데이터로 변환하는 것을 포함함), 상기 변환된 컬러모델의 영상 데이터의 성분 중 V(Value) 성분을 분석하여 밝기 정보를 추출하는 단계, 상기 추출된 밝기 정보를 기반으로 깊이 맵(Depth Map)을 획득하는 단계 및 상기 획득된 깊이 맵을 기반으로 3차원 영상을 렌더링하는 단계를 포함할 수 있다.

상기 2차원 영상은 내시경으로부터 획득되며, 관찰영역을 포함할 수 있다.

상기 내시경은 구강 내시경 및 캡슐 내시경 중 하나를 포함할 수 있다.

상기 2차원 영상은 720X720 RGB 영상을 포함할 수 있다.

상기 변환된 컬러모델의 영상 데이터의 성분 중 V(Value) 성분을 분석하여 밝기 정보를 추출하는 단계는, 백화 현상을 최소화하기 위해 상기 추출된 밝기정보를 정규화하는 단계를 포함할 수 있다.

상기 추출된 밝기 정보를 기반으로 깊이 맵(Depth Map)을 획득하는 단계는, 상기 추출된 밝기 정보를 기반으로 깊이 정보를 계산하는 단계, 상기 깊이 정보를 기반으로 깊이 맵을 생성하는 단계, 상기 생성된 깊이 맵을 정제(refinement)하는 단계 및 밝기 기준치를 선정하여 상기 정제된 깊이 맵의 민감도(Sensitivity)를 조정하는 단계를 포함할 수 있다.

상기 생성된 깊이 맵을 정제하는 단계는, 상기 생성된 깊이 맵을 업 스케일링(up-scaling)하는 단계, 상기 업 스케일링된 깊이 맵에 대해 중간값 필터링을 수행하는 단계 및 상기 2차원 영상을 상기 업 스케일링된 깊이 맵과 동일한 크기로 업 스케일링하는 단계를 포함할 수 있다.

상기 밝기 기준치를 선정하여 상기 정제된 깊이 맵의 민감도(Sensitivity)를 조정하는 단계는, 기 설정된 밝기 기준값에 대응하여 상기 정제된 깊이 맵의 민감도를 결정하는 단계 및 상기 결정된 민감도를 적용하여 상기 깊이 맵을 조정하는 단계를 포함할 수 있다.

상기 획득된 깊이 맵을 기반으로 3차원 영상을 렌더링하는 단계는, 상기 2차원 영상의 관찰영역과 상기 생성된 깊이 맵의 관찰대응영역 - 관찰 대응영역은 상기 관찰영역에 대응하는 영역을 포함함 - 을 합성하여 3차원 영상으로 렌더링하는 단계를 포함할 수 있다.

상기 3차원 영상 렌더링 방법은, 상기 관찰영역에 대한 적어도 두 개의 영상을 기반으로 제 1 깊이맵을 생성하는 단계(상기 적어도 두 개의 영상은 적어도 두 개의 스테레오 비전 카메라를 통해 획득된 영상임) 및 상기 생성된 제 1 깊이맵을, 상기 밝기 정보를 기반으로 생성된 제 2 깊이 맵을 이용하여 보정하는 단계를 더 포함하되, 상기 획득된 깊이 맵을 기반으로 3차원 영상을 렌더링하는 단계는, 상기 보정된 깊이 맵을 이용하여 3차원 영상을 렌더링하는 단계를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 2차원 영상을 기반으로 3차원 영상을 렌더링하는 영상처리장치는, 2차원 영상을 획득하는 통신부, 상기 획득된 2차원 영상의 컬러 모델을 변환하고, 상기 변환된 컬러모델의 영상 데이터의 성분 중 V(Value) 성분을 분석하여 밝기 정보를 추출하며, 상기 추출된 밝기 정보를 기반으로 깊이 맵(Depth Map)을 획득하여, 상기 획득된 깊이 맵을 기반으로 3차원 영상을 렌더링하도록 제어하는 프로세서(상기 컬러모델의 변환은 RGB(Red, Green, Blue) 영상 데이터를 HSV(Hue, Saturation, Value) 영상 데이터로 변환하는 것을 포함함) 및 상기 렌더링되는 3차원 영상을 출력하는 디스플레이부를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른 영상처리 장치와 연동하는 촬영 장치는, 암실조건의 관찰영역을 촬영하는 촬영부, 상기 관찰영역에 광을 조사하는 조명부, 촬영된 영상 데이터를 상기 영상처리장치에서의 영상 변환을 위해 제 1 해상도의 2차원의 RGB 영상을 생성하는 제어부 및 상기 제 1 해상도의 2차원 RGB 영상을 상기 영상처리 장치로 전송하는 통신부를 포함할 수 있다.

상기 촬영장치는 내시경 장치를 포함하며, 상기 내시경 장치는 위 내시경, 대장 내시경, 코 내시경, 귀 내시경, 구강 내시경, 후두 내시경, 관절 내시경 및 캡슐 내시경 중 하나를 포함할 수 있다.

상기 제 1 해상도는 720 X 720의 해상도를 포함할 수 있다.

상기 제어부는, 상기 제 1 해상도의 2차원 RGB 영상에 장치의 식별정보를 삽입하며, 상기 통신부는 상기 식별정보가 삽입된 제 1 해상도의 2차원 RGB 영상을 하나의 전송패킷으로 생성하여 상기 영상처리장치로 전송할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른 영상처리 장치와 연동하는 촬영 장치의 2차원 영상 전송 방법은, 조명부가 암실조건의 관찰영역에 광을 조사하는 단계, 촬영부가 암실조건의 관찰영역을 촬영하는 단계, 제어부가 촬영된 영상 데이터를 상기 영상처리장치에서의 영상 변환을 위해 제 1 해상도의 2차원의 RGB 영상을 생성하는 단계 및 통신부가 상기 제 1 해상도의 2차원 RGB 영상을 상기 영상처리 장치로 전송하는 단계를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 또 다른 양태에 따른 2차원 영상을 기반으로 3차원 영상을 렌더링하는 시스템은, 2차원의 RGB 영상을 촬영하여 영상처리장치로 전송하는 촬영 장치 및 상기 2차원의 RGB 영상을 획득하여 상기 획득된 2차원 영상의 컬러 모델을 변환하고, 상기 변환된 컬러모델의 영상 데이터의 성분 중 V(Value) 성분을 분석하여 밝기 정보를 추출하며, 상기 추출된 밝기 정보를 기반으로 깊이 맵(Depth Map)을 획득하여, 상기 획득된 깊이 맵을 기반으로 3차원 영상을 렌더링하는 영상 처리 장치를 포함하되, 상기 컬러모델의 변환은 RGB(Red, Green, Blue) 영상 데이터를 HSV(Hue, Saturation, Value) 영상 데이터로 변환하는 것을 포함할 수 있다.

본 발명의 3차원 영상을 렌더링하는 방법, 상기 방법을 사용하는 영상처리장치, 상기 영상처리장치와 연동하는 촬영장치, 상기 촬영장치의 촬영방법, 및 3차원 영상을 렌더링하는 시스템에 따르면, 2차원 영상만을 가지고 3차원 영상을 재생할 수 있기 때문에, 3차원 영상을 위해 기존에 투입되던 다수의 장비를 단순화하는 효과가 있고, 기존의 3차원 영상의 렌더링(rendering) 정확도보다 높은 정확도의 3차원 영상 렌더링을 가능케 하는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 3차원 영상 재생 방법이 사용가능한 시스템을 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 3차원 영상 재생 방법을 개략적으로 나타낸 흐름도,
도 3a 및 도 3b는 거리에 따른 빛의 세기 모델링의 일 예를 나타낸 개념도,
도 4는 본 발명의 일 실시예에 따른 3차원 영상 재생 방법에의 컬러모델(color model) 변환 방식을 나타낸 개념도,
도 5는 밝기 정보를 기반으로 깊이맵을 추출하는 방법을 구체적으로 나타낸 상세흐름도,
도 6은 깊이 정보를 계산하여 생성된 깊이 맵을 정제(refinement)하고 깊이맵의 민감도를 조정하는 과정을 구체적으로 나타낸 상세흐름도,
도 7a 내지 도 7b는 종래 방식에 따른 3차원 깊이 맵과 본 발명의 일 실시예에 따른 3차원 영상 재상 방법에 따른 깊이맵을 나타낸 도면
도 7c는 도 7a의 원본 영상과 도 7b의 깊이맵을 정합시켜 3차원 영상 렌더링을 수행한 결과를 나타낸 도면,
도 8은 본 발명의 일 실시예에 따른 3차원 영상 재상 방법에 의해 재생되는 다양한 예시를 나타낸 도면,
도 9는 본 발명의 일 실시예에 따른 3차원 영상 재생을 위한 내시경 장치를 개략적으로 나타낸 블록도,
도 10은 본 발명의 일 실시예에 따른 3차원 영상 재생을 위한 수신기를 개략적으로 나타낸 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 3차원 영상 재생 방법이 사용가능한 시스템을 나타낸 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 캡슐 내시경 시스템은 캡슐 내시경 장치(120), 수신전극(130a, 130b) 및 수신기(150)를 포함할 수 있다.

다만, 도 1의 실시예에는 캡슐내시경 장치를 나타내고 있지만, 3차원 영상의 획득이 반드시 캡슐내시경 장치에 의해서 이루어져야만 하는 것은 아니고, 일반 내시경 또는 암실 또는 어두운 공간에서 인위적인 빛에 의존하여 관찰영역을 촬영하는 기타 다른 촬영장치(예컨대, 카메라)가 사용되어도 무방하다는 의미로 이해되어야 할 것이다. 사용가능한 내시경의 종류도 위/대장 내시경, 코/귀 내시경, 구강/후두 내시경, 관절 내시경 등 다양한 형태의 내시경을 포함할 수 있다.

도 1을 참조하면, 피검사자의 인체 내부(100)의 장기(110), 예컨대 소장 또는 대장 등을 캡슐형 내시경(120)이 지나가면서 해당 장기의 정보를 획득한다. 캡슐형 내시경(120)이 획득할 수 있는 정보는 소정의 영상 정보, 음향 정보 및/또는 인체 내 매질의 분석 정보 등을 포함한다. 캡슐 내시경(120)은 하나의 카메라를 가지고 인체 내부(110)의 장기(110)를 촬영하여 영상데이터를 획득한다. 캡슐내시경(120)으로 획득되는 정보는 인체 내부의 장기 등과 연관된 정보로써, 외부로부터의 빛이 완전히 차단된 상태에서 LED 등과 같은 장치(120)에 실장된 인위적인 발광소자에 의해 발산된 빛을 기반으로 촬영된 영상정보이다.

획득된 영상정보는 캡슐 내시경(120)에서 전기적 신호로 변환되고, 피검사자의 인체에 부착된 수신 전극(130a, 130b)에서 감지된다. 수신 전극(130a, 130b)은 수신한 전기적 신호를 도선(140a, 140b)을 통해서 수신기(150)에 전달한다.

또는, 획득한 정보는 캡슐형 내시경(120)에서 전기적 신호로 변환되어 무선 주파수(Radio Frequency; RF) 또는 인체 통신(Human Body Communication; HBC) 등을 이용하여 직접 수신기(150)에 전달될 수도 있다. 무선 주파수를 이용하는 방법은 인체에 무해한 주파수 영역을 이용하여 상기 변환된 전기적 신호를 수신기(150)로 전달한다. 인체 통신을 이용하는 방법은 인체 내부(100)의 장기(110)의 연동 운동에 따라 캡슐형 내시경(120)의 외면에 구비된 전극이 인체와 접촉하면 전류가 발생하고, 이러한 전류를 이용하여 상기 변환된 전기적 신호를 수신기(150)로 전달한다.

캡슐 내시경(120)으로부터 암실상태에서 광원에 의한 빛을 기반으로 촬영된 영상 신호를 수신하는 수신기(150)는 영상 내의 밝기 변화를 고려하여, 촬영장치로부터의 거리를 산출하여 깊이정보를 획득하고, 이를 기반으로 깊이 맵을 생성하여 3차원 영상을 재생할 수 있다.

이러한 3차원 영상 처리 방법은 통상적인 스테레오 비전 알고리즘(캘리브레이션(calibaration), 스테레오 조정(stereo rectification), 스테레오 매칭(stereo matching) 및 재투영(reprojection) 과정을 거쳐 깊이 맵(depth map)을 생성하는 과정)을 보강하는 형태로 사용될 수 있다. 이러한 경우, 스테레오 비전 알고리즘을 위해 캡슐 내시경(120)은 둘 이상의 영상(좌영상 및 우영상)을 촬영하는 복수의 촬상소자를 포함할 수 있다.

수신기(150)는 직접 또는 연결된 영상처리장치(160)를 통해 3D 영상을 생성하여 사용자 인터페이스(GUI)를 통해 재생할 수 있다.

본 발명의 실시예에 따르면, 수신기(150)는 단순히 영상신호를 수신하여 무선 및/또는 유선 네트워크로 연결된 영상 처리 장치(160)(예컨대, 유선 또는 무선 통신기능을 구비한 PC, 노트북, 스마트 폰 등의 컴퓨팅 장치)로 전송하여 영상 처리 장치(160)에서 영상 내의 밝기 정보를 기반으로 3차원 영상을 재생할 수 있다.

도 2는 본 발명의 일 실시예에 따른 3차원 영상 재생 방법을 개략적으로 나타낸 흐름도이다.

도 2를 참조하면, 캡슐 내시경 장치는 암실상태에서 촬영대상을 촬영하여 2차원 영상을 획득한다(S210). 그리고는, 획득된 2차원 영상 데이터를 수신기로 전송한다(S220).

수신기(또는 수신기와 연결된 영상처리장치)는 2차원 영상을 수신하여(S230), 해당 영상의 컬러모델을 변환한다(S240). 본 발명의 실시예에 따르면, 컬러영상의 변환은 RGB(Red, Green, Blue) 모델에서 HSV(Hue, Saturation, Value) 모델로의 변환을 포함한다. RGB 컬러모델에서도 밝기 정보의 추출이 가능하나, 하나의 픽셀 내에 R 성분, G 성분 및 B 성분의 상대적인 비율이 일정하지 않을 수 있기에, 이러한 비율을 최대한 정확히 하기 위해 HSV 컬러모델을 사용하는 것이다.

RGB 모델에서 HSV 모델로의 컬러변환을 완료하면, 수신기는 변환된 영상신호에서 V 성분을 추출하여 분석함에 의해 밝기 정보를 획득한다(S250). 그리고는, 추출된 밝기정보를 이용하여 깊이맵을 생성한다(S260). 그리고는, 생성된 깊이맵을 이용하여 3차원 영상을 렌더링할 수 있다(S270).

본 발명의 다른 실시예에 따르면, 위의 단계(S210) 내지 단계(S270) 이외에, 캡슐내시경으로부터 3차원 영상 생성을 위한 통상적인 두 영상(좌영상 및 우영상)을 수신하여 스테레오 비전 알고리즘을 사용하여 3차원 영상을 재생하는 과정이 함께 수행될 수 있다. 이때, 수신기는 스테레오 비전 알고리즘을 활용하여 3차원 영상을 생성함과 동시에, 두 영상 중 하나의 영상(보다 해상도 및 화질이 좋은 영상)을 선택하여 위의 단계(230) 내지 단계(260)의 과정을 거치고, 단계(230) 내지 단계(260)의 과정을 통해 밝기 정보를 기반으로 생성된 깊이맵을, 단계(270)에서 병렬적으로 스테레오 비전 알고리즘을 통해 생성된 깊이맵을 보정하는 용도로 사용할 수 있다. 이를 통해 보다 정밀도를 높인 3차원 영상을 재생할 수 있다.

도 3a 및 도 3b는 거리에 따른 빛의 세기 모델링의 일 예를 나타낸 개념도이다.

도 3a를 참조하면, 원의 중심에 존재하는 광원으로부터 광자가 방출되는데, 처음 발출된 광자는 광원으로부터 약 2m 거리에 존재하게 되고, 나중에 방출된 광자는 광원으로부터 약 1m 거리에 존재하게 된다. 이러한 원리를 역으로 고려하면, 광원으로부터 멀리 존재하는 물체에 닿은 광자는 처음발사된 광자를 수광하기 때문에, 수광된 빛의 세기가 약하고, 광원으로부터 상대적으로 근접하여 존재하는 물체는 나중에 발사된 광자를 수광하여 빛의 세기가 크게 된다.

도 3b를 참조하면, 광원으로 단계적으로 떨어진 거리를 갖는 복수 개의 단면에는 서로 다른 입사광자의 수를 갖는다. 즉, 1r의 거리의 단면에는 3개의 광자가 도달하는 반면, 2r의 거리의 단면에는 2개의 광자가, 3r의 거리의 단면에서는 1개의 광자가 도달하여, 거리가 멀어질수록 그에 도달하는 광자의 수가 적어지고, 이러한 이유로 해당 단면에서의 빛의 세기도 작을 수밖에 없다. 즉 거리가 멀어질수록 빛의 세기도 감쇠한다.

도 3a 및 도 3b의 실시예를 살펴보면, 암실과 같은 어두운 환경에서 광원에 의해 발사되는 광자의 수와 특정 물체까지의 거리는 일정한 비례관계를 갖는다. 본 발명의 일 실시예에 따른 영상처리 장치(또는 내시경 영상을 수신하는 수신기)는 암실 환경에서 촬영된 영상의 밝기 정보를 가지고, 해당 물체에 도달한 광자의 수를 유추할 수 있다. 특히, 밝기는 거리의 제곱에 반비례함을 알 수 있다. 이는 다음의 수학식으로 표현할 수 있다.

위와 같은 관계를 통해 밝기 정보로부터 광원으로부터의 거리를 산출하여 깊이정보를 생성할 수 있다. 장치는 생성된 깊이정보를 기반으로 깊이 맵을 만들고, 2차원 영상을 3차원 영상으로 재생할 수 있다.

도 4는 본 발명의 일 실시예에 따른 3차원 영상 재생 방법에의 컬러모델(color model) 변환 방식을 나타낸 개념도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 시스템은 3차원 영상 재생을 위한 입력영상인 2차원 영상으로 특정 사이즈로 설정한 영상을 사용한다. 예컨대, 800X600, 800X720, 1024X768, 1152X864, 1280X600, 1280X720, 1280X768, 1280X800, 1280X960, 1280X1024, 1360X768, 1366X768, 1400X1050, 1440X900, 1600X900, 1680X1050, 1920X1080 등의 해상도를 사용할 수 있다. 본 발명의 바람직할 실시예에 따르면, 한 프레임에 720X720 RGB 영상을 사용하는 것이 바람직하지만, 해상도에 영향을 받지 않는다. 캡슐내시경과 같은 촬영장치는 영상을 기설정된 상기 해상도로 촬영하거나 또는 촬영된 영상의 해상도를 변형할 수 있다. 또는, 영상처리 장치가 프레임의 해상도를 기설정된 해상도로 변형할 수도 있다.

장치는 상기와 같이 기설정된 해상도를 갖는 RGB 컬러모델 영상을 HSV로 변환한다. RGB 컬러모델에서도 밝기정보의 추출이 가능하지만 앞서 설명한 바와 같이, 하나의 픽셀에서 정확한 비율을 반영하기 위해 HSV 컬러모델의 V 성분을 활용하는 것이 바람직하다.

RGB 모델은 가장 기보적인 색상모델로서 색(color)을 Red, Green, Blue의 3가지 성분의 조합으로 생각한다. R, G, B 각각은 0 내지 255 사이의 값을 가질 수 있기 때문에 RGB 색상 모델을 사용하면 총 256*256*256 = 16,777,216가지의 색을 표현할 수 있다.

이에 반해, HSV 모델은 Hue(색조), Saturation(채도), Value(명도)의 3가지 성분으로 색을 표현한다. Hue는 색조(예: 붉은색 계열인지 푸른색 계열인지 여부)를, Saturation은 그 색이 얼마나 선명한(순수한) 색인지를, Value는 밝기(intensity)를 나타낸다. HSV 모델은 우리가 색을 가장 직관적으로 표현할 수 있는 모델이며 또한 머리속에서 상상하는 색을 가장 쉽게 만들어낼 수 있는 모델이다.

본 발명의 실시예에 따르면, HSV 모델을 사용할 때, H, S, V 각각은 0 내지 255 사이의 값으로 표현된다. H 값은 색의 종류를 나타내기 때문에 크기는 의미가 없으며 단순한 인덱스(index)를 나타낸다. S 값은 0이면 무채색(gray 색), 255면 가장 선명한(순수한) 색임을 나타낸다. V 값은 작을수록 어둡고 클수록 밝은 색임을 나타낸다. HSV 색상 모델은 도 4에 도시된 바와 같이 원뿔(conic) 형태(경우에 따라 원기둥(cylindric) 형태)가 있다.

RGB에서 HSV로의 변환을 위해 다음의 수학식을 사용할 수 있다.

HSV 원뿔(conic) 모델을 사용한다는 의미는 V가 작은, 즉 검은색에 가까운 경우에는 H, S 값에 관계없이 모두 유사한 색으로 간주하겠다는 의미가 될 수 있다. 본 발명의 실시예에서는, 광원으로부터의 거리에 따라 변화하는 것은 영상, 즉, 특정 픽셀의 밝기값이며, 촬영대상의 컬러변화는 거의 없음에 주목하여, H 및 S 값보다는 V 값에 집중하는 것이 바람직하다. 즉, 해당 픽셀의 밝기 값이 높고 낮은지에 주목하여 물체까지의 거리를 인지한다.

도 5는 밝기 정보를 기반으로 깊이맵을 추출하는 방법을 구체적으로 나타낸 상세흐름도이다.

도 5를 참조하면, 암실조건과 컬러변화가 없는 장면을 촬영시 도 4의 설명에 따라 변환된 HSV 컬러모델의 영상 내의 임의 픽셀에서의 밝기정보 혹은 밝기 값(L _pixel (x,y))과 빛의 세기(L _intensity (x,y))는 다음의 수학식과 같이 수렴할 수 있다.

그리고, 이러한 관계를 기반으로 생성된 영상을 재생시에 백화 현상을 최소화하기 위해, 추출된 밝기정보를 정규화하는 것이 바람직하다. 정규화는 다음의 수학식을 이용하여 수행될 수 있다. 여기서, L_max는 해당 영상에서 가장 높은 V 성분값을 갖는 픽셀의 V 성분 값을 의미한다.

즉, 정규화된 밝기 값에 일정한 스케일링 팩터 값을 곱하여 가공된 밝기 정보를 획득한다. 이는, 추후 깊이 정보를 계산하는데 사용된다.

도 6은 깊이 정보를 계산하여 생성된 깊이 맵을 정제(refinement)하고 깊이맵의 민감도를 조정하는 과정을 구체적으로 나타낸 상세흐름도이다.

도 6을 참조하면, 장치는 도 4 및 도 5의 과정을 거쳐 가공된 밝기 정보 값(L(x,y))을 가지고 깊이 정보를 산출한다. 이는 다음의 수학식을 이용하여 수행될 수 있다.

장치는 이렇게 산출된 깊이 값을 기반으로 깊이 맵을 생성한다. 이때, 장치는 깊이 맵 정제 단계를 거쳐 보다 정교한 형태 생성된 깊이맵을 가공한다.

맵 정제 단계는 깊이맵 업스케일링 단계, 중간값 필터링 단계 및 2차원 영상 업스케일링 단계를 포함할 수 있다.

장치는 3차원 데이터를 증가시키고 블러링(blurring) 효과를 주기 위해, 1차적으로 생성된 깊이맵을 업-스케일링한다. 이때, 업스케일링의 정도는 산출된 깊이값에 비례할 수 있다. 깊이값이 클 경우, 3차원 영상으로 변환되면서 그 크기가 줄어딜 수 있기 때문에, 업스케일의 정도를 상대적으로 크게 하는 것이 바람직하다. 특히, 3차원 영상으로의 변환시 크기 감소 문제 해결을 위해 기설정된 값(일정하게 감소되는 크기 값을 미리 파악하여 산출)에 대응하는 광각렌즈를 사용하여 2차원 영상을 촬영하도록 하는 것이 바람직하다.

깊이맵에 대한 업스케일 후, 장치는 중간값 필터링을 수행한다. 이는 비선형 디지털 필터 기술로써, 업스케일링된 깊이 맵 또는 이와 관련된 신호로부터 신호 잡음을 제거하는데 사용된다. 특히, 업스케일링된 깊이 맵의 스펙클 노이즈나 작은 반점들을 줄이는 데 유용하다. 나아가, 중간값 필터의 윤곽선 보호 성질은 원치 않는 윤곽선 번짐이 있는 경우에 유용하다.

중간값 필터링 후, 장치는 2차원 원 영상의 사이즈도 깊이 맵과 동일한 크기로 업스케일링한다.

그리고 나서, 장치는 밝기 기준치를 선정하여 깊이 맵의 민감도를 조정한다. 상대적으로 밝은 영상에서의 거리감과 어두운 영상에서의 거리감은 다를 수 있기 때문에, 깊이맵 생성에 있어서, 영상의 기본적인 밝기 기준치를 고려하여 깊이맵의 민감도를 조정할 수 있다. 이때, 영상의 전반적인 밝기 값을 고려할 수 있다. 이러한 전반적인 밝기 값은 해당 영상이 위 내시경을 통해 촬영된 영상인지, 구강 내시경을 통해 촬영된 영상인지 등에 대한 정보를 통해 기설정된 대응 기준치 값을 기반으로 획득된다. 예컨대, 위 내시경 영상은 120의 밝기 기준치를 가지고, 구강 내시경은 150의 밝기 기준치를 가질 수 있으며, 위 내시경 영상에서 10의 밝기 차이는 15의 거리차로 산출되지만, 구강 내시경에서 10의 밝기 차이는 10의 거리차로 산출될 수 있다. 이러한 영상의 구분은 사용자가 직접 입력하여 획득될 수 있으며, 또는 영상분석을 통해 어느 부위에 대한 영상인지를 영상처리장치의 영상분석부(미도시)가 직접 판단하여 이를 파악할 수 있다.

즉, 장치는 HSV 영상 모델의 V 값의 기준치를 영상의 출처 또는 영상의 전반적인 밝기값을 기반으로 선정하여 깊이 맵의 민감도가 선정된 밝기 기준치에 따라 자동으로 결정되어 적용되도록 할 수 있다. 다시 말해, 이는 거리의 상대적인 편차를 증가시키거나 또는 감소시키기 위한 동작이다.

위와 같이 생성된 깊이 맵을 기반으로, 장치는 3차원의 영상을 렌더링한다.

특히, 위와 같이 생성된 깊이 맵을 이용한 3차원 렌더링의 정확도는 전형적인 스테레오 비전 알고리즘과 대비하여, 훨씬 높다. 전형적인 알고리즘의 유효영역은 일반적으로 500X500이며, 3차원 영상의 렌더링 정확도는 유효영역 대비 50% 미만인데 반해, 본 발명의 일 실시예에 따라 생성된 깊이맵을 사용한 3차원 영상 재생 알고리즘의 유효영역은 720X720 이며, 유효 영역 대비 95% 이상의 3차원 영상 렌더링 정확도를 갖는다.

도 7a 내지 도 7b는 종래 방식에 따른 3차원 깊이 맵과 본 발명의 일 실시예에 따른 3차원 영상 재상 방법에 따른 깊이맵을 나타낸 도면이다.

도 7a는 종래 방식에 따라 깊이맵을 깊이맵을 생성한 결과를 나타낸 도면이고, 여기서, 좌측의 실제 2차원 영상에서 우측의 깊이맵을 생성한 것인데, 깊이맵이 부정확하다는 것을 확인할 수 있다. 이는 렌즈 특성 및 조립과정 상의 오차를 반영한 것이라고 볼 수 있다.

도 7b는 본 발명의 일 실시예에 따른 3차원 영상 재생 방법에 따라 생성된 깊이맵이다. 앞선 도 7a의 우측 도면에 비해 상당히 정확한 깊이 정보를 획득할 수 있음을 확인할 수 있다.

도 7c는 도 7a의 원본 영상과 도 7b의 깊이맵을 정합시켜 3차원 영상 렌더링을 수행한 결과를 나타낸 도면이다.

도 7c를 참조하면, 장치는 도 7a의 깊이맵과 도 7b의 깊이 맵을 정합하여 깊임 맵을 보정할 수 있다. 또한, 도 7a의 2차원 원본 영상(도 7a의 좌측도면)과 도 7b의 깊이맵을 직접 정합하여 깊이맵을 보상한 후, 3차원 영상으로 렌더링할 수 있다. 이와 같이 도 7a의 원본영상에 도 7b의 깊이맵을 사용할 경우, 도 7a의 깊이맵의 오차를 보상하는 효과가 있어 3차원 영상의 정확도가 제고되는 효과를 누릴 수 있다.

도 8은 본 발명의 일 실시예에 따른 3차원 영상 재상 방법에 의해 재생되는 다양한 예시를 나타낸 도면이다.

도 8을 참조하면, 다양한 분야에서 활용되는 내시경 영상(예컨대, 캡슐 내시경, 위 내시경, 대장 내시경, 코 내시경, 귀 내시경 및 관절 내시경 등)에 대한 2차원 영상을 3차원 영상으로 렌더링한 출력물을 나타낸 도면이다. 장치는 영상을 촬영한 장치의 식별정보 또는 해당 영상 내의 관찰영역을 분석한 결과, 어느 부위인지를 판별하여, 밝기 기준치를 서로 다르게 설정할 수 있고, 설정된 기준치에 따라 깊이 맵의 거리 민감도에 변화를 줄 수 있다.

또한, 장치는 반드시 의료계 영상만을 입력으로 받아 동작하는 것이 아니라 암실 조건에서 촬영한 다른 분야의 영상도 동일한 방식으로 처리하여 3차원 렌더링을 가능케 한다.

도 9는 본 발명의 일 실시예에 따른 3차원 영상 재생을 위한 내시경 장치를 개략적으로 나타낸 블록도이다. 도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 내시경 장치는 촬영부(910), 조명부(920), 제어부(930) 및 전송부(940)를 포함할 수 있다.

도 9를 참조하면, 내시경 장치, 그 중에서도 특히 캡슐 내시경 장치는 신체 내부에 손상을 가하지 않고 진행할 수 있도록 매끄러운 원통형 구조를 가질 수 있으며, 캡슐형 내시경의 일단 및/또는 타단은 돔 형태로 구성될 수 있다.

촬영부(910)는 인체 내부 장기(관찰영역)를 촬영하여 영상 데이터를 획득하는 구성요소이다. 본 발명의 실시예에 따르면, 촬영부(910)는 하나의 촬상소자를 포함한다. 경우에 따라 스테레오 비전 알고리즘과의 시너지를 위해, 제 1 촬영부 및 제 2 촬영부를 포함할 수도 있다. 더 나아가, 두 개 이상의 촬영부(예컨대, 3개의 촬영부)가 포함될 수 있다. 이는 캡슐 내시경의 일단에 형성될 수도 있고, 양단에 모두 형성될 수도 있다.

촬영부(910)는 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서, CCD(Charge-Coupled Device) 이미지 센서 등의 촬상 소자를 포함한다. 촬상 소자에 의해 획득된 영상은 전기적 데이터 또는 전기적 신호로 변환될 수 있다.

조명부(920)는 인체 내부의 관찰영역에 광을 발사하는 구성요소이다. 인체 내부를 조명하면 촬영부(910)가 조명 지점의 영상을 촬영한다. 조명부(920)는 하나 이상의 LED 등의 발광 소자를 포함한다. 조명부(920)는 촬영부(910)의 주위에 배치되어 촬영부(910)가 촬영하고자 하는 지점(관찰 영역)을 조명할 수 있다.

조명부(920)는 피검사자에게서 검사할 대상이 무엇인지, 예컨대 암을 검사할 것인지, 암을 검사한다면 어떤 암을 검사할 것인지, 어떤 부위를 검사할 것인지, 단순히 조직의 상태만을 검사할 것인지 등에 따라서 특정 파장의 발광 소자를 사용할 수도 있다. 또한, 촬상 소자로 어떤 소자가 사용되는지에 따라서, 해당 촬상 소자에 적합한 파장의 발광 소자를 사용할 수도 있다.

제어부(930)는 촬영부(910) 및 조명부(920)에 트리거 신호를 제공하여 조명의 발광 및 촬영을 제어하고, 관찰영역에 대한 2차원 영상을 획득한다. 그리고는, 기 설정된 인코딩 방식에 따라 영상데이터를 인코딩하여 프레임 패킷으로 생성한다. 이때, 내시경 장치의 고유의 식별정보를 해당 프레임 패킷에 부가할 수 있다. 영상처리 장치는 영상 데이터에 부가된 장치의 식별정보를 기반으로 테이블 형태로 기저장된 대응되는 밝기 기준치 값을 추출할 수 있다.

전송부(940)는 제어부(930)에서 생성된 영상 프레임을 외부 장치, 예컨대 수신기(도 1의 150)로 전송한다. 예컨대, 전송부(940)는 영상 데이터를 RF 통신 또는 인체 통신 등을 통해 외부 장치로 전송할 수 있으며, 압축된 영상 데이터 이외의 정보(예를 들어, 음향 정보, 조직 정보, PH 정보, 온도 정보, 전기적 임피던스 정보 등)도 전송할 수 있다.

도 10은 본 발명의 일 실시예에 따른 3차원 영상 재생을 위한 수신기를 개략적으로 나타낸 블록도이다. 도 10에 도시된 바와 같이, 본 발명의 일 실시예에 따른 수신기 또는 그와 연동하는 영상처리장치는, 통신부(1010), 프로세서(102), 및 사용자 인터페이스(1030)를 포함할 수 있다.

도 10을 참조하면, 통신부(1010)는 내시경 장치(또는 다른 촬영장치)로부터 2차원 영상을 수신한다. 또는, 영상처리장치에 기 저장된 2차원 영상을 3차원 영상의 소스(source) 영상으로 활용해도 된다.

프로세서(1020)는 메모리(미도시)에 저장된 프로그램을 실행하는 구성요소로써, 컬러모델의 변환, V 성분의 추출, 깊이맵 생성 및 정제 기능을 수행할 수 있다. 이는 하드웨어적으로 하나의 마이크로 프로세서로 구현될 수 있다. 또는 각각의 기능블록마다 서로 다른 프로세서로써, 복수 개의 마이크로 프로세서로 구현될 수 있다.

프로세서(1020)는 통신부(1010)에서 획득한 영상의 컬러모델을 변환한다(S240). 컬러영상의 변환은 RGB(Red, Green, Blue) 모델에서 HSV(Hue, Saturation, Value) 모델로의 변환을 포함한다. 프로세서(1020)는 하나의 픽셀 내에 R 성분, G 성분 및 B 성분의 상대적인 비율을 최대한 일정하도록 유지하기 위해 HSV 컬러모델을 사용한다.

프로세서(1020)는 컬러변환을 완료하면, 변환된 영상신호에서 V 성분을 추출하여 분석함에 의해 밝기 정보를 획득한다. 그리고는, 추출된 밝기정보를 이용하여 깊이맵을 생성한다. 그리고는, 생성된 깊이맵에 대한 정제작업을 수행한다. 이는 깊이맵 및 2차원 원본 영상의 업스케일링 및 중간값 필터링을 포함한다. 그리고는, 프로세서는, 2차원 영상 데이터 내에 포함된 촬영장치에 대한 식별정보를 기반으로 그에 대응하는 밝기 기준값을 추출한다. 또는, 프로세서(1020)는 객체분석 알고리즘을 통해 2차원 영상의 객체를 분석하여 기저장된 객체와 비교함에 의해 영상 내의 객체를 식별하고 식별된 객체에 대응하는 밝기 기준값을 기저장된 객체-기준값 매핑 테이블로부터 획득한다. 그리고는, 획득된 기준값을 3차원 영상의 깊이맵의 민감도로써 활용한다.

프로세서(1020)는 위와 같은 과정을 통해 생성된 깊이 맵을 이용하여 2차원 영상을 3차원 영상으로 렌더링할 수 있다.

사용자 인터페이스(1030)는 데이터의 입력 또는 출력을 담당하는 구성요소이다. 이는 키보드, 마우스 및 터치패널과 같은 입력수단을 포함하여 사용자가 설정해야 하는 기준값에 대한 입력을 받는다. 또한, 사용자 인터페이스(1030)는 디스플레이 수단을 포함하여 3차원으로 렌더링되는 영상을 출력한다. 이때, 영상의 깊이맵에서 획득한 거리 정보를 기반으로 상대적인 거리정보를 제공할 수 있다. 이때, 제 1 픽셀부터 제 2 픽셀까지의 거리, 해상도 정보 및 밝기 기준값에 따른 거리민감도 값도 복합적으로 고려될 수 있다.

이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (15)

1. 2차원 영상을 기반으로 3차원 영상을 렌더링하는 방법에 있어서,
   2차원 영상을 획득하는 단계;
   상기 획득된 2차원 영상의 컬러 모델을 변환하는 단계, 상기 컬러모델의 변환은 RGB(Red, Green, Blue) 영상 데이터를 HSV(Hue, Saturation, Value) 영상 데이터로 변환하는 것을 포함함;
   상기 변환된 컬러모델의 영상 데이터의 성분 중 V(Value) 성분을 분석하여 밝기 정보를 추출하는 단계;
   상기 추출된 밝기 정보를 기반으로 깊이 맵(Depth Map)을 획득하는 단계; 및
   상기 획득된 깊이 맵을 기반으로 3차원 영상을 렌더링하는 단계를 포함하는 2차원 영상을 기반으로 3차원 영상을 렌더링하는 방법.
2. 제 1 항에 있어서,
   상기 2차원 영상은 내시경으로부터 획득되며, 관찰영역을 포함하는, 2차원 영상을 기반으로 3차원 영상을 렌더링하는 방법.
3. 제 2 항에 있어서,
   상기 내시경은 구강 내시경 및 캡슐 내시경 중 하나를 포함하는 2차원 영상을 기반으로 3차원 영상을 렌더링하는 방법.
4. 제 1 항에 있어서, 상기 변환된 컬러모델의 영상 데이터의 성분 중 V(Value) 성분을 분석하여 밝기 정보를 추출하는 단계는,
   백화 현상을 최소화하기 위해 상기 추출된 밝기정보를 정규화하는 단계를 포함하는 2차원 영상을 기반으로 3차원 영상을 렌더링하는 방법.
5. 제 1 항에 있어서, 상기 추출된 밝기 정보를 기반으로 깊이 맵(Depth Map)을 획득하는 단계는,
   상기 추출된 밝기 정보를 기반으로 깊이 정보를 계산하는 단계;
   상기 깊이 정보를 기반으로 깊이 맵을 생성하는 단계;
   상기 생성된 깊이 맵을 정제(refinement)하는 단계; 및
   밝기 기준치를 선정하여 상기 정제된 깊이 맵의 민감도(Sensitivity)를 조정하는 단계를 포함하는 2차원 영상을 기반으로 3차원 영상을 렌더링하는 방법.
6. 제 5 항에 있어서, 상기 생성된 깊이 맵을 정제하는 단계는,
   상기 생성된 깊이 맵을 업 스케일링(up-scaling)하는 단계; 및
   상기 업 스케일링된 깊이 맵에 대해 중간값 필터링을 수행하는 단계;
   상기 2차원 영상을 상기 업 스케일링된 깊이 맵과 동일한 크기로 업 스케일링하는 단계를 포함하는 2차원 영상을 기반으로 3차원 영상을 렌더링하는 방법.
7. 제 5 항에 있어서, 상기 밝기 기준치를 선정하여 상기 정제된 깊이 맵의 민감도(Sensitivity)를 조정하는 단계는,
   기 설정된 밝기 기준값에 대응하여 상기 정제된 깊이 맵의 민감도를 결정하는 단계; 및
   상기 결정된 민감도를 적용하여 상기 깊이 맵을 조정하는 단계를 포함하는 2차원 영상을 기반으로 3차원 영상을 렌더링하는 방법.
8. 제 1 항에 있어서, 상기 획득된 깊이 맵을 기반으로 3차원 영상을 렌더링하는 단계는,
   상기 2차원 영상의 관찰영역과 상기 생성된 깊이 맵의 관찰대응영역 - 관찰 대응영역은 상기 관찰영역에 대응하는 영역을 포함함 - 을 합성하여 3차원 영상으로 렌더링하는 단계를 포함하는 2차원 영상을 기반으로 3차원 영상을 렌더링하는 방법.
9. 제 1 항에 있어서,
   상기 관찰영역에 대한 적어도 두 개의 영상을 기반으로 제 1 깊이맵을 생성하는 단계, 상기 적어도 두 개의 영상은 적어도 두 개의 스테레오 비전 카메라를 통해 획득된 영상임; 및
   상기 생성된 제 1 깊이맵을, 상기 밝기 정보를 기반으로 생성된 제 2 깊이 맵을 이용하여 보정하는 단계를 더 포함하되,
   상기 획득된 깊이 맵을 기반으로 3차원 영상을 렌더링하는 단계는, 상기 보정된 깊이 맵을 이용하여 3차원 영상을 렌더링하는 단계를 포함하는 2차원 영상을 기반으로 3차원 영상을 렌더링하는 방법.
10. 2차원 영상을 기반으로 3차원 영상을 렌더링하는 영상처리장치에 있어서,
    2차원 영상을 획득하는 통신부;
    상기 획득된 2차원 영상의 컬러 모델을 변환하고, 상기 변환된 컬러모델의 영상 데이터의 성분 중 V(Value) 성분을 분석하여 밝기 정보를 추출하며, 상기 추출된 밝기 정보를 기반으로 깊이 맵(Depth Map)을 획득하여, 상기 획득된 깊이 맵을 기반으로 3차원 영상을 렌더링하도록 제어하는 프로세서, 상기 컬러모델의 변환은 RGB(Red, Green, Blue) 영상 데이터를 HSV(Hue, Saturation, Value) 영상 데이터로 변환하는 것을 포함함; 및
    상기 렌더링되는 3차원 영상을 출력하는 디스플레이부를 포함하는 2차원 영상을 기반으로 3차원 영상을 렌더링하는 영상처리장치.
11. 영상처리 장치와 연동하는 촬영 장치에 있어서,
    암실조건의 관찰영역을 촬영하는 촬영부;
    상기 관찰영역에 광을 조사하는 조명부;
    촬영된 영상 데이터를 상기 영상처리장치에서의 영상 변환을 위해 제 1 해상도의 2차원의 RGB 영상을 생성하는 제어부; 및
    상기 제 1 해상도의 2차원 RGB 영상을 상기 영상처리 장치로 전송하는 통신부를 포함하는, 촬영장치.
12. 제 11 항에 있어서,
    상기 촬영장치는 내시경 장치를 포함하며,
    상기 내시경 장치는 위 내시경, 대장 내시경, 코 내시경, 귀 내시경, 구강 내시경, 후두 내시경, 관절 내시경 및 캡슐 내시경 중 적어도 하나를 포함하는 촬영장치.
13. 제 11 항에 있어서,
    상기 제어부는, 상기 제 1 해상도의 2차원 RGB 영상에 장치의 식별정보를 삽입하며,
    상기 통신부는 상기 식별정보가 삽입된 제 1 해상도의 2차원 RGB 영상을 하나의 전송패킷으로 생성하여 상기 영상처리장치로 전송하는 촬영장치.
14. 영상처리 장치와 연동하는 촬영 장치의 2차원 영상 전송 방법에 있어서,
    조명부가 암실조건의 관찰영역에 광을 조사하는 단계;
    촬영부가 암실조건의 관찰영역을 촬영하는 단계;
    제어부가 촬영된 영상 데이터를 상기 영상처리장치에서의 영상 변환을 위해 제 1 해상도의 2차원의 RGB 영상을 생성하는 단계; 및
    통신부가 상기 제 1 해상도의 2차원 RGB 영상을 상기 영상처리 장치로 전송하는 단계를 포함하는, 촬영 장치의 2차원 영상 전송 방법.
15. 2차원 영상을 기반으로 3차원 영상을 렌더링하는 시스템에 있어서,
    2차원의 RGB 영상을 촬영하여 영상처리장치로 전송하는 촬영 장치; 및
    상기 2차원의 RGB 영상을 획득하여 상기 획득된 2차원 영상의 컬러 모델을 변환고, 상기 변환된 컬러모델의 영상 데이터의 성분 중 V(Value) 성분을 분석하여 밝기 정보를 추출하며, 상기 추출된 밝기 정보를 기반으로 깊이 맵(Depth Map)을 획득하여, 상기 획득된 깊이 맵을 기반으로 3차원 영상을 렌더링하는 영상 처리 장치를 포함하되,
    상기 컬러모델의 변환은 RGB(Red, Green, Blue) 영상 데이터를 HSV(Hue, Saturation, Value) 영상 데이터로 변환하는 것을 포함하는 2차원 영상을 기반으로 3차원 영상을 렌더링하는 시스템.
    

Images