KR20200029740A

KR20200029740A - 3d 영상을 재생을 위한 구강 카메라, 3d 영상을 재생하는 방법, 및 그 장치

Info

Publication number: KR20200029740A
Application number: KR1020180108140A
Authority: KR
Inventors: 김광섭
Original assignee: 주식회사 인트로메딕
Priority date: 2018-09-11
Filing date: 2018-09-11
Publication date: 2020-03-19

Abstract

본 발명의 일 양태는 3D 영상 재생을 위한 구강 카메라를 개시하고 있다. 상기 장치는 인체 내의 대상 부위를 촬영하여 제 1 영상을 생성하는 제 1 촬영부, 상기 대상 부위를 촬영하여 제 2 영상을 생성하는 제 2 촬영부, 상기 제 1 촬영부 및 상기 제 2 촬영부에 동기화를 위한 트리거 신호(trigger signal)를 동시에 제공하고, 상기 트리거 신호에 의해 동시에 촬영된 제 1 영상 및 제 2 영상을 수신하여 스테레오 영상 프레임을 생성하는 제어부 및 상기 스테레오 영상 프레임을 영상 처리장치로 전송하는 전송부를 포함한다.

Description

3D 영상을 재생을 위한 구강 카메라, 3D 영상을 재생하는 방법, 및 그 장치{ORAL CAMERA FOR RENDERING 3D IMAGE, OPERATION METHOD OF THE ORAL CAMERA, AND THEREOF}

본 발명은 구강 카메라에 관한 것으로, 보다 상세하게는, 구강 카메라의 영상 촬영 및 촬영된 영상을 3D로 재생하기 위한 영상 처리를 수행하는 구강 카메라에 관한 것이다.

인체 구강의 정보, 특히 의학적 정보를 획득하기 위해 피검사자의 구강을 통해 카메라를 삽입하여 영상을 촬영하는 방법이 이용되고 있다. 이 방법에 의하며, 도선 또는 광섬유로 이루어진 케이블을 통해 카메라를 직접 제어할 수 있지만 3D 영상으로 재생하기 위해서는 구강 카메라 자체가 매우 복잡해지는 문제가 있다.

대부분의 구강 카메라는 하나의 이미지 센서를 통해 2차원 영상만을 제공하기 때문에, 실제 인체 내 구강 내의 입체적인 형상이 어떠한지 판단하기 어렵다는 문제점이 있다. 또한, 입체적인 형상을 파악하기 어렵기 때문에 영상 내의 구강 내의 병증에 대한 정확한 크기 파악도 어렵다는 문제점이 존재한다.

전술한 문제점을 해결하기 위한 본 발명의 일 양태에 따른 목적은 3차원 영상을 생성할 수 있도록 지원하는 구강 카메라 및 상기 장치의 동작 방법을 제공하는 것이다.

또한, 본 발명의 다른 양태에 따른 목적은 구강 카메라에서 촬상한 영상을 기반으로 물체의 실제 크기를 측정하고 영상 화질을 개선하는 구강 카메라 영상처리장치와 그 동작방법을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 3D 영상 재생을 위한 구강 카메라의 구성은 인체 내의 대상 부위를 촬영하여 제 1 영상을 생성하는 제 1 촬영부, 상기 대상 부위를 촬영하여 제 2 영상을 생성하는 제 2 촬영부, 상기 제 1 촬영부 및 상기 제 2 촬영부에 동기화를 위한 트리거 신호(trigger signal)를 동시에 제공하고, 상기 트리거 신호에 의해 동시에 촬영된 제 1 영상 및 제 2 영상을 수신하여 스테레오 영상 프레임을 생성하는 제어부 및 상기 스테레오 영상 프레임을 영상 처리장치로 전송하는 전송부를 포함할 수 있다.

상기 제어부는 상기 동시에 촬영된 제 1 및 제 2 영상을 하나의 스테레오 영상 프레임으로 생성할 수 있다.

상기 제 1 촬영부와 상기 제 2 촬영부는 카메라 캘리브레이션(calibration)이 미리 수행되어 있을 수 있다.

상기 제 1 영상은 상기 대상 부위에 대한 좌영상이고, 상기 제 2 영상은 상기 대상 부위에 대한 우영상일 수 있다.

상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 3D 영상 재생을 위한 구강 카메라의 동작 방법은 제 1 촬영부 및 제 2 촬영부에 동기화를 위한 트리거 신호를 동시에 제공하는 단계, 상기 제 1 및 제 2 촬영부가 상기 트리거 신호를 기반으로 동시에 인체 내의 대상 부위를 각각 촬영하여 제 1 영상 및 제 2 영상을 생성하는 단계, 동시에 촬영된 제 1 영상 및 제 2 영상을 기반으로 스테레오 영상 프레임을 생성하는 단계 및 상기 스테레오 영상 프레임을 영상 처리장치로 전송하는 단계를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 구강 카메라와 연동하여 3D 영상을 재생하는 영상 처리장치는 상기 구강 카메라의 제 1 카메라와 제 2 카메라에서 인체 내의 대상부위를 동시에 촬영하여 생성한 제 1 영상과 제 2 영상을 기반으로 생성된 스테레오 영상 프레임을 구강 카메라로부터 수신하는 영상 처리부, 상기 스테레오 영상 프레임을 영상 처리하여 깊이 맵을 생성하는 스테레오 영상 처리부 및 상기 제 1 영상, 상기 제 2 영상과 상기 깊이 맵을 기반으로 3D 영상을 재생하는 사용자 인터페이스(GUI: Graphical User Interface)를 포함할 수 있다.

상기 스테레오 영상 처리부는 상기 제 1 영상 및 상기 제 2 영상을 기반을 캘리브레이션(calibration)을 수행하는 캘리브레이션 수행부, 캘리브레이션을 통해 획득한 정보를 기반으로 스테레오 조정(stereo rectification)을 수행하여 행-정렬된 제 1 영상 및 제 2 영상을 생성하는 스테레오 조정부, 상기 행-정렬된 제 1 영상과 제 2 영상에서 동일한 점을 매칭하여 디스패리티 맵(disparity map)을 생성하는 스테레오 매칭부 및 상기 디스패리티 맵을 거리로 환산하여 깊이 맵(depth map)을 생성하는 재투영부를 포함할 수 있다.

상기 스테레오 영상 처리부는 상기 깊이 맵을 기반으로 생성된 디블러링(Deblurring) 필터를 이용하여 상기 제 1 영상 및 상기 제 2 영상의 화질을 개선하는 화질개선 영상 생성부를 더 포함할 수 있다.

상기 화질개선 영상 생성부는 상기 제 1 영상 및 상기 제 2 영상 중 화질이 보다 좋은 영상을 선택하거나 또는 픽셀 단위로 더 좋은 화질의 픽셀을 선택하여 영상의 화질을 개선할 수 있다.

상기 화질개선 영상 생성부는 초해상도(Super-Resolution) 기법을 이용하여 상기 제 1 영상 및 상기 제 2 영상의 화질을 개선할 수 있다.

상기 사용자 인터페이스는 화질 개선된 영상을 기반으로 상기 깊이 맵을 이용하여 3D 영상으로 재생할 수 있다.

상기 사용자 인터페이스는 상기 화질 개선된 영상에서 사용자 입력에 의해 선택된 특정 객체의 크기를 카메라 캘리브레이션을 통해 획득된 파라미터를 기반으로 측정하는 기능을 제공할 수 있다.

상기 사용자 인터페이스는 2D 영상과 3D 영상을 함께 디스플레이할 수 있다.

상기 사용자 인터페이스는 상기 3D 영상을 3차원에서 조작하는 3차원 조작 인터페이스를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 구강 카메라와 연동하여 영상 처리장치의 3D 영상을 재생하는 방법은 상기 구강 카메라의 제 1 카메라와 제 2 카메라에서 인체 내의 대상부위를 동시에 촬영하여 생성한 제 1 영상과 제 2 영상을 기반으로 생성된 스테레오 영상 프레임을 구강 카메라로부터 수신하는 단계, 상기 스테레오 영상 프레임을 영상 처리하여 깊이 맵을 생성하는 단계 및 상기 제 1 영상, 상기 제 2 영상과 상기 깊이 맵을 기반으로 3D 영상을 재생하는 단계를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 3D 영상 재생을 위한 장치는 트리거 신호를 기반으로 제 1 촬영부와 제 2 촬영부를 통해 인체 내의 대상부위를 동시에 촬영하여 제 1 영상 및 제 2 영상을 생성하고, 상기 제 1 영상 및 제 2 영상을 기반으로 스테레오 영상 프레임을 생성하여 영상 처리장치로 전송하는 구강 카메라 및 상기 스테레오 영상 프레임을 구강 카메라로부터 수신하고 상기 수신된 스테레오 영상 프레임을 영상 처리하여 깊이 맵을 생성하며, 상기 제 1 영상, 상기 제 2 영상과 상기 깊이 맵을 기반으로 기반으로 3D 영상을 재생하는 영상 처리장치를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른 3D 영상 재생을 위한 장치는 트리거 신호를 기반으로 제 1 촬영부와 제 2 촬영부를 통해 인체 내의 대상부위를 동시에 촬영하여 제 1 영상 및 제 2 영상을 생성하고, 상기 제 1 영상 및 제 2 영상을 기반으로 스테레오 영상 프레임을 생성하여 영상 처리장치로 전송하는 구강 카메라, 상기 스테레오 영상 프레임을 구강 카메라로부터 수신하여 영상 처리 장치로 제공하는 영상 처리장치 및 상기 스테레오 영상 프레임을 수신하여 영상 처리함으로써 깊이 맵을 생성하고, 상기 제 1 영상, 상기 제 2 영상 및 상기 깊이 맵을 기반으로 3D 영상을 재생하는 영상 처리 장치를 포함할 수 있다.

본 발명의 3D 영상을 재생을 위한 구강 카메라 및 구강 카메라와 연동하여 3D 영상을 재생하는 영상 처리장치에 따르면, 인체 내의 대상부위에 대한 정확한 입체적인 모양을 형상화한 3차원(3D) 영상을 제공하여 영상 내 객체의 실제 크기 측정의 정확도를 높이고 원본 영상의 화질을 현저하게 개선시키는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 장치를 나타낸 도면,
도 2는 구강 카메라와 영상 처리장치의 동작을 개략적으로 설명한 흐름도,
도 3은 본 발명의 일 실시예에 따른 구강 카메라의 구성을 개략적으로 나타낸 블록도,
도 4는 스테레오 영상 프레임의 구성을 설명하기 위한 개념도,
도 5는 본 발명의 일 실시예에 따른 구강 카메라와 연동하여 3D 영상을 재생하는 영상 처리장치를 개략적으로 나타낸 블록도,
도 6은 도 5의 영상 처리장치의 스테레오 영상 처리부를 구체적으로 나타낸 상세블록도,
도 7은 본 발명의 일 실시예에 따라 2D 영상과 3D 영상을 동시에 디스플레이하는 사용자 인터페이스(GUI: Graphical User Interface)를 나타낸 도면,
도 8은 본 발명의 다른 실시예에 따라 물체의 실제 크기 측정을 위한 사용자 인터페이스를 나타낸 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명의 제2 양태에 의하면 치과 응용을 위한 구강 내 상황의 표면 특징의 3차원 모델링을 위한 방법이 제공 되고 이 방법은 이하를 포함한:(a) 복수의 랜덤 1차원 패턴의 2차원 어레이를 생성하는；(b) 투영 가능한 매체에 그 어레이를 저장하는；(c) 제1 각도에서 기준면 상으로 투영 가능한 매체에서 그 어레이를 투영하는；(d) 기준면에 투영된 그 어레이의 제1 화상을 취득하고 제1 화상 취득은 제2 각도로부터의 실행되는；(e) 제1 각도에서 구강 내 상황상에 투영 가능한 매체에서 그 어레이를 투영하는；(f) 제2 각도에서 구강 내 상황에 투영된 그 어레이의 제2 화상을 취득하는；(g) 그 랜덤 패턴의 2차원 상대위치를 화상의 그것의 상대위치에 기 반하여 계산하는；(h) 제1 화상의 랜덤 1차원 패턴을 제2 화상의 랜덤 1차원 패턴에 매칭시키는；(i) 제1 화상의 랜덤 패턴과 제2 화상의 랜덤 패턴 사이의 시차를 계산하는；(j) 2차원 상대위치와 그 시차에 기반하여 랜덤패턴의 3차원 상대위치를 계산하는；(k) 3차원 상대위치에 기반하여 구강 내 상황의 3차원 모델을 구성한다

제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

장치

도 1은 본 발명의 일 실시예에 따른 장치를 나타낸 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 장치는 구강 카메라(120), 수신전극(130a, 130b) 및 영상 처리장치(150)를 포함할 수 있다.

도 1을 참조하면, 피검사자의 인체 내부(100)의 장기(110), 예컨대 소장 또는 대장 등을 구강 카메라(120)이 지나가면서 해당 장기의 정보를 획득한다. 구강 카메라(120)이 획득할 수 있는 정보는 소정의 영상 정보, 음향 정보 및/또는 인체 내 매질의 분석 정보 등을 포함한다. 이때, 구강 카메라(120)은 두 개 이상의 카메라를 가지고 인체 내부(110)의 장기(110)를 촬영하여 좌영상과 우영상을 생성할 수 있다. 좌영상과 우영상은 시간적으로 동시에 촬영된 영상일 수 있다.

획득한 정보는 구강 카메라(120)에서 전기적 신호로 변환되고, 피검사자의 인체에 부착된 수신 전극(130a, 130b)에서 감지된다. 수신 전극(130a, 130b)은 수신한 전기적 신호를 도선(140a, 140b)을 통해서 영상 처리장치(150)에 전달한다.

또는, 획득한 정보는 구강 카메라(120)에서 전기적 신호로 변환되어 무선 주파수(Radio Frequency; RF) 또는 인체 통신(Human Body Communication; HBC) 등을 이용하여 직접 영상 처리장치(150)에 전달될 수도 있다. 무선 주파수를 이용하는 방법은 인체에 무해한 주파수 영역을 이용하여 상기 변환된 전기적 신호를 영상 처리장치(150)로 전달한다. 인체 통신을 이용하는 방법은 인체 내부(100)의 장기(110)의 연동 운동에 따라 구강 카메라(120)의 외면에 구비된 전극이 인체와 접촉하면 전류가 발생하고, 이러한 전류를 이용하여 상기 변환된 전기적 신호를 영상 처리장치(150)로 전달한다.

구강 카메라(120)으로부터 좌영상 및 우영상 신호를 수신하는 영상 처리장치(150)는 스테레오 영상 처리를 통해 3D 영상을 생성하여 사용자 인터페이스(GUI)를 통해 재생할 수 있다. 또는 영상 처리장치(150)에서는 3D 영상 생성을 위한 깊이 맵을 생성하고, 영상화질 개선 과정을 수행할 수 있다.

본 발명의 실시예에 따르면, 영상 처리장치(150)는 단순히 좌영상과 우영상을 수신하고, 수신된 영상을 다른 영상 처리 장치(160)(예컨대, 영상 처리장치(150)와 유선 또는 무선으로 연결된 다른 PC, 노트북, 스마트 폰 등의 장치)로 전송하여 별도의 영상 처리 장치(160)에서 스테레오 영상 처리 이후의 과정들을 처리하도록 함으로써 3D 영상으로 재생할 수 있다.

도 2는 구강 카메라와 영상 처리장치의 동작을 개략적으로 설명한 흐름도이다.

도 2를 참조하면, 구강 카메라(200)의 제어부는 둘 이상의 촬영부가 동시에 특정 인체부위를 촬영할 수 있도록 트리거(trigger) 신호를 제공한다(S210). 이때, 트리거 신호는 10ms 이내의 오차 내에서 둘 이상의 촬영부에 동시에 도달하도록 하는 것이 바람직하다.

트리거 신호를 수신한 둘 이상의 촬영부는 상기 특정 인체부위를 동시에 촬영하여 제 1 영상 및 제 2 영상을 생성한다(S220). 이때, 제 1 영상은 상기 특정 인체부위의 좌영상(L)이고, 제 2 영상은 우영상(R)일 수 있다. 만약, 추가적인 촬영부가 있다면 제 3 영상을 생성할 수 있고, 이는 중간 영상일 수 있다.

구강 카메라(200)의 제어부는 생성된 제 1 영상 및 제 2 영상과 관련된 데이터를 수신하여 동기신호를 삽입하여 하나의 스테리오 영상 프레임을 생성한다(S230). 즉, 동시에 촬영된 제 1 및 제 2 영상이 시간 관련 정보와 함께 하나의 프레임으로 생성되도록 한다.

그리고는, 생성된 스테레오 영상 프레임은 영상 처리장치(205)로 전송된다(S240).

영상 처리장치(205)는 구강 카메라(200)로부터 전송되는 스테레오 영상 프레임을 수신하여(S250), 해당 프레임에서 제 1 영상 및 제 2 영상 데이터를 추출한다.

그리고는, 영상 처리장치(205)는 제 1 및 제 2 영상에 대해 캘리브레이션(calibaration)을 수행하고, 스테레오 조정(stereo rectification), 스테레오 매칭(stereo matching) 및 재투영(reprojection) 과정을 거쳐 깊이 맵(depth map)을 생성한다(S260). 이때, 좌/우 원 영상에 대해 깊이 맵을 기반으로 생성한 디블러링(deblurring) 필터 및 초해상도(Super-Resolution) 기법을 사용하여 두 장의 화질이 개선된 영상을 획득할 수 있다(S270).

그리고는, 화질 개선된 영상 및 깊이 맵을 기반으로 3D 영상을 생성하여 사용자 인터페이스를 통해 재생할 수 있다(S280). 이때, 영상 내의 특정 객체(예컨대, 장기 내의 종양)에 대한 크기를 명확히 계산할 수 있다.

구강 카메라

도 3은 본 발명의 일 실시예에 따른 구강 카메라의 구성을 개략적으로 나타낸 블록도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 구강 카메라(300)는 촬영부(310), 제어부(320) 및 전송부(330)를 포함할 수 있다.

도 3을 참조하면, 구강 카메라(300)은 신체 내부에 손상을 가하지 않고 진행할 수 있도록 매끄러운 원통형 구조를 가질 수 있으며, 구강 카메라(300)의 일단 및/또는 타단은 돔 형태로 구성될 수 있다.

상기 촬영부(310)는 인체 내부 장기를 촬영하여 영상 데이터를 획득하는 구성요소이다. 본 발명의 실시예에 따르면, 촬영부(310)는 제 1 촬영부(312) 및 제 2 촬영부(314)를 포함한다. 경우에 따라 두 개 이상의 촬영부(예컨대, 3개의 촬영부)가 포함될 수 있다. 이는 구강 카메라(300)의 일단에 형성될 수도 있고, 양단에 모두 형성될 수도 있다.

촬영부(310)는 조명부(미도시)를 포함할 수 있다. 조명부가 인체 내부를 조명하면 제 1 및 제 2 촬영부(312, 314)가 조명 지점의 영상을 촬영한다. 조명부는 하나 이상의 LED 등의 발광 소자를 포함한다. 조명부는 제 1 및 제 2 촬영부(312, 314)의 주위에 배치되어 제 1 및 제 2 촬영부(312, 314)가 촬영하고자 하는 지점을 조명할 수 있다.

조명부는 피검사자에게서 검사할 대상이 무엇인지, 예컨대 암을 검사할 것인지, 암을 검사한다면 어떤 암을 검사할 것인지, 어떤 부위를 검사할 것인지, 단순히 조직의 상태만을 검사할 것인지 등에 따라서 특정 파장의 발광 소자를 사용할 수도 있다. 또한, 촬상 소자로 어떤 소자가 사용되는지에 따라서, 해당 촬상 소자에 적합한 파장의 발광 소자를 사용할 수도 있다.

제 1 및 제 2 촬영부(312, 314)는 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서, CCD(Charge-Coupled Device) 이미지 센서 등의 촬상 소자를 포함한다. 촬상 소자에 의해 획득된 영상은 전기적 데이터 또는 전기적 신호로 변환될 수 있다.

제 1 및 제 2 촬영부(312, 314)는 3D 영상 생성을 위한 구성요소이기에, 사전에 미리 카메라 캘리브레이션이 수행되어 있는 것이 바람직하다. 즉, 영상 처리장치에서의 캘리브레이션과 연관하여 촬영이 이루어지도록 제 1 및 제 2 촬영부(312, 314)에 사용되는 렌즈, 렌즈와 이미지 센서와의 거리, 렌즈와 이미지 센서가 이루는 각 등 카메라 내부의 기구적인 부분은 미리 사용자가 정의하는 바대로 캘리브레이션이 되어 있을 수 있다. 이때, 캘리브레이션과 관련된 정보는 영상 처리장치와 공유될 수 있다.

또한, 제 1 및 제 2 촬영부(312, 314)는 제어부(320)로부터 제공되는 트리거 신호에 반응하여 동일한 인체 내 대상부위를 촬영한다. 다만, 제 1 및 제 2 촬영부(312, 314)가 대상부위를 바라보는 각도는 서로 다를 수 있고, 이에 따라 하나의 대상부위에 대한 좌영상 및 우영상을 획득할 수 있다. 제 1 및 제 2 촬영부(312, 314)는 트리거 신호를 동시에 제공받기 때문에, 동일한 시점에 대상부위를 촬영할 수 있고, 동일 시점의 대상부위의 좌영상 및 우영상이 획득될 수 있다. 3D 영상을 구성하기 위해 좌영상과 우영상의 동기화는 매우 중요한 이슈이고, 따라서, 동일 시점에 촬영된 좌영상 및 우영상은 하나의 패키지로 취급되는 것이 바람직하다.

제어부(320)는 제 1 및 제 2 촬영부(312, 314)를 제어하고 제 1 및 제 2 촬영부(312, 314)에서 촬영된 좌영상과 우영상에 대한 영상 처리를 수행하는 구성요소이다. 제어부(320)는 좌영상과 우영상의 동기를 맞추기 위해, 동일한 시점에 트리거 신호를 제 1 및 제 2 촬영부(312, 314)에 제공한다. 전술한 바와 같이, 트리거 신호는 10ms 이내의 오차로 제 1 및 제 2 촬영부(312, 314)에 도달하는 것이 바람직하다. 제어부(320)는 클럭 주파수를 참조하여 동시에 트리거 신호를 제 1 및 제 2 촬영부(312, 314)로 제공한다.

제어부(320)는 트리거 신호에 의해 동시에 촬영된 좌영상과 우영상을 수신하고, 이를 인코딩한다. 그리고는, 인코딩된 좌영상과 우영상을 묶어서 하나의 프레임 패킷으로 생성한다. 프레임 패킷의 생성은 도 4를 통해, 보다 상세히 설명한다.

전송부(330)는 제어부(320)에서 생성된 영상 프레임을 외부 장치, 예컨대 영상 처리장치(도 1의 150)로 전송한다. 예컨대, 전송부(330)는 영상 데이터를 RF 통신 또는 인체 통신 등을 통해 외부 장치로 전송할 수 있으며, 압축된 영상 데이터 이외의 정보(예를 들어, 음향 정보, 조직 정보, PH 정보, 온도 정보, 전기적 임피던스 정보 등)도 전송할 수 있다.

도 4는 스테레오 영상 프레임의 구성을 설명하기 위한 개념도이다.

도 4를 참조하면, 스테레오 영상 프레임은 헤더(410)와 페이로드(420)로 구성될 수 있다.

먼저, 페이로드(420)에는 인코딩된 제 1 영상(422) 및 제 2 영상(424)이 포함될 수 있다. 여기서, 제 1 영상(422)은 특정 대상부위에 대한 좌영상이고, 제 2 영상(424)은 우영상일 수 있다. 두 영상(422, 424)은 동일시점에 촬영된 영상이기에 하나의 프레임의 페이로드(420)로 묶여서 전송되는 것이 바람직하다.

헤더(410)는 두 영상(422, 424)에 대한 동기정보가 포함될 수 있다. 동기 정보는 두 영상(422, 424)의 촬영시간과 관련된 메타데이터 정보를 포함할 수 있다. 헤더(410)에 포함되는 정보는 스테레오 영상 프레임의 크기, 영상 획득시간, 인코딩 관련 팩터, 해당 영상 프레임의 프레임넘버 등의 정보를 포함할 수 있다.

페이로드(420)에는 1개 패키지의 영상 데이터가 포함될 수 있고, 또는 복수 개 패키지의 영상 프레임이 포함될 수도 있다. 다만, 페이로드(420)에는 동일 시점에 촬영된 패키지 단위로 영상 데이터가 포함되는 것이 바람직하다.

다수 패키지 영상을 전송하는 경우, 프레임 헤더(410)에는 N 개(여기서, N은 2 이상의 자연수임)의 패키지의 영상 프레임에 대한 메타데이터 정보를 포함한다. 이때, 각 패키지에 대한 복수 개의 메타데이터 정보가 포함될 수 있다. 메타데이터 정보는 각 패키지에 대한 동기정보를 포함하고, 그 이외에 포함되는 정보는 앞선 실시예와 유사하다. 그리고, 페이로드(420)에는 N 개 패키지의 제 1 영상(422) 및 제 2 영상(424) 데이터가 연속적으로 저장될 수 있다.

영상 처리장치

도 5는 본 발명의 일 실시예에 따른 구강 카메라와 연동하여 3D 영상을 재생하는 영상 처리장치를 개략적으로 나타낸 블록도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 처리장치(500)는 영상 처리부(510), 스테레오 영상 처리부(520) 및 사용자 인터페이스(530)를 포함할 수 있다.

도 5를 참조하면, 영상 처리부(510)는 구강 카메라로부터 전송되는 스테레오 영상 프레임을 수신한다. 상기 수신된 프레임 내의 데이터는 동일한 피사체에 대해 촬영된 좌영상 및 우영상 패키지를 포함하는 인코딩된 데이터이며, 그 외 다른 정보(예를 들어, 음향 정보, 조직 정보, PH 정보, 온도 정보, 전기적 임피던스 정보 등)도 포함할 수 있다. 한편, 영상 처리부(510)는 구강 카메라 피검사자의 신체에 부착되는 전극 또는 패드 형태로 구성될 수도 있다.

스테레오 영상 처리부(520)는 영상 처리부(510)가 수신한 스테레오 영상 프레임에 포함된 영상 데이터 패키지 및 동기 정보를 추출하여 디코딩하고, 스테레오 영상 처리하여 깊이 맵(depth map)을 생성한다. 그리고, 영상 화질 개선을 수행할 수 있다. 스테레오 영상 처리부(520)는 캘리브레이션, 스테레오 조정, 스테레오 매칭 및 재투영 과정을 수행하여 깊이 맵을 생성할 수 있다. 그리고, 좌/우 원영상에 깊이 맵 기반으로 생성된 디블러링 필터 및 초해상도(Super-Resolution) 기법을 적용하여 화질이 보다 선명하게 개선된 영상을 생성할 수 있다. 스테레오 영상 처리 과정은 도 6을 통해 보다 상세히 설명한다.

사용자 인터페이스(530: GUI)는 좌/우 원영상과 깊이 맵을 기반으로 3D 영상을 재생할 수 있다. 하지만, 보다 바람직하게는, 화질 개선된 영상과 깊이 맵을 기반으로 3D 영상을 재생하는 것이 좋다. 그리고, 영상을 디스플레이하는 중에, 사용자 입력을 수신하여 사용자가 가리키는 객체의 실제 크기를 카메라 캘리브레이션 정보를 기반으로 산출하여 표시할 수 있다.

본 발명의 실시예에 따르면, 영상 처리부(510)만 영상 처리장치(500)의 구성요소로 포함되고, 스테레오 영상 처리부(520) 및 사용자 인터페이스(530)는 별도의 영상 처리 장치로 구현될 수 있다. 또는, 영상 처리장치(500)는 영상 처리부(510)와 스테레오 영상 처리부(520)를 포함하고, 사용자 인터페이스(530)가 별도의 영상 처리 장치로 구현될 수 있다.

도 6은 도 5의 영상 처리장치의 스테레오 영상 처리부를 구체적으로 나타낸 상세블록도이다. 도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 스테레오 영상 처리부(600)는 캘리브레이션 수행부(610), 스테레오 조정부(620), 스테레오 매칭부(630), 재투영부(640) 및 화질 개선 영상 생성부(650)를 포함할 수 있다.

도 6을 참조하면, 도면에 도시되진 않았지만, 수신된 스테레오 영상 프레임을 파싱하여 제 1 영상(좌영상) 및 제 2 영상(우영상) 패키지를 추출한다. 이때, 동기 정보를 파싱하여 어느 시점의 영상인지 파악하고, 좌영상과 우영상은 패키지로 영상처리한다. 먼저, 인코딩된 좌영상과 우영상에 대한 디코딩을 수행한 후, 3D 비전(3D vision)과 관련된 절차가 수행된다.

캘리브레이션 수행부(610)는 좌영상과 우영상과 관련하여, 3D 공간좌표와 2D 영상 좌표 사이의 변환관계 또는 이 변환관계를 설명하는 파라미터를 산출한다.

캘리브레이션 수행부(610)는 구강 카메라의 두 대의 카메라에서 촬영된 체스 보드판 영상 M 장(M은 자연수)을 기반으로 내부 파라미터(Intrinsic Parameter)와 외부 파라미터(Extrinsic Parameter)를 산출한다.

내부 파라미터는 초점거리, 주점(principal point) 및 비대칭 계수(skew coefficient) 등이 사용될 수 있다. 초점거리는 렌즈 중신과 이미지 센서와의 거리를 의미하고, 이는 픽셀 단위로 산출될 수 있다. 주점은 카메라 렌즈의 중심, 즉, 핀홀(pin hole)에서 이미지 센서에 내린 수선의 발의 영상 좌표를 의미하는 것으로써, 역시 픽셀 단위로 산출될 수 있다. 비대칭 계수는 이미지 센서의 셀 어레이(cell array)와 y축이 기울어진 정도를 의미한다.

외부 파라미터는 카메라 좌표계와 월드(world) 좌표계 사이의 변환 관계를 설명하는 파라미터로써 두 좌표계 사이의 회전(rotation) 및 평행이동(translation) 변환으로 표현될 수 있다.

캘리브레이션 수행부(610)는 내외부 파라미터 외에, 각 카메라에 대한 왜곡 파라미터(Distortion Parameter), 캘리브레이션된 카메라들 사이의 위치관계를 나타내는 필수 행렬(Essential Matrix) 및 좌영상과 우영상 간의 대응점과 관련된 정보를 나타내는 기본 행렬(Fundamental Matrix)을 산출할 수 있다.

스테레오 조정부(620)는 캘리브레이션 수행부(610)에서 획득된 정보(예컨대, 내부 파라미터, 외부 파라미터 등)을 가지고 행-정렬된(Row-aligned) 영상을 생성한다. 스테레오 조정부(620)는 캘리브레이션 정보를 가지고 좌영상과 우영상을 교정하여 행-정렬된 하나의 카메라에서 촬영된 것처럼 조정한다.

스테레오 매칭부(630)는 좌영상과 우영상에서 동일한 점을 찾아 매칭한다. 스테레오 매칭은 두 영상에서 겹치는 장면에서만 계산이 가능하다. 스테레오 매칭부(630)는 영상의 밝기를 정규화하고 질감을 향상시키는 전처리를 수행한다. 그리고는, 수평 에피폴라(epipolar) 직선을 따라 SAD(Sum of Absolute Difference: 주어진 윈도우 내부에서 두 영상의 픽셀값들의 차의 절대값을 모두 합한 값) 윈도우를 이동시키며 대응점을 찾고 잘못된 대응점을 제거하는 후처리를 수행하여 매칭한다. 스테레오 매칭부(630)는 대응점 매칭을 통해 디스패리티 맵(disparity map)(시차 지도라고 불릴 수 있음)을 생성할 수 있다. 또한, 좌영상과 우영상의 대응점 정보와 두 카메라 사이의 기준선 분리 정보(baseline separation)를 이용하여 정합 영상을 생성할 수 있다. 이때, 수학적으로 렌즈의 방사 왜곡(radial distortion)과 접속 왜곡(tangential distortion)을 제거할 수 있다.

재투영부(640)는 삼각법을 이용하여 디스패리티 맵을 거리로 환산함으로써 깊이 맵(depth map)을 생성한다. 깊이 맵 생성 이후에는, 오리저널(original) 영상에서 각 지점의 깊이(앞으로 튀어나와 있는지 또는 뒤로 들어가 있는지 여부)를 명확히 알 수 있기 때문에, 깊이 맵을 이용하여 입체적인 형상 또는 해당 형상의 정확한 크기 등을 파악할 수 있다.

화질 개선 영상 생성부(650)는 좌영상과 우영상 중 영상 화질이 좋은 영상 하나를 선택한다. 이때, 영상 한 장을 선택할 수도 있고, 대칭점을 알고 있는 상태에서 픽셀 단위로 화질이 더 좋은 것을 고르는 방법을 이용하여 원 영상 두 장 모두의 화질을 개선시킬 수도 있다. 그리고는, 재투영부(640)에서 생성한 깊이 맵을 이용한 디블러링 필터를 통해 한 장 또는 두 장의 영상의 화질을 개선한다. 즉, 본 발명의 실시예에 따르면, 디블러링 필터를 깊이 맵을 통해 생성하고, 이를 영상 화질 개선에 사용한다. 그리고는, 초해상도 기법을 수행하여 화질 개선을 완료한다.

전체적으로 보면, 스테레오 영상 처리부(600)는 좌영상과 우영상 데이터를 입력으로 받아 깊이 맵 및 화질 개선 영상을 사용자 인터페이스로 출력한다.

스테레오 영상 처리부(600)는 사용자 인터페이스(예컨대, 키보드, 마우스, 터치 스크린, 디스플레이부 등으로 구현됨)를 통해 영상 내의 객체 크기 산출을 요청받은 경우, 해당 객체의 픽셀 데이터와, 카메라 캘리브레이션을 통해 획득된 좌/우 카메라 캘리브레이션 정보를 조합하여 실제 크기를 산출하고 이를 사용자 인터페이스로 제공할 수 있다.

영상 처리장치의 사용자 인터페이스

도 7은 본 발명의 일 실시예에 따라 2D 영상과 3D 영상을 동시에 디스플레이하는 사용자 인터페이스(GUI: Graphical User Interface)를 나타낸 도면이다.

도 7을 참조하면, 2D 영상(710)과 3D 영상(720)은 동시에 디스플레이될 수 있다. 하나의 윈도우 창에서 디스플레이될 수도 있고, 서로 다른 창을 통해 디스플레이될 수도 있다. 또한, 2D 영상(710)과 3D 영상(720)은 동기화되어 동일 시점의 영상이 재생될 수 있다. 반대로, 서로 상이한 시점의 영상들이 하나의 화면에 출력될 수도 있다. 2D 영상(710)은 화질 개선된 영상이 사용될 수 있다.

본 발명의 실시예에 따른 사용자 인터페이스는 다양한 모드를 제공하고, 모드 변경 버튼(730)을 통해 모드를 변경할 수 있다. 모드는 2D의 좌영상과 우영상을 함께 제공하는 모드, 하나의 2D 영상만 제공하는 모드, 하나의 3D 영상만 제공하는 모드, 2D와 3D 영상을 함께 제공하는 모드들을 포함할 수 있다. 사용자는 간단한 조작을 통해 영상의 디스플레이 모드를 변경할 수 있다. 예컨대, 2D 영상을 재생하는 중에 3D 영상을 요청하는 경우, 동일 화면에 2D와 3D를 동시 디스플레이하도록 설정할 수도 있다.

또한, 본 발명의 실시예에 따르면, 3D 영상을 디스플레이할 때, 3차원에서 3D 영상을 자유자재로 조작하기 위한 3D 조작 GUI를 제공할 수 있다.

도 8은 본 발명의 다른 실시예에 따라 물체의 실제 크기 측정을 위한 사용자 인터페이스를 나타낸 도면이다.

도 8을 참조하면, 단일 카메라에서는 영상 내의 특정 픽셀이 몇 mm의 실측 크기에 대응됨을 근거로 영상 내의 객체를 픽셀 단위로 파악하고, 해당 픽셀에 대응되는 실측 크기를 환산하는 방법을 사용하지만, 이러한 방법은 입체적인 부분을 고려하지 않기에 정확도가 떨어진다.

본 발명과 같은 스테레오 카메라를 통한 3D 영상에서는 카메라 캘리브레이션에서 획득한 내부 파라미터를 가지고 픽셀을 특정 길이 단위(예컨대, mm 단위)로 환산할 수 있다.

예컨대, 화질 개선 영상 내에서, 종양과 같이 사용자가 실제 크기를 확인하고자 하는 부분이 있는 경우, 지점(810)부터 지점(820)와 같이 영상 내에서 클릭 등을 통해 확인하고자 하는 부분을 명확히 지정하고, 지정된 부분에 대응하는 실제 픽셀을 식별한다. 그리고, 픽셀들 간의 거리와 카메라 캘리브레이션에서 획득한 내부 파라미터를 3D 비전과 관련된 수학식에 입력하여 그 정확한 실제 크기로 환산할 수 있다. 환산된 크기 값은 화면에 3D 영상과 함께 표시될 수 있다. 이러한 실측 크기를 환산하는 기능은 인체 내의 심각한 병증을 검출하는데 적용될 수 있다.

이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

삼각측량 순서에 따라 동작하고 3차원 물체의 복수화상을 취득하는, 치과용 3D 카메라에 의한 상기 3차원 물체의 광학적 주사 방법으로서, 적어도 하나의 패턴을 상기 물체 상에 투영하면서 상기 카메라에 의해 취득한 상기 물체의 적어도 2매의 화상에 기반하여 적어도 하나의 비교 신호(45, 46,47)를 생성하는 공정과 상기 적어도 하나의 비교 신호에 기반하여 적어도 하나의 카메라 흔들림지수를 결정하는 3D 영상 재생을 위한 구강 카메라.
제 1 항에 있어서,
상기 제어부는 상기 동시에 촬영된 제 1 및 제 2 영상을 하나의 스테레오 영상 프레임으로 생성하는 3D 영상 재생을 위한 구강 카메라.
제 1 항에 있어서,
상기 제 1 촬영부와 상기 제 2 촬영부는 카메라 캘리브레이션(calibration)이 미리 수행되어 있는 3D 영상 재생을 위한 구강 카메라.
제 1 항에 있어서,
상기 제 1 영상은 상기 대상 부위에 대한 좌영상이고, 상기 제 2 영상은 상기 대상 부위에 대한 우영상인 3D 영상 재생을 위한 구강 카메라.
3D 영상 재생을 위한 구강 카메라의 동작 방법에 있어서,
제 1 촬영부 및 제 2 촬영부에 동기화를 위한 트리거 신호를 동시에 제공하는 단계;
상기 제 1 및 제 2 촬영부가 상기 트리거 신호를 기반으로 동시에 인체 내의 대상 부위를 각각 촬영하여 제 1 영상 및 제 2 영상을 생성하는 단계;
동시에 촬영된 제 1 영상 및 제 2 영상을 기반으로 스테레오 영상 프레임을 생성하는 단계; 및
상기 스테레오 영상 프레임을 영상 처리장치로 전송하는 단계를 포함하는 3D 영상 재생을 위한 구강 카메라의 동작 방법.
구강 카메라와 연동하여 3D 영상을 재생하는 영상 처리장치에 있어서,
상기 구강 카메라의 제 1 카메라와 제 2 카메라에서 인체 내의 대상부위를 동시에 촬영하여 생성한 제 1 영상과 제 2 영상을 기반으로 생성된 스테레오 영상 프레임을 구강 카메라로부터 수신하는 영상 처리부;
상기 스테레오 영상 프레임을 영상 처리하여 깊이 맵을 생성하는 스테레오 영상 처리부; 및
상기 제 1 영상, 상기 제 2 영상과 상기 깊이 맵을 기반으로 3D 영상을 재생하는 사용자 인터페이스(GUI: Graphical User Interface)를 포함하는 구강 카메라와 연동하여 3D 영상을 재생하는 영상 처리장치.
제 6 항에 있어서, 상기 스테레오 영상 처리부는:
상기 제 1 영상 및 상기 제 2 영상을 기반을 캘리브레이션(calibration)을 수행하는 캘리브레이션 수행부;
캘리브레이션을 통해 획득한 정보를 기반으로 스테레오 조정(stereo rectification)을 수행하여 행-정렬된 제 1 영상 및 제 2 영상을 생성하는 스테레오 조정부;
상기 행-정렬된 제 1 영상과 제 2 영상에서 동일한 점을 매칭하여 디스패리티 맵(disparity map)을 생성하는 스테레오 매칭부; 및
상기 디스패리티 맵을 거리로 환산하여 깊이 맵(depth map)을 생성하는 재투영부를 포함하는 구강 카메라와 연동하여 3D 영상을 재생하는 영상 처리장치.
제 7 항에 있어서, 상기 스테레오 영상 처리부는
상기 깊이 맵을 기반으로 생성된 디블러링(Deblurring) 필터를 이용하여 상기 제 1 영상 및 상기 제 2 영상의 화질을 개선하는 화질개선 영상 생성부를 더 포함하는 구강 카메라와 연동하여 3D 영상을 재생하는 영상 처리장치.
제 8 항에 있어서, 상기 화질개선 영상 생성부는
상기 제 1 영상 및 상기 제 2 영상 중 화질이 보다 좋은 영상을 선택하거나 또는 픽셀 단위로 더 좋은 화질의 픽셀을 선택하여 영상의 화질을 개선하는 구강 카메라와 연동하여 3D 영상을 재생하는 영상 처리장치.
제 9 항에 있어서, 상기 화질개선 영상 생성부는
Super-Resolution 기법을 이용하여 상기 제 1 영상 및 상기 제 2 영상의 화질을 개선하는 구강 카메라와 연동하여 3D 영상을 재생하는 영상 처리장치.
제 10 항에 있어서,
상기 사용자 인터페이스는 화질 개선된 영상을 기반으로 상기 깊이 맵을 이용하여 3D 영상으로 재생하는 구강 카메라와 연동하여 3D 영상을 재생하는 영상 처리장치.
제 10 항에 있어서,
상기 사용자 인터페이스는 상기 화질 개선된 영상에서 사용자 입력에 의해 선택된 특정 객체의 크기를 카메라 캘리브레이션을 통해 획득된 파라미터를 기반으로 측정하는 기능을 제공하는 구강 카메라와 연동하여 3D 영상을 재생하는 영상 처리장치.
제 6 항에 있어서,
상기 사용자 인터페이스는 2D 영상과 3D 영상을 함께 디스플레이하는 구강 카메라와 연동하여 3D 영상을 재생하는 영상 처리장치.
제 6 항에 있어서,
상기 사용자 인터페이스는 상기 3D 영상을 3차원에서 조작하는 3차원 조작 인터페이스를 포함하는 구강 카메라와 연동하여 3D 영상을 재생하는 영상 처리장치.
구강 카메라와 연동하여 영상 처리장치의 3D 영상을 재생하는 방법에 있어서,
상기 구강 카메라의 제 1 카메라와 제 2 카메라에서 인체 내의 대상부위를 동시에 촬영하여 생성한 제 1 영상과 제 2 영상을 기반으로 생성된 스테레오 영상 프레임을 구강 카메라로부터 수신하는 단계;
상기 스테레오 영상 프레임을 영상 처리하여 깊이 맵을 생성하는 단계; 및
상기 제 1 영상, 상기 제 2 영상과 상기 깊이 맵을 기반으로 3D 영상을 재생하는 단계를 포함하는 구강 카메라와 연동하여 영상 처리장치의 3D 영상을 재생하는 방법.
3D 영상 재생을 위한 장치에 있어서,
트리거 신호를 기반으로 제 1 촬영부와 제 2 촬영부를 통해 인체 내의 대상부위를 동시에 촬영하여 제 1 영상 및 제 2 영상을 생성하고, 상기 제 1 영상 및 제 2 영상을 기반으로 스테레오 영상 프레임을 생성하여 영상 처리장치로 전송하는 구강 카메라; 및
상기 스테레오 영상 프레임을 구강 카메라로부터 수신하고 상기 수신된 스테레오 영상 프레임을 영상 처리하여 깊이 맵을 생성하며, 상기 제 1 영상, 상기 제 2 영상과 상기 깊이 맵을 기반으로 기반으로 3D 영상을 재생하는 영상 처리장치를 포함하는 3D 영상 재생을 위한 장치.
3D 영상 재생을 위한 장치에 있어서,
트리거 신호를 기반으로 제 1 촬영부와 제 2 촬영부를 통해 인체 내의 대상부위를 동시에 촬영하여 제 1 영상 및 제 2 영상을 생성하고, 상기 제 1 영상 및 제 2 영상을 기반으로 스테레오 영상 프레임을 생성하여 영상 처리장치로 전송하는 구강 카메라;
상기 스테레오 영상 프레임을 구강 카메라로부터 수신하여 영상 처리 장치로 제공하는 영상 처리장치; 및
상기 스테레오 영상 프레임을 수신하여 영상 처리함으로써 깊이 맵을 생성하고, 상기 제 1 영상, 상기 제 2 영상 및 상기 깊이 맵을 기반으로 3D 영상을 재생하는 영상 처리 장치를 포함하는 3D 영상 재생을 위한 장치.