KR20170095035A - 360도 영상 처리 방법 및 장치 - Google Patents

360도 영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20170095035A
KR20170095035A KR1020160016521A KR20160016521A KR20170095035A KR 20170095035 A KR20170095035 A KR 20170095035A KR 1020160016521 A KR1020160016521 A KR 1020160016521A KR 20160016521 A KR20160016521 A KR 20160016521A KR 20170095035 A KR20170095035 A KR 20170095035A
Authority
KR
South Korea
Prior art keywords
image
degree
degree image
interpolation method
rotation angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020160016521A
Other languages
English (en)
Other versions
KR102523997B1 (ko
Inventor
최병두
에릭 입
송재연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020160016521A priority Critical patent/KR102523997B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN202210312792.0A priority patent/CN114727091B/zh
Priority to US16/076,917 priority patent/US10992918B2/en
Priority to EP20175689.7A priority patent/EP3720114B1/en
Priority to EP17750493.3A priority patent/EP3416372A4/en
Priority to CN201780010857.3A priority patent/CN108605093B/zh
Priority to PCT/KR2017/001565 priority patent/WO2017138801A1/ko
Publication of KR20170095035A publication Critical patent/KR20170095035A/ko
Priority to US17/238,864 priority patent/US11490065B2/en
Priority to KR1020230050096A priority patent/KR102564732B1/ko
Application granted granted Critical
Publication of KR102523997B1 publication Critical patent/KR102523997B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from three-dimensional [3D] object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T3/0037—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/0059—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more two-dimensional [2D] image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 개시는 4G 시스템 이후 보다 높은 데이터 전송률을 지원하기 위한 5G 통신 시스템을 IoT 기술과 융합하는 통신 기법 및 그 시스템에 관한 것이다. 본 개시는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스 (예를 들어, 스마트 홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 헬스 케어, 디지털 교육, 소매업, 보안 및 안전 관련 서비스 등)에도 적용될 수 있다.
본 발명은 360도 영상의 처리 방법에 있어서, 360도 영상을 매핑시킬 3차원(3dimension: 3D) 모델을 결정하고, 상기 360도 영상에 대한 분할(partition) 크기를 결정하고, 상기 360도 영상의 x, y, z축 각각에 대한 회전 각도를 결정하고, 상기 360도 영상을 2차원(2dimension: 2D) 영상에 맵핑 시 적용할 보간 방법을 결정하고, 상기 결정된 3D 모델, 분할 크기, 회전 각도, 및 보간 방법을 기반으로 상기 360도 영상을 상기 2D 영상으로 변환한다.

Description

360도 영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING 360 IMAGE}
본 발명은 360도 영상을 처리하는 방법 및 장치에 관한 것으로, 특히 기존의 UHD(ultra-HD) 디스플레이 이후 보다 실감미디어 영상 서비스를 위한 가상 현실 영상 디바이스에 적용 가능한 360도 영상을 처리하는 방법 및 장치에 관한 것이다.
4G (4th-Generation) 통신 시스템 상용화 이후 증가 추세에 있는 무선 데이터 트래픽 수요를 충족시키기 위해, 개선된 5G (5th-Generation) 통신 시스템 또는 pre-5G 통신 시스템을 개발하기 위한 노력이 이루어지고 있다. 이러한 이유로, 5G 통신 시스템 또는 pre-5G 통신 시스템은 4G 네트워크 이후 (Beyond 4G Network) 통신 시스템 또는 LTE 시스템 이후 (Post LTE) 이후의 시스템이라 불리어지고 있다.
높은 데이터 전송률을 달성하기 위해, 5G 통신 시스템은 초고주파 (mmWave) 대역 (예를 들어, 60기가 (60GHz) 대역과 같은)에서의 구현이 고려되고 있다. 초고주파 대역에서의 전파의 경로 손실 완화 및 전파의 전달 거리를 증가시키기 위해, 5G 통신 시스템에서는 빔포밍 (beamforming), 거대 배열 다중 입출력 (massive multi-input multi-output: massive MIMO), 전차원 다중입출력 (Full Dimensional MIMO: FD-MIMO), 어레이 안테나 (array antenna), 아날로그 빔형성 (analog beam-forming), 및 대규모 안테나 (large scale antenna) 기술들이 논의되고 있다.
또한 시스템의 네트워크 개선을 위해, 5G 통신 시스템에서는 진화된 소형 셀, 개선된 소형 셀 (advanced small cell), 클라우드 무선 액세스 네트워크 (cloud radio access network: cloud RAN), 초고밀도 네트워크 (ultra-dense network), 기기 간 통신 (Device to Device communication: D2D), 무선 백홀 (wireless backhaul), 이동 네트워크 (moving network), 협력 통신 (cooperative communication), CoMP (Coordinated Multi-Points), 및 수신 간섭제거 (interference cancellation) 등의 기술 개발이 이루어지고 있다.
이 밖에도, 5G 시스템에서는 진보된 코딩 변조 (Advanced Coding Modulation: ACM) 방식인 FQAM (Hybrid FSK and QAM Modulation) 및 SWSC (Sliding Window Superposition Coding)과, 진보된 접속 기술인 FBMC (Filter Bank Multi Carrier), NOMA (non orthogonal multiple access), 및 SCMA (sparse code multiple access) 등이 개발되고 있다.
한편, 인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 사물인터넷 (Internet of Things: IoT) 망으로 진화하고 있다. IoE (Internet of Everything) 기술은 클라우드 서버 등과의 연결을 통한 빅 데이터 (Big data) 처리 기술 등이 IoT 기술에 결합된 하나의 예가 될 수 있다.
IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술 등과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크 (sensor network), 사물 통신 (Machine to Machine: M2M), MTC (Machine Type Communication) 등의 기술이 연구되고 있다.
IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT (Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT 기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.
이에, 5G 통신 시스템을 IoT 망에 적용하기 위한 다양한 시도들이 이루어지고 있다. 예를 들어, 센서 네트워크, 사물 통신, MTC 등의 기술이 5G 통신 기술이 빔 포밍, MIMO, 및 어레이 안테나 등의 기법에 의해 구현되고 있는 것이다. 앞서 설명한 빅 데이터 처리 기술로써 클라우드 무선 액세스 네트워크가 적용되는 것도 5G 기술과 IoT 기술 융합의 일 예라고 할 수 있을 것이다.
한편, 가상 현실(virtual reality: VR)을 위한 360도 영상을 처리하는 장치는 여러 대의 카메라로 촬영된 360도 멀티뷰 영상을 3차원(3dimension: 3D) 모델, 일례로 구(sphere), 정육면체(cube), 원기둥(cylinder) 등의 표면(surface)에 맵핑시켜 3D 영상을 생성하고, 헤드 마운트 디스플레이(head mount display: HMD) 장치는 이렇게 생성된 3D 영상의 특정 뷰(view)에 해당하는 장면을 렌더링(rendering)하여 사용자에게 디스플레이 한다. 이때 원격에 있는 사용자에게 360도 영상 콘텐츠를 전송하기 위해서는 360도 영상 콘텐츠를 압축하고 저장하여 전송하는 장치 및 전송을 위한 포맷 등이 필요하나, 현재로서는 이러한 장치 및 전송 포맷이 존재하지 않는다.
따라서 360도 영상 콘텐츠를 압축하고 저장하여 전송하는 장치와 전송을 위한 포맷에 대한 연구가 필요하다.
본 발명의 일 실시예는 360도 영상을 처리하는 방법 및 장치를 제안한다.
또한 본 발명의 일 실시예는 360도 영상을 2D 영상으로 변환하는 방법 및 장치를 제안한다.
또한 본 발명의 일 실시예는 360도 영상을 2D 영상으로 변환 시 고려되는 파라미터들을 메타데이터화하는 방법 및 장치를 제안한다.
또한 본 발명의 일 실시예는 360도 영상을 2D 영상으로 변환 시 고려되는 파라미터들을 기반으로 상기 2D 영상을 상기 360도 영상으로 복원하는 방법 및 장치를 제안한다.
본 발명의 일 실시예에서 제안하는 방법은; 360도 영상의 처리 방법에 있어서, 360도 영상을 매핑시킬 3차원(3dimension: 3D) 모델을 결정하고, 상기 360도 영상에 대한 분할(partition) 크기를 결정하는 과정과, 상기 360도 영상의 x, y, z축 각각에 대한 회전 각도를 결정하는 과정과, 상기 360도 영상을 2차원(2dimension: 2D) 영상에 맵핑 시 적용할 보간 방법을 결정하는 과정과, 상기 결정된 3D 모델, 분할 크기, 회전 각도, 및 보간 방법을 기반으로 상기 360도 영상을 상기 2D 영상으로 변환하는 과정을 포함한다.
본 발명의 다른 실시예에서 제안하는 방법은; 360도 영상의 처리 방법에 있어서, 2차원(2dimension: 2D) 영상과, 360도 영상을 상기 2D 영상으로 변환하는데 관련된 메타데이터를 확인하는 과정과, 상기 메타데이터로부터 상기 360도 영상을 매핑시킨 3차원(3dimension: 3D) 모델, 상기 360도 영상에 대한 분할 크기, 상기 360도 영상의 x, y, z축 각각에 대한 회전 각도, 상기 360도 영상을 상기 2D 영상에 맵핑 시 적용한 보간 방법 각각에 관련된 정보를 획득하는 과정과, 상기 획득한 정보를 기반으로 상기 2D 영상을 상기 360도 영상으로 복원하는 과정을 포함한다.
본 발명의 일 실시예에서 제안하는 장치는; 360도 영상의 처리 장치에 있어서, 360도 영상을 매핑시킬 3차원(3dimension: 3D) 모델을 결정하고, 상기 360도 영상에 대한 분할(partition) 크기를 결정하고, 상기 360도 영상의 x, y, z축 각각에 대한 회전 각도를 결정하고, 상기 360도 영상을 2차원(2dimension: 2D) 영상에 맵핑 시 적용할 보간 방법을 결정하는 제어부와, 상기 결정된 3D 모델, 분할 크기, 회전 각도, 및 보간 방법을 기반으로 상기 360도 영상을 상기 2D 영상으로 변환하는 변환부를 포함한다.
본 발명의 다른 실시예에서 제안하는 장치는; 360도 영상의 처리 장치에 있어서, 2차원(2dimension: 2D) 영상과, 360도 영상을 상기 2D 영상으로 변환하는데 관련된 메타데이터를 확인하고, 상기 메타데이터로부터 상기 360도 영상을 매핑시킨 3차원(3dimension: 3D) 모델, 상기 360도 영상에 대한 분할 크기, 상기 360도 영상의 x, y, z축 각각에 대한 회전 각도, 상기 360도 영상을 상기 2D 영상에 맵핑 시 적용한 보간 방법 각각에 관련된 정보를 획득하는 제어부와, 상기 획득한 정보를 기반으로 상기 2D 영상을 상기 360도 영상으로 복원하는 역변환부를 포함한다.
본 발명의 다른 측면들과, 이득들 및 핵심적인 특징들은 부가 도면들과 함께 처리되고, 본 발명의 바람직한 실시예들을 게시하는, 하기의 구체적인 설명으로부터 해당 기술 분야의 당업자에게 자명할 것이다.
본 발명의 일 실시예는 360도 영상을 처리한다는 효과가 있다.
또한 본 발명의 일 실시예는 360도 영상을 2D 영상으로 변환한다는 효과가 있다.
또한 본 발명의 일 실시예는 360도 영상을 2D 영상으로 변환 시 고려되는 파라미터들을 메타데이터화 한다는 효과가 있다.
또한 본 발명의 일 실시예는 360도 영상을 2D 영상으로 변환 시 고려되는 파라미터들을 기반으로 상기 2D 영상을 상기 360도 영상으로 복원한다는 효과가 있다.
본 발명의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 360도 영상을 처리하는 영상 처리 장치의 구성 블록을 나타낸 도면,
도 2a 내지 2c는 2D 영상과 3D 영상 간의 변환/역변환의 예를 나타낸 도면,
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치가 360도 영상을 2D 영상으로 변환하는 동작을 나타낸 순서도,
도 4a 및 도 4b는 본 발명의 일 실시예에 따라 3D 영상을 2D 영상으로 변환 시 고려되는 분할 크기를 적응적으로 결정하는 예를 나타낸 도면,
도 5는 본 발명의 다른 실시예에 따라 3D 영상을 2D 영상으로 변환 시 고려되는 회전 각도를 적응적으로 결정하는 예를 나타낸 도면,
도 6은 본 발명의 또 다른 실시예에 따라 3D 영상을 2D 영상으로 변환 시 고려되는 제어 그리드 보간 방법의 적용 여부를 적응적으로 결정하는 예를 나타낸 도면,
도 7은 본 발명의 일 실시예에 따른 영상 처리 장치가 2D 영상을 360도 영상으로 복원하는 동작을 나타낸 순서도.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.
이하, 본 발명의 실시 예들을 첨부한 도면들을 참조하여 상세히 설명한다.
본 발명의 다양한 실시예들에 따르면, 전자 디바이스는 가상 현실(virtual reality: VR) 기기(일례로 360도 영상 카메라, 헤드-마운티드 디바이스(head mounted display: HMD), 스마트 안경(smart glasses) 등), 스마트 폰(smart phone), 태블릿(tablet) 개인용 컴퓨터(personal computer: PC), 이동 전화기, 화상 전화기, 전자책 리더(e-book reader), 데스크 탑(desktop) PC, 랩탑(laptop) PC, 넷북(netbook) PC, 개인용 복합 단말기(personal digital assistant: PDA), 휴대용 멀티미디어 플레이어(portable multimedia player: PMP), 엠피3 플레이어(mp3 player), 이동 의료 디바이스, 카메라, 웨어러블 디바이스(wearable device)(일례로 HMD), 전자 의류, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 워치(smart watch) 등을 포함한다.
또한 본 발명의 다양한 실시예들에 따르면, 전자 디바이스는 스마트 가정용 기기, 일례로 텔레비젼, 디지털 비디오 디스크(digital video disk: DVD) 플레이어, 오디오, 냉장고, 에어 컨디셔너, 진공 청소기, 오븐, 마이크로웨이브 오븐, 워셔, 드라이어, 공기 청정기, 셋-탑 박스(set-top box), TV 박스, 게임 콘솔(gaming console), 전자 사전, 캠코더, 전자 사진 프레임 등을 포함한다.
또한 본 발명의 다양한 실시예들에 따르면, 전자 디바이스는 의료 기기, 네비게이션(navigation) 디바이스, 전세계 위치 시스템(global positioning system: GPS) 수신기, 사고 기록 장치(event data recorder: EDR), 비행 기록 장치(flight data recorder: FDR), 자동차 인포테인먼트 디바이스(automotive infotainment device), 항해 전자 디바이스, 항공 전자 디바이스와, 보안 디바이스와, 산업용 혹은 소비자용 로봇(robot) 등을 포함한다.
본 발명의 다양한 실시예들에 따르면, 전자 디바이스는 상기에서 설명한 바와 같은 디바이스들의 조합이 될 수 있다. 또한, 본 발명의 바람직한 실시예들에 따른 전자 디바이스는 상기에서 설명한 바와 같은 디바이스에 한정되는 것이 아니라는 것은 당업자에게 자명할 것이다.
도 1은 360도 영상을 처리하는 영상 처리 장치의 구성 블록을 나타낸 도면이다.
도 1을 참조하면, 도시된 영상 처리 장치는 맵핑부(103), 변환부(105), 부호화부(encoder)(107), 저장부(109), 복호화부(decoder)(111), 역변환부(113), 및 재생부(115)를 포함한다.
여러 대의 카메라로 촬영한 360도 멀티뷰 영상(100)은 맵핑부(103)에 입력되고, 맵핑부(103)는 360도 멀티뷰 영상(100)을 3D 모델, 일례로 구의 표면에 맵핑시켜 3D 영상(110)을 생성하여 출력한다.
상기 3D 영상(110)은 변환부(105)에 입력되고, 변환부(105)는 입력된 3D 영상(110)을 2D 영상(120)으로 변환하여 출력한다. 상기 2D 영상(120)은 부호화부(107)에 입력되고, 부호화부(107)는 입력된 2D 영상(120)을 미리 정해진 부호화 방식을 이용하여 부호화하여 출력한다. 상기 부호화된 2D 영상은 저장부(109)에 저장된다.
저장부로부터 출력된 2D 영상은 복호화부(111)에 입력되고, 복호화부(111)는 입력된 영상을 미리 정해진 복호 방식으로 복호하여 출력한다. 상기 복호된 2D 영상은 역변환부(113)에 입력되고, 역변환부(113)는 입력된 2D 영상을 3D 영상으로 역변환하여 출력한다.
상기 역변환된 3D 영상(130)은 재생부(115)에 입력되고, 재생부(115)는 입력된 영상을 디스플레이한다.
이와 같이 도 1에 도시된 영상 처리 장치는 입력된 360도 멀티뷰 영상(100)을 기반으로 3D 영상(110)을 생성한 뒤 2D 영상(120)으로 변환하여 저장하고, 다시 3D 영상(130)으로 역변환하여 전송함을 특징으로 한다. 상기 영상 처리 장치의 동작은 맵핑부(103)가 360도 멀티뷰 영상(100)을 기반으로 3D 영상(110)을 생성하는 생성 단계와, 변환부(105), 부호화부(107), 및 저장부(109)가 3D 영상(110)을 2D 영상(120)로 변환하여 저장 및 전송하는 저장/전송 단계와, 재생부(115)가 2D 영상(120)을 역변환시킨 3D 영상(130)을 디스플레이하는 표현/재생 단계의 동작으로 구분할 수 있다.
도 2a 내지 2c는 2D 영상과 3D 영상 간의 변환/역변환의 예를 나타낸 도면이다.
도 2a는 2D 영상을 3D 모델의 구 표면에 맵핑시킨 예를 나타낸 것이다. 2D 영상 좌표를 (s,t)라 가정할 때 구 표면에 대한 3D 영상 좌표는 x=r sin(πt) sin(2πs), y=r sin(πt) cos(2πs), z=r cos(πt)와 같이 표현되며, 2D 영상 좌표와 3D 영상 좌표를 통해 2D 영상과 3D 영상 간의 변환/역변환을 수행할 수 있다.
도 2b는 2D 영상을 3D 모델의 원기둥 표면에 맵핑시킨 예를 나타낸 것이다. 2D 영상 좌표를 (s,t)라 가정할 때 원기둥 표면에 대한 3D 영상 좌표는 x=r sin(2πs), y=r cos(2πs), z=t와 같이 표현되며, 2D 영상 좌표와 3D 영상 좌표를 통해 2D 영상과 3D 영상 간의 변환/역변환을 수행할 수 있다.
도 2c는 2D 영상을 3D 모델의 정육면체에 맵핑시킨 예를 나타낸 것이다. 2D 영상은 정육면체의 각 면(face)에 대응되는 6개의 텍스처(texture)로 나타낼 수 있고, 상기 텍스처 각각을 정육면체의 각 면에 맵핑시켜 3D 영상으로 변환할 수 있다. 또한 상기 정육면체의 각 면을 6개의 텍스처에 디맵핑시켜 3D 영상을 2D 영상으로 역변환할 수 있다.
이렇게 2D 영상을 3D 모델의 구, 원기둥, 정육면체 중 어느 표면에 맵핑시킬지에 대한 판단은 VR 콘텐츠(즉 3D 영상)를 생성하는 생성자, 일례로 맵핑부가 결정하며, 상기 맵핑에 관련된 정보는 메타데이터(metadata) 형태로 사용자 단말에게 전송된다.
도 2a 내지 도 2c에 나타낸 맵핑 방식은 각각 장단점이 있으나, 일반적으로 변환 과정에서는 영상의 왜곡(distortion)이 공통적으로 발생된다. 특히 360도 구형 영상을 2D 영상으로 변환하는 등장방형 도법(equirectangular projection)의 경우 2D 영상의 위, 아래, 가장자리 부분에서 중앙부분보다 상대적으로 심한 왜곡이 발생되고, 이로 인해 HMD 장치로 2D 영상의 위, 아래, 가장자리 부분을 보았을 때 몰입감이 상당히 저하될 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치가 360도 영상을 2D 영상으로 변환하는 동작을 나타낸 순서도이다.
도 3을 참조하면, 302단계에서 영상처리 장치는 360도 영상을 맵핑시킬 3D 모델을 결정한다. 여기서 3D 모델은 일례로 구(sphere), 원기둥(cylinder), 정육면체(cube), 피라미드(pyramid), 다면체(polyhedron) 등이 될 수 있다. 304단계에서 영상처리 장치는 302단계에서 선택된 3D 모델에 맵핑시킨 3D 영상에 대한 분할 크기(partition size)를 결정한다. 상기 분할 크기는 일례로 가로 및 세로 픽셀(pixel) 수로 나타낼 수 있으며, 일례로 256, 128, 64, 32, 16 픽셀 등이 될 수 있다. 또 다른 예로서 상기 분할 크기는 가로 및 세로 방향 각도(angle)의 간격으로 나타낼 수 있으며, 일례로 90°, 60°, 45°, 30°, 15° 등이 될 수 있다. 304단계에서 분할 크기는 영상 전체의 왜곡 정도와 메타데이터의 발생량을 고려하여 전체 RD(rate-distortion) 코스트(cost)를 최소화하는 값으로 결정된다.
306단계에서 영상처리 장치는 3D 영상에 대한 세가지 방향, 즉 x, y, z 축 각각에 관련한 회전 각도를 결정한다. 상기 회전 각도는 일례로 0도, 90도, 180도 등이 될 수 있다. 308단계에서 영상처리 장치는 3D 영상을 2D 영상으로 변환(또는 맵핑)시 적용할 보간 방법을 결정한다. 상기 보간 방법은 일례로 인접 픽셀 복사(nearest neighbor) 보간법, 이중선형(bilinear) 보간법, 비-스플라인(b-spline) 보간법 등이 될 수 있다. 310단계에서 영상처리 장치는 3D 영상을 2D 영상으로 변환 시 경계점 제어 보간(control grid interpolation) 방법을 적용할지 여부를 결정한다. 여기서 경계점 제어 보간이라 함은 304단계에서 결정된 분할 크기에 따라 3D 영상을 분할할 때, 다각형, 일례로 삼각형 또는 사각형 모양으로 분할된 영역의 모서리(corner) 부분을 일정 거리 (dx, dy)만큼 상하좌우로 이동시켜 다른 형태로 워핑(warping)시키는 것을 의미한다.
312단계에서 영상처리 장치는 302단계 내지 310단계에서 결정된 결과를 기반으로 3D 영상을 2D 영상으로 변환하는 것이 미리 정해진 비트레이트(bitrate) 내에서 열화(distortion)를 최소화하는 최적의 방법인지 여부를 검사한다. 312단계 검사 결과 302단계 내지 310단계에서 결정된 결과를 기반으로 3D 영상을 2D 영상으로 변환하는 것이 최적의 방법일 경우, 영상처리 장치는 314단계로 진행하여 최종 결정된 결과를 기반으로 360도 영상을 2D 영상으로 변환하고, 변환에 관련된 정보를 메타데이터화 한다. 여기서 변환에 관련된 정보는 기본적으로 302단계에서 결정한 3D 모델에 관련된 정보, 304단계에서 결정한 분할 크기에 관련된 정보, 306단계에서 결정한 회전 각도에 대한 정보, 308단계에서 결정한 보간 방법에 대한 정보를 포함하며, 추가적으로 310단계에서 결정한 경계점 제어 보간을 적용할지 여부에 대한 정보를 포함한다.
316단계에서 영상처리 장치는 변환된 2D 영상 데이터와 변환에 관련된 메타데이터를 저장한다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따라 3D 영상을 2D 영상으로 변환 시 고려되는 분할 크기를 적응적으로 결정하는 예를 나타낸 도면이다.
VR을 위한 3D 영상이 360도 구형 영상으로 존재할 경우, 구형 표면은 도 4a에 도시된 바와 같이 다양한 크기로 분할될 수 있다. 또한 이러한 360도 구형 영상은 등장방형 도법과 같은 지도 제작 맵핑(cartography mapping) 방법을 이용하여 도 4b에 도시된 2D 영상과 같이 변환할 수 있다. 이때 2D 영상의 분할된 각 영역에 해당하는 픽셀 값은 구형 표면에서 분할된 각 영역에 해당하는 픽셀 값과 동일한 값으로 결정되며, 2D 영상 내의 분할된 영역들 중 특정 영역이 360도 구형 영상 내의 분할된 영역들 중 특정 영역에 매핑되는 것은 3D 영상을 2D 영상으로 변환하는데 사용되는 알고리즘에 의해 결정된다.
3D 영상을 2D 영상으로 변환할 때, 360도 구형 영상의 한 픽셀이 2D 영상의 한 픽셀로 정확히 맵핑되는 경우에는 2D 영상의 픽셀 값을 360도 구형 영상의 해당 픽셀 값으로 결정한다. 그러나 360도 구형 영상의 한 픽셀이 2D 영상의 픽셀들 간의 중간지점에 매핑되는 경우 주변 픽셀들 값을 기반으로 하는 보간(interpolation)을 통해 2D 영상의 픽셀 값을 결정한다.
메모리 대역폭(bandwidth)과 파이프라인 처리(pipeline processing)를 위해서는 블록 단위로 매핑되는 것이 효율적이며, 도 4a에서 분할된 각 영역들은 도 4b에서 분할된 각 영역들에 맵핑된다. 이때 도 4b의 2D 영상에서 분할된 영역들의 모양은 관련 위치에 따라 상이하며, 이로 인해 2D 영상에서 분할된 영역들 각각에 대한 변환 방법(또는 방정식)은 다르고 영상의 왜곡 정도도 달라진다. 따라서 영상 전체의 왜곡을 최소화하기 위해서는, 영상 내 중요 콘텐츠를 분할된 영역들 중 왜곡이 적은 영역 위치에 배치하고, 영상 내 배경처럼 상대적으로 중요도가 낮은 콘텐츠를 왜곡이 심한 위치에 배치해야 한다. 결국 영상의 왜곡을 최소화하기 위해서는 콘텐츠 별로 3D 모델 표면의 분할된 영역들 각각을 2D 영상의 분할된 영역들 중 어느 위치에 맵핑시킬지 결정하는 것이 매우 중요하며, 이러한 맵핑 관계는 콘텐츠를 생성하는 맵핑부에 가이드(guide)를 제공하여 지정하거나, 영상 콘텐츠를 분석하여 중요 객체(object)의 왜곡이 적어지도록 지정하거나, 각 맵핑 위치에 따라 3D 영상을 2D 영상으로 변환한 후 영상 전체의 왜곡 정도를 비교하여 왜곡이 최소화 되도록 지정할 수 있다.
3D 모델 표면의 분할된 영역들이 2D 영상의 분할된 영역들 중 어떤 위치의 영역에 맵핑되는지를 나타내는 맵핑 관계는 인덱스로 표현될 수 있다. 구형의 3D 모델을 가정할 경우, θx, θy 값으로 지정되는 3D 모델 표면의 분할된 영역들 각각에 대하여 2D 영상의 좌상측 위치부터 래스터 주사(raster scan) 방식에 따른 순서로 지정되는 인덱스 값을 맵핑시킬 수 있다. 여기서 래스터 주사 방식이라 함은 픽셀로 이루어지는 수평 주사선을 화면의 위에서부터 아래로 내려가면서 옆으로 끌듯이 한 줄씩 주사하여 화면을 형성하는 주사 방식을 의미한다. 3D 영상과 2D 영상의 맵핑 관계는 영상의 비트스트림(bitstream)에 저장되며, 이때 맵핑 관계는 메타데이터화되어 룩업 테이블(look-up table) 형태로 저장된다.
또한 해당 메타데이터는 평면 영상, 즉 2D 영상에서 수평 위치를 나타내는 x축과 수직 위치를 나타내는 y축을 기준으로, w 픽셀 개수 만큼의 가로 크기(width)와 h 픽셀 개수 만큼의 세로 크기(height)를 갖는 영상 분할(partition)이 구형(sphere)의 표면(surface)에 어떤 위치(θx, θy)에서 얼마만큼의 영역(dθx, dθy)에 맵핑되는지의 정보를 나타낸다.
한편 분할된 각 영역들의 크기 및 모양은 적응적으로 결정될 수 있으며, 도 4a는 분할 크기가 조절되는 예를 나타내고 있다. 일반적으로 분할 크기가 상대적으로 클 경우에는 계산량이 많아지고 3D 영상과 2D 영상에서 분할된 영역 간에 맵핑할 수 있는 자유도는 낮아지나 보다 정교한 보간이 가능하게 해주고, 분할 크기가 상대적으로 작을 경우에는 계산량이 적어지고 보간의 정밀도는 낮아지나 3D 영상과 2D 영상에서 분할된 영역 간에 맵핑할 수 있는 자유도는 증가한다. 또한 분할 크기가 작아질수록 맵핑의 자유도가 증가하므로 그만큼 메타데이터의 양도 증가하게 된다. 결국 분할 크기 및 모양은 영상 전체의 왜곡 정도와 메타데이터의 발생량을 고려하여 전체 RD 코스트를 최소화하는 방향으로 결정하게 된다.
3D 모델 표면의 분할된 영역들에 대한 분할 크기는 메타데이터 화되며, 상기 분할 크기를 나타내는데 필요한 메타데이터는 unsigned int partitionWidth; unsigned int partitionHeight; int interpolType을 포함한다. 여기서 unsigned int partitionWidth는 관련 분할 크기에 따라 분할된 영역들의 너비(width)를 나타내고, unsigned int partitionHeight는 관련 분할 크기에 따라 분할된 영역들의 높이(height) 를 나타내고, int interpolType은 보간 방법을 나타낸다. 또한 상기 int interpolType은 하기 표 1과 같은 룩업 테이블 형태로 정의된다.
Value interpolType
0x00 Nearest neighbor 보간법
0x01 Bi-linear 보간법
0x02 B-spline 보간법
0x03-0xFF 예약됨(reserved)
표 1에서 0x00 값으로 표현되는 nearest neighbor 보간법은 일정간격의 메시 정점을 보간점으로 하고, 그곳으로부터 가장 가까운 거리에 있는 점의 값을 보간점의 값으로 결정하는 방법을 의미한다. 0x01 값으로 표현되는 이중선형 보간법은 두 지점 사이의 값을 추정할 때 그 값을 두 지점과의 직선 거리에 따라 선형적으로 결정하는 방법을 2차원으로 확장한 방법을 의미한다. 0x02 값으로 표현되는 비-스플라인 보간법은 전체 구간을 소구간별로 나누어 저차수의 다항식으로 매끄러운 함수를 구하는 방법을 의미한다. 그 밖에 0x03-0xFF 값은 nearest neighbor 보간법, 이중선형 보간법, 비-스플라인 보간법을 제외한 다른 보간 방법을 나타내기 위해 예약된 값을 의미한다.
도 5는 본 발명의 다른 실시예에 따라 3D 영상을 2D 영상으로 변환 시 고려되는 회전 각도를 적응적으로 결정하는 예를 나타낸 도면이다.
도 5를 참조하면, VR을 위한 3D 영상이 360도 구형 영상으로 존재할 경우, 360도 구형 영상은 x, y, z 축과 같이 세가지 방향으로 회전시킬 수 있다. 도 5에서는 360도 구형 영상을 90도, 180도, 270도 회전한 예를 나타내었다.
3D 모델 표면의 분할된 영역 별로 2D 영상의 분할된 영역들 중 어떤 위치의 영역에 맵핑되는지를 나타내는 맵핑 관계는 룩업 테이블 형태의 인덱스로 표현되는데, 이 경우 비트스트림에 저장되는 메타데이터의 양은 매우 크다. 전체 RD 코스트를 줄이기 위해서는 메타데이터 양을 줄여야만 하는데 메타데이터 양을 줄이기 위해 맵핑 관계를 회전 정도를 나타내는 인덱스로 표현할 수도 있다.
360도 구형 영상을 세가지 방향으로 회전시킨 후 기존과 동일하게 복수개의 영역들로 분할하여 2D 영상에 맵핑하더라도 실질적으로 원본 영상 내 객체의 위치는 변하게 된다. 즉 3D 영상을 세가지 방향으로 회전한 360도 구형 영상의 각 회전 방향에 대한 회전 각도는 인덱스로 표현될 수 있으며, 비트스트림에 상기 회전 각도에 대한 인덱스만 저장하여 전송하여도 3D 영상과 2D 영상에서 분할된 영역 간에 맵핑할 수 있는 자유도는 증가한다.
3D 모델 표면의 분할된 영역들이 2D 영상의 분할된 영역들 중 어떤 위치의 영역에 맵핑되는지를 나타내는 맵핑 관계는 메타데이터 화되며, 적응적인 회전에 의한 맵핑 관계를 나타내는데 필요한 메타데이터는 int angleX, int angleY, int angleZ를 포함한다. 여기서 int angleX는 x축 방향에 대한 회전 각도를 나타내고, int angleY는 y축 방향에 대한 회전 각도를 나타내고, int angleZ는 z축 방향에 대한 회전 각도를 나타낸다.
도 6은 본 발명의 또 다른 실시예에 따라 3D 영상을 2D 영상으로 변환 시 고려되는 제어 그리드 보간 방법의 적용 여부를 적응적으로 결정하는 예를 나타낸 도면이다.
도 6을 참조하면, VR을 위한 3D 영상이 360도 구형 영상으로 존재할 경우, 360도 구형 영상의 표면을 복수개의 영역들로 분할한다고 가정하면, 삼각형 또는 사각형 모양으로 분할된 영역들에 대응하는 데이터는 정해진 모양 그대로 3D 영상에서 2D 영상으로 또는 2D 영상에서 3D 영상으로 변환/역변환될 수 있다. 그러나 분할된 영역 별로 보다 정교한 맵핑을 위해서는 분할된 영역의 모서리 부분을 미리 정해진 거리 (dx, dy)만큼 좌우로 이동시켜 변환시킬 수 있다. 이때 기존의 분할된 영역의 모양이 정사각형이었다면 변환된 영역의 모양은 직사각형 또는 사다리꼴 형태로 워핑될 수 있다.
즉 복수개의 제어 포인트(610)와 상기 복수개의 제어 포인트(610)로 구성되는 제어 다각형(600)을포함하는 360도 구형 영상을 가정할 때, 도면부호 620과 같이 배열된 제어 포인트에 제어 그리드 보간 방법을 적용하면 분할된 영역의 모양은 도면부호 630과 같이 워핑될 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 처리 장치가 2D 영상을 360도 영상으로 복원하는 동작을 나타낸 순서도이다.
도 7을 참조하면, 702단계에서 영상처리 장치는 저장된 메타데이터를 파싱(parsing)한다. 여기서 메타데이터는 360도 영상을 2D 영상으로 변환하는데 관련된 데이터를 의미하며, 일례로 360도 영상에 대한 분할 크기 및 x, y, z 축 각각에 대한 회전 각도에 관련된 데이터, 상기 360도 영상을 맵핑시킨 3D 모델에 관련된 데이터, 상기 360도 영상을 2D 영상에 맵핑 시 적용한 보간 방법에 관련된 데이터, 제어 그리드 보간 방법의 적용 여부에 관련된 데이터 중 적어도 하나를 포함한다.
704단계에서 영상처리 장치는 파싱된 메타데이터 중 3D 모델에 관련된 데이터를 기반으로 영상 메모리를 생성한다. 706단계에서 영상처리 장치는 파싱된 메타데이터 중 분할 크기에 관련된 데이터를 기반으로, 저장된 2D 영상에서 상기 분할 크기에 관련된 데이터가 지시하는 분할 크기 단위로 영상 데이터를 확인(identify)한다. 여기서는 2D 영상의 분할된 영역들 중 좌상측에 위치한 영역으로부터 래스터 주사 방식에 따른 순서로 해당 위치의 영상 데이터를 확인한다고 가정한다.
708단계에서 영상처리 장치는 파싱된 메타데이터 중 보간 방법에 관련된 데이터를 기반으로 706단계에서 확인한 영상 데이터를 3D 영상 표면에 맵핑한다. 여기서 3D 영상 표면에 맵핑 시 고려하는 3D 모델은 704단계에서의 3D 모델에 관련된 데이터에 따른다. 710단계에서 영상처리 장치는 파싱된 메타데이터 중 제어 그리드 보간 방법의 적용 여부에 관련된 데이터를 기반으로 제어 그리드 보간 방법의 적용이 필요한지 여부를 판단하고, 필요시 제어 그리드 보간 방법을 적용한다.
712단계에서 영상처리 장치는 707단계 내지 710단계를 통해 복원한 3D 영상 내 영역이 분할된 영역들 중에서 마지막 영역인지 검사한다. 712단계 검사 결과 상기 복원한 3D 영상 내 영역이 분할된 영역들 중에서 마지막 영역이면, 영상처리 장치는 714단계로 진행하여 파싱된 메타데이터 중 360도 영상에 대한 x, y, z 축 각각에 대한 회전 각도에 관련된 데이터를 기반으로 전체 3D 영상 데이터를 회전하여 360도 영상을 복원한다.
한편, 712단계 검사 결과 상기 복원한 3D 영상 내 영역이 분할된 영역들 중에서 마지막 영역이 아닐 경우, 영상처리 장치는 706단계로 진행하여 래스터 주사 방식에 따라 다음 순서에 해당하는 다음 영역에 대하여 706단계 내지 710단계 동작을 반복한다. 이러한 반복 동작은 마지막 영역의 영상 데터에 도달할 때까지 반복된다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐 아니라 이 특허청구의 범위와 균등한 것들에 의해서 정해져야 한다.

Claims (20)

  1. 360도 영상의 처리 방법에 있어서,
    360도 영상을 매핑시킬 3차원(3dimension: 3D) 모델을 결정하고, 상기 360도 영상에 대한 분할(partition) 크기를 결정하는 과정과,
    상기 360도 영상의 x, y, z축 각각에 대한 회전 각도를 결정하는 과정과,
    상기 360도 영상을 2차원(2dimension: 2D) 영상에 맵핑 시 적용할 보간 방법을 결정하는 과정과,
    상기 결정된 3D 모델, 분할 크기, 회전 각도, 및 보간 방법을 기반으로 상기 360도 영상을 상기 2D 영상으로 변환하는 과정을 포함하는 영상 처리 방법.
  2. 제 1항에 있어서,
    상기 결정된 3D 모델, 분할 크기, 회전 각도, 및 보간 방법을 기반으로 상기 360도 영상을 상기 2D 영상으로 변환하는 방법이 미리 정해진 비트레이트 내에서 열화(distortion)를 최소화하는 방법인지 검사하는 과정과,
    상기 변환 방법이 열화를 최소화하는 방법인 경우, 상기 3D 모델, 분할 크기, 회전 각도, 보간 방법 각각에 관련된 정보를 메타데이터화하는 과정을 더 포함하는 영상 처리 방법.
  3. 제 2항에 있어서,
    상기 변환 방법이 상기 미리 정해진 비트레이트 내에서 열화를 최소화하는 방법이 아닌 경우, 상기 3D 모델, 분할 크기, 회전 각도, 보간 방법 중 적어도 하나를 다시 결정하는 과정을 더 포함하는 영상 처리 방법.
  4. 제 1항에 있어서,
    상기 보간 방법을 결정하는 과정은 분할된 영역의 제어 포인트를 미리 정해진 거리만큼 좌우로 이동시켜 변화시키는 경계점 제어(control grid) 보간 방법을 적용할지 여부를 결정하는 과정을 포함함을 특징으로 하는 영상 처리 방법.
  5. 제 2항에 있어서,
    상기 360도 영상에 대한 분할 크기는 상기 변환된 2D 영상의 왜곡 정도와 상기 메타데이터의 양을 고려하여 전체 RD(rate-distortion) 코스트(cost)를 최소화하는 값으로 결정됨을 특징으로 하는 영상 처리 방법.
  6. 제 1항에 있어서,
    상기 360도 영상을 상기 2D 영상으로 변환하는 과정은, 상기 360도 영상에서 중요도가 상대적으로 높은 콘텐츠는 상기 2D 영상에서 왜곡이 상대적으로 적은 영역에 맵핑시키고, 상기 360도 영상에서 중요도가 상대적으로 낮은 콘텐츠는 상기 2D 영상에서 왜곡이 상대적으로 심한 위치에 맵핑시키는 과정을 포함함을 특징으로 하는 영상 처리 방법.
  7. 360도 영상의 처리 방법에 있어서,
    2차원(2dimension: 2D) 영상과, 360도 영상을 상기 2D 영상으로 변환하는데 관련된 메타데이터를 확인하는 과정과,
    상기 메타데이터로부터 상기 360도 영상을 매핑시킨 3차원(3dimension: 3D) 모델, 상기 360도 영상에 대한 분할 크기, 상기 360도 영상의 x, y, z축 각각에 대한 회전 각도, 상기 360도 영상을 상기 2D 영상에 맵핑 시 적용한 보간 방법 각각에 관련된 정보를 획득하는 과정과,
    상기 획득한 정보를 기반으로 상기 2D 영상을 상기 360도 영상으로 복원하는 과정을 포함하는 영상 처리 방법.
  8. 제 7항에 있어서,
    상기 2D 영상을 상기 360도 영상으로 복원하는 과정은,
    상기 360도 영상에 대한 분할 크기에 관련된 정보를 기반으로 상기 2D 영상의 좌상측에 위치한 영역의 영상 데이터를 확인하는 과정과,
    상기 보간 방법에 관련된 정보 및 상기 3D 모델에 관련된 정보를 기반으로 상기 확인한 영상 데이터를 3D 영상에 매핑하는 과정과,
    상기 회전 각도에 관련된 정보를 기반으로 상기 3D 영상을 회전하는 과정을 포함함을 특징으로 하는 영상 처리 방법.
  9. 제 8에 있어서,
    상기 메타데이터로부터 분할된 영역의 제어 포인트를 미리 정해진 거리만큼 좌우로 이동시켜 변화시키는 경계점 제어(control grid) 보간 방법을 적용할지 여부에 관련된 정보를 획득하는 과정과,
    상기 관련 정보가 상기 경계점 제어 보간 방법의 적용을 나타낼 경우, 상기 3D 영상에 상기 경계점 제어 보간 방법을 적용하는 과정을 더 포함하는 영상 처리 방법.
  10. 제 7항에 있어서,
    상기 확인 과정, 매핑 과정, 및 회전 과정은 래스터 주사(raster scan) 방식에 따른 순서를 기반으로 마지막 영역의 영상 데이터에 도달할 때까지 반복됨을 특징으로 하는 영상 처리 방법.
  11. 360도 영상의 처리 장치에 있어서,
    360도 영상을 매핑시킬 3차원(3dimension: 3D) 모델을 결정하고, 상기 360도 영상에 대한 분할(partition) 크기를 결정하고, 상기 360도 영상의 x, y, z축 각각에 대한 회전 각도를 결정하고, 상기 360도 영상을 2차원(2dimension: 2D) 영상에 맵핑 시 적용할 보간 방법을 결정하는 제어부와,
    상기 결정된 3D 모델, 분할 크기, 회전 각도, 및 보간 방법을 기반으로 상기 360도 영상을 상기 2D 영상으로 변환하는 변환부를 포함하는 영상 처리 장치.
  12. 제 11항에 있어서,
    상기 제어부는 상기 결정된 3D 모델, 분할 크기, 회전 각도, 및 보간 방법을 기반으로 상기 360도 영상을 상기 2D 영상으로 변환하는 방법이 미리 정해진 비트레이트 내에서 열화(distortion)를 최소화하는 방법인지 검사하고, 상기 변환 방법이 열화를 최소화하는 방법인 경우, 상기 3D 모델, 분할 크기, 회전 각도, 보간 방법 각각에 관련된 정보를 메타데이터화 함을 특징으로 하는 영상 처리 장치.
  13. 제 12항에 있어서,
    상기 변환 방법이 상기 미리 정해진 비트레이트 내에서 열화를 최소화하는 방법이 아닌 경우, 상기 제어부는 상기 3D 모델, 분할 크기, 회전 각도, 보간 방법 중 적어도 하나를 다시 결정함을 특징으로 하는 영상 처리 장치.
  14. 제 11항에 있어서,
    상기 제어부는 분할된 영역의 제어 포인트를 미리 정해진 거리만큼 좌우로 이동시켜 변화시키는 경계점 제어(control grid) 보간 방법을 적용할지 여부를 결정함을 특징으로 하는 영상 처리 장치.
  15. 제 12항에 있어서,
    상기 360도 영상에 대한 분할 크기는 상기 변환된 2D 영상의 왜곡 정도와 상기 메타데이터의 양을 고려하여 전체 RD(rate-distortion) 코스트(cost)를 최소화하는 값으로 결정됨을 특징으로 하는 영상 처리 장치.
  16. 제 11항에 있어서,
    상기 변환부는 상기 360도 영상에서 중요도가 상대적으로 높은 콘텐츠는 상기 2D 영상에서 왜곡이 상대적으로 적은 영역에 맵핑시키고, 상기 360도 영상에서 중요도가 상대적으로 낮은 콘텐츠는 상기 2D 영상에서 왜곡이 상대적으로 심한 위치에 맵핑시킴을 특징으로 하는 영상 처리 장치.
  17. 360도 영상의 처리 장치에 있어서,
    2차원(2dimension: 2D) 영상과, 360도 영상을 상기 2D 영상으로 변환하는데 관련된 메타데이터를 확인하고, 상기 메타데이터로부터 상기 360도 영상을 매핑시킨 3차원(3dimension: 3D) 모델, 상기 360도 영상에 대한 분할 크기, 상기 360도 영상의 x, y, z축 각각에 대한 회전 각도, 및 상기 360도 영상을 상기 2D 영상에 맵핑 시 적용한 보간 방법 각각에 관련된 정보를 획득하는 제어부와,
    상기 획득한 정보를 기반으로 상기 2D 영상을 상기 360도 영상으로 복원하는 역변환부를 포함하는 영상 처리 장치.
  18. 제 17항에 있어서,
    상기 제어부는 상기 360도 영상에 대한 분할 크기에 관련된 정보를 기반으로 상기 2D 영상의 좌상측에 위치한 영역의 영상 데이터를 확인하고, 상기 역변환부는 상기 보간 방법에 관련된 정보 및 상기 3D 모델에 관련된 정보를 기반으로 상기 확인한 영상 데이터를 3D 영상에 매핑하고, 상기 회전 각도에 관련된 정보를 기반으로 상기 3D 영상을 회전함을 특징으로 하는 영상 처리 장치.
  19. 제 18에 있어서,
    상기 제어부는 상기 메타데이터로부터 분할된 영역의 제어 포인트를 미리 정해진 거리만큼 좌우로 이동시켜 변화시키는 경계점 제어(control grid) 보간 방법을 적용할지 여부에 관련된 정보를 획득하고, 상기 역변환부는 상기 관련 정보가 상기 경계점 제어 보간 방법의 적용을 나타낼 경우, 상기 3D 영상에 상기 경계점 제어 보간 방법을 적용함을 특징으로 하는 영상 처리 장치.
  20. 제 17항에 있어서,
    상기 제어부는 상기 영상 데이터를 확인하고, 상기 확인한 영상 데이터를 상기 3D 영상에 매핑하고, 및 상기 3D 영상을 회전하는 동작을 래스터 주사(raster scan) 방식에 따른 순서를 기반으로 마지막 영역의 영상 데이터에 도달할 때까지 반복함을 특징으로 하는 영상 처리 장치.
KR1020160016521A 2016-02-12 2016-02-12 360도 영상 처리 방법 및 장치 Active KR102523997B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020160016521A KR102523997B1 (ko) 2016-02-12 2016-02-12 360도 영상 처리 방법 및 장치
US16/076,917 US10992918B2 (en) 2016-02-12 2017-02-13 Method and apparatus for processing 360-degree image
EP20175689.7A EP3720114B1 (en) 2016-02-12 2017-02-13 Method and apparatus for processing 360-degree image
EP17750493.3A EP3416372A4 (en) 2016-02-12 2017-02-13 METHOD AND DEVICE FOR PROCESSING A 360 DEGREE PICTURE
CN202210312792.0A CN114727091B (zh) 2016-02-12 2017-02-13 用于处理360度图像的方法和设备
CN201780010857.3A CN108605093B (zh) 2016-02-12 2017-02-13 用于处理360度图像的方法和设备
PCT/KR2017/001565 WO2017138801A1 (ko) 2016-02-12 2017-02-13 360도 영상 처리 방법 및 장치
US17/238,864 US11490065B2 (en) 2016-02-12 2021-04-23 Method and apparatus for processing 360-degree image
KR1020230050096A KR102564732B1 (ko) 2016-02-12 2023-04-17 360도 영상 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160016521A KR102523997B1 (ko) 2016-02-12 2016-02-12 360도 영상 처리 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230050096A Division KR102564732B1 (ko) 2016-02-12 2023-04-17 360도 영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170095035A true KR20170095035A (ko) 2017-08-22
KR102523997B1 KR102523997B1 (ko) 2023-04-21

Family

ID=59563373

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020160016521A Active KR102523997B1 (ko) 2016-02-12 2016-02-12 360도 영상 처리 방법 및 장치
KR1020230050096A Active KR102564732B1 (ko) 2016-02-12 2023-04-17 360도 영상 처리 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230050096A Active KR102564732B1 (ko) 2016-02-12 2023-04-17 360도 영상 처리 방법 및 장치

Country Status (5)

Country Link
US (2) US10992918B2 (ko)
EP (2) EP3416372A4 (ko)
KR (2) KR102523997B1 (ko)
CN (2) CN108605093B (ko)
WO (1) WO2017138801A1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019059679A1 (ko) * 2017-09-20 2019-03-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2019190203A1 (ko) * 2018-03-27 2019-10-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2019203574A1 (ko) * 2018-04-17 2019-10-24 엘지전자 주식회사 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치
KR20190143186A (ko) * 2018-06-20 2019-12-30 삼성전자주식회사 360도 영상을 처리하는 방법 및 장치
WO2020009344A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치
WO2020013513A1 (ko) * 2018-07-09 2020-01-16 엘지전자 주식회사 비디오 송신 방법, 비디오 송신 장치, 비디오 수신 방법 및 비디오 수신 장치
KR20200039359A (ko) 2018-10-05 2020-04-16 에스케이텔레콤 주식회사 통신 장치 및 그 영상통화 방법
US10740431B2 (en) 2017-11-13 2020-08-11 Samsung Electronics Co., Ltd Apparatus and method of five dimensional (5D) video stabilization with camera and gyroscope fusion
WO2020189983A1 (en) * 2019-03-18 2020-09-24 Samsung Electronics Co., Ltd. Method and apparatus for accessing and transferring point cloud content in 360-degree video environment
KR20210052424A (ko) 2018-10-05 2021-05-10 에스케이텔레콤 주식회사 통신 장치 및 그 영상통화 방법
WO2024058369A1 (ko) * 2022-09-15 2024-03-21 삼성전자 주식회사 프로젝션 장치 및 그 동작 방법
KR20250057488A (ko) * 2023-10-20 2025-04-29 국립한밭대학교 산학협력단 영상장치를 이용한 차세대 스마트 led 전광판의 불량픽셀 검출을 위한 딥러닝 시스템

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN108111851B (zh) * 2016-11-25 2020-12-22 华为技术有限公司 一种去块滤波方法及终端
US10827160B2 (en) * 2016-12-16 2020-11-03 Samsung Electronics Co., Ltd Method for transmitting data relating to three-dimensional image
WO2018153267A1 (zh) * 2017-02-24 2018-08-30 腾讯科技（深圳）有限公司 群组视频会话的方法及网络设备
US10791316B2 (en) 2017-03-28 2020-09-29 Samsung Electronics Co., Ltd. Method for transmitting data about three-dimensional image
WO2018182144A1 (ko) * 2017-03-29 2018-10-04 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10567734B2 (en) * 2017-08-29 2020-02-18 Qualcomm Incorporated Processing omnidirectional media with dynamic region-wise packing
CN108961152B (zh) * 2018-05-30 2020-01-14 贝壳找房(北京)科技有限公司 平面户型图生成方法和装置
JP7415936B2 (ja) * 2018-10-02 2024-01-17 ソニーグループ株式会社 情報処理装置および情報処理方法
CN110568769A (zh) * 2019-08-23 2019-12-13 广州佳恒工程技术有限公司 一种智能家居控制系统
US11922561B2 (en) * 2020-10-06 2024-03-05 Mediatek Singapore Pte. Ltd. Methods and systems for implementing scene descriptions using derived visual tracks
US12579729B2 (en) * 2021-04-07 2026-03-17 Interdigital Ce Patent Holdings, Sas Volumetric video supporting light effects
CN114900621B (zh) * 2022-04-29 2024-08-13 北京字跳网络技术有限公司 特效视频确定方法、装置、电子设备及存储介质
KR20240178845A (ko) * 2023-06-23 2024-12-31 주식회사 셀버스 가상 공간 제작 솔루션 제공장치 및 방법
KR102653596B1 (ko) * 2023-11-22 2024-04-02 주식회사 브로즈 3d 이미지를 제공하는 방법 및 이를 이용한 장치
KR20250119016A (ko) * 2024-01-31 2025-08-07 서울하우징 주식회사 다면체 구조를 이용한 360도 영상 제작 및 투영 시스템
WO2026087307A1 (en) * 2024-10-23 2026-04-30 Nokia Technologies Oy An apparatus and a method for performing affine motion compensated prediction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100039635A (ko) * 2008-10-08 2010-04-16 삼성에스디에스 주식회사 가상현실 이미지 관리 시스템 및 방법
KR101340598B1 (ko) * 2013-06-03 2013-12-11 송헌주 3차원 평면 타일배열 텍스처 매핑을 이용한 동영상기반 다시점 및 파노라마 가상현실 뷰어 제작 방법
US20150363962A1 (en) * 2014-06-16 2015-12-17 Sap Se Three-dimensional volume rendering using an in-memory database

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6754400B2 (en) * 2001-02-06 2004-06-22 Richard Wilson, Jr. System and method for creation, processing and visualization of omni-directional images
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US7308131B2 (en) 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
KR20070102989A (ko) * 2007-04-06 2007-10-22 실리콘 옵틱스 인코포레이션 2차원 공간변환을 표현하는 시스템과 방법
US7990394B2 (en) * 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
US9135331B2 (en) * 2008-04-07 2015-09-15 Philip J. Rosenthal Interface including graphic representation of relationships between search results
JP5029645B2 (ja) * 2008-12-24 2012-09-19 株式会社富士通ゼネラル 画像データ変換装置
WO2011053328A1 (en) * 2009-11-02 2011-05-05 Archaio, Llc System and method employing three-dimensional and two-dimensional digital images
JP5036088B2 (ja) * 2011-01-14 2012-09-26 シャープ株式会社 立体画像処理装置、立体画像処理方法およびプログラム
US8744169B2 (en) 2011-05-31 2014-06-03 Toyota Motor Europe Nv/Sa Voting strategy for visual ego-motion from stereo
US8817067B1 (en) 2011-07-29 2014-08-26 Google Inc. Interface for applying a photogrammetry algorithm to panoramic photographic images
US20140085295A1 (en) * 2012-09-21 2014-03-27 Tamaggo Inc. Direct environmental mapping method and system
WO2014043814A1 (en) 2012-09-21 2014-03-27 Tamaggo Inc. Methods and apparatus for displaying and manipulating a panoramic image by tiles
US20140282283A1 (en) * 2013-03-15 2014-09-18 Caesar Ian Glebocki Semantic Gesture Processing Device and Method Providing Novel User Interface Experience
JP6625523B2 (ja) * 2013-05-30 2019-12-25 スミス， チャールズ， アンソニーＳＭＩＴＨ， Ｃｈａｒｌｅｓ， Ａｎｔｈｏｎｙ Ｈｕｄオブジェクト設計および表示方法。
CN104063843B (zh) * 2014-06-18 2017-07-28 长春理工大学 一种基于中心投影的集成立体成像元素图像生成的方法
CN104740874B (zh) * 2015-03-26 2018-03-27 广州博冠信息科技有限公司 一种在二维游戏场景中播放视频的方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100039635A (ko) * 2008-10-08 2010-04-16 삼성에스디에스 주식회사 가상현실 이미지 관리 시스템 및 방법
KR101340598B1 (ko) * 2013-06-03 2013-12-11 송헌주 3차원 평면 타일배열 텍스처 매핑을 이용한 동영상기반 다시점 및 파노라마 가상현실 뷰어 제작 방법
US20150363962A1 (en) * 2014-06-16 2015-12-17 Sap Se Three-dimensional volume rendering using an in-memory database

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019059679A1 (ko) * 2017-09-20 2019-03-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10740431B2 (en) 2017-11-13 2020-08-11 Samsung Electronics Co., Ltd Apparatus and method of five dimensional (5D) video stabilization with camera and gyroscope fusion
WO2019190203A1 (ko) * 2018-03-27 2019-10-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2019203574A1 (ko) * 2018-04-17 2019-10-24 엘지전자 주식회사 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치
KR20190143186A (ko) * 2018-06-20 2019-12-30 삼성전자주식회사 360도 영상을 처리하는 방법 및 장치
US11989849B2 (en) 2018-06-20 2024-05-21 Samsung Electronics Co., Ltd. Method and device for processing 360-degree image
US11140378B2 (en) 2018-07-06 2021-10-05 Lg Electronics Inc. Sub-picture-based processing method of 360-degree video data and apparatus therefor
WO2020009344A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치
US11463671B2 (en) 2018-07-09 2022-10-04 Lg Electronics Inc. Video transmitting method, video transmitting device, video receiving method and video receiving device
WO2020013513A1 (ko) * 2018-07-09 2020-01-16 엘지전자 주식회사 비디오 송신 방법, 비디오 송신 장치, 비디오 수신 방법 및 비디오 수신 장치
KR20210052424A (ko) 2018-10-05 2021-05-10 에스케이텔레콤 주식회사 통신 장치 및 그 영상통화 방법
KR20200039359A (ko) 2018-10-05 2020-04-16 에스케이텔레콤 주식회사 통신 장치 및 그 영상통화 방법
US11113870B2 (en) 2019-03-18 2021-09-07 Samsung Electronics Co., Ltd. Method and apparatus for accessing and transferring point cloud content in 360-degree video environment
WO2020189983A1 (en) * 2019-03-18 2020-09-24 Samsung Electronics Co., Ltd. Method and apparatus for accessing and transferring point cloud content in 360-degree video environment
WO2024058369A1 (ko) * 2022-09-15 2024-03-21 삼성전자 주식회사 프로젝션 장치 및 그 동작 방법
KR20250057488A (ko) * 2023-10-20 2025-04-29 국립한밭대학교 산학협력단 영상장치를 이용한 차세대 스마트 led 전광판의 불량픽셀 검출을 위한 딥러닝 시스템

Also Published As

Publication number Publication date
EP3416372A4 (en) 2019-03-13
KR20230057315A (ko) 2023-04-28
US20190052858A1 (en) 2019-02-14
CN114727091A (zh) 2022-07-08
CN108605093B (zh) 2022-04-15
EP3720114B1 (en) 2024-10-02
CN114727091B (zh) 2024-04-23
WO2017138801A1 (ko) 2017-08-17
KR102564732B1 (ko) 2023-08-09
EP3416372A1 (en) 2018-12-19
US11490065B2 (en) 2022-11-01
US10992918B2 (en) 2021-04-27
KR102523997B1 (ko) 2023-04-21
US20210243420A1 (en) 2021-08-05
EP3720114A1 (en) 2020-10-07
CN108605093A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
KR102564732B1 (ko) 360도 영상 처리 방법 및 장치
CN109644279B (zh) 用于用信号通知360度视频信息的方法和系统
CN111615715B (zh) 编码/解码体积视频的方法、装置和流
US10992919B2 (en) Packed image format for multi-directional video
KR102642406B1 (ko) 가상 현실 영상을 처리하는 방법 및 장치
TW201811044A (zh) 一種視訊編解碼的方法及裝置
CN114189697A (zh) 一种视频数据处理方法、装置以及可读存储介质
CN118985133A (zh) 编码/解码在长方体体积中包含的点云的点的位置
CN115462082A (zh) 使用方位角编码模式编码/解码点云几何数据的方法和装置
US12518433B2 (en) Learning-based point cloud compression via tearing transform
CN118077205A (zh) 对由至少一个传感器感测到的点云几何数据进行编码/解码的方法和装置
CN121713485A (zh) 基于基础图形的网格压缩
WO2022271602A1 (en) Learning-based point cloud compression via unfolding of 3d point clouds
WO2025096198A1 (en) Learning-based mesh compression using latent mesh
CN121925858A (zh) 用于场景描述的刚性网格链接
HK40065980B (en) Video data processing method and apparatus, and readable storage medium
HK40065980A (en) Video data processing method and apparatus, and readable storage medium
CN120092450A (zh) 编码/解码点云几何数据
TW202116063A (zh) 用以編碼、傳輸及解碼容積視訊之方法及裝置
CN118355408A (zh) 二进制体素网格译码的状态汇总

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160212

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210209

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160212

Comment text: Patent Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230117

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230417

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230418

End annual number: 3

Start annual number: 1

PG1601 Publication of registration