KR20240052425A - 3차원 메쉬의 텍스처맵 생성 방법 및 장치 - Google Patents

3차원 메쉬의 텍스처맵 생성 방법 및 장치 Download PDF

Info

Publication number
KR20240052425A
KR20240052425A KR1020220132439A KR20220132439A KR20240052425A KR 20240052425 A KR20240052425 A KR 20240052425A KR 1020220132439 A KR1020220132439 A KR 1020220132439A KR 20220132439 A KR20220132439 A KR 20220132439A KR 20240052425 A KR20240052425 A KR 20240052425A
Authority
KR
South Korea
Prior art keywords
texture map
mesh
loss function
rendering
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020220132439A
Other languages
English (en)
Inventor
김수웅
강정원
도지훈
방건
배성준
이진호
이하현
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020220132439A priority Critical patent/KR20240052425A/ko
Priority to US18/114,118 priority patent/US12374020B2/en
Publication of KR20240052425A publication Critical patent/KR20240052425A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)

Abstract

본 발명의 일 실시예에 따른 3차원 메쉬의 텍스처맵 생성 방법은 3차원 메쉬의 텍스처 맵을 부호화하는 단계, 상기 부호화된 텍스처 맵을 양자화하는 단계, 상기 양자화된 텍스처 맵을 복호화하는 단계, 상기 복호화된 텍스처 맵을 이용하여 렌더링을 수행하는 단계 및 손실 함수의 값에 기반하여 상기 3차원 메쉬의 텍스처 맵을 업데이트 하는 단계를 포함한다.

Description

3차원 메쉬의 텍스처맵 생성 방법 및 장치{APPARATUS AND METHOD FOR GENERATING TEXTURE MAP OF 3-DIMENSIONAL MESH}
본 발명은 다시점 영상에서 복원된 3차원 메쉬의 텍스처맵 압축 성능을 높이기 위한 기술에 관한 것이다.
구체적으로, 본 발명은 압축 성능과 렌더링 성능을 반영하여 텍스처 맵을 업데이트하는 기술에 관한 것이다.
다시점 영상에서 3차원 메쉬 복원을 수행하면 일반적으로 깊이값 예측 알고리즘 또는 깊이 센서의 오차와 잡음으로 인해 기하학적, 위상적 잡음이 많은 고해상도 메쉬가 생성된다. 이러한 메쉬의 2차원 매핑(UV-매개변수화)을 수행하면 메쉬 표면이 매우 많은 영역들로 분할(파편화)되어 2차원 평면(UV맵)에 매핑 되며, UV맵에 텍스처를 저장하면 압축하기 어려운 형태인 텍스처의 불연속성이 심한 텍스처맵 영상이 생성되게 된다. 본 발명은 파편화된 텍스처 영역 사이의 공간을 압축률-왜곡 관점에서 최적화하여 텍스처맵의 압축 성능을 높이기 위한 기술이다.
국내 공개특허공보 제10-2020-0176820호(발명의 명칭: 다시점 비디오 부호화 및 복호화 방법)
본 발명의 목적은 다시점 영상에서 복원된 3차원 메쉬의 텍스처맵 압축 성능을 높이는 것이다.
또한, 본 발명의 목적은 압축 성능과 렌더링 성능을 반영하여 텍스처 맵을 업데이트하는 기술을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 3차원 메쉬의 텍스처맵 생성 방법은 3차원 메쉬의 텍스처 맵을 부호화하는 단계, 상기 부호화된 텍스처 맵을 양자화하는 단계, 상기 양자화된 텍스처 맵을 복호화하는 단계, 상기 복호화된 텍스처 맵을 이용하여 렌더링을 수행하는 단계 및 손실 함수의 값에 기반하여 상기 3차원 메쉬의 텍스처 맵을 업데이트 하는 단계를 포함한다.
이때, 상기 손실 함수는 텍스처 맵의 압축 성능에 상응하는 제1 손실 함수 및 텍스처 맵의 렌더링 성능에 상응하는 제2 손실 함수를 포함할 수 있다.
이때, 상기 텍스처 맵을 부호화하는 단계는 미분 가능한 부호화기를 이용하여 수행되고, 상기 렌더링을 수행하는 단계는 미분 가능한 렌더링기를 이용하여 수행될 수 있다.
이때, 상기 제1 손실 함수는 상기 3차원 메쉬 텍스처 맵의 양자화된 압축 표현 벡터에 기반하여 산출될 수 있다.
이때, 상기 제2 손실 함수는 상기 렌더링된 이미지 및 원본 이미지를 이용하여 산출될 수 있다.
이때, 상기 제2 손실 함수는 렌더링 되지 않은 픽셀을 반영하기 위한 바이너리 마스크를 이용하여 산출될 수 있다.
이때, 상기 렌더링을 수행하는 단계는 부호화되지 않은 상기 3차원 메쉬의 텍스처 맵을 이용하여 렌더링을 수행할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 3차원 메쉬의 텍스처맵 생성 장치는 3차원 메쉬의 텍스처 맵을 부호화하는 부호화부, 상기 부호화된 텍스처 맵을 양자화하는 양자화부, 상기 양자화된 텍스처 맵을 복호화하는 복호화부, 상기 복호화된 텍스처 맵을 이용하여 렌더링을 수행하는 렌더링부 및 손실 함수의 값에 기반하여 상기 3차원 메쉬의 텍스처 맵을 업데이트 하는 학습부를 포함한다.
이때, 상기 손실 함수는 텍스처 맵의 압축 성능에 상응하는 제1 손실 함수 및 텍스처 맵의 렌더링 성능에 상응하는 제2 손실 함수를 포함할 수 있다.
이때, 상기 부호화부는 미분 가능한 부호화기를 이용하여 부호화를 수행하고, 상기 렌더링부는 미분 가능한 렌더링기를 이용하여 렌더링을 수행할 수 있다.
이때, 상기 제1 손실 함수는 상기 3차원 메쉬 텍스처 맵의 양자화된 압축 표현 벡터에 기반하여 산출될 수 있다.
이때, 상기 제2 손실 함수는 상기 렌더링된 이미지 및 원본 이미지를 이용하여 산출될 수 있다.
이때, 상기 제2 손실 함수는 렌더링 되지 않은 픽셀을 반영하기 위한 바이너리 마스크를 이용하여 산출될 수 있다.
이때, 상기 렌더링부는 부호화되지 않은 상기 3차원 메쉬의 텍스처 맵을 이용하여 렌더링을 수행할 수 있다.
본 발명에 따르면, 다시점 영상에서 복원된 3차원 메쉬의 텍스처맵 압축 성능을 높일 수 있다.
또한, 본 발명은 압축 성능과 렌더링 성능을 반영하여 텍스처 맵을 업데이트하는 기술을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 메쉬의 텍스처맵 생성 방법을 나타낸 흐름도이다.
도 2는 컴퓨터 그래픽 3차원 메쉬의 UV-매개변수화 결과를 나타낸다.
도 3은 실사 다시점 영상 기반 3차원 메쉬의 UV-매개변수화 결과를 나타낸다.
도 4는 실사 다시점 영상 기반 3차원 메쉬의 UV 텍스처맵을 나타낸다.
도 5는 SPP 알고리즘을 적용한 UV 텍스처맵을 나타낸다.
도 6은 다시점 영상, UV 텍스처맵, 렌더링 영상 간의 좌표 변환 예시이다.
도 7은 본 발명의 일 실시예에 따른 텍스처맵 생성 과정을 나타낸 도면이다.
도 8은 본 발명의 다른 실시예에 따른 텍스처맵 생성 과정을 나타낸 도면이다.
도 9는 제1 영상의 패딩 전 텍스처맵을 나타낸다.
도 10은 제1 영상의 텍스처맵에 대하여 SPP 알고리즘을 이용하여 패딩을 수행한 것이다.
도 11은 제1 영상의 텍스처맵에 대하여 본 발명의 실시예에 따른 방법을 이용하여 패딩을 수행한 것이다.
도 12는 제2 영상의 패딩 전 텍스처맵을 나타낸다.
도 13은 제2 영상의 텍스처맵에 대하여 SPP 알고리즘을 이용하여 패딩을 수행한 것이다.
도 14은 제2 영상의 텍스처맵에 대하여 본 발명의 실시예에 따른 방법을 이용하여 패딩을 수행한 것이다.
도 15 내지 도 18은 기존 방법과 본 발명의 실시예에 따른 방법의 성능을 비교한 그래프이다.
도 19는 본 발명의 일 실시예에 따른 3차원 메쉬의 텍스처맵 생성 방법을 나타낸 흐름도이다.
도 20은 실시예에 따른 컴퓨터 시스템의 구성을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
본 명세서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 3차원 메쉬의 텍스처맵 생성 방법을 나타낸 흐름도이다.
실시예에 따른 3차원 메쉬의 텍스처맵 생성 방법은 컴퓨팅 디바이스와 같은 텍스처맵 생성 장치에서 수행될 수 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 3차원 메쉬의 텍스처맵 생성 방법은 3차원 메쉬의 텍스처 맵을 부호화하는 단계(S110), 상기 부호화된 텍스처 맵을 양자화하는 단계(S120), 상기 양자화된 텍스처 맵을 복호화하는 단계(S130), 상기 복호화된 텍스처 맵을 이용하여 렌더링을 수행하는 단계(S140) 및 손실 함수의 값에 기반하여 상기 3차원 메쉬의 텍스처 맵을 업데이트 하는 단계(S140)를 포함한다.
이때, 상기 손실 함수는 텍스처 맵의 압축 성능에 상응하는 제1 손실 함수 및 텍스처 맵의 렌더링 성능에 상응하는 제2 손실 함수를 포함할 수 있다.
이때, 상기 텍스처 맵을 부호화하는 단계(S110)는 미분 가능한 부호화기를 이용하여 수행되고, 상기 렌더링을 수행하는 단계는 미분 가능한 렌더링기를 이용하여 수행될 수 있다.
이때, 상기 제1 손실 함수는 상기 3차원 메쉬 텍스처 맵의 양자화된 압축 표현 벡터에 기반하여 산출될 수 있다.
이때, 상기 제2 손실 함수는 상기 렌더링된 이미지 및 원본 이미지를 이용하여 산출될 수 있다.
이때, 상기 제2 손실 함수는 렌더링 되지 않은 픽셀을 반영하기 위한 바이너리 마스크를 이용하여 산출될 수 있다.
이때, 상기 렌더링을 수행하는 단계는 부호화되지 않은 상기 3차원 메쉬의 텍스처 맵을 이용하여 렌더링을 수행할 수 있다.
이하, 도 2 내지 도 18을 참조하여 본 발명의 일 실시예에 따른 텍스처 맵 생성 방법을 상세하게 설명한다.
도 2는 컴퓨터 그래픽 3차원 메쉬의 UV-매개변수화 결과를 나타낸다.
도 3은 실사 다시점 영상 기반 3차원 메쉬의 UV-매개변수화 결과를 나타낸다.
도 2 및 3을 참조하면, 컴퓨터 그래픽 3차원 메쉬와 비교하여 실사 다시점 영상 기반 3차원 메쉬의 UV-매개변수화 결과가 더 파편화 되어있는 것을 확인할 수 있다.
이와 같이 실사 기반 3차원 메쉬의 UV맵이 파편화된 이유는 카메라 캘리브레이션의 오차, 3D 복원 알고리즘의 오차, 이미징 센서의 오차 등에 의해 복원된 3D 메쉬에 기하적, 위상적 잡음이 많아지기 때문이다.
파편화되어 있는 UV-매개변수화 결과를 사용하여 메쉬 텍스처맵을 생성하면 텍스처의 불연속성(discontinuity)이 심해지고, 영상의 압축 효율을 떨어뜨리는 장애물이 되어 압축 비트레이트를 증가시킨다.
위와 같은 문제점을 해결하기 위한 한가지 방안으로, SPP(Smoothed PushPull) 알고리즘을 사용하여 텍스처맵의 빈 영역을 패딩하는 방법이 있다.
도 4는 실사 다시점 영상 기반 3차원 메쉬의 UV 텍스처맵을 나타낸다.
도 5는 SPP 알고리즘을 적용한 UV 텍스처맵을 나타낸다.
도 4 및 도 5를 참조하면, 도 4에서 존재하는 빈 영역들이 도 5에서는 주변색상을 참고하여 채워진 모습을 확인할 수 있다. 이와 같이 빈 영역을 패딩함으로써 텍스처맵의 불연속성을 줄이고 압축 효율을 높일 수 있다.
또한, 다시점 영상에서 메쉬 텍스처링을 위한 단일 텍스처맵을 생성하는 과정도 많은 연산이 필요한 과정이다.
단일 텍스처맵을 생성하기 위해서는 3D 모델의 표면 한 점에 연관된 텍스처 값들을 다시점 영상에서 추출하고 최적의 렌더링 결과를 표현할 수 있는 하나의 텍스처 값으로 변환하여 텍스처맵에 저장해야 한다.
도 6은 다시점 영상, UV 텍스처맵, 렌더링 영상 간의 좌표 변환 예시이다.
본 발명의 일 실시예에 따른 방법은 미분 가능한 영상 압축기 (differentiable image codec)를 사용하여 압축률-왜곡(rate-distortion) 관점에서 텍스처맵의 최적화를 수행한다.
이때, 압축 부호율은 텍스처맵을 사용하여 측정하지만 압축 왜곡은 복호화된 텍스처맵을 렌더링하여 측정한다. 텍스처맵의 왜곡이 적어도 렌더링 영상의 왜곡이 큰 경우가 존재하기 때문이다.
따라서, 텍스처맵이 목적하는 출력 상태인 렌더링 영상을 사용하여 압축 왜곡을 측정하고 텍스처맵을 최적화한다.
또한, 미분 가능한 렌더러(differentiable renderer)를 사용하여 전체 프로세스가 반복 최적화(iterative optimization) 가능하도록 설계한다.
도 7은 본 발명의 일 실시예에 따른 텍스처맵 생성 과정을 나타낸 도면이다.
이때, 도 7의 압축기(Differentiable Image Encoder)는 기존의 미분 가능한 방법에 기반한 압축기에 상응할 수 있다.
이때, 입력 텍스처맵의 부호화기 압축 표현 벡터는 하기의 [수학식 1]과 같이 나타낼 수 있다.
[수학식 1]
또한, 압축 표현 벡터의 복호화기 출력은 하기의 [수학식 2]와 같이 나타낼 수 있다.
[수학식 2]
이때, 텍스처맵 압축률은 하기의 [수학식 3]과 같이 나타낼 수 있다.
[수학식 3]
도 7의 렌더러(Differentiable Mesh Renderer)는 렌더링 시점(viewing direction)의 영상에 대응되는 텍스처 좌표(UV 좌표)를 각 픽셀마다 계산한다. 또한, 픽셀에 저장된 좌표를 텍스처맵에서 bi-linear, nearest와 같은 보간 함수를 사용해 샘플링하여 렌더링한다.
이때, 상기 렌더러는 보간 기반 렌더링(interpolation-based differentiable renderer)을 통해 미분 가능한 렌더러에 상응할 수 있다.
이때, 복호화된 텍스처맵을 텍스처 좌표맵 Cv로 샘플링하여 렌더링된 시점 v의 영상은 하기 [수학식 4]와 같이 나타낼 수 있다.
[수학식 4]
이때, 상기 [수학식 4]에서 Iv는 v시점의 원본 영상을 나타낸다.
이때, 실시예에 따른 압축 왜곡은 하기 [수학식 5]를 이용하여 산출될 수 있다.
[수학식 5]
이때, V는 다시점 영상의 시점 개수를 의미하며 V개 시점을 모두 렌더링 하여 압축 왜곡을 계산할 수 있다.
이때, 실사 다시점 영상에서 복원된 3D 메쉬는 영상에 존재하는 모든 표면이 복원되지 못할 경우가 있다. 이런 경우 3D 메쉬를 렌더링하면 렌더링 되지 않는 픽셀 영역(hole)이 발생하게 된다.
이때, 렌더링 되지 않는 픽셀 영역(hole)에 의한 최적화 실패를 방지하기 위해 압축 왜곡을 측정할 때 hole 픽셀 영역을 표현할 수 있는 바이너리 마스크를 사용할 수도 있다.
하기 [수학식 6]은 바이너리 마스크를 사용하여 압축 왜곡을 산출하는 것을 나타낸다.
[수학식 6]
상기 [수학식 6]에서 Mv는 v의 렌더링 유효 영역은 1, 빈 영역은 0으로 표현한 영상 크기의 바이너리 마스크에 상응할 수 있다. 따라서, [수학식 6]과 같이 바이너리 마스크를 활용하여 hole 영억이 아닌 실제 픽셀만의 왜곡을 측정할 수 있다.
최종적으로 하기 [수학식 7]의 손실 함수 L(X)를 사용하여 텍스처맵 X를 최적화시킨다.
[수학식 7]
이때, 상수 λ를 이용하여 텍스처맵 최적화에서 압축 성능 향상과 왜곡 감소의 가중치를 비율을 조정할 수 있다.
실시예에 따른 텍스처맵 생성 방법은 점진적으로 손실 함수를 최소화하는 방향으로 텍스처맵을 업데이트하여 최적화한다.
상기 [수학식 7]에서 R(X)는 텍스처맵의 압축 성능을 높이는 역할을 수행하며, 는 텍스처맵의 렌더링 성능을 높이는 역할을 수행한다.
도 8은 본 발명의 다른 실시예에 따른 텍스처맵 생성 과정을 나타낸 도면이다.
도 8의 구조를 참조하면, 도 7의 구조와 달리 압축되지 않은 텍스처맵을 이용하여 렌더링 왜곡을 측정하는 것을 알 수 있다. 또한, 압축기의 인코더만을 사용하여 텍스처맵 압축 비트레이트를 계산한다.
이때, 도 8의 구조에서도 손실함수는 상기 [수학식 7]과 동일하게 설정되어 텍스처맵을 업데이트할 수 있다.
도 9는 제1 영상의 패딩 전 텍스처맵을 나타낸다.
도 10은 제1 영상의 텍스처맵에 대하여 SPP 알고리즘을 이용하여 패딩을 수행한 것이다.
도 11은 제1 영상의 텍스처맵에 대하여 본 발명의 실시예에 따른 방법을 이용하여 패딩을 수행한 것이다.
도 9 내지 도 11을 참조하면, SPP 알고리즘을 이용한 방법은 텍스처맵의 색상 분연속성만을 감소시키는 반면, 본 발명의 일 실시예에 따른 방법은 텍스처맵의 색상뿐만 아니라 형태의 불연속 역시 감소시키는 것을 확인할 수 있다.
도 12는 제2 영상의 패딩 전 텍스처맵을 나타낸다.
도 13은 제2 영상의 텍스처맵에 대하여 SPP 알고리즘을 이용하여 패딩을 수행한 것이다.
도 14은 제2 영상의 텍스처맵에 대하여 본 발명의 실시예에 따른 방법을 이용하여 패딩을 수행한 것이다.
도 12 내지 도 14을 참조하면, SPP 알고리즘을 이용한 방법은 텍스처맵의 색상 분연속성만을 감소시키는 반면, 본 발명의 일 실시예에 따른 방법은 텍스처맵의 색상뿐만 아니라 형태의 불연속 역시 감소시키는 것을 확인할 수 있다.
도 15 내지 도 18은 기존 방법과 본 발명의 실시예에 따른 방법의 성능을 비교한 그래프이다.
도 15 내지 도 18을 참조하면, JPEG, HEVC를 사용하여 텍스처맵을 압축하고 복호화된 텍스처맵을 이용해 다시점 영상을 렌더링하여 왜곡(PSNR)을 측정하였으며, 본 발명의 실시예에 따른 방법이 기존 방법(SPP) 대비 압축 효율적으로 텍스처맵을 생성한 것을 확인할 수 있다.
도 19는 본 발명의 일 실시예에 따른 3차원 메쉬의 텍스처맵 생성 방법을 나타낸 흐름도이다.
도 19를 참조하면, 본 발명의 일 실시예에 따른 3차원 메쉬의 텍스처맵 생성 장치는 3차원 메쉬의 텍스처 맵을 부호화하는 부호화부(210), 상기 부호화된 텍스처 맵을 양자화하는 양자화부(220), 상기 양자화된 텍스처 맵을 복호화하는 복호화부(230), 상기 복호화된 텍스처 맵을 이용하여 렌더링을 수행하는 렌더링부(240) 및 손실 함수의 값에 기반하여 상기 3차원 메쉬의 텍스처 맵을 업데이트 하는 학습부(250)를 포함한다.
이때, 상기 손실 함수는 텍스처 맵의 압축 성능에 상응하는 제1 손실 함수 및 텍스처 맵의 렌더링 성능에 상응하는 제2 손실 함수를 포함할 수 있다.
이때, 상기 부호화부(210)는 미분 가능한 부호화기를 이용하여 부호화를 수행하고, 상기 렌더링부(240)는 미분 가능한 렌더링기를 이용하여 렌더링을 수행할 수 있다.
이때, 상기 제1 손실 함수는 상기 3차원 메쉬 텍스처 맵의 양자화된 압축 표현 벡터에 기반하여 산출될 수 있다.
이때, 상기 제2 손실 함수는 상기 렌더링된 이미지 및 원본 이미지를 이용하여 산출될 수 있다.
이때, 상기 제2 손실 함수는 렌더링 되지 않은 픽셀을 반영하기 위한 바이너리 마스크를 이용하여 산출될 수 있다.
이때, 상기 렌더링부(240)는 부호화되지 않은 상기 3차원 메쉬의 텍스처 맵을 이용하여 렌더링을 수행할 수 있다.
도 20은 실시예에 따른 컴퓨터 시스템의 구성을 나타낸 도면이다.
실시예에 따른 3차원 메쉬의 텍스처맵 생성 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1000)에서 구현될 수 있다.
컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(1030)는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
210: 부호화부
220: 양자화부
230: 복호화부
240: 렌더링부
250: 학습부
1000: 컴퓨터 시스템 1010: 프로세서
1020: 버스 1030: 메모리
1031: 롬 1032: 램
1040: 사용자 인터페이스 입력 장치
1050: 사용자 인터페이스 출력 장치
1060: 스토리지 1070: 네트워크 인터페이스
1080: 네트워크

Claims (14)

  1. 3차원 메쉬의 텍스처 맵을 부호화하는 단계;
    상기 부호화된 텍스처 맵을 양자화하는 단계;
    상기 양자화된 텍스처 맵을 복호화하는 단계;
    상기 복호화된 텍스처 맵을 이용하여 렌더링을 수행하는 단계; 및
    손실 함수의 값에 기반하여 상기 3차원 메쉬의 텍스처 맵을 업데이트 하는 단계;
    를 포함하는 것을 특징으로 하는 3차원 메쉬의 텍스처맵 생성 방법.
  2. 청구항 1에 있어서,
    상기 손실 함수는
    텍스처 맵의 압축 성능에 상응하는 제1 손실 함수 및 텍스처 맵의 렌더링 성능에 상응하는 제2 손실 함수를 포함하는 것을 특징으로 하는 3차원 메쉬의 텍스처맵 생성 방법.
  3. 청구항 2에 있어서,
    상기 텍스처 맵을 부호화하는 단계는
    미분 가능한 부호화기를 이용하여 수행되고,
    상기 렌더링을 수행하는 단계는
    미분 가능한 렌더링기를 이용하여 수행되는 것을 특징으로 하는 3차원 메쉬의 텍스처맵 생성 방법.
  4. 청구항 3에 있어서,
    상기 제1 손실 함수는
    상기 3차원 메쉬 텍스처 맵의 양자화된 압축 표현 벡터에 기반하여 산출되는 것을 특징으로 하는 3차원 메쉬의 텍스처맵 생성 방법.
  5. 청구항 4에 있어서,
    상기 제2 손실 함수는
    상기 렌더링된 이미지 및 원본 이미지를 이용하여 산출되는 것을 특징으로 하는 3차원 메쉬의 텍스처맵 생성 방법.
  6. 청구항 5에 있어서,
    상기 제2 손실 함수는
    렌더링 되지 않은 픽셀을 반영하기 위한 바이너리 마스크를 이용하여 산출되는 것을 특징으로 하는 3차원 메쉬의 텍스처맵 생성 방법.
  7. 청구항 4에 있어서,
    상기 렌더링을 수행하는 단계는
    부호화되지 않은 상기 3차원 메쉬의 텍스처 맵을 이용하여 렌더링을 수행하는 것을 특징으로 하는 3차원 메쉬의 텍스처맵 생성 방법.
  8. 3차원 메쉬의 텍스처 맵을 부호화하는 부호화부;
    상기 부호화된 텍스처 맵을 양자화하는 양자화부;
    상기 양자화된 텍스처 맵을 복호화하는 복호화부;
    상기 복호화된 텍스처 맵을 이용하여 렌더링을 수행하는 렌더링부; 및
    손실 함수의 값에 기반하여 상기 3차원 메쉬의 텍스처 맵을 업데이트 하는 학습부;
    를 포함하는 것을 특징으로 하는 3차원 메쉬의 텍스처맵 생성 장치.
  9. 청구항 8에 있어서,
    상기 손실 함수는
    텍스처 맵의 압축 성능에 상응하는 제1 손실 함수 및 텍스처 맵의 렌더링 성능에 상응하는 제2 손실 함수를 포함하는 것을 특징으로 하는 3차원 메쉬의 텍스처맵 생성 장치.
  10. 청구항 9에 있어서,
    상기 부호화부는
    미분 가능한 부호화기를 이용하여 부호화를 수행하고,
    상기 렌더링부는
    미분 가능한 렌더링기를 이용하여 렌더링을 수행하는 것을 특징으로 하는 3차원 메쉬의 텍스처맵 생성 장치.
  11. 청구항 10에 있어서,
    상기 제1 손실 함수는
    상기 3차원 메쉬 텍스처 맵의 양자화된 압축 표현 벡터에 기반하여 산출되는 것을 특징으로 하는 3차원 메쉬의 텍스처맵 생성 장치.
  12. 청구항 11에 있어서,
    상기 제2 손실 함수는
    상기 렌더링된 이미지 및 원본 이미지를 이용하여 산출되는 것을 특징으로 하는 3차원 메쉬의 텍스처맵 생성 장치.
  13. 청구항 12에 있어서,
    상기 제2 손실 함수는
    렌더링 되지 않은 픽셀을 반영하기 위한 바이너리 마스크를 이용하여 산출되는 것을 특징으로 하는 3차원 메쉬의 텍스처맵 생성 장치.
  14. 청구항 11에 있어서,
    상기 렌더링부는
    부호화되지 않은 상기 3차원 메쉬의 텍스처 맵을 이용하여 렌더링을 수행하는 것을 특징으로 하는 3차원 메쉬의 텍스처맵 생성 장치.
KR1020220132439A 2022-10-14 2022-10-14 3차원 메쉬의 텍스처맵 생성 방법 및 장치 Pending KR20240052425A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220132439A KR20240052425A (ko) 2022-10-14 2022-10-14 3차원 메쉬의 텍스처맵 생성 방법 및 장치
US18/114,118 US12374020B2 (en) 2022-10-14 2023-02-24 Apparatus and method for generating texture map of 3-dimensional mesh

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220132439A KR20240052425A (ko) 2022-10-14 2022-10-14 3차원 메쉬의 텍스처맵 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20240052425A true KR20240052425A (ko) 2024-04-23

Family

ID=90834080

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220132439A Pending KR20240052425A (ko) 2022-10-14 2022-10-14 3차원 메쉬의 텍스처맵 생성 방법 및 장치

Country Status (2)

Country Link
US (1) US12374020B2 (ko)
KR (1) KR20240052425A (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8462149B2 (en) 2008-04-18 2013-06-11 Electronics And Telecommunications Research Institute Method and apparatus for real time 3D mesh compression, based on quanitzation
US10397543B2 (en) 2014-09-03 2019-08-27 Nextvr Inc. Methods and apparatus for capturing, streaming and/or playing back content
GB2581536B (en) * 2019-02-25 2024-01-17 Huawei Tech Co Ltd Joint shape and texture decoders for three-dimensional rendering
KR102612539B1 (ko) 2019-12-17 2023-12-11 한국전자통신연구원 다시점 비디오 부호화 및 복호화 방법
CN112102477B (zh) * 2020-09-15 2024-09-27 腾讯科技（深圳）有限公司 三维模型重建方法、装置、计算机设备和存储介质
US12444125B2 (en) * 2021-09-25 2025-10-14 Intel Corporation Apparatus and method for ray tracing with shader call graph analysis
US12555272B2 (en) * 2022-04-20 2026-02-17 Apple Inc. Mesh compression using coding units with different encoding parameters

Also Published As

Publication number Publication date
US12374020B2 (en) 2025-07-29
US20240144578A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
JP7250952B2 (ja) 点群コーディングのための方法、装置、およびコンピュータプログラム
US12530809B2 (en) Methods and apparatuses for dynamic mesh compression
US12131508B2 (en) Dynamic mesh compression based on point cloud compression
JP7497443B2 (ja) 点群コーディングのための方法、装置、およびコンピュータプログラム
AU2016388215A1 (en) Method for compressing point cloud
CN112399165B (zh) 解码方法及装置以及计算机设备和存储介质
CN116686011B (zh) 网格编解码方法、装置及存储介质
US11113866B2 (en) Method and apparatus for point cloud compression
KR102810355B1 (ko) 메시 압축을 위한 경계 지오메트리 정보의 예측 코딩
JP7476432B2 (ja) メッシュ復元のための方法、装置及びコンピュータプログラム
US12505618B2 (en) Manhattan layout estimation using geometric and semantic information
US20250008157A1 (en) Dual-degree based coding algorithm for polygon mesh compression
KR20240052425A (ko) 3차원 메쉬의 텍스처맵 생성 방법 및 장치
JP7529923B2 (ja) 非マニホールドメッシュにおける境界ループの検出のための方法、装置、およびコンピュータプログラム
CN118679497A (zh) 用于3d网格的位移矢量译码
HK40093987A (zh) 用於动态网格压缩的方法和装置

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13 Search requested

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D13-SRH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14 Search report completed

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D14-SRH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

D21 Rejection of application intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D21-EXM-PE0902 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13 Pre-grant limitation requested

Free format text: ST27 STATUS EVENT CODE: A-2-3-E10-E13-LIM-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11 Amendment of application requested

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P11-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000