KR20170040698A - 그래픽스 파이프라인을 수행하는 방법 및 장치 - Google Patents

그래픽스 파이프라인을 수행하는 방법 및 장치 Download PDF

Info

Publication number
KR20170040698A
KR20170040698A KR1020150139992A KR20150139992A KR20170040698A KR 20170040698 A KR20170040698 A KR 20170040698A KR 1020150139992 A KR1020150139992 A KR 1020150139992A KR 20150139992 A KR20150139992 A KR 20150139992A KR 20170040698 A KR20170040698 A KR 20170040698A
Authority
KR
South Korea
Prior art keywords
graphics pipeline
preprocessing
memory
time
next frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020150139992A
Other languages
English (en)
Other versions
KR102499397B1 (ko
Inventor
김창무
조연곤
류수정
서웅
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150139992A priority Critical patent/KR102499397B1/ko
Priority to US15/098,638 priority patent/US10169839B2/en
Publication of KR20170040698A publication Critical patent/KR20170040698A/ko
Application granted granted Critical
Publication of KR102499397B1 publication Critical patent/KR102499397B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

그래픽스 파이프라인을 수행하는 방법 및 장치는, 프레임에 포함된 객체 속성을 전처리 할 때 필요한 리소스를 계산하여 전처리를 수행할지 여부를 판단하고, 전처리를 통해 변환된 객체 속성을 이용하여 그래픽스 파이프 라인을 수행한다.

Description

그래픽스 파이프라인을 수행하는 방법 및 장치 {METHOD AND APPARATUS FOR PERFORMING GRAPHICS PIPELINES}
본 개시는 그래픽스 파이프라인을 수행하는 방법 및 장치에 관한 것이다.
렌더링 시스템은 컨텐츠의 디스플레이를 위한 그래픽스 프로세싱 기능을 갖는 장치로서, PC (personal computers), 노트북, 비디오 게임용 콘솔뿐만 아니라, 스마트폰, 태블릿 디바이스, 웨어러블 디바이스와 같은 임베디드(embedded) 디바이스들도 포함될 수 있다. 일반적으로, 렌더링 시스템에 포함되는 그래픽 프로세싱 장치는 2차원 또는 3차원 객체들에 해당되는 그래픽스 데이터를 2차원 픽셀 표현으로 변환하여 디스플레이를 위한 프레임을 생성한다.
한편, 스마트폰, 태블릿 디바이스, 웨어러블 디바이스 등과 같은 임베디드 디바이스들은 비교적 낮은 연산 처리 능력과 많은 전력 소모의 문제들로 인하여, 충분한 메모리 공간과 프로세싱 파워를 확보하고 있는 PC, 노트북, 비디오 게임용 콘솔 등과 같은 워크스테이션들과 동일한 그래픽 프로세싱 성능을 갖추기 어렵다. 하지만, 최근 전세계적으로 스마트폰 또는 태블릿 디바이스와 같은 휴대용 디바이스들이 널리 보급됨에 따라 사용자들이 스마트폰 또는 태블릿 디바이스를 통해 게임을 플레이하거나 또는 영화, 드라마 등의 컨텐츠를 감상하는 빈도가 급격히 증가하였다. 이에 따라, 그래픽 프로세싱 장치의 제조사들은 사용자들의 수요에 발맞추어 임베디드 디바이스에서도 그래픽 프로세싱 장치의 성능 및 처리 효율을 높이기 위한 많은 연구들을 진행하고 있다.
그래픽스 파이프라인이 수행되기 전에 프레임에 포함된 객체 속성을 변환하는 전처리를 수행하는 방법 및 장치를 제공하는 데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
일 측면에 따른, 그래픽스 파이프라인을 수행하는 방법은 현재 프레임에 대한 상기 그래픽스 파이프라인이 수행되는 동안 다음 프레임에 포함된 객체 속성들을 처리하는데 필요한 리소스를 계산하는 단계; 상기 계산 결과에 기초하여 상기 다음 프레임을 위한 상기 그래픽스 파이프라인에서 처리될 상기 객체 속성들을 미리 변환하는 전처리를 수행할지 여부를 판단하는 단계; 및 상기 전처리를 수행하는 것으로 판단된 경우, 상기 미리 변환된 객체 속성들을 이용하여 상기 다음 프레임을 위한 상기 그래픽스 파이프라인을 수행하는 단계;를 포함할 수 있다.
또한, 상기 리소스를 계산하는 단계는 상기 전처리가 완료될 시점이 상기 다음 프레임에 대한 상기 그래픽스 파이프라인의 수행이 시작되기 이전일 때 상기 리소스를 계산하는 것일 수 있다.
또한, 상기 전처리가 완료될 시점은 상기 객체 속성을 메모리에서 로딩하는 데 걸리는 시간에 기초하여 판단되고, 상기 로딩하는 데 걸리는 시간은 상기 객체 속성의 크기에 기초한 것일 수 있다.
또한, 상기 리소스를 계산하는 단계는 상기 현재 프레임의 렌더링 진행율 및 메모리의 사용률을 모니터링 하는 단계;를 더 포함하고, 상기 다음 프레임에 대한 상기 그래픽스 파이프라인의 수행이 시작되는 시점은 상기 현재 프레임의 렌더링 진행율 및 상기 메모리의 사용률에 기초한 것일 수 있다.
또한, 상기 리소스를 계산하는 단계는 상기 다음 프레임에 대한 드로우콜(drawcall)에 포함된 정보를 분석하여 계산할 수 있다.
또한, 상기 리소스를 계산하는 단계는 상기 객체 속성을 변환하는 전처리를 수행하는 데 필요한 시간 또는 전력을 계산하는 것일 수 있다.
또한, 상기 전처리를 수행할지 여부를 판단하는 단계는 상기 전처리를 수행하는 데 필요한 시간 또는 전력, 상기 객체 속성을 상기 그래픽스 파이프라인에서 변환하는데 필요한 시간 또는 전력 및 상기 객체의 사용 빈도에 기초하여 판단하는 것일 수 있다.
또한, 상기 그래픽스 파이프라인이 타일 기반 지연 렌더링(tile-based deferred rendering)을 위한 그래픽스 파이프라인인 경우, 상기 전처리는 타일 비닝(tile binning)을 위한 패스 이전에 수행될 수 있다.
또한, 상기 객체 속성이 상기 객체의 위치에 관한 것인 경우, 상기 전처리는 상기 위치의 좌표를 변환하는 것일 수 있다.
또한, 상기 다음 프레임에 포함된 객체 속성이 상기 객체를 저장하기 위해 메모리에 할당된 위치에 관한 것인 경우, 상기 전처리는 상기 메모리에 할당된 위치를 변경하는 것일 수 있다.
다른 일측면에 따라, 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체는 그래픽스 파이프라인을 수행하는 방법을 컴퓨터에서 실행시키기 위한 프로그램으로 기록한다.
또 다른 일 측면에 따라, 그래픽스 파이프라인을 수행하는 그래픽 프로세싱 장치는 현재 프레임에 대한 상기 그래픽스 파이프라인이 수행되는 동안 다음 프레임에 포함된 객체 속성들을 처리하는데 필요한 리소스를 계산하고, 상기 계산 결과에 기초하여 상기 다음 프레임을 위한 상기 그래픽스 파이프라인에서 처리될 상기 객체 속성들을 미리 변환하는 전처리를 수행할지 여부를 판단하는, 제어부; 및 상기 전처리를 수행하는 것으로 판단된 경우, 상기 미리 변환된 객체 속성들을 이용하여 상기 다음 프레임을 위한 상기 그래픽스 파이프라인을 수행하는 렌더링부;를 포함할 수 있다.
또한, 상기 제어부는 상기 전처리가 완료될 시점이 상기 다음 프레임에 대한 상기 그래픽스 파이프라인의 수행이 시작되기 이전일 때 상기 리소스를 계산할 수 있다.
또한, 상기 제어부는 상기 전처리가 완료될 시점을 상기 객체 속성이 메모리에서 로딩되는 시간에 기초하여 판단되고, 상기 로딩되는 시간은 상기 객체 속성의 크기에 기초한 것일 수 있다.
또한, 상기 제어부는 상기 현재 프레임의 렌더링 진행율 및 메모리의 사용률을 모니터링 하고, 상기 다음 프레임에 대한 상기 그래픽스 파이프라인의 수행이 시작되는 시점은 상기 현재 프레임의 렌더링 진행율 및 상기 메모리의 사용률에 기초한 것일 수 있다.
또한, 상기 제어부는 상기 다음 프레임에 대한 드로우콜에 포함된 정보를 분석하여 리소스를 계산하는 것일 수 있다.
또한, 상기 제어부는 상기 객체 속성을 변환하는 전처리를 수행하는 데 필요한 시간 또는 전력에 기초하여 리소스를 계산하는 것일 수 있다.
또한, 상기 제어부는 상기 전처리를 수행하는 데 필요한 시간 또는 전력, 상기 객체 속성을 상기 그래픽스 파이프라인에서 변환하는데 필요한 시간 또는 전력 및 상기 객체의 사용 빈도에 기초하여 상기 전처리를 수행할지 여부를 판단하는 것일 수 있다.
또한, 상기 제어부는 상기 객체 속성이 상기 객체의 위치에 관한 것인 경우, 상기 위치의 좌표를 변환하는 전처리를 수행하는 것일 수 있다.
또한, 상기 제어부는 상기 다음 프레임에 포함된 객체 속성이 상기 객체를 저장하기 위해 메모리에 할당된 위치에 관한 것인 경우, 상기 메모리에 할당된 위치를 변경하는 전처리를 수행하는 것일 수 있다.
상기된 바에 따르면, 그래픽스 파이프라인이 수행되기 이전에 객체 속성을 변환하는 전처리를 수행할지 여부를 판단한 후 전처리를 수행함으로써, 효율적으로 그래픽 데이터를 처리할 수 있다.
도 1은 그래픽 프로세싱 장치에서 3차원 그래픽스를 처리하는 과정을 설명하는 도면이다.
도 2는 일 실시예에 따른 렌더링 시스템을 설명하기 위한 블록도이다.
도 3은 타일 기반 지연 렌더링을 수행하는 그래픽스 파이프라인을 도시한 도면이다.
도 4는 일 실시예에 따라, 전처리가 수행되는 프레임과 그래픽스 파이프라인이 렌더링하는 프레임을 시간 축으로 나타낸 도면이다.
도 5a는 일 실시예에 따라, 모델 변환 시 좌표를 변환하는 전처리를 도시한 도면이다.
도 5b 내지 5c는 일 실시예에 따라, 시야 변환 시 좌표를 변환하는 전처리를 도시한 도면이다.
도 5d는 일 실시예에 따라, 투영 변환 시 좌표를 변환하는 전처리를 도시한 도면이다.
도 6a는 일 실시예에 따라, 객체가 여러 영역에 걸쳐 표시된 것을 설명하기 위한 도면이다.
도 6b는 일 실시예에 따라, 3차원 그래픽스에 포함된 영역들이 메모리에 저장된 것을 도시한 도면이다.
도 6c는 일 실시예에 따라, 객체 속성이 객체를 저장하기 위해 메모리에 할당된 위치에 관한 것인 경우, 객체 속성의 전처리를 수행하는 것을 도시한 도면이다.
도 7은 일 실시예에 따라, 그래픽스 파이프라인을 수행하는 방법을 도시한 흐름도이다.
도 8a는 일 실시예에 따라, 객체 속성을 변환하는 전처리를 수행하는 방법을 도시한 상세 흐름도이다.
도 8b는 일 실시예에 따라, 그래픽스 파이프라인을 수행하는 방법을 도시한 상세 흐름도이다.
도 9는 일 실시예에 따른, 객체 속성의 전처리를 수행할지 여부를 판단하는 기준을 도시한 도면이다.
도 10은 일 실시예에 따른, 그래픽 프로세싱 장치를 설명하기 위한 블록도이다.
본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
실시예들에 대한 설명들에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 실시예들에 기재된 “...부”, “...모듈”의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 실시예들에서 사용되는 “구성된다” 또는 “포함한다” 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
하기 실시예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다.
도 1은 그래픽 프로세싱 장치에서 3차원 그래픽스를 처리하는 과정을 설명하는 도면이다.
3차원 그래픽스를 처리하는 과정은 크게 기하변환, 래스터화, 픽셀 쉐이딩의 3단계로 나눌 수 있으며, 이하 도 1을 참조하여, 보다 세부적인 과정에 대해 설명한다. 구체적으로, 도 1은 단계 11 내지 단계 18을 통해 3차원 그래픽스를 처리하는 과정을 나타낸다.
단계 11은 버텍스들(vertices)을 생성하는 단계이다. 버텍스들은 3차원 그래픽스에 포함된 객체(object)들을 나타내기 위해 생성된다.
단계 12는 생성된 버텍스들을 쉐이딩(shading)하는 단계이다. 버텍스 쉐이더(vertex shader)는 단계 11에서 생성된 버텍스들의 위치를 지정함으로써, 버텍스들에 대한 쉐이딩을 수행할 수 있다.
단계 13은 프리미티브(primitive)들을 생성하는 단계이다. 프리미티브는 적어도 하나의 버텍스를 이용하여 형성되는 점, 선, 다각형(polygon)등을 의미한다. 일 예로서, 프리미티는 버텍스들을 연결하여 형성된 삼각형으로 나타낼 수 있다.
단계 14는 프리미티브를 래스터화(rasterization)하는 단계이다. 프리미티브를 래스터화하는 것은 프리미티브를 프레그먼트들(fragments)로 분할하는 것을 의미한다. 프레그먼트는 프리미티브에 대해 그래픽 처리를 수행하기 위한 기본 단위일 수 있다. 프리미티브는 버텍스에 대한 정보만을 포함하므로, 래스터화 단계에서 버텍스와 버텍스 사이의 프레그먼트들을 생성함으로써, 3차원 그래픽스에 대한 그래픽 처리를 수행할 수 있도록 한다.
단계 15는 픽셀(pixel)을 쉐이딩하는 단계를 나타낸다. 래스터화에 의해 생성된, 프리미티브를 구성하는 프레그먼트들은 픽셀들이 될 수 있다. 당해 분야에서, 프레그먼트와 픽셀이란 용어는 경우에 따라 혼용해서 사용되기도 한다. 예를 들어, 픽셀 쉐이더는 프레그먼트 쉐이더라고 부를 수 있다. 일반적으로, 프리미티브를 구성하는 그래픽 처리의 기본 단위를 프레그먼트라고 부르고, 이후, 픽셀 쉐이딩부터 그래픽 처리의 기본 단위를 픽셀이라 부를 수 있다. 픽셀 쉐이딩에서는 픽셀의 색을 결정할 수 있다.
단계 16은 픽셀의 색을 결정하기 위한 텍스쳐링(texturing) 단계를 나타낸다. 텍스쳐링은 미리 준비된 이미지인 텍스쳐를 이용하여 픽셀의 색을 결정하는 과정이다. 실세계의 다양한 색상과 패턴의 모습을 표현하기 위해서 각각의 픽셀의 색상을 계산하여 결정하는 것은 그래픽 처리에 필요한 데이터 연산량과 그래픽 처리 시간을 증가시키므로, 미리 준비된 텍스쳐를 이용하여 픽셀의 색상을 결정하는 것이다. 예를 들어, 객체의 표면 색상을 텍스쳐라는 별도의 2차원 영상으로 저장하고, 객체의 화면상의 위치 및 크기 등에 따라 저장된 텍스쳐를 확대 및 축소하거나, 다양한 해상도를 갖는 텍스쳐들을 이용하여 텍셀 값들을 혼합함으로써, 픽셀의 색상을 결정할 수 있다.
단계 17은 테스트 및 믹싱(testing and mixing) 단계를 나타낸다. 단계 17에서는 픽셀들에 대한 알파 테스트, 스텐실 테스트, 깊이 테스트 등과 같은 과정을 거쳐, 최종적으로 표시될 픽셀 값을 결정할 수 있다. 그래픽 프로세싱 장치는 이런 과정을 거쳐 하나의 프레임에 해당하는 3차원 그래픽스를 생성할 수 있다.
단계 18은 11 내지 단계 17을 통해 생성된 프레임을 프레임 버퍼(frame buffer)에 저장하고, 프레임 버퍼에 저장된 프레임을 디스플레이 장치를 통해 표시하는 단계를 나타낸다.
도 2는 일 실시예에 따른 렌더링 시스템을 설명하기 위한 블록도이다.
렌더링 시스템(200)은 그래픽 프로세싱 장치(210), 애플리케이션(220), 디바이스 드라이버(230) 및 메모리(240)를 포함할 수 있다. 도 2에 도시된 렌더링 시스템(200)은 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
렌더링 시스템(200)은 데스크탑 컴퓨터, 노트북 컴퓨터, 스마트폰, PDA (personal digital assistants), 휴대형 미디어 플레이어, 비디오 게임용 콘솔, 텔레비젼 셋탑 박스, 태블릿 디바이스, 이북 리더, 웨어러블 디바이스, HMD(Head Mounted Display) 디바이스 등을 예로 들 수 있지만, 이에 제한되지 않는다. 즉, 렌더링 시스템(200)은 컨텐츠의 디스플레이를 위한 그래픽스 프로세싱 기능을 갖는 장치로서, 렌더링 시스템(200)의 범주에는 다양한 장치들이 포함될 수 있다.
애플리케이션(220)은 OpenGL, OpenGL ES 또는 DirectX 등의 API(Application Program Interface) 표준을 통해 3차원 그래픽스의 렌더링과 관련된 정보를 디바이스 드라이버(230)에게 제공할 수 있다.
디바이스 드라이버(230)는 하드웨어와 응용프로그램 및 운영체제간의 인터페이스를 담당하는 소프트웨어를 의미한다. 디바이스 드라이버(230)는 애플리케이션(220)으로부터 수신된 API를 분석하고 그래픽 프로세싱 장치(210)에서 처리 가능한 커맨드(command)로 변환하여, 그래픽 프로세싱 장치(210)로 커맨드를 전송할 수 있다. 드로우 커맨드는 소정의 영상 또는 소정의 프레임에 어떤 객체를 렌더링할 것인지를 나타내는 명령어이며, 일 실시예에 따라 드로우 커맨드는 드로우콜(drawcall)로써 표현할 수 있다. 예를 들어, 드로우 커맨드는 영상 또는 프레임에 포함된 소정의 개수의 사각형 또는 삼각형을 그리기 위한 커맨드일 수 있다.
한편, 객체는 3차원 그래픽스를 렌더링 하기 위해 그래픽스 파이프라인이 수신하거나, 이용하는 정보를 의미한다. 예를 들어, 드로우 커맨드에 의해 렌더링되는 3차원 그래픽스에 포함된 물체는 객체가 될 수 있다. 또한, 물체를 렌더링 하기 위해 그래픽스 파이프라인이 이용하는 버텍스, 프리미티브 등이 포함될 수 있으나, 이에 제한되지 않는다. 이때 각 객체는 속성을 가질 수 있는데, 객체 속성은 객체의 특징을 나타내는 모든 정보를 포함하여 정의될 수 있다. 예를 들어, 프레임 내에서 객체의 위치 정보, 객체를 저장하기 위해 메모리에 할당된 위치 또는 변수형(variable type) 등이 포함될 수 있으나, 이에 제한되지 않는다.
그래픽 프로세싱 장치(210)는 그래픽스 파이프라인을 수행하는 장치로서, GPU(Graphic Processing Unit)를 포함하는 그래픽 전용 프로세서에 해당될 수 있다. 즉, 그래픽 프로세싱 장치(210)는 3차원 이미지 상의 3차원 객체들을 디스플레이용의 2차원 이미지로 렌더링하기 위해 3차원 그래픽스 파이프라인을 실행하도록 구현된 하드웨어일 수 있다. 예를 들면, 그래픽 프로세싱 장치(210)는 쉐이딩, 블렌딩, 일루미네이팅과 같은 다양한 기능들 및 디스플레이될 픽셀들에 대한 픽셀 값들을 생성하기 위한 다양한 기능들을 수행할 수도 있다.
또한, 그래픽 프로세싱 장치(210)는 디바이스 드라이버(230)로부터 수신한 3차원 그래픽스에 대한 드로우 커맨드에 기초하여, 타일 기반 렌더링(tile-based rendering, TBR) 또는 타일 기반 지연 렌더링(tile-based deferred rendering, TBDR)을 수행할 수 있다.
또한 일 실시예에 따라, 그래픽 프로세싱 장치(210)는 제어부(211) 및 렌더링부(212)를 포함할 수 있다. 이때 렌더링부(212)는 복수의 그래픽스 파이프라인을 수행할 수 있다.
제어부(211)는 디바이스 드라이버(230)로부터 3차원 그래픽스에 대한 적어도 하나의 드로우 커맨드를 수신할 수 있다. 제어부(211)는 일 실시예에 따라, 적어도 하나의 드로우 커맨드를 소정의 단위를 갖는 배치들(batches)로 분할할 수 있고, 배치들을 렌더링부(212)에서 수행되는 그래픽스 파이프라인에 할당할 수 있다. 예를 들어, 제어부(211)는 100개의 프리미티브에 대한 드로우 커맨드를 20개의 프리미티브에 대한 드로우 커맨드의 단위를 갖는 배치들로 분할하여, 드로우 커맨드를 5개의 배치들로써 복수의 그래픽스 파이프라인들마다 할당할 수 있다.
또한, 렌더링부(212)의 그래픽스 파이프라인들은 할당된 배치들에 따라 3차원 그래픽스에 대한 타일 비닝(tile binning)을 수행할 수 있다. 이하에서 설명의 편의상 타일 기반 지연 렌더링을 전제로 하여 실시예들을 기술하였으나, 다른 렌더링 방식에서도 적용될 수 있다.
타일 비닝에 대한 구체적인 설명은 이하의 해당 도면들에서 보다 상세히 설명하도록 한다.
메모리(240)는 렌더링 시스템(200) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 그래픽 프로세싱 장치(210)에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리(240)는 디바이스 드라이버(230) 및 그래픽 프로세싱 장치(210)에 의해 구동될 애플리케이션들, 드라이버들 등을 저장할 수 있다. 메모리(240)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함하며, 나아가서, 렌더링 시스템(200)에 액세스될 수 있는 외부의 다른 스토리지 디바이스를 포함할 수 있다.
도 3은 타일 기반 지연 렌더링을 수행하는 그래픽스 파이프라인을 도시한 도면이다.
그래픽 프로세싱 장치(210)는 하나의 프레임에 해당하는 3차원 그래픽스를 렌더링하기 위해서, 타일에 기초한 렌더링 방식을 사용할 수 있다. 다시 말해서, 도 1의 래스터화 단계(14) 이전에 그래픽 프로세싱 장치(210)는 한 프레임을 일정한 크기의 복수 개의 타일로 분할하는 작업을 수행하여, 래스터화 단계(14) 이후의 작업을 타일 단위로 처리할 수 있다. 이렇게 되면 타일 단위로 버텍스 정보를 처리하는 작업과 타일 단위 처리 후에 나뉘어진 타일을 모아 프레임을 구성하는 작업이 추가되지만, 메모리(240)에서 로딩하는 정보는 타일 단위로 줄어드는 효과가 있다. 또한, 래스터화 단계(14) 이후로는 타일 간의 독립성으로 타일 단위로 병렬 처리가 가능하기 때문에, 병렬 처리 효율성을 높일 수 있다.
한편, 타일 기반 렌더링의 경우 보이지 않는 표면에 관한 픽셀에 대해서도 텍스쳐와 쉐이딩 작업이 수행되는 경우가 있다. 이를 보완하기 위해, 그래픽 프로세싱 장치(210)는 타일 기반 지연 렌더링을 수행할 수 있다. 타일 기반 지연 렌더링은 현재 프레임에 사용되는 모든 다각형(polygon) 정보가 도착하기 전까지 렌더링이 실행되지 않는다. 또한, 각 픽셀에서 어떤 표면이 보이는지 결정하기 전까지 텍스쳐와 쉐이딩 작업이 지연될 수 있다. 따라서, 쉐이딩 작업이 지연될 수 있지만, 보이지 않는 표면에 포함된 다각형을 처리하지 않기 때문에 메모리(240)를 효율적으로 사용할 수 있다.
도 3을 참조하면, 타일 기반 지연 렌더링은 비닝 패스(Binning pass)(310), Z-프리패스(Z-prepass)(320) 및 컬러 패스(Color pass)(330)를 순차적으로 수행하는 렌더링을 의미한다. 비닝 패스(310)는 타일 비닝을 생성하는 패스이다. 타일 비닝은 3차원 그래픽스를 소정의 개수의 타일들로 분할하고, 3차원 그래픽스 내의 각 타일 상에서 적어도 하나의 드로우 커맨드가 수행되는지 여부를 나타내는 비닝 정보를 생성하는 프로세스일 수 있다. 비닝 패스(310)는 입력 어셈블링(Input assembling), 버텍스 쉐이딩(Vertex shading), CCV(Culling, Clipping, Viewport transform), 비닝(Binning), 비닝에 의해 결정된 각 타일에 속한 프리미티브에 대한 정보를 타일 비트스트림(Bitstream)에 저장하는 스테이지를 포함한다.
Z-프리패스(320)는 타일 단위로 깊이를 확인하여 가려지는 프리미티브들을 제거하는 패스이며, 드로우콜 및 비트스트림을 입력 받아 프리미티브를 생성할 수 있다. Z-프리패스(320)는 입력 어셈블링, 버텍스 쉐이딩, CCV, 픽셀 쉐이딩(Pixel shading) 및 프리미티브를 생성하는 스테이지를 포함한다.
마지막으로, 컬러 패스(330)는 제거된 프리미티브들을 제외한 남은 프리미티브를 렌더링할 수 있다. 컬러 패스(330)는 입력 어셈블링, 버텍스 쉐이딩, CCV, 픽셀 쉐이딩, 래스터 오퍼레이션(Raster operation) 및 렌더링 이미지를 출력하는 스테이지를 포함한다.
도 3에 따르면, 3 종류의 패스는 각각 입력 어셈블링, 버텍스 쉐이딩 및 CCV 단계를 포함한다. 따라서, 중복되는 단계에서 변환될 객체 속성을 비닝 패스(310) 이전에 변환하는 전처리를 수행하여 메모리(240)에 저장해두면, 각 패스에서 반복해서 변환할 필요가 없으므로 그래픽 처리 효율을 향상시킬 수 있다. 예를 들어, 타일 기반 지연 렌더링 방식을 이용하면 3차원 그래픽스에 포함된 객체 속성들은 총 3번의 버텍스 쉐이딩 단계를 거치게 된다. 한편, 버텍스 쉐이딩 단계는 버텍스들을 입력 받기 때문에, 버텍스들을 객체로 볼 수 있고, 버텍스들의 위치는 객체 속성일 수 있다. 이때 버텍스 쉐이딩 단계에서 버텍스들 위치가 지정되므로, 버텍스들의 위치는 여러 종류의 좌표계에 따른 좌표상 위치로 변환될 수 있다. 따라서, 그래픽 프로세싱 장치(210)가 버텍스 쉐이딩 단계에서 변환될 버텍스들의 좌표를 비닝 패스(310) 이전에 미리 변환하면, 각 패스의 버텍스 쉐이딩 단계에서 동일한 좌표 변환을 반복해서 수행할 필요 없이, 변환된 좌표 값을 이용해서 렌더링을 수행할 수 있다. 상기 실시예는 타일 기반 지연 렌더링 방식을 전제로 하여 설명되었으나, 상기 렌더링 방식 외에 다른 렌더링 방식에서도 전처리 방법이 적용될 수 있음은 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
한편, 도 3에는 세 단계만 중복되는 것으로 표시되었으나, 상기 단계들 외에 다른 단계들이 더 중복될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
도 4는 일 실시예에 따라, 전처리가 수행되는 프레임과 그래픽스 파이프라인이 렌더링하는 프레임을 시간 축으로 나타낸 도면이다.
도 4에서 상단의 프레임 배열(410)은 전처리가 수행되는 프레임을 의미하고, 하단의 프레임 배열(420)은 그래픽스 파이프라인이 수행되는 프레임을 의미한다. 예를 들어, N 번째 프레임(430)에 대한 전처리가 수행되는 동안에 N-1 번째 프레임에 대해 그래픽스 파이프라인이 수행될 수 있다(N은 자연수). N-1 번째 프레임은 N 번째 프레임의 이전 프레임을 의미한다. 한편, 각 프레임의 전처리에 소요되는 시간이나 그래픽스 파이프라인이 수행되는 데 소요되는 시간은 프레임마다 달라질 수 있다. 따라서, 매 프레임마다 전처리가 수행된 다음 그래픽스 파이프라인이 수행된다고 가정하면, 그래픽스 파이프라인이 수행되기 이전에 전처리가 완료되지 않아 중간에 렌더링이 단절되는 구간(430)이 발생할 수 있다. 예를 들어 도 4를 참조하면, N+3 번째 프레임에 대한 전처리는 N+2 번째 프레임에 대한 그래픽스 파이프라인의 수행이 종료되는 시점보다 더 늦어질 수 있다. 이런 경우 렌더링부(212)는 N+2 번째 프레임에 대한 그래픽스 파이프라인의 수행을 완료한 후 바로 N+3 번째 프레임에 대한 그래픽스 파이프라인을 수행할 수 없기 때문에, 렌더링부(212)의 성능이 저하될 수 있다.
이하, 도 5a 내지 도 6c에서는 객체 속성에 따라 수행하게 되는 전처리에 대한 일부 실시예들을 설명하기로 한다.
도 5a 내지 5d는 객체 속성이 객체의 위치에 관한 것인 경우, 수행되는 전처리에 관한 일 실시예를 도시한 도면이다. 한편, 3차원 그래픽스를 렌더링한 결과는 2차원에 표시되기 때문에, 그래픽스 파이프라인에서 3차원 좌표는 2차원 좌표로 변환될 필요가 있다. 따라서, 객체 속성이 객체의 위치에 관한 것일 때, 그래픽 프로세싱 장치(210)는 좌표를 변환하는 전처리를 수행할 수 있다.
구체적으로, 도 5a는 일 실시예에 따라, 모델 변환 시 좌표를 변환하는 전처리를 도시한 도면이다.
예를 들어, 3차원 모델 프리미티브는 모델 변환(Model transformation) 과정을 통해 로컬 좌표계에서 전역 좌표계로 변환될 수 있다. 이때 프리미티브를 객체라고 가정하면, 특정 좌표계에서 좌표 값은 객체 속성에 포함될 수 있다. 도 5a를 참조하면, 의자(510)는 자체 로컬 좌표계(515)를 가질 수 있다. 또한, 의자(510)의 로컬 좌표계(515) 원점은 의자(510)의 다리 부분에 있을 수 있다. 그러나 의자(510)를 거실이라는 전역 좌표계(530)로 옮긴다면, 원점이 전역 좌표계(530) 원점으로 이동하기 때문에, 의자(510)의 좌표 값은 달라질 수 있다. 이런 과정을 모델 변환이라고 한다. 즉, 그래픽 프로세싱 장치(210)는 객체 속성이 객체의 로컬 좌표에 관한 것인 경우, 전역 좌표계로 좌표 값을 변환하는 전처리를 수행할 수 있다.
도 5b 내지 5c는 일 실시예에 따라, 시야 변환 시 좌표를 변환하는 전처리를 도시한 도면이다.
시야 변환(Viewing transformation)은 시점을 전역 좌표계의 원점으로 이동시키는 변환을 의미한다. 도 5b를 참조하면, 카메라의 위치(545)가 좌표계의 원점과 다르고, 카메라의 방향(540)이 좌표 축과 상이하므로, 물체를 회전시키거나 이동시킬 때 좌표 계산이 복잡해질 수 있다. 이때, 그래픽 프로세싱 장치(210)는 도 5c와 같이 시야 변환을 수행하여 카메라 위치를 원점(555)과 동일하게 하고, 카메라 방향을 좌표 축(550)과 동일하게 변환할 수 있다.
도 5d는 일 실시예에 따라, 투영 변환 시 좌표를 변환하는 전처리를 도시한 도면이다.
투영 변환(Projection transformation)이란 시점으로부터 3차원 투영도를 그림으로써, 3차원 그래픽스를 2차원으로 변환하는 것을 의미한다. 도 5d는 원근 투영 방식에 관한 것으로, 물체(560)의 한 면(565)을 투영심(center of projection)(580)을 감안하여 뷰 평면(view plane)(570)에 투영하는 방식을 도시한 것이다. 이때, 뷰 평면(570)이란 기준 투영면을 의미한다.
예를 들어, 객체 속성이 3차원 그래픽스의 위치인 경우, 그래픽 프로세싱 장치(210)는 객체 속성을 뷰 평면(575)상 좌표로 변환하는 전처리를 수행할 수 있다.
도 6a 내지 6c는 객체 속성이 객체를 저장하기 위해 메모리(240)에 할당된 위치에 관한 것인 경우, 객체 속성의 전처리를 수행하는 일 실시예를 도시한 도면이다.
도 6a는 일 실시예에 따라, 객체가 여러 영역에 걸쳐 표시된 것을 설명하기 위한 도면이다.
도 6a를 참조하면, 3차원 그래픽스(600)는 복수의 영역들(611 내지 619)로 표시될 수 있다. 이때 객체(630)가 여러 영역들(612, 613, 615, 616)에 걸쳐 표시되어 있는 경우, 객체(630)를 렌더링하기 위해서는 4개 영역들(612, 613, 615, 616)의 정보가 요구된다.
도 6b는 일 실시예에 따라, 3차원 그래픽스에 포함된 영역들이 메모리에 저장된 것을 도시한 도면이다.
그래픽 프로세싱 장치(210)는 객체(630)를 렌더링 하기 위해서 메모리(240)내 각 영역 정보에 할당된 주소에 접근해야 한다. 이때, 도 6b에 도시된 배열 순서(645)에 따라 메모리(240)에 각 영역 정보가 저장되면 그래픽 프로세싱 장치(210)에 의해 로딩되는 영역 정보는 배열 순서와 무관하므로, 그래픽 프로세싱 장치(210)가 메모리(240)에 접근하는 효율이 저하될 수 있다.
도 6c는 일 실시예에 따라, 객체 속성이 객체를 저장하기 위해 메모리에 할당된 위치에 관한 것인 경우, 객체 속성의 전처리를 수행하는 것을 도시한 도면이다.
도 6b와 달리, 도 6c와 같은 배열 순서(655)로 메모리(240)에 각 영역 정보가 저장되면, 그래픽 프로세싱 장치(210)는 메모리(240)의 배열 순서에 따라 순차적으로 접근하여 렌더링을 수행할 수 있다. 따라서, 객체 속성이 객체를 저장하기 위해 메모리(240)에 할당된 위치에 관한 것이라면, 그래픽 프로세싱 장치(210)는 메모리(240)에 저장된 순서를 변경하는 전처리를 수행하여, 효율적으로 그래픽 처리를 수행할 수 있다.
한편 일 실시예에 따라, 객체 속성이 변수형을 의미할 수 있다. 예를 들어, 어느 변수가 그래픽스 파이프라인이 수신하는 객체에 해당되는 경우, 변수형은 객체 속성이 될 수 있다. 구체적으로 객체 속성은 변수형이 정수형(integer) 이거나, 실수형(double 또는 float)인 것을 의미할 수 있으나, 이에 제한되지 않는다. 이런 경우, 변수는 그래픽스 파이프라인이 수행되는 동안에 형 변환이 수행될 수 있다. 예를 들어, 그래픽스 파이프라인이 수신하는 변수의 변수형은 정수형이었지만, 그래픽스 파이프라인이 수행되는 동안 어느 단계에서는 실수형으로 변환될 수 있다. 따라서, 그래픽스 파이프라인이 수행되기 이전에 미리 형 변환하는 전처리를 수행할 수 있다.
다른 일 실시예에 따라, 객체 속성이 객체의 데이터 크기를 의미할 수 있다. 이때, 그래픽 프로세싱 장치(210)는 객체를 압축 변환하는 전처리를 수행할 수 있다. 예를 들어, 어느 객체가 그래픽스 파이프라인이 수행되는 동안 여러 번 메모리(240)에서 로딩될 수 있다. 만약 객체의 데이터가 크다면 메모리(240)에서 여러 번 로딩되는 것으로 인해 그래픽 프로세싱 장치(210)의 성능이 저하될 수 있다. 이런 경우 그래픽 프로세싱 장치(210)가 그래픽스 파이프라인이 수행되기 전에 객체의 데이터를 압축 변환하는 전처리를 수행하여 메모리(240)에 미리 저장하면, 그래픽스 파이프라인이 수행되는 동안 압축된 객체를 로딩할 수 있으므로 그래픽 처리의 효율성이 증가될 수 있다.
상기 객체 속성 외에 다른 객체 속성에 대해서도 전처리가 수행될 수 있음은 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
도 7은 일 실시예에 따라, 그래픽스 파이프라인을 수행하는 방법을 도시한 흐름도이다.
단계 710에서, 그래픽 프로세싱 장치(210)는 현재 프레임에 대한 그래픽스 파이프라인이 수행되는 동안 다음 프레임에 포함된 객체 속성들을 처리하는데 필요한 리소스를 계산할 수 있다. 이때 계산되는 리소스는 시간 이득 또는 전력 이득에 관한 것으로, 계산 방법에 관한 구체적인 설명은 이하의 해당 도면들에서 보다 상세히 설명하도록 한다.
단계 720에서, 그래픽 프로세싱 장치(210)는 계산 결과에 기초하여 다음 프레임을 위한 그래픽스 파이프라인에서 처리될 객체 속성들을 미리 변환하는 전처리를 수행할지 여부를 판단할 수 있다.
단계 730에서, 그래픽 프로세싱 장치(210)는 전처리를 수행하는 것으로 판단된 경우, 미리 변환된 객체 속성들을 이용하여 다음 프레임을 위한 그래픽스 파이프라인을 수행할 수 있다.
도 8a 내지 8b는 일 실시예에 따라, 그래픽스 파이프라인을 수행하는 방법을 도시한 상세 흐름도이다.
도 8a는 일 실시예에 따라, 객체 속성을 변환하는 전처리를 수행하는 방법을 도시한 상세 흐름도이다.
단계 810에서, 제어부(211)는 디바이스 드라이버 (230)로부터 다음 프레임에 포함된 객체 속성을 수신할 수 있다. 이때 객체 속성은 드로우 콜에 포함되어 수신될 수 있다.
단계 820에서, 제어부(211)는 전처리가 완료될 시점이 다음 프레임에 대한 그래픽스 파이프라인의 수행이 시작되기 이전인지 판단할 수 있다. 예를 들어, 다음 프레임에 포함된 객체 속성의 전처리를 수행하는데 소요되는 시간을 T1, 다음 프레임의 렌더링이 시작까지 잔여시간을 T2 라 하면, 단계 820은 수학식 1과 같은 판단을 수행하게 된다.
Figure pat00001
A는 메모리 사용률이며, 구체적으로 최근 특정 시간 중 메모리가 동작 중이었던 시간의 비율을 의미한다. 따라서, T2ⅹA는 다음 프레임의 렌더링 시작까지 남은 잔여시간 중에 메모리를 사용할 수 있는 시간으로 정의될 수 있다. 이때, T1 은 변환될 객체 속성을 메모리(240)로부터 로딩하는 데 걸리는 시간에 기초하여 계산될 수 있으며, 메모리(240)로부터 로딩하는 데 걸리는 시간은 객체 속성의 크기에 따라 달라질 수 있다. 또한, T2와 A값은 각각 렌더링부(212)와 메모리(240)의 상태정보를 모니터링해서 획득할 수 있다. 구체적으로, T2는 렌더링부(212)에서 모니터링된 현재 프레임의 렌더링 진행율에 기초하여 계산될 수 있다. 또한, A는 메모리(240)에서 모니터링된 정보일 수 있다.
한편, T1이 T2ⅹA보다 작은 경우 단계 830이 수행될 수 있고, 그렇지 않다면 전처리 방법은 종료될 수 있다.
또한, 일 실시예에 따라, 단계 820에서 제어부(211)는 T1 < T2조건을 기초로 전처리를 수행할 수 있는지 판단할 수 있다. 예를 들어, 메모리(240)를 모니터링할 수 없거나, 모니터링 결과가 부정확한 경우라면 메모리 사용률 A를 고려하지 않고, T1 < T2조건을 적용할 수 있다.
또한, 다른 일 실시예에 따라, 단계 820에서 제어부(211)는 렌더링부(212) 및 메모리(240)를 모니터링할 수 없거나 모니터링 결과가 부정확한 경우, 드로우콜에 포함된 정보를 분석하여 T1및 T2를 판단할 수 있다.
단계 830에서, 그래픽스 파이프라인이 수행되기 이전에 객체 속성을 미리 변환하면 성능 이득을 얻을 수 있는지 판단할 수 있다. 만약 객체 속성을 미리 전처리하여 성능 이득을 얻을 수 있는 경우, 제어부(211)는 단계 840를 수행할 수 있고, 그렇지 않다면 전처리 방법은 종료되고 그래픽스 파이프라인이 수행될 수 있다. 이때 성능 이득은 시간 이득과 전력 이득을 포함할 수 있다.
단계 840에서, 제어부(211)는 객체 속성을 변환하는 전처리를 수행할 수 있다. 예를 들어, 객체 속성이 객체의 위치에 관한 것인 경우, 전처리는 좌표를 변환하는 것일 수 있다. 또한, 객체 속성이 객체를 저장하기 위해 메모리(240)에 할당된 위치에 관한 것인 경우, 전처리는 메모리(240)에 할당된 위치를 변경하는 것일 수 있다. 또한, 객체가 변수인 경우, 전처리는 변수의 형 변환을 수행하는 것일 수 있다. 또한, 객체 속성이 데이터 크기에 해당한다면, 전처리는 객체를 압축하는 것일 수 있다. 상기 객체 속성 외에 다른 객체 속성에 대해서도 전처리가 수행될 수 있음은 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
도 8b는 일 실시예에 따라, 그래픽스 파이프라인을 수행하는 방법을 도시한 상세 흐름도이다.
단계 850에서, 렌더링부(212)는 그래픽스 파이프라인에서 객체 속성의 변환이 필요한지 판단할 수 있다. 만약 객체 속성의 변환이 필요하면 단계 860이 수행되고 그렇지 않으면 단계 870을 수행할 수 있다. 단계 850에서 객체 속성의 처리가 필요한지 여부는 전처리된 객체 속성이 메모리에 저장되어 있는지 확인하여 판단할 수 있으나, 이에 제한되지 않는다.
단계 860에서, 렌더링부(212)는 그래픽스 파이프라인에서 객체 속성을 변환할 수 있다. 이때 객체 속성이 메모리(240)에 할당된 위치에 관한 것이라면, 전처리를 수행하지 않더라도 객체 속성은 유지된다. 그 이유는 메모리(240)에서 정보를 로딩하는 것은 그래픽스 파이프라인이 수행되기 이전에 완료되기 때문이다. 따라서, 그래픽스 파이프라인이 수행되는 동안에는, 비록 전처리가 수행되지 않았더라도 메모리(240)내 객체가 저장된 위치는 변경되지 않는다.
단계 870에서, 렌더링부(212)는 렌더링을 수행할 수 있다. 렌더링 방식은 도 3의 타일 기반 지연 렌더링일 수 있고, 타일 기반 렌더링일 수 있으나 이에 제한되지 않는다.
도 9는 일 실시예에 따른, 객체 속성의 전처리를 수행할지 여부를 판단하는 기준을 도시한 도면이다.
도 9에 도시된 판단 기준 외에 다른 범용적인 판단 기준들이 적용될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
도 9의 식 (1) 및 식 (2)는 각각 시간 이득과 전력 이득을 판단하는 기준을 나타낸다. 구체적으로 식 (1)에서 N은 렌더링부(212)에 적용된 렌더링 방식에서 패스의 수를 의미한다. 예를 들어, 렌더링부(212)에 도 3의 타일 기반 지연 렌더링이 적용된다면 N은 3이 될 수 있다. 한편, f는 전처리 하려는 객체의 사용 빈도로 정의된다. f는 프레임 정보가 그래픽 프로세싱 장치(210)에 수신되면 객체의 정보를 분석하여 예측될 수 있다. 식 910은 시간 이득을 의미하는 것으로, Tc는 한 객체 속성이 제어부(211)에서 변환될 때 소요되는 시간이고, Tr은 객체 속성이 렌더링부(212)에서 변환될 때 소요되는 시간을 의미한다. 따라서, 식 910은 렌더링부(212)와 제어부(211)가 같은 연산을 수행하는 데 소요되는 시간을 비율로 나타낸 것이라고 할 수 있다. 제어부(211)는 여러 번 측정을 통해 각 변환 별로 식 910을 계산하고, 저장할 수 있다. 식 (1)에 따르면, 제어부(211)는 시간 이득은 패스의 수, 객체의 사용 빈도와 시간 비율(910)의 곱의 결과가 1보다 큰 경우, 시간 이득이 있는 것으로 판단할 수 있다.
식 (2)의 경우, N 과 f는 식 (1)에서와 동일하다. 또한, Pc와 Pr은 각각 객체 속성이 제어부(211)와 렌더링부(212)에서 변환될 때 소모되는 전력을 의미한다. 따라서, 식 920은 렌더링부(212)와 제어부(211)가 같은 연산을 수행하는 데 소모되는 전력의 비율로서, 전력 이득을 의미한다. 식 (2)에 따르면, 제어부(211)는 패스의 수, 객체의 사용 빈도와 전력 비율(920)의 곱의 결과가 1보다 큰 경우, 전력 이득이 있는 것으로 판단할 수 있다.
한편, 성능 이득은 시간 이득과 전력 이득을 포함할 수 있다. 따라서, 제어부(211)는 식 (1) 및 식 (2)을 모두 만족하는 경우에만 객체 속성의 전처리를 수행하는 것으로 판단할 수 있다. 이때 식 (1) 및 식 (2)의 우변 값은 1 대신 성능과 전력에 대해 다른 기준 값을 정할 수 있다. 또한, 제어부(211)는 일 실시예에 따라 식 (1)과 식 (2)중 어느 한 식이 만족하는 경우 객체 속성의 전처리를 수행할 수 있다.
도 10은 일 실시예에 따른, 그래픽 프로세싱 장치를 설명하기 위한 블록도이다.
도 10을 참고하면, 그래픽 프로세싱 장치(1000)는 제어부(1010) 및 렌더링부(1020)를 포함할 수 있다. 도 10의 그래픽 프로세싱 장치(1000)는 도 2의 그래픽 프로세싱 장치(210)와 동일할 수 있다. 또한, 도 10에 도시된 그래픽 프로세싱 장치(1000)에는 실시예들과 관련된 구성요소들만이 도시되어 있으나, 도 10에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
제어부(1010)는 현재 프레임에 대한 그래픽스 파이프라인이 수행되는 동안 다음 프레임에 포함된 객체 속성들을 처리하는데 필요한 리소스를 계산하고, 계산 결과에 기초하여 다음 프레임을 위한 그래픽스 파이프라인에서 처리될 객체 속성들을 미리 변환하는 전처리를 수행할지 여부를 판단할 수 있다.
또한 일 실시예에 따라, 제어부(1010)는 전처리가 완료될 시점이 다음 프레임에 대한 그래픽스 파이프라인의 수행이 시작되기 이전인지 판단하여 상기 리소스를 계산할 수 있다. 이때, 전처리를 수행하는 데 소요되는 시간은 객체 속성을 메모리(240)에서 로딩하는 데 걸리는 시간에 기초하여 판단될 수 있다. 또한, 메모리(240)로부터 로딩하는 데 걸리는 시간은 객체 속성의 크기에 기초하여 판단될 수 있다.
또한 일 실시예에 따라, 제어부(1010)는 현재 프레임의 렌더링 진행율 및 메모리(240)의 사용률을 모니터링 하고, 다음 프레임에 대한 그래픽스 파이프라인의 수행이 시작되는 시점은 현재 프레임의 렌더링 진행율 및 메모리(240)의 사용률에 기초하여 판단될 수 있다.
또한 일 실시예에 따라, 제어부(1010)는 다음 프레임에 대한 드로우콜에 포함된 정보를 분석하여, 전처리가 완료될 시점이 다음 프레임에 대한 그래픽스 파이프라인의 수행이 시작되기 이전인지 판단할 수 있다.
렌더링부(1020)는 전처리를 수행하는 것으로 판단된 경우, 미리 변환된 객체 속성들을 이용하여 다음 프레임을 위한 그래픽스 파이프라인을 수행할 수 있다. 또한 렌더링부(1020)는 전처리가 수행되지 않은 경우, 그래픽스 파이프라인에서 객체 속성을 변환할 수 있다.
본 실시예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 실시예의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 그래픽스 파이프라인을 수행하는 방법에 있어서,
    현재 프레임에 대한 상기 그래픽스 파이프라인이 수행되는 동안 다음 프레임에 포함된 객체 속성들을 처리하는데 필요한 리소스를 계산하는 단계;
    상기 계산 결과에 기초하여 상기 다음 프레임을 위한 상기 그래픽스 파이프라인에서 처리될 상기 객체 속성들을 미리 변환하는 전처리를 수행할지 여부를 판단하는 단계; 및
    상기 전처리를 수행하는 것으로 판단된 경우, 상기 미리 변환된 객체 속성들을 이용하여 상기 다음 프레임을 위한 상기 그래픽스 파이프라인을 수행하는 단계;
    를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 리소스를 계산하는 단계는
    상기 전처리가 완료될 시점이 상기 다음 프레임에 대한 상기 그래픽스 파이프라인의 수행이 시작되기 이전일 때 상기 리소스를 계산하는, 방법.
  3. 제 2 항에 있어서,
    상기 전처리가 완료될 시점은
    상기 객체 속성을 메모리에서 로딩하는 데 걸리는 시간에 기초하여 판단되고,
    상기 로딩하는 데 걸리는 시간은 상기 객체 속성의 크기에 기초한 것인, 방법.
  4. 제 2 항에 있어서,
    상기 리소스를 계산하는 단계는
    상기 현재 프레임의 렌더링 진행율 및 메모리의 사용률을 모니터링 하는 단계;
    를 더 포함하고,
    상기 다음 프레임에 대한 상기 그래픽스 파이프라인의 수행이 시작되는 시점은 상기 현재 프레임의 렌더링 진행율 및 상기 메모리의 사용률에 기초한 것인, 방법.
  5. 제 2 항에 있어서,
    상기 리소스를 계산하는 단계는
    상기 다음 프레임에 대한 드로우콜(drawcall)에 포함된 정보를 분석하여 계산하는 것인, 방법.
  6. 제 2 항에 있어서,
    상기 리소스를 계산하는 단계는
    상기 객체 속성을 변환하는 전처리를 수행하는 데 필요한 시간 또는 전력을 계산하는 것인, 방법.
  7. 제 6 항에 있어서,
    상기 전처리를 수행할지 여부를 판단하는 단계는
    상기 전처리를 수행하는 데 필요한 시간 또는 전력, 상기 객체 속성을 상기 그래픽스 파이프라인에서 변환하는데 필요한 시간 또는 전력 및 상기 객체의 사용 빈도에 기초하여 판단하는 것인, 방법.
  8. 제 1 항에 있어서,
    상기 그래픽스 파이프라인이 타일 기반 지연 렌더링(tile-based deferred rendering)을 위한 그래픽스 파이프라인인 경우, 상기 전처리는 타일 비닝(tile binning)을 위한 패스 이전에 수행되는, 방법.
  9. 제 1 항에 있어서,
    상기 객체 속성이 상기 객체의 위치에 관한 것인 경우, 상기 전처리는 상기 위치의 좌표를 변환하는 것인, 방법.
  10. 제 1 항에 있어서,
    상기 다음 프레임에 포함된 객체 속성이 상기 객체를 저장하기 위해 메모리에 할당된 위치에 관한 것인 경우, 상기 전처리는 상기 메모리에 할당된 위치를 변경하는 것인, 방법.
  11. 제 1 항 내지 제 10 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  12. 그래픽스 파이프라인을 수행하는 그래픽 프로세싱 장치에 있어서,
    현재 프레임에 대한 상기 그래픽스 파이프라인이 수행되는 동안 다음 프레임에 포함된 객체 속성들을 처리하는데 필요한 리소스를 계산하고,
    상기 계산 결과에 기초하여 상기 다음 프레임을 위한 상기 그래픽스 파이프라인에서 처리될 상기 객체 속성들을 미리 변환하는 전처리를 수행할지 여부를 판단하는, 제어부; 및
    상기 전처리를 수행하는 것으로 판단된 경우, 상기 미리 변환된 객체 속성들을 이용하여 상기 다음 프레임을 위한 상기 그래픽스 파이프라인을 수행하는 렌더링부;
    를 포함하는, 장치.
  13. 제 12 항에 있어서,
    상기 제어부는
    상기 전처리가 완료될 시점이 상기 다음 프레임에 대한 상기 그래픽스 파이프라인의 수행이 시작되기 이전일 때 상기 리소스를 계산하는 것인, 장치.
  14. 제 13 항에 있어서,
    상기 제어부는 상기 전처리가 완료될 시점을 상기 객체 속성이 메모리에서 로딩되는 시간에 기초하여 판단하고,
    상기 로딩되는 시간은 상기 객체 속성의 크기에 기초한 것인, 장치.
  15. 제 13 항에 있어서,
    상기 제어부는 상기 현재 프레임의 렌더링 진행율 및 메모리의 사용률을 모니터링 하고,
    상기 다음 프레임에 대한 상기 그래픽스 파이프라인의 수행이 시작되는 시점은 상기 현재 프레임의 렌더링 진행율 및 상기 메모리의 사용률에 기초한 것인, 장치.
  16. 제 13 항에 있어서,
    상기 제어부는 상기 다음 프레임에 대한 드로우콜에 포함된 정보를 분석하여 리소스를 계산하는 것인, 장치.
  17. 제 13 항에 있어서,
    상기 제어부는 상기 객체 속성을 변환하는 전처리를 수행하는 데 필요한 시간 또는 전력에 기초하여 리소스를 계산하는 것인, 장치.
  18. 제 17 항에 있어서,
    상기 제어부는 상기 전처리를 수행하는 데 필요한 시간 또는 전력, 상기 객체 속성을 상기 그래픽스 파이프라인에서 변환하는데 필요한 시간 또는 전력 및 상기 객체의 사용 빈도에 기초하여 상기 전처리를 수행할지 여부를 판단하는 것인, 장치.
  19. 제 12 항에 있어서,
    상기 제어부는 상기 객체 속성이 상기 객체의 위치에 관한 것인 경우, 상기 위치의 좌표를 변환하는 전처리를 수행하는 것인, 장치.
  20. 제 12 항에 있어서,
    상기 제어부는 상기 다음 프레임에 포함된 객체 속성이 상기 객체를 저장하기 위해 메모리에 할당된 위치에 관한 것인 경우, 상기 메모리에 할당된 위치를 변경하는 전처리를 수행하는 것인, 장치.
KR1020150139992A 2015-10-05 2015-10-05 그래픽스 파이프라인을 수행하는 방법 및 장치 Active KR102499397B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150139992A KR102499397B1 (ko) 2015-10-05 2015-10-05 그래픽스 파이프라인을 수행하는 방법 및 장치
US15/098,638 US10169839B2 (en) 2015-10-05 2016-04-14 Method and apparatus for executing graphics pipeline

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150139992A KR102499397B1 (ko) 2015-10-05 2015-10-05 그래픽스 파이프라인을 수행하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170040698A true KR20170040698A (ko) 2017-04-13
KR102499397B1 KR102499397B1 (ko) 2023-02-13

Family

ID=58447545

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150139992A Active KR102499397B1 (ko) 2015-10-05 2015-10-05 그래픽스 파이프라인을 수행하는 방법 및 장치

Country Status (2)

Country Link
US (1) US10169839B2 (ko)
KR (1) KR102499397B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102317182B1 (ko) * 2020-11-25 2021-10-27 주식회사 리얼이매진 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치
KR20230105534A (ko) 2022-01-04 2023-07-11 광운대학교 산학협력단 프레임 확장을 통한 렌더링 최소화 방법 및 프로그램과, 동 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체
US12307548B2 (en) 2021-11-29 2025-05-20 Samsung Electronics Co., Ltd. Image processing

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9842428B2 (en) * 2014-06-27 2017-12-12 Samsung Electronics Co., Ltd. Dynamically optimized deferred rendering pipeline
US10535114B2 (en) * 2015-08-18 2020-01-14 Nvidia Corporation Controlling multi-pass rendering sequences in a cache tiling architecture
US10510181B2 (en) 2017-06-27 2019-12-17 Samsung Electronics Co., Ltd. System and method for cache management using a cache status table
AU2019253110B2 (en) 2018-04-13 2022-09-01 Plaid Inc. Secure permissioning of access to user accounts, including secure distribution of aggregated user account data
US11869005B2 (en) 2019-09-17 2024-01-09 Plaid Inc. System and method linking to accounts using credential-less authentication
AU2020405098A1 (en) 2019-12-17 2022-07-07 Plaid Inc. System and method for assessing a digital interaction with a digital third party account service
WO2022040283A1 (en) * 2020-08-18 2022-02-24 Plaid Inc. System and method for managing user interaction flows within third party applications

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864342A (en) * 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6232974B1 (en) * 1997-07-30 2001-05-15 Microsoft Corporation Decision-theoretic regulation for allocating computational resources among components of multimedia content to improve fidelity
US6313838B1 (en) * 1998-02-17 2001-11-06 Sun Microsystems, Inc. Estimating graphics system performance for polygons
US9842428B2 (en) * 2014-06-27 2017-12-12 Samsung Electronics Co., Ltd. Dynamically optimized deferred rendering pipeline

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864342A (en) * 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Bergman Johan, "Energy Efficient Graphics: Making the Rendring Process Power Aware", UPTEC IT, 2010.08.16.* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102317182B1 (ko) * 2020-11-25 2021-10-27 주식회사 리얼이매진 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치
US12307548B2 (en) 2021-11-29 2025-05-20 Samsung Electronics Co., Ltd. Image processing
KR20230105534A (ko) 2022-01-04 2023-07-11 광운대학교 산학협력단 프레임 확장을 통한 렌더링 최소화 방법 및 프로그램과, 동 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
KR102499397B1 (ko) 2023-02-13
US20170098294A1 (en) 2017-04-06
US10169839B2 (en) 2019-01-01

Similar Documents

Publication Publication Date Title
US11748840B2 (en) Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
EP3673463B1 (en) Rendering an image from computer graphics using two rendering computing devices
KR102499397B1 (ko) 그래픽스 파이프라인을 수행하는 방법 및 장치
US12026798B2 (en) Variable resolution graphics processing
Schütz et al. Real-time continuous level of detail rendering of point clouds
KR102475212B1 (ko) 타일식 아키텍처들에서의 포비티드 렌더링
US8325177B2 (en) Leveraging graphics processors to optimize rendering 2-D objects
CN106233326B (zh) 图形处理中基于显现目标的灵活显现
EP2092488B1 (en) Image compression and/or decompression
CN103677828B (zh) 一种图层绘制方法、绘图引擎及终端设备
US8111264B2 (en) Method of and system for non-uniform image enhancement
US9183651B2 (en) Target independent rasterization
US10331448B2 (en) Graphics processing apparatus and method of processing texture in graphics pipeline
US20080246760A1 (en) Method and apparatus for mapping texture onto 3-dimensional object model
KR102381945B1 (ko) 그래픽 프로세싱 장치 및 그래픽 프로세싱 장치에서 그래픽스 파이프라인을 수행하는 방법
CN108780582A (zh) 可见性信息修改
EP2797054B1 (en) Rendering of an indirect illumination data buffer
US10262391B2 (en) Graphics processing devices and graphics processing methods
JP4977712B2 (ja) ディスプレースクリーン上に立体画像をレンダリングするコンピュータグラフィックスプロセッサならびにその方法
KR102818622B1 (ko) 텍스쳐를 처리하는 방법 및 장치
KR101227155B1 (ko) 저해상도 그래픽 영상을 고해상도 그래픽 영상으로 실시간 변환하는 그래픽 영상 처리 장치 및 방법
US10311627B2 (en) Graphics processing apparatus and method of processing graphics pipeline thereof
KR20180117835A (ko) 이미지를 렌더링하는 방법
HK1170051B (en) Target independent rasterization

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 4