ES2951758T3

ES2951758T3 - Realidad virtual colaborativa multiusuario

Info

Publication number: ES2951758T3
Application number: ES18167859T
Authority: ES
Inventors: Deepak S Vembar; Atsuo Kuwahara; Chandrasekaran Sakthivel; Radhakrishnan Venkataraman; Brent E Insko; Anupreet S Kalra; Hugues Labbe; Altug Koker; Michael Apodaca; Kai Xiao; Jeffrey S Boles; Adam T Lake; David M Cimini; Balaji Vembu; Elmoustapha Ould-Ahmed-Vall; Jacek Kwiatkowski; Phillip R Laws; Ankur N Shah; Abhishek R Appu; Joydeep Ray
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2017-04-17
Filing date: 2018-04-17
Publication date: 2023-10-24
Anticipated expiration: 2038-04-17
Also published as: US20180300098A1; US11520555B2; US10908865B2; US20200097243A1; CN108732754B; EP3392827A1; EP3392827B1; US20210294560A1; US10430147B2; PL3392827T3; CN108732754A

Abstract

Una realización de un aparato gráfico puede incluir un procesador, una memoria acoplada comunicativamente al procesador y un motor de colaboración acoplado comunicativamente al procesador para identificar un componente gráfico compartido entre dos o más usuarios en un entorno, y compartir los componentes gráficos compartidos con el dos o más usuarios en el entorno. Las realizaciones del motor de colaboración pueden incluir uno o más de un compartidor centralizado, un compartidor de profundidad, un preprocesador compartido, un subsistema de gráficos multipuerto y un compartidor de decodificación. Se divulgan y reivindican otras realizaciones. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Realidad virtual colaborativa multiusuario

CAMPO TÉCNICO

Las realizaciones generalmente se refieren al procesamiento de datos y al procesamiento de gráficos a través de una unidad de procesamiento de gráficos. Más particularmente, la presente divulgación se refiere a la realidad virtual (VR) colaborativa multiusuario.

ANTECEDENTES DE LA DESCRIPCIÓN

El procesamiento de datos de gráficos paralelo actual incluye sistemas y métodos desarrollados para realizar operaciones específicas en datos de gráficos, tales como, por ejemplo, interpolación lineal, teselación, rasterización, mapeo de texturas, prueba de profundidad, etc. De manera tradicional, los procesadores de gráficos usan unidades computacionales de función fija para procesar datos de gráficos; sin embargo, más recientemente, se han hecho programables porciones de los procesadores de gráficos, lo que posibilita que tales procesadores soporten una gama más amplia de operaciones para procesar datos de vértices y de fragmentos. Los procesadores de gráficos se pueden usar en diversas aplicaciones de realidad virtual.

El documento US 2014/368537 A1 desvela un sistema y un método para mostrar objetos virtuales en un entorno de realidad mixta que incluye objetos virtuales compartidos y objetos virtuales privados. Múltiples usuarios pueden colaborar juntos en la interacción con los objetos virtuales compartidos. Un objeto virtual privado puede ser visible para un único usuario. En ejemplos, los objetos virtuales privados de los respectivos usuarios pueden facilitar la interacción colaborativa de los usuarios con uno o más objetos virtuales compartidos.

El documento US 2014/267234 A1 desvela un sistema multidispositivo para dispositivos móviles para adquirir y compartir mapas 3D de un entorno. Los dispositivos móviles determinan las características del entorno y construyen un mapa local y un sistema de coordenadas para las características identificadas por el dispositivo móvil. Los dispositivos móviles pueden crear un mapa conjunto uniéndose al mapa local de otro dispositivo móvil o fusionando los mapas locales creados por los dispositivos móviles. Para fusionar mapas, el sistema de coordenadas de cada sistema se puede restringir en grados de libertad usando información de sensores en los dispositivos para determinar la posición global y la orientación de cada dispositivo. Cuando los dispositivos operan en un mapa conjunto, el dispositivo comparte información acerca de nuevas características para ampliar el intervalo de características en el mapa y comparte información acerca de objetos de realidad aumentada manipulados por los usuarios de cada dispositivo.

El documento GB 2536 790 A desvela un sistema de realidad mixta o aumentada (AR) con una pantalla montada en la cabeza (HMD) y un procesador y medios de captura de imágenes (por ejemplo, cámara o sensor) para crear un entorno de realidad mixta para su visualización. El entorno incluye al menos dos capas de datos interactivas virtuales, donde los datos de una o más fuentes se pueden mostrar de forma selectiva y los datos se pueden manipular por un usuario. Cada capa también está asociada con una característica de permiso (o configuración de privacidad) que define la visibilidad para otro usuario dentro del entorno AR. También se reivindica un método donde se permite además a una pluralidad de usuarios manipular capas de datos cambiando su ubicación relativa dentro del entorno virtual o moviendo datos de la primera a la segunda capa. El sistema puede comprender un módulo de seguridad para aplicar atributos de seguridad a elementos de datos y un módulo de identificación de usuario para permitir el acceso a capas restringidas de seguridad.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

Las diversas ventajas de las realizaciones se harán evidentes para los expertos en la materia al leer la siguiente memoria descriptiva y las reivindicaciones adjuntas, y al hacer referencia a los siguientes dibujos, en los que:

La Figura 1 es un diagrama de bloques que ilustra un sistema informático configurado para implementar uno o más aspectos de las realizaciones descritas en el presente documento;

Las Figuras 2A-2D ilustran unos componentes de procesador paralelo, de acuerdo con una realización;

Las Figuras 3A-3B son diagramas de bloques de multiprocesadores de gráficos, de acuerdo con realizaciones;

Las Figuras 4A-4F ilustran una arquitectura ilustrativa en la que una pluralidad de GPU están comunicativamente acopladas a una pluralidad de procesadores de múltiples núcleos;

La Figura 5 ilustra una canalización de procesamiento de gráficos, de acuerdo con una realización; La Figura 6A es un diagrama de bloques de un ejemplo de un sistema de procesamiento electrónico de acuerdo con una realización;

La Figura 6B es un diagrama de bloques de un ejemplo de un motor de detección de acuerdo con una realización;

La Figura 6C es un diagrama de bloques de un ejemplo de un motor de enfoque de acuerdo con una realización;

La Figura 6D es un diagrama de bloques de un ejemplo de un motor de movimiento de acuerdo con una realización;

La Figura 6E es un diagrama de bloques de un ejemplo de un motor de colaboración de acuerdo con una realización;

La Figura 6F es un diagrama de bloques de un ejemplo de un aparato de gráficos de acuerdo con una realización;

Las Figuras 6G a 6L son diagramas de flujo de un ejemplo de un método de colaboración de gráficos de acuerdo con una realización;

La Figura 6M es un diagrama de bloques de otro ejemplo de un aparato de gráficos de acuerdo con una realización;

La Figura 6N es un diagrama de flujo de otro ejemplo de un método de colaboración de gráficos de acuerdo con una realización;

La Figura 7A es un diagrama de bloques de un ejemplo de un distribuidor centralizado de acuerdo con una realización;

La Figura 8A es un diagrama de bloques de un ejemplo de un distribuidor de profundidad de acuerdo con una realización;

La Figura 8B es un diagrama ilustrativo de un ejemplo de usuarios en un entorno de ARNR de acuerdo con una realización;

La Figura 8C es un diagrama de bloques de un ejemplo de un preprocesador compartido de acuerdo con una realización;

La Figura 8D es un diagrama ilustrativo de otro ejemplo de usuarios en un entorno de ARNR de acuerdo con una realización;

La Figura 9A es un diagrama de bloques de un ejemplo de un subsistema de gráficos multipuerto de acuerdo con una realización;

La Figura 9B es un diagrama de bloques de otro ejemplo de un subsistema de gráficos multipuerto de acuerdo con una realización;

La Figura 9C es un diagrama de bloques de otro ejemplo de un subsistema de gráficos multipuerto de acuerdo con una realización;

La Figura 10A es un diagrama de bloques de un ejemplo de un decodificador compartido de acuerdo con una realización;

La Figura 10B es un diagrama de bloques de otro ejemplo de un subsistema de gráficos multipuerto de acuerdo con una realización;

La Figura 10C es un diagrama ilustrativo de un ejemplo de un fotograma de 360 de acuerdo con una realización;

La Figura 10D es otro diagrama ilustrativo de un ejemplo de un fotograma de 360 de acuerdo con una realización;

La Figura 11 es una ilustración de un ejemplo de un sistema de pantalla montada en la cabeza (HMD) de acuerdo con una realización;

La Figura 12 es un diagrama de bloques de un ejemplo de los componentes funcionales incluidos en el sistema de HMD de la Figura 11 de acuerdo con una realización;

La Figura 13 es un diagrama de bloques de un ejemplo de una agrupación de procesamiento general incluida en una unidad de procesamiento paralelo de acuerdo con una realización;

La Figura 14 es una ilustración conceptual de un ejemplo de una canalización de procesamiento de gráficos que puede implementarse dentro de una unidad de procesamiento paralelo, de acuerdo con una realización; La Figura 15 es un diagrama de bloques de un ejemplo de un multiprocesador de envío por flujo continuo de acuerdo con una realización;

Las Figuras 16-18 son diagramas de bloques de un ejemplo de una visión general de un sistema de procesamiento de datos de acuerdo con una realización;

La Figura 19 es un diagrama de bloques de un ejemplo de un motor de procesamiento de gráficos de acuerdo con una realización;

Las Figuras 20-22 son diagramas de bloques de ejemplos de unidades de ejecución de acuerdo con una realización;

La Figura 23 es un diagrama de bloques de un ejemplo de canalización de gráficos de acuerdo con una realización;

Las Figuras 24A-24B son diagramas de bloques de ejemplos de programación de canalización de gráficos de acuerdo con una realización;

La Figura 25 es un diagrama de bloques de un ejemplo de una arquitectura de software de gráficos de acuerdo con una realización;

La Figura 26 es un diagrama de bloques de un ejemplo de un sistema de desarrollo central de propiedad intelectual (IP) de acuerdo con una realización; y

La Figura 27 es un diagrama de bloques de un ejemplo de un sistema en un circuito integrado de chip de acuerdo con una realización.

DESCRIPCIÓN DETALLADA

En la siguiente descripción, se exponen numerosos detalles específicos para proporcionar un entendimiento más minucioso de la presente invención. Sin embargo, será evidente para un experto en la materia que la presente invención puede ponerse en práctica sin uno o más de estos detalles específicos. En otros casos, no se han descrito características bien conocidas para evitar oscurecer la presente invención.

Vista general del sistema

La Figura 1 es un diagrama de bloques que ilustra un sistema informático 100 configurado para implementar uno o más aspectos de las realizaciones descritas en el presente documento. El sistema informático 100 incluye un subsistema de procesamiento 101 que tiene uno o más procesador o procesadores 102 y una memoria de sistema 104 que se comunica mediante una ruta de interconexión que puede incluir un concentrador de memoria 105. El concentrador de memoria 105 puede ser un componente separado dentro de un componente de conjunto de chips o puede estar integrado dentro del uno o más procesador o procesadores 102. El concentrador de memoria 105 se acopla con un subsistema de E/S 111 mediante un enlace de comunicación 106. El subsistema de E/S 111 incluye un concentrador de E/S 107 que puede permitir que el sistema informático 100 reciba una entrada desde uno o más dispositivo o dispositivos de entrada 108. Adicionalmente, el concentrador de E/S 107 puede a un controlador de visualización, que puede estar incluido en el uno o más procesador o procesadores 102, que proporcione salidas a uno o más dispositivo o dispositivos de visualización 110A. En una realización, el uno o más dispositivo o dispositivos de visualización 110A acoplados con el concentrador de E/S 107 pueden incluir un dispositivo de visualización local, interno o embebido.

En una realización, el subsistema de procesamiento 101 incluye uno o más procesador o procesadores paralelos 112 acoplados al concentrador de memoria 105 mediante un bus u otro enlace de comunicación 113. El enlace de comunicación 113 puede ser uno de cualquier número de tecnologías o protocolos de enlace de comunicación basados en normas, tales como, pero sin limitación, PCI Express, o puede ser una interfaz de comunicaciones o tejido de comunicaciones específico de distribuidor. En una realización, el uno o más procesador o procesadores paralelos 112 forman un sistema de procesamiento paralelo o vectorial computacionalmente enfocado que incluye un gran número de núcleos de procesamiento y/o agrupaciones de procesamiento tal como un procesador de muchos núcleos integrados (MIC). En una realización, el uno o más procesador o procesadores paralelos 112 forman un subsistema de procesamiento de gráficos que puede emitir píxeles a uno del uno o más dispositivo o dispositivos de visualización 110A acoplados mediante el concentrador de E/S 107. El uno o más procesador o procesadores paralelos 112 pueden incluir también un controlador de visualización e interfaz de visualización (no mostrados) para permitir una conexión directa a uno o más dispositivo o dispositivos de visualización 110B.

Dentro del subsistema de E/S 111, una unidad de almacenamiento de sistema 114 puede conectarse al concentrador de E/S 107 para proporcionar un mecanismo de almacenamiento para el sistema informático 100. Puede usarse un conmutador de E/S 116 para proporcionar un mecanismo de interfaz para permitir conexiones entre el concentrador de E/S 107 y otros componentes, tales como un adaptador de red 118 y/o un adaptador de red inalámbrico 119 que pueden integrarse en la plataforma, y diversos otros dispositivos que pueden añadirse mediante uno o más dispositivo o dispositivos de adición 120. El adaptador de red 118 puede ser un adaptador de Ethernet u otro adaptador de red alámbrica. El adaptador de red inalámbrica 119 puede incluir uno o más de un dispositivo de Wi-Fi, Bluetooth, de comunicación de campo cercano (NFC) u otra red que incluye una o más radios inalámbricas.

El sistema informático 100 que puede incluir otros componentes no explícitamente mostrados, que incluyen USB u otras conexiones de puerto, unidades de almacenamiento óptico, dispositivos de captura de vídeo, y similares, puede conectarse también al concentrador de E/S 107. Las rutas de comunicación que interconectan los diversos componentes en la Figura 1 pueden implementarse usando cualquier protocolo adecuado, tal como protocolos (por ejemplo, PCI-Express) basados en PCI (Interconexión de Componentes Periféricos), o cualesquiera otras interfaces de comunicación de bus o de punto a punto y/o protocolo o protocolos, tal como la interconexión de alta velocidad NVLink, o protocolos de interconexión conocidos en la técnica.

En una realización, el uno o más procesador o procesadores paralelos 112 incorporan circuitería optimizada para procesamiento de gráficos y vídeo, que incluye, por ejemplo, circuitería de salida de vídeo y constituye una unidad de procesamiento de gráficos (GPU). En otra realización, el uno o más procesador o procesadores paralelos 112 incorporan circuitería optimizada para procesamiento de fin general, mientras que conservan la arquitectura computacional subyacente, descrita en mayor detalle en el presente documento. En otra realización más, los componentes del sistema informático 100 pueden estar integrados con uno o más otros elementos de sistema en un único circuito integrado. Por ejemplo, el uno o más procesador o procesadores paralelos 112, el concentrador de memoria 105, el procesador o procesadores 102, y el concentrador de E/S 107 pueden estar integrados un circuito integrado de sistema en chip (SoC). Como alternativa, los componentes del sistema informático 100 pueden integrarse en un único paquete para formar una configuración de sistema en paquete (SIP). En una realización, al menos una porción de los componentes del sistema informático 100 puede estar integrada en un módulo de múltiples chips (MCM), que puede estar interconectado con otros módulos de múltiples chips en un sistema informático modular.

Se apreciará que, el sistema informático 100 mostrado en el presente documento es ilustrativo y que son posibles variaciones y modificaciones. La topología de conexión, que incluye el número y disposición de puentes, el número de procesador o procesadores 102, y el número de procesador o procesadores paralelos 112, puede modificarse como se desee. Por ejemplo, en algunas realizaciones, la memoria de sistema 104 está conectada al procesador o procesadores 102 directamente en lugar de a través de un puente, mientras que otros dispositivos se comunican con la memoria de sistema 104 mediante el concentrador de memoria 105 y el procesador o procesadores 102. En otras topologías alternativas, el procesador o procesadores paralelos 112 están conectados al concentrador de E/S 107 o directamente a uno del uno o más procesador o procesadores 102, en lugar de al concentrador de memoria 105. En otras realizaciones, el concentrador de E/S 107 y el concentrador de memoria 105 pueden estar integrados en un único chip. Algunas realizaciones pueden incluir dos o más conjuntos del procesador o procesadores 102 adjuntos mediante múltiples zócalos, que pueden acoplarse con dos o más instancias del procesador o procesadores paralelos 112.

Alguno de los componentes particulares mostrados en el presente documento es opcional y puede no estar incluido en todas las implementaciones del sistema informático 100. Por ejemplo, puede soportarse cualquier número de tarjetas o periféricos de adición, o pueden eliminarse algunos componentes. Adicionalmente, algunas arquitecturas pueden usar diferente terminología para componentes similares a aquellos ilustrados en la Figura 1. Por ejemplo, el concentrador de memoria 105 puede denominarse un puente norte en algunas arquitecturas, mientras que el concentrador de E/S 107 puede denominarse un puente sur.

La Figura 2A ilustra un procesador paralelo 200, de acuerdo con una realización. Los diversos componentes del procesador paralelo 200 pueden implementarse usando uno o más dispositivos de circuito integrado, tal como procesadores programables, circuitos integrados específicos de la aplicación (ASIC) o campos de matrices de puertas programables (FPGA). El procesador paralelo 200 ilustrado es una variante del uno o más procesador o procesadores paralelos 112 mostrados en la Figura 1, de acuerdo con una realización.

En una realización, el procesador paralelo 200 incluye una unidad de procesamiento paralelo 202. La unidad de procesamiento paralelo incluye una unidad de E/S 204 que permite la comunicación con otros dispositivos, que incluyen otras instancias de la unidad de procesamiento paralelo 202. La unidad de E/S 204 puede estar conectada directamente a otros dispositivos. En una realización la unidad de E/S 204 se conecta con otros dispositivos mediante el uso de una interfaz de concentrador o de conmutador, tal como un concentrador de memoria 105. Las conexiones entre el concentrador de memoria 105 y la unidad de E/S 204 forman un enlace de comunicación 113. Dentro de la unidad de procesamiento paralelo 202, la unidad de E/S 204 se conecta con una interfaz de anfitrión 206 y una barra transversal de memoria 216, donde la interfaz de anfitrión 206 recibe comandos dirigidos a realizar las operaciones de procesamiento y la barra transversal de memoria 216 recibe comandos dirigidos a realizar operaciones de memoria.

Cuando la interfaz de anfitrión 206 recibe una memoria intermedia de comando mediante la unidad de E/S 204, la interfaz de anfitrión 206 puede dirigir operaciones de trabajo para realizar aquellos comandos a un extremo frontal 208. En una realización, el extremo frontal 208 se acopla con un planificador 210, que está configurado para distribuir comandos u otros elementos de trabajo a una matriz de agrupación de procesamiento 212. En una realización, el planificador 210 garantiza que la matriz de agrupación de procesamiento 212 está configurada apropiadamente y en un estado válido antes de que se distribuyan las tareas a las agrupaciones de procesamiento de la matriz de agrupación de procesamiento 212. En una realización, el planificador 210 se implementa mediante lógica de firmware que se ejecuta en un microcontrolador. El planificador implementado por microcontrolador 210 puede configurarse para realizar operaciones de planificación compleja y distribución de trabajo en granularidad basta y precisa, lo que permite la anticipación rápida y la conmutación de contexto de hilos que se ejecutan en la matriz de procesamiento 212. En una realización, el software de anfitrión puede demostrar cargas de trabajo para la planificación en la matriz de procesamiento 212 mediante uno de múltiples timbres de procesamiento de tráfico. Las cargas de trabajo, a continuación, pueden distribuirse automáticamente a través de la matriz de procesamiento 212 por la lógica del planificador 210 dentro del microcontrolador planificador.

La matriz de agrupación de procesamiento 212 puede incluir hasta "N" agrupaciones de procesamiento (por ejemplo, de la agrupación 214A, la agrupación 214B a la agrupación 214N). Cada agrupación 214A-214N de la matriz de agrupación de procesamiento 212 puede ejecutar un gran número de hilos concurrentes. El planificador 210 puede asignar trabajo a las agrupaciones 214A-214N de la matriz de agrupación de procesamiento 212 usando diversos algoritmos de planificación y/o distribución de trabajo, que pueden variar dependiendo de la carga de trabajo que surge para cada tipo de programa o cálculo. La planificación puede manejarse dinámicamente por el planificador 210, o puede ser ayudada, en parte, por lógica de compilador durante la compilación de la lógica de programa configurada para la ejecución por la matriz de agrupación de procesamiento 212. En una realización, pueden asignarse diferentes agrupaciones 214A-214N de la matriz de agrupación de procesamiento 212 para procesar diferentes tipos de programas o para realizar diferentes tipos de cálculos.

La matriz de agrupación de procesamiento 212 puede configurarse para realizar diversos tipos de operaciones de procesamiento paralelo. En una realización, la matriz de agrupación de procesamiento 212 está configurada para realizar operaciones de cálculo paralelo de fin general. Por ejemplo, la matriz de agrupación de procesamiento 212 puede incluir lógica para ejecutar tareas de procesamiento que incluye filtración de datos de vídeo y/o de audio, realización de operaciones de modelado, que incluye operaciones físicas y realización de transformaciones de datos.

En una realización, la matriz de agrupación de procesamiento 212 está configurada para realizar operaciones de procesamiento de gráficos paralelo. En las realizaciones en las que el procesador paralelo 200 está configurado para realizar operaciones de procesamiento de gráficos, la matriz de agrupación de procesamiento 212 puede incluir lógica adicional para soportar la ejecución de tales operaciones de procesamiento de gráficos, que incluyen, pero sin limitación, lógica de muestreo de textura para realizar operaciones de textura, así como lógica de teselación y otra lógica de procesamiento de vértices. Adicionalmente, la matriz de agrupación de procesamiento 212 puede configurarse para ejecutar programas de sombreado relacionados con el procesamiento de gráficos tales como, pero sin limitación, sombreadores de vértices, sombreadores de teselación, sombreadores de geometría y sombreadores de píxeles. La unidad de procesamiento paralelo 202 puede transferir datos desde la memoria de sistema mediante la unidad de E/S 204 para su procesamiento. Durante el procesamiento, los datos transferidos pueden almacenarse en memoria en chip (por ejemplo, memoria de procesador paralelo 222) durante el procesamiento y, a continuación, escribirse de vuelta en memoria de sistema.

En una realización, cuando se usa la unidad de procesamiento paralelo 202 para realizar el procesamiento de gráficos, el planificador 210 puede estar configurado para dividir la carga de trabajo de procesamiento en tareas de tamaño aproximadamente igual, para permitir mejor la distribución de las operaciones de procesamiento de gráficos a múltiples agrupaciones 214A-214N de la matriz de agrupación de procesamiento 212. En algunas realizaciones, las porciones de la matriz de agrupación de procesamiento 212 pueden estar configuradas para realizar diferentes tipos de procesamiento. Por ejemplo, una primera porción puede estar configurada para realizar sombrado de vértices y generación de topología, una segunda porción puede estar configurada para realizar teselación y sombreado de geometría, y una tercera porción puede estar configurada para realizar sombreado de píxeles u otras operaciones de espacio de pantalla, para producir una imagen representada para su visualización. Los datos intermedios producidos por una o más de las agrupaciones 214A-214N pueden almacenarse en memorias intermedias para permitir que se transmitan los datos intermedios entre las agrupaciones 214A-214N para su procesamiento adicional.

Durante la operación, la matriz de agrupación de procesamiento 212 puede recibir tareas de procesamiento para que se ejecuten mediante el planificador 210, que recibe comandos que definen tareas de procesamiento desde el extremo frontal 208. Para operaciones de procesamiento de gráficos las tareas de procesamiento pueden incluir índices de datos que van a procesarse, por ejemplo, datos de superficie (parche), datos de primitivas, datos de vértices y/o datos de píxeles, así como parámetros de estado y comandos que definen cómo han de procesarse los datos (por ejemplo, qué programa ha de ejecutarse). El planificador 210 puede estar configurado para extraer los índices que corresponden a las tareas o puede recibir los índices desde el extremo frontal 208. El extremo frontal 208 puede estar configurado para garantizar que la matriz de agrupación de procesamiento 212 está configurada en un estado válido antes de que se inicie la carga de trabajo especificada por las memorias intermedias de comando de entrada (por ejemplo, memorias intermedias de lote, memorias intermedias de inserción, etc.).

Cada una de la una o más instancias de la unidad de procesamiento paralelo 202 puede acoplarse con memoria de procesador paralelo 222. Puede accederse a la memoria de procesador paralelo 222 mediante la barra transversal de memoria 216, que puede recibir solicitudes de memoria desde la matriz de agrupación de procesamiento 212, así como de la unidad de E/S 204. La barra transversal de memoria 216 puede acceder a la memoria de procesador paralelo 222 mediante una interfaz de memoria 218. La interfaz de memoria 218 puede incluir múltiples unidades de subdivisión (por ejemplo, la unidad de subdivisión 220A, la unidad de subdivisión 220B a la unidad de subdivisión 220N) que cada una puede acoplarse a una porción (por ejemplo, la unidad de memoria) de la memoria de procesador paralelo 222. En una implementación, el número de unidades de subdivisión 220A-220N está configurado para que sea igual al número de unidades de memoria, de manera que una primera unidad de subdivisión 220A tiene una correspondiente primera unidad de memoria 224A, una segunda unidad de subdivisión 220B tiene una correspondiente unidad de memoria 224B y una unidad de subdivisión de orden N 220N tiene una correspondiente unidad de memoria de orden N 224N. En otras realizaciones, el número de unidades de subdivisión 220A-220N puede no ser igual al número de dispositivos de memoria.

En diversas realizaciones, las unidades de memoria 224A-224N pueden incluir diversos tipos de dispositivos de memoria, que incluyen memoria de acceso aleatorio dinámica (DRAM) o memoria de acceso aleatorio de gráficos, tal como la memoria de acceso aleatorio de gráficos síncrona (SGRAM), que incluye la memoria de tasa de datos doble de gráficos (GDDR). En una realización, las unidades de memoria 224A-224N pueden incluir también memoria 3D apilada, que incluye, pero sin limitación, memoria de ancho de banda alto (HBM). Los expertos en la materia apreciarán que la implementación específica de las unidades de memoria 224A-224N puede variar, y puede seleccionarse de uno de diversos diseños convencionales. Los objetivos de representación, tales como las memorias intermedias de fotograma o los mapas de textura pueden almacenarse a través de las unidades de memoria 224A-224N, permitiendo que las unidades de subdivisión 220A-220N escriban porciones de cada objetivo de representación en paralelo para usar de manera efectiva el ancho de banda disponible de la memoria de procesador paralelo 222. En algunas realizaciones, puede excluirse una instancia local de la memoria de procesador paralelo 222 en favor de un diseño de memoria unificado que utiliza memoria de sistema en conjunto con memoria caché local.

En una realización, una cualquiera de las agrupaciones 214A-214N de la matriz de agrupación de procesamiento 212 puede procesar datos que se escribirán en cualquiera de las unidades de memoria 224A-224N dentro de la memoria de procesador paralelo 222. La barra transversal de memoria 216 puede estar configurada para transferir la salida de cada agrupación 214A-214N en cualquier unidad de subdivisión 220A-220N o en otra agrupación 214A-214N, que puede realizar operaciones de procesamiento adicionales en la salida. Cada agrupación 214A-214N puede comunicarse con la interfaz de memoria 218 a través de la barra transversal de memoria 216 para leer desde o escribir en diversos dispositivos de memoria externos. En una realización, la barra transversal de memoria 216 tiene una conexión a la interfaz de memoria 218 para comunicarse con la unidad de E/S 204, así como una conexión a una instancia local de la memoria de procesador paralelo 222, lo que posibilita que las unidades de procesamiento dentro de las diferentes agrupaciones de procesamiento 214A-214N se comuniquen con la memoria de sistema u otra memoria que no sea local a la unidad de procesamiento paralelo 202. En una realización, la barra transversal de memoria 216 puede usar canales virtuales para separar flujos de tráfico entre las agrupaciones 214A-214N y las unidades de subdivisión 220A-220N.

Aunque se ilustra una única instancia de la unidad de procesamiento paralelo 202 dentro del procesador paralelo 200, puede incluirse cualquier número de instancias de la unidad de procesamiento paralelo 202. Por ejemplo, pueden proporcionarse múltiples instancias de la unidad de procesamiento paralelo 202 en una única tarjeta de adición, o pueden interconectarse múltiples tarjetas de adición. Las diferentes instancias de la unidad de procesamiento paralelo 202 pueden estar configuradas para inter-operar incluso si las diferentes instancias tienen diferentes números de núcleos de procesamiento, diferentes cantidades de memoria de procesador paralelo local y/u otras diferencias de configuración. Por ejemplo, y en una realización, algunas instancias de la unidad de procesamiento paralelo 202 pueden incluir unidades de coma flotante de precisión más alta con relación a otras instancias. Los sistemas que incorporan una o más instancias de la unidad de procesamiento paralelo 202 o el procesador paralelo 200 pueden implementarse en una diversidad de configuraciones y factores de forma, incluyendo, pero sin limitación, sobremesa, portátil u ordenadores personales portátiles, servidores, estaciones de trabajo, consolas de juegos y/o sistemas integrados.

La Figura 2B es un diagrama de bloques de una unidad de subdivisión 220, de acuerdo con una realización. En una realización, la unidad de subdivisión 220 es una instancia de una de las unidades de subdivisión 220A-220N de la Figura 2A. Como se ilustra, la unidad de subdivisión 220 incluye una caché L2221, una interfaz de memoria intermedia de fotograma 225 y una ROP 226 (unidad de operaciones de rasterización) La caché L2 221 es una caché de lectura/escritura que está configurada para realizar operaciones de carga y almacén recibidas desde la barra transversal de memoria 216 y la ROP 226. Los fallos de lectura y las solicitudes de escritura urgentes se emiten por la caché L2 221 a la interfaz de memoria intermedia de fotograma 225 para su procesamiento. Pueden enviarse también las actualizaciones a la memoria intermedia de fotograma mediante la interfaz de memoria intermedia de fotograma 225 para su procesamiento. En una realización, la interfaz de memoria intermedia de fotograma 225 interconecta con una de las unidades de memoria en la memoria de procesador paralelo, tal como las unidades de memoria 224A-224N de la Figura 2 (por ejemplo, dentro de la memoria de procesador paralelo 222).

En las aplicaciones de gráficos, la ROP 226 es una unidad de procesamiento que realiza operaciones de rasterización tales como estarcido, prueba z, mezcla y similares. La ROP 226 a continuación emite los datos de gráficos procesados que se almacenan en la memoria de gráficos. En algunas realizaciones, la ROP 226 incluye lógica de compresión para comprimir datos de profundidad o de color que se escriben en memoria y descomprimir datos de profundidad o de color que se leen desde la memoria. La lógica de compresión puede ser lógica de compresión sin pérdidas, que hace uso de uno o más de múltiples algoritmos de compresión. El tipo de compresión que se realiza por la ROP 226 puede variar basándose en las características estadísticas de los datos que van a comprimirse. Por ejemplo, en una realización, se realiza compresión de color delta en datos de profundidad y de color en una base por pieza.

En algunas realizaciones, la ROP 226 está incluida dentro de cada agrupación de procesamiento (por ejemplo, la agrupación 214A-214N de la Figura 2) en lugar de dentro de la unidad de subdivisión 220. En tal realización, las solicitudes de lectura y escritura para datos de píxeles se transmiten a través de la barra transversal de memoria 216 en lugar de los datos de fragmento de píxel. Los datos de gráficos procesados pueden visualizarse en un dispositivo de visualización, tal como uno del uno o más dispositivo o dispositivos de visualización 110 de la Figura 1, encaminarse para su procesamiento adicional por el procesador o procesadores 102, o encaminarse para su procesamiento adicional por una de las entidades de procesamiento dentro del procesador paralelo 200 de la Figura 2A.

La Figura 2C es un diagrama de bloques de una agrupación de procesamiento 214 dentro de una unidad de procesamiento paralelo, de acuerdo con una realización. En una realización, la agrupación de procesamiento es una instancia de una de las agrupaciones de procesamiento 214A-214N de la Figura 2. La agrupación de procesamiento 214 puede estar configurada para ejecutar muchos hilos en paralelo, donde el término "hilo" se refiere a una instancia de un programa particular que se ejecuta en un conjunto particular de datos de entrada. En algunas realizaciones, se usan técnicas de emisión de instrucción de única instrucción, múltiples datos (SIMD) para soportar la ejecución paralela de un gran número de hilos sin proporcionar múltiples unidades de instrucción independientes. En otras realizaciones, se usan técnicas de única instrucción, múltiples hilos (SIMT) para soportar la ejecución paralela de un gran número de hilos generalmente sincronizados, usando una unidad de instrucciones común configurada para emitir instrucciones en un conjunto de motores de procesamiento dentro de cada una de las agrupaciones de procesamiento. A diferencia del régimen de ejecución de SIMD, donde todos los motores de procesamiento ejecutan habitualmente instrucciones idénticas, la ejecución de SIMT permite que diferentes hilos sigan más fácilmente rutas de ejecución divergentes a través de un programa de hilos dado. Los expertos en la materia entenderán que un régimen de procesamiento de SIMD representa un subconjunto funcional de un régimen de procesamiento de SIMT.

La operación de la agrupación de procesamiento 214 puede controlarse mediante un gestor de canalizaciones 232 que distribuye las tareas de procesamiento a procesadores paralelos de SIMT. El gestor de canalizaciones 232 recibe instrucciones desde el planificador 210 de la Figura 2 y gestiona la ejecución de esas instrucciones mediante un multiprocesador de gráficos 234 y/o una unidad de texturas 236. El multiprocesador de gráficos 234 ilustrado es una instancia ilustrativa de un procesador paralelo de SIMT. Sin embargo, pueden incluirse diversos tipos de procesadores paralelos de SIMT de arquitecturas diferentes dentro de la agrupación de procesamiento 214. Puede incluirse una o más instancias del multiprocesador de gráficos 234 dentro de una agrupación de procesamiento 214. El multiprocesador de gráficos 234 puede procesar datos y puede usarse una barra transversal de datos 240 para distribuir los datos procesados a uno de múltiples posibles destinos, que incluyen otras unidades sombreadoras. El gestor de canalizaciones 232 puede facilitar la distribución de datos procesados especificando destinos para que se distribuyan datos procesados mediante la barra transversal de datos 240.

Cada multiprocesador de gráficos 234 dentro de la agrupación de procesamiento 214 puede incluir un conjunto idéntico de lógica de ejecución funcional (por ejemplo, unidades aritmético-lógicas, unidades de carga-almacén, etc.). La lógica de ejecución funcional puede configurarse de una manera canalizada en la que pueden emitirse instrucciones nuevas antes de que se hayan completado instrucciones previas. La lógica de ejecución funcional soporta una diversidad de operaciones que incluyen aritmética de números enteros y de coma flotante, operaciones de comparación, operaciones booleanas, desplazamiento de bits y del cálculo de diversas funciones algebraicas. En una realización, puede aprovecharse el mismo hardware funcional-unitario para realizar diferentes operaciones y puede estar presente cualquier combinación de unidades funcionales.

Las instrucciones transmitidas a la agrupación de procesamiento 214 constituyen un hilo. Un conjunto de hilos que se ejecutan a través del conjunto de motores de procesamiento paralelo es un grupo de hilos. Un grupo de hilos ejecuta el mismo programa en diferentes datos de entrada. Cada hilo dentro de un grupo de hilos puede asignarse a un motor de procesamiento diferente dentro de un multiprocesador de gráficos 234. Un grupo de hilos puede incluir menos hilos que el número de motores de procesamiento dentro del multiprocesador de gráficos 234 Cuando un grupo de hilos incluye menos hilos que el número de motores de procesamiento, uno o más de los motores de procesamiento pueden encontrarse en espera durante ciclos en los que se está procesando ese grupo de hilos. Un grupo de hilos puede incluir también más hilos que el número de motores de procesamiento dentro del multiprocesador de gráficos 234. Cuando el grupo de hilos incluye más hilos que el número de motores de procesamiento dentro del multiprocesador de gráficos 234, puede realizarse el procesamiento a través de ciclos de reloj consecutivos. En una realización, pueden ejecutarse múltiples grupos de hilos concurrentemente en un multiprocesador de gráficos 234.

En una realización, el multiprocesador de gráficos 234 incluye una memoria de caché interna para realizar operaciones de carga y almacén. En una realización, el multiprocesador de gráficos 234 puede prescindir de una caché interna y usar una memoria caché (por ejemplo, la caché L1 308) dentro de la agrupación de procesamiento 214. Cada multiprocesador de gráficos 234 también tiene acceso a cachés de nivel L2 dentro de las unidades de subdivisión (por ejemplo, las unidades de subdivisión 220A-220N de la Figura 2) que se comparten entre todas las agrupaciones de procesamiento 214 y pueden usarse para transferir datos entre hilos. El multiprocesador de gráficos 234 puede acceder también a memoria global fuera de chip, que puede incluir uno o más de memoria de procesador paralelo local y/o memoria de sistema. Puede usarse cualquier memoria externa a la unidad de procesamiento paralelo 202 como memoria global. Las realizaciones en las que la agrupación de procesamiento 214 incluye múltiples instancias del multiprocesador de gráficos 234 pueden compartir instrucciones y datos comunes, que pueden almacenarse en la caché L1 308.

Cada agrupación de procesamiento 214 puede incluir una MMU 245 (unidad de gestión de memoria) que está configurada para mapear direcciones virtuales en direcciones físicas. En otras realizaciones, una o más instancias de la MMU 245 pueden residir dentro de la interfaz de memoria 218 de la Figura 2. La MMU 245 incluye un conjunto de entradas de tabla de página (PTE) usadas para mapear una dirección virtual a una dirección física de una pieza (más información sobre la aplicación de piezas) y, opcionalmente, un índice de línea de caché. La MMU 245 puede incluir memorias intermedias de traducción adelantada (TLB) de dirección o cachés que pueden residir dentro del multiprocesador de gráficos 234 o la caché L1 o la agrupación de procesamiento 214. La dirección física se procesa para distribuir la localidad de acceso de datos de superficie para permitir una intercalación de solicitud efectiva entre unidades de subdivisión. El índice de línea de caché puede usarse para determinar si una solicitud para una línea de caché es un acierto o un fallo.

En aplicaciones de gráficos e informáticas, puede configurarse una agrupación de procesamiento 214 de manera que cada multiprocesador de gráficos 234 esté acoplado a una unidad de texturas 236 para realizar operaciones de mapeo de textura, por ejemplo, determinar posiciones de muestra de textura, leer datos de textura y filtrar los datos de textura. Los datos de textura se leen desde una caché L1 de textura interna (no mostrada) o, en algunas realizaciones, desde la caché L1 dentro del multiprocesador de gráficos 234 y se extraen desde una caché L2, memoria de procesador paralelo local o memoria de sistema, según sea necesario. Cada multiprocesador de gráficos 234 emite tareas procesadas a la barra transversal de datos 240 para proporcionar la tarea procesada a otra agrupación de procesamiento 214 para su procesamiento adicional o para almacenar la tarea procesada en una caché L2, memoria de procesador paralelo local o memoria de sistema mediante la barra transversal de memoria 216. Una preROP 242 (unidad de operaciones previas a la rasterización) está configurada para recibir datos desde el multiprocesador de gráficos 234, dirigir datos a las unidades de ROP, que pueden estar ubicadas con unidades de subdivisión como se describe en el presente documento (por ejemplo, las unidades de subdivisión 220A-220N de la Figura 2). La unidad preROP 242 puede realizar optimizaciones para la mezcla de color, organizar datos de color de píxel y realizar traducciones de dirección.

Se apreciará que la arquitectura de núcleo descrita en el presente documento es ilustrativa y que son posibles modificaciones. Puede incluirse cualquier número de unidades de procesamiento, por ejemplo, el multiprocesador de gráficos 234, las unidades de texturas 236, las preROP 242, etc., dentro de una agrupación de procesamiento 214. Además, aunque únicamente se muestra una agrupación de procesamiento 214, la unidad de procesamiento paralelo, como se describe en el presente documento, puede incluir cualquier número de instancias de la agrupación de procesamiento 214. En una realización, cada agrupación de procesamiento 214 puede estar configurada para operar independientemente de otras agrupaciones de procesamiento 214 usando unidades de procesamiento separadas y distintas, cachés L1, etc.

La Figura 2D muestra un multiprocesador de gráficos 234, de acuerdo con una realización. En tal realización, el multiprocesador de gráficos 234 se acopla con el gestor de canalizaciones 232 de la agrupación de procesamiento 214. El multiprocesador de gráficos 234 tiene una canalización de ejecución que incluye, pero sin limitación, una caché de instrucciones 252, una unidad de instrucciones 254, una unidad de mapeo de direcciones 256, un archivo de registro 258, uno o más núcleos de unidad de procesamiento de gráficos de fin general (GPGPU) 262 y una o más unidades de carga/almacén 266. Los núcleos de GPGPU 262 y las unidades de carga/almacén 266 están acoplados con la memoria caché 272 y la memoria compartida 270 mediante una interconexión de memoria y caché 268.

En una realización, la caché de instrucciones 252 recibe un flujo de instrucciones para ejecutarse desde el gestor de canalizaciones 232. Las instrucciones se almacenan en caché en la caché de instrucciones 252 y se despachan para su ejecución por la unidad de instrucciones 254. La unidad de instrucciones 254 puede despachar instrucciones como grupos de hilos (por ejemplo, envolventes) con cada hilo del grupo de hilos asignado a una unidad de ejecución diferente dentro del núcleo de GPGPU 262. Una instrucción puede acceder a cualquiera del espacio de direcciones local, compartido o global, especificando una dirección dentro de un espacio de direcciones unificado. La unidad de mapeo de direcciones 256 puede usarse para traducir direcciones en el espacio de direcciones unificado en una dirección de memoria distinta que puede accederse por las unidades de carga/almacén 266.

El archivo de registro 258 proporciona un conjunto de registros para las unidades funcionales del multiprocesador de gráficos 324. El archivo de registro 258 proporciona almacenamiento temporal para operandos conectados a las rutas de datos de las unidades funcionales (por ejemplo, los núcleos de GPGPU 262, las unidades de carga/almacén 266) del multiprocesador de gráficos 324. En una realización, el archivo de registro 258 se divide entre cada una de las unidades funcionales de manera que cada unidad funcional está asignada a una porción especializada del archivo de registro 258. En una realización, el archivo de registro 258 se divide entre las diferentes envolventes que se ejecutan por el multiprocesador de gráficos 324.

Los núcleos de GPGPU 262 puede cada uno incluir unidades de coma flotante (FPU) y/o unidades aritmético-lógicas (ALU) de números enteros que se usan para ejecutar instrucciones del multiprocesador de gráficos 324. Los núcleos de GPGPU 262 pueden ser similares en arquitectura o pueden diferir en arquitectura, de acuerdo con las realizaciones. Por ejemplo, y en una realización, una primera porción de los núcleos de GPGPU 262 incluye una FPU de precisión sencilla y una ALU de números enteros, mientras que una segunda porción de los núcleos de GPGPU incluye una FPU de precisión doble. En una realización, las FPU pueden implementar la norma IEEE 754-2008 para aritmética de coma flotante o posibilitar aritmética de coma flotante de precisión variable. El multiprocesador de gráficos 324 puede incluir adicionalmente una o más unidades de función fija o de función especial para realizar funciones específicas, tales como operaciones de copia de rectángulo o de mezcla de píxeles. En una realización, uno o más de los núcleos de GPGPU puede incluir también lógica de función fija o especial.

En una realización, los núcleos de GPGPU 262 incluyen lógica de SIMD que puede realizar una instrucción sencilla en múltiples conjuntos de datos. En una realización, los núcleos de GPGPU 262 pueden ejecutar físicamente instrucciones S iMd4, SIMD8 y SIMD16 y ejecutar lógicamente instrucciones SIMD1, SIMD2 y SIMD32. Las instrucciones SIMD para los núcleos de GPGPU pueden generarse en el momento de compilación por un compilador de sombreador o generarse automáticamente cuando se ejecutan programas escritos y compilados para arquitecturas de datos de múltiples programas sencillos (SPMD) o SIMT. Múltiples hilos de un programa configurado para el modelo de ejecución de SIMT pueden ejecutarse mediante una única instrucción de SIMD. Por ejemplo, y en una realización, ocho hilos de SIMT que realizan las mismas operaciones, o unas similares, pueden ejecutarse en paralelo mediante una única unidad de lógica de SIMD8.

La interconexión de memoria y caché 268 es una red de interconexión que conecta cada una de las unidades funcionales del multiprocesador de gráficos 324 al archivo de registro 258 y a la memoria compartida 270. En una realización, la interconexión de memoria y caché 268 es una interconexión de barra transversal que permite que la unidad de carga/almacén 266 implemente operaciones de carga y almacén entre la memoria compartida 270 y el archivo de registro 258. El archivo de registro 258 puede operar a la misma frecuencia que los núcleos de GPGPU 262, por lo tanto, la transferencia de datos entre los núcleos de GPGPU 262 y el archivo de registro 258 es de muy baja latencia. La memoria compartida 270 puede usarse para permitir la comunicación entre hilos que se ejecutan en las unidades funcionales dentro del multiprocesador de gráficos 234. La memoria caché 272 puede usarse como una caché de datos, por ejemplo, para almacenar en caché datos de textura comunicados entre las unidades funcionales y la unidad de texturas 236. La memoria compartida 270 puede usarse también como un programa gestionado almacenado en caché. Los hilos que se ejecutan en los núcleos de GPGPU 262 pueden almacenar datos mediante programación dentro de la memoria compartida además de los datos almacenados automáticamente en caché que se almacenan dentro de la memoria caché 272.

Las Figuras 3A-3B ilustran multiprocesadores de gráficos adicionales, de acuerdo con las realizaciones. Los multiprocesadores de gráficos 325, 350 ilustrados son variantes del multiprocesador de gráficos 234 de la Figura 2C. Los multiprocesadores de gráficos 325, 350 ilustrados pueden estar configurados como un multiprocesador de envío por flujo continuo (SM) que puede realizar la ejecución simultánea de un gran número de hilos de ejecución.

La Figura 3A muestra un multiprocesador de gráficos 325 de acuerdo con una realización adicional. El multiprocesador de gráficos 325 incluye múltiples instancias adicionales de unidades de recurso de ejecución relativas al multiprocesador de gráficos 234 de la Figura 2D. Por ejemplo, el multiprocesador de gráficos 325 puede incluir múltiples instancias de la unidad de instrucciones 332A-332B, el archivo de registro 334A-334B y la unidad o unidades de texturas 344A-344B. El multiprocesador de gráficos 325 también incluye múltiples conjuntos de unidades de ejecución de gráficos o de cálculo (por ejemplo, el núcleo de GPGPU 336A-336B, el núcleo de GPGPU 337A-337B, el núcleo de GPGPU 338A-338B) y múltiples conjuntos de unidades de carga/almacén 340A-340B. En una realización, las unidades de recurso de ejecución tienen una caché de instrucciones común 330, memoria caché de textura y/o de datos 342 y memoria compartida 346.

Los diversos componentes pueden comunicarse mediante un tejido de interconexión 327. En una realización, el tejido de interconexión 327 incluye uno o más conmutadores de barra transversal para permitir la comunicación entre los diversos componentes del multiprocesador de gráficos 325 En una realización el tejido de interconexión 327 es una capa de tejido de red de alta velocidad separada en la que se apila cada componente del multiprocesador de gráficos 325. Los componentes del multiprocesador de gráficos 325 se comunican con componentes remotos mediante el tejido de interconexión 327. Por ejemplo, cada uno de los núcleos de GPGPU 336A-336B, 337A-337B y 3378A-338B puede comunicarse con la memoria compartida 346 mediante el tejido de interconexión 327. El tejido de interconexión 327 puede arbitrar la comunicación dentro del multiprocesador de gráficos 325 para garantizar una asignación de ancho de banda equitativa entre componentes.

La Figura 3B muestra un multiprocesador de gráficos 350 de acuerdo con una realización adicional. El procesador de gráficos incluye múltiples conjuntos de recursos de ejecución 356A-356D, donde cada conjunto de recursos de ejecución incluye múltiples unidades de instrucción, archivos de registro, núcleos de GPGPU y unidades de cargaalmacén, como se ilustra en la Figura 2D y en la Figura 3A. Los recursos de ejecución 356A-356D pueden funcionar en conjunto con la unidad o unidades de texturas 360A-360D para operaciones de textura, mientras que comparten una caché de instrucciones 354 y la memoria compartida 362. En una realización, los recursos de ejecución 356A-356D pueden compartir una caché de instrucciones 354 y una memoria compartida 362, así como múltiples instancias de una memoria de textura y/o de caché de datos 358A-358B. Los diversos componentes pueden comunicarse mediante un tejido de interconexión 352 similar al tejido de interconexión 327 de la Figura 3A.

Los expertos en la materia entenderán que la arquitectura descrita en las Figuras 1, 2A-2D y 3A-3B es descriptiva y no limitante en cuanto al alcance de las presentes realizaciones. Por lo tanto, las técnicas descritas en el presente documento pueden implementarse en cualquier unidad de procesamiento configurada apropiadamente, incluyendo, sin limitación, uno o más procesadores de aplicaciones móviles, una o más unidades centrales de procesamiento (CPU) de sobremesa o de servidor, incluyendo CPU de múltiples núcleos, una o más unidades de procesamiento paralelo, tales como la unidad de procesamiento paralelo 202 de la Figura 2, así como uno o más procesadores de gráficos o unidades de procesamiento de propósito especial, sin apartarse del alcance de las realizaciones descritas en el presente documento.

En algunas realizaciones, un procesador paralelo o GPGPU como se describe en el presente documento está acoplado de manera comunicativa a núcleos de anfitrión/procesador para acelerar operaciones de gráficos, operaciones de aprendizaje automático, operaciones de análisis de patrones y diversas funciones de GPU de fin general (GPGPU). La GPU puede estar acoplada de manera comunicativa al procesador/núcleos de anfitrión a través de un bus u otra interconexión (por ejemplo, una interconexión de alta velocidad tal como PCIe o NVLink). En otras realizaciones, la GPU puede integrarse en el mismo paquete o chip que los núcleos y estar acoplada de manera comunicativa a los núcleos a través de un bus/interconexión de procesador interno (es decir, internamente al paquete o chip). Independientemente de la manera en la que esté conectada la GPU, los núcleos de procesador pueden asignar trabajo a la GPU en forma de secuencias de comandos/instrucciones contenidas en un descriptor de trabajo. La GPU, a continuación, usa circuitería/lógica especializada para el procesamiento de manera efectiva de estos comandos/instrucciones.

Técnicas para interconexión de GPU a procesador de anfitrión

La Figura 4A ilustra una arquitectura ilustrativa en la que una pluralidad de GPU 410-413 están acopladas de manera comunicativa a una pluralidad de procesadores de múltiples núcleos 405-406 a través de enlaces de alta velocidad 440-443 (por ejemplo, buses, interconexiones de punto a punto, etc.). En una realización, los enlaces de alta velocidad 440-443 soportan un caudal de comunicación de 4 GB/s, 30 GB/s, 80 GB/s o mayor, dependiendo de la implementación. Pueden usarse diversos protocolos de interconexión que incluyen, pero sin limitación, PCIe 4.0 o 5.0 y NVLink 2.0. Sin embargo, los principios subyacentes de la invención no están limitados a ningún protocolo o caudal de comunicación particular.

Además, en una realización, dos o más de las GPU 410-413 están interconectadas a través de enlaces de alta velocidad 444-445, que pueden implementarse usando los mismos protocolos/enlaces o diferentes que aquellos usados para enlaces de alta velocidad 440-443. De manera similar, dos o más de los procesadores de múltiples núcleos 405-406 pueden conectarse a través del enlace de alta velocidad 433 que pueden ser buses de múltiples procesadores simétricos (SMP) que operan a 20 GB/s, 30 GB/s, 120 GB/s o mayor. Como alternativa, toda la comunicación entre los diversos componentes de sistema mostrados en la Figura 4A puede conseguirse usando los mismos protocolos/enlaces (por ejemplo, a través de un tejido de interconexión común). Sin embargo, como se ha mencionado, los principios subyacentes de la invención no están limitados a ningún tipo particular de tecnología de interconexión.

En una realización, cada procesador de múltiples núcleos 405-406 está acoplado de manera comunicativa a una memoria de procesador 401 -402, mediante las interconexiones de memoria 430-431, respectivamente, y cada GPU 410-413 está acoplada de manera comunicativa a la memoria de la GPU 420-423 a través de las interconexiones de memoria de GPU 450-453, respectivamente. Las interconexiones de memoria 430-431 y 450-453 pueden utilizar las mismas tecnologías de acceso a memoria o diferentes. A modo de ejemplo, y no como limitación, las memorias de procesador 401-402 y las memorias de GPU 420-423 pueden ser memorias volátiles, tal como memorias de acceso aleatorio dinámicas (DRAM) (que incluyen DRAM apiladas), SDRAM DDR de gráficos (GDDR) (por ejemplo, GDDR5, GDDR6), o memoria de ancho de banda alto (HBM) y/o pueden ser memorias no volátiles tales como 3D XPoint o Nano-Ram. En una realización, alguna porción de las memorias puede ser memoria volátil y otra porción puede ser memoria no volátil (por ejemplo, usando una jerarquía de memoria de dos niveles (2LM)).

Como se describe a continuación, aunque los diversos procesadores 405-406 y las GPU 410-413 pueden estar físicamente acoplados a una memoria particular 401-402, 420-423, respectivamente, puede implementarse una arquitectura de memoria unificada en la que el mismo espacio de direcciones de sistema virtual (también denominado espacio "de direcciones eficaces") está distribuido entre todas las diversas memorias físicas. Por ejemplo, cada una de las memorias de procesador 401 -402 puede comprender 64 GB del espacio de direcciones de memoria de sistema y cada una de las memorias de GPU 420-423 puede comprender 32 GB del espacio de direcciones de memoria de sistema (dando como resultado un total de memoria direccionable de 256 GB en este ejemplo).

La Figura 4B ilustra detalles adicionales para una interconexión entre un procesador de múltiples núcleos 407 y un módulo de aceleración de gráficos 446 de acuerdo con una realización. El módulo de aceleración de gráficos 446 puede incluir uno o más chips de GPU integrados en una tarjeta de línea que está acoplada al procesador 407 mediante el enlace de alta velocidad 440. Como alternativa, el módulo de aceleración de gráficos 446 puede estar integrado en el mismo paquete o chip que el procesador 407.

El procesador ilustrado 407 incluye una pluralidad de núcleos 460A-460D, cada uno con una memoria intermedia de traducción adelantada 461A-461D y una o más cachés 462A-462D. Los núcleos pueden incluir diversos otros componentes para ejecutar instrucciones y procesar datos que no se ilustran para evitar oscurecer los principios subyacentes de la invención (por ejemplo, unidades de extracción de instrucción, unidades de predicción de ramal, decodificadores, unidades de ejecución, memorias intermedias de reordenación, etc.). Las cachés 462A-462D pueden comprender cachés de nivel 1 (L1) y de nivel 2 (L2). Además, puede incluirse una o más cachés compartidas 426 en la jerarquía de almacenamiento en caché y compartirse por conjuntos de los núcleos 460A-460D. Por ejemplo, una realización del procesador 407 incluye 24 núcleos, cada uno con su propia caché L1, doce cachés L2 compartidas y doce cachés L3 compartidas. En esta realización, una de las cachés L2 y L3 está compartida por dos núcleos adyacentes. El procesador 407 y el módulo de integración de acelerador de gráficos 446 se conectan con la memoria de sistema 441, que puede incluir las memorias de procesador 401 -402

Se mantiene la coherencia para los datos e instrucciones almacenados en las diversas cachés 462A-462D, 456 y en la memoria de sistema 441 mediante la comunicación inter-núcleo a través de un bus de coherencia 464. Por ejemplo, cada caché puede tener una lógica/circuitería de coherencia de caché asociada con la misma para comunicarse a través del bus de coherencia 464 en respuesta a lecturas o escrituras detectadas en líneas de caché particulares. En una implementación, se implementa un protocolo de monitorización de caché a través del bus de coherencia 464 para monitorizar los accesos de caché. Las técnicas de monitorización/coherencia de caché son bien entendidas por los expertos en la materia y no se describirán en detalle en este punto para evitar oscurecer los principios subyacentes de la invención.

En una realización, un circuito intermediario 425 acopla de manera comunicativa el módulo de aceleración de gráficos 446 al bus de coherencia 464, permitiendo que el módulo de aceleración de gráficos 446 participe en el protocolo de coherencia de caché como un homólogo de los núcleos. En particular, una interfaz 435 proporciona conectividad al circuito intermediario 425 a través del enlace de alta velocidad 440 (por ejemplo, un bus PCIe, NVLink, etc.) y una interfaz 437 conecta el módulo de aceleración de gráficos 446 al enlace 440.

En una implementación, un circuito de integración del acelerador 436 proporciona servicios de gestión de caché, acceso a memoria, gestión de contexto y gestión de interrupción en nombre de una pluralidad de motores de procesamiento de gráficos 431, 432, N del módulo de aceleración de gráficos 446. Cada uno de los motores de procesamiento de gráficos 431,432, N puede comprender una unidad de procesamiento de gráficos (GPU) separada. Como alternativa, los motores de procesamiento de gráficos 431, 432, N pueden comprender diferentes tipos de motores de procesamiento de gráficos dentro de una GPU, tales como unidades de ejecución de gráficos, motores de procesamiento de medios (por ejemplo, codificadores/decodificadores de vídeo), muestreadores y motores de BLIT. En otras palabras, el módulo de aceleración de gráficos puede ser una GPU con una pluralidad de motores de procesamiento de gráficos 431 -432, N, o los motores de procesamiento de gráficos 431 -432, N pueden ser unas GPU individuales integradas en un paquete, tarjeta de línea o chip común.

En una realización, el circuito de integración de acelerador 436 incluye una unidad de gestión de memoria (MMU) 439 para realizar diversas funciones de gestión de memoria tales como traducciones de memoria virtual a física (también denominadas traducciones de memoria efectiva a real) y protocolos de acceso de memoria para acceder a la memoria de sistema 441. La MMU 439 puede incluir también una memoria intermedia de traducción adelantada (TLB) (no mostrada) para almacenar en caché las traducciones de dirección virtual/efectiva a física/real. En una implementación, una caché 438 almacena comandos y datos para un acceso eficiente por los motores de procesamiento de gráficos 431-432, N. En una realización, los datos almacenados en la caché 438 y en las memorias de gráficos 433-434, N se mantienen coherentes con las cachés de núcleo 462A-462D, 456 y la memoria de sistema 411. Como se ha mencionado, esto puede conseguirse mediante el circuito de intermediario 425 que toma parte en el mecanismo de coherencia de caché en nombre de la caché 438 y las memorias 433-434, N (por ejemplo, enviando actualizaciones a la caché 438 relacionadas con las modificaciones/accesos de líneas de caché en las cachés del procesador 462A-462D, 456 y recibiendo actualizaciones de la caché 438).

Un conjunto de registros 445 almacenan datos de contexto para hilos ejecutados por los motores de procesamiento de gráficos 431 -432, N y un circuito de gestión de contexto 448 gestiona los contextos de hilo. Por ejemplo, el circuito de gestión de contexto 448 puede realizar operaciones de grabación y restauración para grabar y restaurar contextos de los diversos hilos durante cambios de contexto (por ejemplo, cuando se graba un primer hilo y se almacena un segundo hilo de modo que el segundo hilo puede ejecutarse por un motor de procesamiento de gráficos). Por ejemplo, en una conmutación de contexto, el circuito de gestión de contexto 448 puede almacenar valores de registro actuales en una región designada en memoria (por ejemplo, identificada por un puntero de contexto). A continuación, puede restablecer los valores de registro cuando se vuelve al contexto. En una realización, un circuito de gestión de interrupciones 447 recibe y procesa interrupciones recibidas desde los dispositivos de sistema.

En una implementación, las direcciones virtuales/efectivas de un motor de procesamiento de gráficos 431 se traducen a direcciones reales/físicas en memoria de sistema 411 por la MMU 439. Una realización del circuito de integración de acelerador 436 soporta múltiples (por ejemplo, 4, 8, 16) módulos de acelerador de gráficos 446 y/u otros dispositivos aceleradores. El módulo acelerador de gráficos 446 puede estar especializado a una única aplicación ejecutada en el procesador 407 o puede compartirse entre múltiples aplicaciones. En una realización, se presenta un entorno de ejecución de gráficos virtualizado en el que los recursos de los motores de procesamiento de gráficos 431-432, N se comparten con múltiples aplicaciones o máquinas virtuales (VM). Los recursos pueden subdividirse en "cortes" que se asignan a diferentes VM y/o aplicaciones basándose en los requisitos de procesamiento y las propiedades asociadas con las VM y/o las aplicaciones.

Por lo tanto, el circuito de integración de acelerador actúa como un puente al sistema para el módulo de aceleración de gráficos 446 y proporciona servicios de traducción de direcciones y de caché de memoria de sistema. Además, el circuito de integración de acelerador 436 puede proporcionar instalaciones de virtualización para que el procesador de anfitrión gestione la virtualización de los motores de procesamiento de gráficos, las interrupciones y la gestión de memoria.

Debido a que los recursos de hardware de los motores de procesamiento de gráficos 431-432, N se mapean explícitamente al espacio de direcciones real observado por el procesador de anfitrión 407, cualquier procesador de anfitrión puede dirigir estos recursos directamente usando un valor de dirección efectivo. Una función del circuito de integración de acelerador 436, en una realización, es la separación física de los motores de procesamiento de gráficos 431 -432, N de modo que aparecen al sistema como unidades independientes.

Como se ha mencionado, en la realización ilustrada, una o más memorias de gráficos 433-434, M están acopladas a cada uno de los motores de procesamiento de gráficos 431-432, N, respectivamente. Las memorias de gráficos 433 434, M almacenan instrucciones y datos que se procesan por cada uno de los motores de procesamiento de gráficos 431-432, N. Las memorias de gráficos 433-434, M pueden ser memorias volátiles, tales como DRAM (incluyendo DRAM apiladas), memoria de GDDR (por ejemplo, GDDR5, GDDR6), o HBM, y/o pueden ser memorias no volátiles, tales como 3D XPoint o Nano-Ram.

En una realización, para reducir el tráfico de datos a través del enlace 440, se usan técnicas de desvío para garantizar que los datos almacenados en las memorias de gráficos 433-434, M son datos que serán usados de la manera más frecuente por los motores de procesamiento de gráficos 431 -432, N y preferentemente no serán usados por los núcleos 460A-460D (al menos, no con frecuencia). De manera similar, el mecanismo de desvío intenta mantener datos que necesitan los núcleos (y, preferentemente, no los motores de procesamiento de gráficos 431-432, N) dentro de las cachés 462A-462D, 456 de los núcleos y la memoria de sistema 411.

La Figura 4C ilustra otra realización en la que el circuito de integración de acelerador 436 está integrado dentro del procesador 407. En esta realización, los motores de procesamiento de gráficos 431-432, N se comunican directamente a través del enlace de alta velocidad 440 al circuito de integración de acelerador 436 mediante la interfaz 437 y la interfaz 435 (que, de nuevo, puede utilizar cualquier forma de bus o protocolo de interfaz). El circuito de integración de acelerador 436 puede realizar las mismas operaciones que las descritas con respecto a la Figura 4B, pero potencialmente a un caudal superior dada su proximidad estrecha al bus de coherencia 462 y a las cachés 462A-462D, 426.

Una realización soporta diferentes modelos de programación que incluyen un modelo de programación de proceso especializado (sin virtualización de módulo de aceleración de gráficos) y modelos de programación compartida (con virtualización). El último puede incluir modelos de programación que se controlan por el circuito de integración de acelerador 436 y modelos de programación que se controlan por el módulo de aceleración de gráficos 446.

En una realización del modelo de proceso especializado, los motores de procesamiento de gráficos 431-432, N están especializados a una única aplicación o proceso bajo un único sistema operativo. La única aplicación puede encauzar otras solicitudes de aplicación a los motores de gráficos 431-432, N, proporcionando virtualización dentro de una VM/subdivisión.

En los modelos de programación de proceso especializado, los motores de procesamiento de gráficos 431-432, N, pueden compartirse por múltiples VM/subdivisiones de aplicación. Los modelos compartidos requieren que un hipervisor de sistema virtualice los motores de procesamiento de gráficos 431 -432, N para permitir el acceso de cada sistema operativo. Para sistemas de subdivisión única sin un hipervisor, los motores de procesamiento de gráficos 431-432, N son propiedad del sistema operativo. En ambos casos, el sistema operativo puede virtualizar los motores de procesamiento de gráficos 431-432, N para proporcionar acceso a cada proceso o aplicación.

Para el modelo de programación compartida, el módulo de aceleración de gráficos 446 o un motor de procesamiento de gráficos individual 431-432, N selecciona un elemento de proceso usando un manejador de proceso. En una realización, los elementos de proceso se almacenan en memoria de sistema 411 y son direccionables usando las técnicas de traducción de dirección efectiva a dirección real descritas en el presente documento. El manejador de proceso puede ser un valor específico de la implementación proporcionado al proceso de anfitrión cuando se registra su contexto con el motor de procesamiento de gráficos 431-432, N (es decir, llamando al software de sistema para añadir el elemento de proceso a la lista vinculada de elementos de proceso). Los 16 bits inferiores del manejador de proceso pueden ser el desplazamiento del elemento de proceso dentro de la lista vinculada de elementos de proceso.

La Figura 4D ilustra un corte de integración del acelerador 490 ilustrativo. Como se usa en el presente documento, un "corte" comprende una porción especificada de los recursos de procesamiento del circuito de integración de acelerador 436. El espacio de direcciones efectivo de la aplicación 482 dentro de la memoria de sistema 411 almacena elementos de proceso 483. En una realización, los elementos de proceso 483 se almacenan en respuesta a invocaciones de GPU 481 desde las aplicaciones 480 ejecutadas en el procesador 407. Un elemento de proceso 483 contiene el estado de proceso para la correspondiente aplicación 480. Un descriptor de trabajo (WD) 484 contenido en el elemento de proceso 483 puede ser un único trabajo solicitado por una aplicación o puede contener un puntero a una cola de trabajos. En el último caso, el WD 484 es un puntero a la cola de solicitudes de trabajo en el espacio de direcciones de la aplicación 482.

El módulo de aceleración de gráficos 446 y/o los motores de procesamiento de gráficos individuales 431 -432, N pueden compartirse por todos o un subconjunto de los procesos en el sistema. Las realizaciones de la invención incluyen una infraestructura para configurar el estado de proceso y enviar un WD 484 a un módulo de aceleración de gráficos 446 para empezar un trabajo en un entorno virtualizado.

En una implementación, el modelo de programación de proceso especializado es específico de la implementación. En este modelo, un único proceso posee el módulo de aceleración de gráficos 446 o un motor de procesamiento de gráficos individual 431. Debido a que el módulo de aceleración de gráficos 446 es de propiedad de un único proceso, el hipervisor inicializa el circuito de integración de acelerador 436 para la subdivisión de propiedad y el sistema operativo inicializa el circuito de integración de acelerador 436 para el proceso de propiedad en el momento cuando se asigna el módulo de aceleración de gráficos 446.

En la operación, una unidad de extracción de WD 491 en el corte de integración de acelerador 490 extrae el siguiente WD 484 que incluye una indicación del trabajo que va a hacerse por uno de los motores de procesamiento de gráficos del módulo de aceleración de gráficos 446. Los datos del WD 484 pueden almacenarse en los registros 445 y usarse por la MMU 439, el circuito de gestión de interrupciones 447 y/o el circuito de gestión de contexto 446 como se ilustra. Por ejemplo, una realización de la MMU 439 incluye circuitería de recorrido de segmentos/páginas para acceder a las tablas de segmentos/páginas 486 dentro del espacio de direcciones virtuales de SO 485. El circuito de gestión de interrupciones 447 puede procesar los eventos de interrupción 492 recibidos desde el módulo de aceleración de gráficos 446. Cuando se realizan operaciones de gráficos, se traduce una dirección efectiva 493 generada por un motor de procesamiento de gráficos 431 -432, N a una dirección real por la MMU 439.

En una realización, se duplica el mismo conjunto de registros 445 para cada motor de procesamiento de gráficos 431 -432, N y/o módulo de aceleración de gráficos 446 y puede inicializarse por el hipervisor o el sistema operativo. Cada uno de estos registros duplicados puede incluirse en un corte de integración de acelerador 490. Se muestran los registros ilustrativos que pueden inicializarse por el hipervisor en la Tabla 1.

Tabla 1 - Registros inicializados por el hipervisor

Se muestran los registros ilustrativos que pueden inicializarse por el sistema operativo en la Tabla 2.

Tabla 2 - Registros inicializados por el sistema operativo

En una realización, cada WD 484 es específico a un módulo de aceleración de gráficos particular 446 y/o al motor de procesamiento de gráficos 431-432, N. Contiene toda la información que requiere un motor de procesamiento de gráficos 431 -432, N para hacer su trabajo o puede ser un puntero a una ubicación de memoria donde la aplicación ha establecido una cola de comandos de trabajo para que se complete.

La Figura 4E ilustra detalles adicionales para una realización de un modelo compartido. Esta realización incluye un espacio de direcciones real de hipervisor 498 en el que se almacena una lista de elementos de proceso 499. El espacio de direcciones real de hipervisor 498 es accesible mediante un hipervisor 496 que virtualiza los motores de módulo de aceleración de gráficos para el sistema operativo 495.

Los modelos de programación compartida permiten que todos o un subconjunto de procesos de todas o un subconjunto de las subdivisiones en el sistema usen un módulo de aceleración de gráficos 446. Hay dos modelos de programación donde el módulo de aceleración de gráficos 446 se comparte por múltiples procesos y subdivisiones: compartido en cortes de tiempo y compartido dirigido a gráficos.

En este modelo, el hipervisor de sistema 496 tiene propiedad del módulo de aceleración de gráficos 446 y hace que su función esté disponible para todos los sistemas operativos 495. Para que un módulo de aceleración de gráficos 446 soporte virtualización por el hipervisor de sistema 496, el módulo de aceleración de gráficos 446 puede adherirse a los siguientes requisitos: 1) Una solicitud de trabajo de la aplicación debe ser autónoma (es decir, el estado no necesita mantenerse entre trabajos), o el módulo de aceleración de gráficos 446 debe proporcionar un mecanismo de grabación y restauración de contexto. 2) Se garantiza una solicitud de trabajo de la aplicación por el módulo de aceleración de gráficos 446 para completar en una cantidad especificada de tiempo, que incluye cualquier fallo de traducción, o el módulo de aceleración de gráficos 446 proporciona la capacidad de anticiparse al procesamiento del trabajo. 3) El módulo de aceleración de gráficos 446 debe garantizar equidad entre procesos cuando opera en el modelo de programación compartido dirigido.

En una realización, para el modelo compartido, se requiere que la aplicación 480 haga una llamada de sistema a un sistema operativo 495 con un tipo de módulo de aceleración de gráficos 446, un descriptor de trabajo (WD), un valor de registro de máscara de autoridad (AMR) y un puntero de área de grabación/restauración de contexto (CSRP). El tipo de módulo de aceleración de gráficos 446 describe la función de aceleración dirigida para la llamada de sistema. El tipo de módulo de aceleración de gráficos 446 puede ser un valor específico de sistema. El WD se formatea específicamente para el módulo de aceleración de gráficos 446 y puede estar en forma de un comando de módulo de aceleración de gráficos 446, un puntero de dirección efectiva a una estructura definida por el usuario, un puntero de dirección efectiva a una cola de comandos o cualquier otra estructura de datos para describir el trabajo que va a hacerse por el módulo de aceleración de gráficos 446. En una realización, el valor de AMR es el estado de AMR para su uso para el proceso actual. El valor pasado al sistema operativo es similar a una aplicación que configura el AMR. Si las implementaciones del circuito de integración de acelerador 436 y del módulo de aceleración de gráficos 446 no soportan un registro de anulación de máscara de autoridad de usuario (UAMOR), el sistema operativo puede aplicar el valor de UAMOR actual al valor de AMR antes de pasar el AMR en la llamada de hipervisor. El hipervisor 496 puede aplicar opcionalmente el valor de registro de anulación de máscara de autoridad (AMOR) actual antes de colocar el AMR en el elemento de proceso 483. En una realización, el CSRP es uno de los registros 445 que contiene la dirección efectiva de un área en el espacio de direcciones de la aplicación 482 para que el módulo de aceleración de gráficos 446 grabe y restaure el estado de contexto. Este puntero es opcional si no se requiere que se grabe estado entre trabajos o cuando se anticipa un trabajo. El área de grabación/restauración de contexto puede estar fijada en la memoria de sistema.

Tras recibir la llamada de sistema, el sistema operativo 495 puede verificar que la aplicación 480 se ha registrado y que se le ha dado la autoridad para usar el módulo de aceleración de gráficos 446. El sistema operativo 495, a continuación, llama al hipervisor 496 con la información mostrada en la Tabla 3.

Tabla 3 - Parámetros de llamada de SO al hipervisor

T ras recibir la llamada de hipervisor, el hipervisor 496 verifica que el sistema operativo 495 se ha registrado y que se le ha dado la autoridad para usar el módulo de aceleración de gráficos 446. El hipervisor 496 pone entonces el elemento de proceso 483 en la lista vinculada de elementos de proceso para el tipo de módulo de aceleración de gráficos 446 correspondiente. El elemento de proceso puede incluir la información mostrada en la Tabla 4.

Tabla 4 - Información de elemento de proceso

En una realización, el hipervisor inicializa una pluralidad de registros 445 de corte de integración del acelerador 490.

Como se ha ilustrado en la Figura 4F, una realización de la invención emplea una memoria unificada direccionable mediante un espacio de direcciones de memoria virtual común usado para acceder a las memorias de procesador físico 401-402 y a las memorias de GPU 420-423. En esta implementación, las operaciones ejecutadas en las GPU 410-413 utilizan el mismo espacio de direcciones de memoria virtual/efectivo para acceder a las memorias de procesadores 401-402, y viceversa, simplificando de esta manera la programabilidad. En una realización, una primera porción del espacio de direcciones virtual/efectivo está asignada a la memoria de procesador 401, una segunda porción a la segunda memoria de procesador 402, una tercera porción a la memoria de GPU 420, y así sucesivamente. El espacio de memoria virtual/efectivo total (denominado, en ocasiones, el espacio de direcciones efectivo) está distribuido, de esta manera, a lo largo de cada una de las memorias de procesador 401-402 y de las memorias de GPU 420-423, permitiendo que cualquier procesador o GPU acceda a cualquier memoria física con una dirección virtual mapeada a esa memoria.

En una realización, la circuitería de gestión de desvío/coherencia 494A-494E dentro de una o más de las MMU 439A-439E garantiza la coherencia de caché entre las cachés de los procesadores de anfitrión (por ejemplo, 405) y las GPU 410-413 e implementa técnicas de desvío que indican las memorias físicas en las que deberían almacenarse ciertos tipos de datos. Aunque se ilustran múltiples instancias de la circuitería de gestión de desvío/coherencia 494A-494E en la Figura 4F, la circuitería de desvío/coherencia puede implementarse dentro de la MMU de uno o más procesadores de anfitrión 405 y/o dentro del circuito de integración de acelerador 436.

Una realización permite que la memoria adjunta a la GPU 420-423 se mapee como parte de memoria de sistema, y se acceda usando tecnología de memoria virtual compartida (SVM), pero sin sufrir las desventajas de rendimiento típicas asociadas con la coherencia de caché de sistema completa. La capacidad de que se acceda a la memoria adjunta a la GPU 420-423 como memoria de sistema sin sobrecarga de coherencia de caché onerosa proporciona un entorno de operación beneficioso para la descarga de la GPU. Esta disposición permite que el software del procesador de anfitrión 405 establezca operandos y acceda a resultados de cálculo, sin la sobrecarga de las copias de datos de DMA de E/S tradicionales. Tales copias tradicionales implican llamadas de controlador, interrupciones y accesos de E/S mapeados con memoria (MMIO) que son, todos ellos, ineficientes en relación con los accesos de memoria sencillos. Al mismo tiempo, la capacidad de acceder a la memoria adjunta a la GPU 420-423 sin sobrecargas de coherencia de caché puede ser critica para el tiempo de ejecución de un cálculo descargado. En casos con tráfico de memoria de escritura de envío por flujo continuo sustancial, por ejemplo, la sobrecarga de coherencia de caché puede reducir significativamente el ancho de banda de escritura efectivo observado por una GPU 410-413. La eficacia de la configuración del operando, la eficacia del acceso a los resultados y la eficacia del cálculo de GPU, todos desempeñan un papel al determinar la efectividad de la descarga de la GPU.

En una implementación, la selección entre el desvío de GPU y el desvío de procesador de anfitrión es controlada por una estructura de datos de rastreador de desvío. Puede usarse una tabla de desvíos, por ejemplo, que puede ser una estructura granular a nivel de página (es decir, controlada a la granularidad de una página de memoria) que incluye 1 o 2 bits por página de memoria adjunta a la GPU. La tabla de desvío puede implementarse en un rango de memoria robado de una o más memorias adjuntas a la GPU 420-423, con o sin una caché de desvío en la GPU 410-413 (por ejemplo, para entradas usadas de manera frecuente/reciente de caché de la tabla de desvío). Como alternativa, toda la tabla de desvíos puede mantenerse dentro de la GPU.

En una implementación, se accede a la entrada de tabla de desvío asociada con cada acceso a la memoria adjunta a la GPU 420-423 antes del acceso real a la memoria de GPU, lo que provoca las siguientes operaciones. En primer lugar, las solicitudes locales de la GPU 410-413 que encuentran su página en el desvío de la GPU se reenvían directamente a una correspondiente memoria de GPU 420-423. Las solicitudes locales de la GPU que encuentran su página en el desvío del anfitrión se reenvían al procesador 405 (por ejemplo, a través de un enlace de alta velocidad como se ha analizado anteriormente). En una realización, las solicitudes del procesador 405 que encuentran la página solicitada en el desvío del procesador de anfitrión completan la solicitud como una lectura de memoria normal. Como alternativa, las solicitudes dirigidas a una página desviada de la GPU pueden reenviarse a la GPU 410-413. La GPU puede pasar, a continuación, la página a un desvío de procesador de anfitrión si no está usando actualmente la página.

El estado de desvío de una página puede cambiarse mediante un mecanismo basado en software, un mecanismo basado en software asistido por hardware o, para un conjunto de casos limitado, un mecanismo basado puramente en hardware.

Un mecanismo para cambiar el estado de desvío emplea una llamada de API (por ejemplo, OpenCL), que, a su vez, llama al controlador del dispositivo de la GPU que, a su vez, envía un mensaje (o pone en cola un descriptor de comando) a la GPU que la dirige para cambiar el estado de desvío y, para algunas transiciones, realiza una operación de vaciado de caché en el anfitrión. Se requiere la operación de vaciado de caché para una transición desde el procesador de anfitrión 405 a un desvío de GPU, pero no se requiere para la transacción opuesta.

En una realización, la coherencia de caché se mantiene haciendo temporalmente que las páginas con desvío de GPU no puedan ser almacenadas en caché por el procesador de anfitrión 405. Para acceder a estas páginas, el procesador 405 puede solicitar acceso desde la GPU 410 que puede conceder, o no, acceso de manera inmediata, dependiendo de la implementación. Por lo tanto, para reducir la comunicación entre el procesador 405 y la GPU 410, es beneficioso garantizar que las páginas con GPU de desvío sean aquellas que se requieren por la GPU, pero no por el procesador de anfitrión 405 y viceversa.

Canalización de procesamiento de gráficos

La Figura 5 ilustra una canalización de procesamiento de gráficos 500, de acuerdo con una realización. En una realización, un procesador de gráficos puede implementar la canalización de procesamiento de gráficos 500 ilustrada. El procesador de gráficos puede estar incluido dentro de los subsistemas de procesamiento paralelo como se describe en el presente documento, tal como el procesador paralelo 200 de la Figura 2, que, en una realización, es una variante del procesador o procesadores paralelos 112 de la Figura 1. Los diversos sistemas de procesamiento paralelo pueden implementar la canalización de procesamiento de gráficos 500 mediante una o más instancias de la unidad de procesamiento paralelo (por ejemplo, la unidad de procesamiento paralelo 202 de la Figura 2) como se describe en el presente documento. Por ejemplo, una unidad sombreadora (por ejemplo, el multiprocesador de gráficos 234 de la Figura 3) puede estar configurada para realizar las funciones de una o más de una unidad de procesamiento de vértices 504, una unidad de control de proceso de teselación 508 una unidad de procesamiento de evaluación de teselación 512, una unidad de procesamiento de geometría 516 y una unidad de procesamiento de fragmentos/píxeles 524. Las funciones del ensamblador de datos 502, los ensambladores de primitivas 506, 514, 518, la unidad de teselación 510, el rasterizador 522, y la unidad de operaciones de rasterización 526 pueden realizarse también por otros motores de procesamiento dentro de una agrupación de procesamiento (por ejemplo, la agrupación de procesamiento 214 de la Figura 3) y una correspondiente unidad de subdivisión (por ejemplo, la unidad de subdivisión 220A-220N de la Figura 2). La canalización de procesamiento de gráficos 500 puede implementarse también usando unidades de procesamiento especializadas para una o más funciones. En una realización, puede realizarse una o más porciones de la canalización de procesamiento de gráficos 500 mediante lógica de procesamiento paralelo dentro de un procesador de fin general (por ejemplo, la CPU). En una realización, una o más porciones de la canalización de procesamiento de gráficos 500 pueden acceder a una memoria en chip (por ejemplo, la memoria de procesador paralelo 222 como en la Figura 2) mediante una interfaz de memoria 528, que puede ser una instancia de la interfaz de memoria 218 de la Figura 2.

En una realización, el ensamblador de datos 502 es una unidad de procesamiento que recopila datos de vértices para superficies y primitivas. El ensamblador de datos 502, a continuación, emite los datos de vértices, que incluyen los atributos de vértices, a la unidad de procesamiento de vértices 504. La unidad de procesamiento de vértices 504 es una unidad de ejecución programable que ejecuta programas de sombreador de vértices, datos de vértices de iluminación y transformación como se especifica por los programas de sombreador de vértices. La unidad de procesamiento de vértices 504 lee datos que se almacenan en memoria caché, local o de sistema para su uso en el procesamiento de los datos de vértices y puede programarse para transformar los datos de vértices desde una representación de coordenadas basada en objetos hasta un espacio de coordenadas de espacio mundial o un espacio de coordenadas de dispositivo normalizado.

Una primera instancia de un ensamblador de primitivas 506 recibe atributos de vértice desde la unidad de procesamiento de vértices 504. El ensamblador de primitivas 506 lee atributos de vértice almacenados según sea necesario y construye primitivas de gráficos para su procesamiento por la unidad de procesamiento de control de teselación 508. Las primitivas de gráficos incluyen triángulos, segmentos de línea, puntos, parches y así sucesivamente, según sea soportado por diversas interfaces de programación de aplicaciones (API) de procesamiento de gráficos.

La unidad de procesamiento de control de teselación 508 trata los vértices de entrada como puntos de control para un parche geométrico. Los puntos de control se transforman desde una representación de entrada desde el parche (por ejemplo, las bases del parche) a una representación que es adecuada para su uso en la evaluación superficial por la unidad de procesamiento de evaluación de teselación 512. La unidad de procesamiento de control de teselación 508 puede calcular también factores de teselación para bordes de parches geométricos. Se aplica un factor de teselación a un único borde y cuantifica un nivel dependiente de la vista del detalle asociado con el borde. Una unidad de teselación 510 está configurada para recibir los factores de teselación para bordes de un parche y para teselar el parche en múltiples primitivas geométricas, tales como una línea, triángulo o primitivas cuadrilaterales, que se transmiten a una unidad de procesamiento de evaluación de teselación 512. La unidad de procesamiento de evaluación de teselación 512 opera en coordenadas parametrizadas del parche subdividido para generar una representación superficial y atributos de vértices para cada vértice asociado con las primitivas geométricas.

Una segunda instancia de un ensamblador de primitivas 514 recibe atributos de vértices desde la unidad de procesamiento de evaluación de teselación 512, que lee los atributos de vértices almacenados según sea necesario y construye primitivas de gráficos para su procesamiento por la unidad de procesamiento de geometría 516. La unidad de procesamiento de geometría 516 es una unidad de ejecución programable que ejecuta programas de sombreador de geometría para transformar primitivas de gráficos recibidas desde el ensamblador de primitivas 514 como se especifica por los programas de sombreador de geometría. En una realización, la unidad de procesamiento de geometría 516 está programada para subdividir las primitivas de gráficos en una o más primitivas de gráficos nuevas y calcular parámetros usados para rasterizar las nuevas primitivas de gráficos.

En algunas realizaciones, la unidad de procesamiento de geometría 516 puede añadir o borrar elementos en el flujo de geometría. La unidad de procesamiento de geometría 516 emite los parámetros y vértices que especifican primitivas de gráficos nuevas al ensamblador de primitivas 518. El ensamblador de primitivas 518 recibe los parámetros y vértices desde la unidad de procesamiento de geometría 516 y construye primitivas de gráficos para su procesamiento por una unidad de escala, selección y recorte de ventana gráfica 520. La unidad de procesamiento de geometría 516 lee datos que están almacenados en la memoria de procesador paralelo o en la memoria de sistema para su uso en el procesamiento de los datos de geometría. La unidad de escala, selección y recorte de ventana gráfica 520 realiza el recorte, selección y escalado de ventana gráfica y emite las primitivas de gráficos procesados a un rasterizador 522.

El rasterizador 522 puede realizar optimizaciones de selección de profundidad y otras basadas en profundidad. El rasterizador 522 también realiza la conversión de exploración en las nuevas primitivas de gráficos para generar fragmentos y emitir aquellos fragmentos y datos de cobertura asociados a la unidad de procesamiento de fragmentos/píxeles 524. La unidad de procesamiento de fragmentos/píxeles 524 es una unidad de ejecución programable que está configurada para ejecutar programas de sombreado de fragmentos o programas de sombreado de píxeles. Transformando la unidad de procesamiento de fragmentos/píxeles 524 fragmentos o píxeles recibidos desde el rasterizador 522, como se especifica por los programas de sombreador de fragmentos o de píxeles. Por ejemplo, la unidad de procesamiento de fragmentos/píxeles 524 puede programarse para realizar operaciones que incluyen, pero sin limitación, mapeo de textura, sombreado, mezcla, corrección de textura y corrección de perspectiva para producir fragmentos o píxeles sombreados que se emiten a una unidad de operaciones de rasterización 526. La unidad de procesamiento de fragmentos/píxeles 524 puede leer datos que se almacenan en cualquiera de la memoria de procesador paralelo o la memoria de sistema para su uso cuando se procesan los datos de fragmento. Los programas de sombreador de fragmentos o de píxeles pueden estar configurados para sombrear a granularidad de muestra, de píxel, de pieza u otras dependiendo de las tasas de muestreo configuradas para las unidades de procesamiento.

La unidad de operaciones de rasterización 526 es una unidad de procesamiento que realiza operaciones de rasterización que incluyen, pero sin limitación, estarcido, prueba z, mezcla y similares, y emite datos de píxeles como datos de gráficos procesados para que se almacenen en la memoria de gráficos (por ejemplo, la memoria de procesador paralelo 222 como en la Figura 2, y/o la memoria de sistema 104 como en la Figura 1, para que se visualicen en el uno o más dispositivo o dispositivos de visualización 110 o para su procesamiento adicional por uno del uno o más procesador o procesadores 102 o procesador o procesadores paralelos 112. En algunas realizaciones, la unidad de operaciones de rasterización 526 está configurada para comprimir datos z o de color que se escriben en memoria y descomprimir datos z o de color que se leen desde la memoria.

Ejemplos de realidad virtual colaborativa m ultiusuario

Volviendo ahora a la Figura 6A, una realización de un sistema de procesamiento electrónico 600 puede incluir un procesador de aplicaciones 601, un medio de almacenamiento persistente 602 acoplado comunicativamente al procesador de aplicaciones 601 y un subsistema de gráficos 603 acoplado comunicativamente al procesador de aplicaciones 601. El sistema 600 puede incluir además un motor de detección 604 acoplado comunicativamente al subsistema de gráficos 603 para proporcionar información detectada, un motor de enfoque 605 acoplado comunicativamente al motor de detección 604 y al subsistema de gráficos 603 para proporcionar información de enfoque, un motor de movimiento 606 acoplado comunicativamente al motor de detección 604, al motor de enfoque 605 y al subsistema de gráficos 603 para proporcionar información de movimiento, y un motor de colaboración 607 acoplado comunicativamente a uno o más del motor de movimiento 606, el motor de enfoque 605 y el motor de detección 604 para identificar un componente de gráficos compartido entre dos o más usuarios en un entorno, y para compartir los componentes gráficos compartidos con los dos o más usuarios en el entorno.

Las realizaciones de cada uno de los procesadores de aplicaciones 601, medios de almacenamiento persistente 602, subsistema de gráficos 603, motor de detección 604, motor de enfoque 605, motor de movimiento 606, motor de colaboración 607 y otros componentes del sistema anteriores pueden implementarse en hardware, software o cualquier otro sistema adecuado. Por ejemplo, las implementaciones de hardware pueden incluir lógica configurable tal como, por ejemplo, matrices lógicas programables (PLA), FPGA, dispositivos lógicos programables complejos (CPLD), o en hardware lógico de funcionalidad fija usando tecnología de circuitos tal como, por ejemplo, ASIC, semiconductor de óxido metálico complementario (CMOS) o tecnología lógica de transistor-transistor (TTL), o cualquier combinación de las mismas. Como alternativa, o adicionalmente, estos componentes pueden implementarse en uno o más módulos como un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento legible por máquina u ordenador, tal como memoria de acceso aleatorio (RAM), memoria de solo lectura (ROM), ROM programable (PROM), firmware, memoria flash, etc., para ejecutarse por un procesador o dispositivo informático. Por ejemplo, el código del programa informático para llevar a cabo las operaciones de los componentes se puede escribir en cualquier combinación de uno o más lenguajes de programación apropiados/aplicables al sistema operativo, incluyendo un lenguaje de programación orientado a objetos tal como PYTHON, PERL, JAVA, SMALLTALK, C++, C# o lenguajes de programación de procedurales similares y convencionales, tales como el lenguaje de programación "C" o lenguajes de programación similares.

Por ejemplo, el sistema 600 puede incluir componentes y/o características similares a las del sistema 100, configurado además con un motor de colaboración como se describe en el presente documento. Además, o como alternativa, el subsistema de gráficos 603 puede incluir componentes y/o características similares a las del procesador paralelo 200, configurado además con un motor de colaboración como se describe en el presente documento. El sistema 600 también puede adaptarse para trabajar con un sistema montado en la cabeza estéreo tal como, por ejemplo, el sistema descrito en relación con las Figuras 11-15 a continuación.

Ejemplos de motor de detección

Volviendo ahora a la Figura 6B, un motor de detección 612 puede obtener información de sensores, contenido, servicios y/u otras fuentes para proporcionar información detectada. La información detectada puede incluir, por ejemplo, información de imagen, información de audio, información de movimiento, información de profundidad, información de temperatura, información biométrica, información de GPU, etc. En un alto nivel, algunas realizaciones pueden usar información detectada para reducir la carga de trabajo o mejorar el rendimiento del sistema gráfico de los usuarios.

Por ejemplo, un motor de detección puede incluir un concentrador de sensor acoplado comunicativamente a cámaras bidimensionales (2D), cámaras tridimensionales (3D), cámaras de profundidad, giroscopios, acelerómetros, unidades de medición inercial (IMU), servicios de ubicación, micrófonos, sensores de proximidad, termómetros, sensores biométricos, etc., y/o una combinación de múltiples fuentes que proporcionan información a los motores de enfoque y/o de movimiento. El concentrador de sensor se puede distribuir entre múltiples dispositivos. La información del concentrador de sensor puede incluir o combinarse con datos de entrada de los dispositivos de los usuarios (por ejemplo, datos táctiles).

Por ejemplo, el dispositivo o dispositivos del usuario pueden incluir una o más cámaras 2D, 3D y/o de profundidad. El dispositivo o dispositivos de los usuarios también pueden incluir giroscopios, acelerómetros, IMU, servicios de ubicación, termómetros, sensores biométricos, etc. Por ejemplo, los usuarios pueden llevar un teléfono inteligente (por ejemplo, en el bolsillo del usuario) y/o pueden llevar un dispositivo llevable (por ejemplo, tal como un reloj inteligente, un monitor de actividad y/o un rastreador de actividad física). El dispositivo o dispositivos de los usuarios también pueden incluir un micrófono que puede utilizarse para detectar si el usuario está hablando, por teléfono, hablando con otra persona cercana, etc. El concentrador de sensor puede incluir algunos o todos los diversos dispositivos del usuario que pueden capturar información relacionada con las acciones o la actividad del usuario (por ejemplo, incluyendo una interfaz de E/S de los dispositivos del usuario que puede capturar la actividad del teclado/ratón/táctil). El concentrador de sensor puede obtener información directamente de los dispositivos de captura de los dispositivos de los usuarios (por ejemplo, de forma alámbrica o inalámbrica) o el concentrador de sensor puede integrar información de los dispositivos desde un servidor o un servicio (por ejemplo, la información puede cargarse desde un rastreador de actividad física a un servicio en la nube, que el concentrador de sensor puede descargar).

Ejemplos de motor de enfoque

Volviendo ahora a la Figura 6C, un motor de enfoque 614 puede obtener información del motor de detección y/o del motor de movimiento y otras fuentes para proporcionar información de enfoque. La información de enfoque puede incluir, por ejemplo, un punto focal, un área de enfoque, una posición del ojo, movimiento del ojo, tamaño de la pupila, dilatación de la pupila, profundidad de enfoque (DOF), un punto focal de contenido, un objeto de enfoque de contenido, un área de enfoque de contenido etc. La información de enfoque también puede incluir información de enfoque anterior, información de enfoque futuro determinada y/o información de enfoque prevista (por ejemplo, un punto focal previsto, un área de enfoque prevista, una posición ocular prevista, movimiento ocular previsto, tamaño de pupila previsto, dilatación pupilar prevista, DOF previsto, punto focal de contenido futuro determinado, objeto de enfoque de contenido futuro determinado, área de enfoque de contenido futuro determinada, punto focal de contenido previsto, objeto de enfoque de contenido previsto, área de enfoque de contenido prevista, etc.).

En un alto nivel, algunas realizaciones pueden usar información de enfoque para reducir la carga de trabajo o mejorar el rendimiento del sistema de gráficos de los usuarios basándose en 1) dónde se supone que mira el usuario, 2) dónde se determina que mira el usuario, 3) dónde una aplicación desea que mire el usuario, y/o 4) dónde se predice que el usuario mirará en el futuro. Algunas señales de enfoque pueden ser más intensas en la región focal donde mira el usuario. Si el usuario está mirando al frente, es posible que vea las cosas con un enfoque nítido. Con escenas u objetos hacia la periferia, el usuario puede notar movimiento, pero no detalles en un enfoque nítido.

Por ejemplo, la información de enfoque puede ser estática y/o basada en suposiciones (por ejemplo, se supone que el usuario está mirando el centro de la pantalla con la posición fija del ojo, DOF, etc.), si la información detectada o la capacidad de procesamiento del sistema de gráficos son limitadas (por ejemplo, una pantalla montada en la cabeza (HMD) adjunta o un anfitrión no puede proporcionar o hacer uso de la información). La información de enfoque también puede cambiar dinámicamente basándose en factores tales como la información de movimiento (por ejemplo, de un casco de realidad virtual (VR)), información de predicción de movimiento, información de contenido (por ejemplo, movimiento en la escena), etc. Más preferentemente, puede proporcionarse una mejor experiencia de usuario con un amplio conjunto de sensores que incluye el rastreo ocular (por ejemplo, a veces también denominado rastreo de la mirada) para identificar la región de enfoque y proporcionar la información de enfoque. Algunas realizaciones, por ejemplo, pueden incluir un rastreador ocular u obtener información ocular de un rastreador ocular para rastrear los ojos del usuario. La información ocular puede incluir la posición del ojo, el movimiento del ojo, el tamaño/dilatación de la pupila, la profundidad de enfoque, etc. Un rastreador ocular puede capturar una imagen del ojo del usuario, incluyendo la pupila. El punto focal y/o el DOF del usuario se pueden determinar, inferir y/o estimar basándose en la posición del ojo y la dilatación de la pupila. El usuario puede pasar por un proceso de calibración que puede ayudar al rastreador ocular a proporcionar información más precisa sobre el enfoque y/o DOF.

Cuando un usuario lleva un casco de realidad virtual, por ejemplo, una cámara puede capturar una imagen de una pupila y el sistema puede determinar hacia dónde mira el usuario (por ejemplo, un área de enfoque, profundidad y/o dirección). La cámara puede capturar información sobre la dilatación de la pupila y el sistema puede inferir dónde está el área de enfoque del usuario basándose en esa información. Por ejemplo, un ojo humano tiene un DOF determinado, de modo que, si la persona está enfocando algo cercano, las cosas más lejanas pueden verse borrosas. La información de enfoque puede incluir un punto focal a una distancia de enfoque X e información de DOF de delta (X), por lo que el área de enfoque puede corresponder a X /- delta[X] situado alrededor del punto focal del usuario. El tamaño del DOF puede variar con la distancia X (por ejemplo un delta diferente a diferentes distancias de enfoque) Por ejemplo, el DOF del usuario puede calibrarse y puede variar en cada dirección (por ejemplo, x, y, y z) de modo que la función delta[X] puede no ser necesariamente esférica.

En algunas realizaciones, la información de enfoque puede incluir información de enfoque basada en contenido. Por ejemplo, en un entorno 3D, VR y/o de realidad aumentada (AR), la información de profundidad y/o distancia se puede proporcionar desde una aplicación (por ejemplo, dónde se encuentra el usuario en el entorno virtual, dónde están los objetos y/o cómo de lejos están los objetos del usuario, etc.). La información de enfoque basada en contenido también puede incluir un punto, objeto o área en el contenido donde la aplicación desea que el usuario se concentre, como algo más interesante que sucede y la aplicación desea la atención del usuario. La aplicación también puede proporcionar información de enfoque de contenido futuro porque la aplicación puede conocer información de movimiento para el contenido y/o qué objetos/áreas en un fotograma o escena siguiente pueden ser de mayor interés para el usuario (por ejemplo, un objeto a punto de entrar en la escena desde un borde de la pantalla).

Ejemplos de motor de movimiento

Volviendo ahora a la Figura 6D, un motor de movimiento 616 puede obtener información del motor de detección y/o del motor de enfoque y otras fuentes para proporcionar información de movimiento. La información de movimiento puede incluir, por ejemplo, la posición de la cabeza, la velocidad de la cabeza, la aceleración de la cabeza, la dirección del movimiento de la cabeza, la velocidad del ojo, la aceleración del ojo, la dirección de movimiento del ojo, la posición del objeto, la velocidad del objeto, la aceleración del objeto, la dirección de movimiento del objeto, etc. La información de movimiento también puede incluir información de movimiento anterior, información de movimiento futuro determinado y/o información de movimiento previsto (por ejemplo, una velocidad de la cabeza prevista, una aceleración de la cabeza prevista, una posición de la cabeza prevista, una dirección de movimiento de la cabeza prevista, una velocidad del ojo prevista, una aceleración del ojo prevista, una dirección de movimiento del ojo prevista, posición de contenido futuro determinada, velocidad de objeto de contenido futuro determinada, aceleración de objeto de contenido futuro determinada, posición de objeto prevista, velocidad de objeto prevista, aceleración de objeto prevista, etc.).

En un alto nivel, algunas realizaciones pueden usar información de movimiento para reducir la carga de trabajo o mejorar el rendimiento del sistema de gráficos de los usuarios basándose en 1) mover el usuario su cabeza, 2) mover el usuario sus ojos, 3) mover el usuario su cuerpo, 4) donde una aplicación desea que el usuario gire su cabeza, los ojos y/o el cuerpo, y/o 4) donde se prevé que el usuario gire su cabeza, los ojos y/o el cuerpo en el futuro. Algo de información de movimiento puede determinarse fácilmente a partir de la información detectada. Por ejemplo, la posición de la cabeza, la velocidad, la aceleración, la dirección del movimiento, etc. pueden determinarse a partir de un acelerómetro. La información de movimiento de los ojos puede determinarse rastreando la información de la posición de los ojos a lo largo del tiempo (por ejemplo, si el rastreador de ojos únicamente proporciona información de la posición de los ojos).

Algo de la información de movimiento puede estar basada en el contenido. En un juego o contenido 3D sobre la marcha, por ejemplo, la aplicación puede saber cómo de rápido y hacia dónde se mueven los objetos. La aplicación puede proporcionar la información al motor de movimiento (por ejemplo, a través de una llamada de API). La información de movimiento de objeto basada en contenido futura para un fotograma/escena siguiente también se puede alimentar en el motor de movimiento para la toma de decisiones. Algo de la información de movimiento basada en contenido puede determinarse mediante el procesamiento de imágenes o el procesamiento de visión artificial del contenido.

Algunas realizaciones de un sistema de visión artificial, por ejemplo, pueden analizar y/o realizar reconocimiento de características/objetos en imágenes capturadas por una cámara. Por ejemplo, la visión artificial y/o el procesamiento de imágenes pueden identificar y/o reconocer objetos en una escena (por ejemplo, que un borde pertenece al frente de una silla). El sistema de visión artificial también se puede configurar para realizar reconocimiento facial, rastreo de la mirada, reconocimiento de expresiones faciales y/o reconocimiento de gestos, incluyendo gestos a nivel del cuerpo, gestos a nivel de brazos/piernas, gestos a nivel de manos y/o gestos a nivel de dedos. El sistema de visión artificial puede configurarse para clasificar una acción del usuario. En algunas realizaciones, un sistema de visión artificial configurado adecuadamente puede determinar si el usuario está presente en un ordenador, escribiendo en un teclado, usando el ratón, usando el panel táctil, usando la pantalla táctil, usando un HMD, usando un sistema VR, sentado, parado y/o realizando alguna otra acción o actividad.

Por ejemplo, el motor de movimiento puede obtener datos de la cámara relacionados con un objeto real en una escena y puede usar esa información para identificar el movimiento y la orientación del objeto real. El motor de movimiento puede obtener información de latencia del procesador de gráficos. A continuación, el motor de movimiento puede predecir la siguiente orientación del fotograma de ese objeto real. La cantidad de latencia puede basarse en uno o más del tiempo para representar una escena, el número de objetos virtuales en la escena y la complejidad de la escena, etc. Por ejemplo, un motor de detección puede incluir una o más cámaras para capturar una escena real. Por ejemplo, la una o más cámaras pueden incluir una o más cámaras 2D, cámaras 3D, cámaras de profundidad, cámaras de alta velocidad u otros dispositivos de captura de imágenes. La escena real puede incluir un objeto que se mueve en la escena. Las cámaras pueden estar acopladas a un procesador de imágenes para procesar datos de las cámaras para identificar objetos en la escena (por ejemplo, incluyendo el objeto en movimiento) y para identificar el movimiento del objeto (por ejemplo, incluyendo información de orientación). El motor de movimiento puede determinar la información de movimiento prevista basándose en el rastreo del movimiento del objeto y predecir una posición futura del objeto basándose en una latencia medida o estimada (por ejemplo, desde el momento de la captura hasta el momento de la representación). De acuerdo con algunas realizaciones, diversas técnicas de rastreo de movimiento y/o predicción de movimiento pueden aumentarse con flujo óptico y otras técnicas de estimación de movimiento real para determinar la siguiente ubicación de los objetos reales. Por ejemplo, algunas realizaciones pueden usar filtrado común ampliado y/o procesamiento de perspectiva (por ejemplo, de aplicaciones de conducción autónoma) para predecir el movimiento de objetos.

Ejemplos de motor de colaboración

Volviendo ahora a la Figura 6E, un motor de colaboración 618 puede obtener información de un motor de detección, un motor de enfoque, un motor de movimiento, contenido, múltiples usuarios (por ejemplo, HMD n.° 1, HMD n.° 2 a HMD n.° N) y/u otras fuentes para proporcionar información compartida y, opcionalmente, información separada (por ejemplo, información específica del usuario). La información compartida puede incluir, por ejemplo, información de imagen, información de audio, información de movimiento, información de profundidad, información de temperatura, información biométrica, información de GPU, información de espacio de objetos, información de geometría, información primitiva, información de física, información de inteligencia artificial (IA), etc. A un alto nivel, algunas realizaciones pueden usar la información compartida para reducir la carga de trabajo o mejorar el rendimiento del sistema o sistemas de gráficos de los usuarios. La información separada, si se proporciona, puede incluir los mismos tipos de información específica para cada usuario y el sistema del usuario puede fusionar la información compartida con la información específica según sea necesario.

Ejemplos de superposición de motores

Los expertos en la materia apreciarán que los aspectos de diversos motores descritos en el presente documento pueden superponerse con otros motores y que porciones de cada motor pueden implementarse o distribuirse a través de diversas porciones de un sistema de procesamiento electrónico. Por ejemplo, el motor de enfoque puede usar información de movimiento para proporcionar un área de enfoque futura prevista y el motor de movimiento puede usar información de enfoque para predecir un movimiento futuro. La información del movimiento del ojo puede provenir directamente del motor de detección, puede determinarse/predecirse mediante el motor de enfoque y/o puede determinarse/predecirse mediante el motor de movimiento. Los ejemplos del presente documento deben considerarse ilustrativos y no limitativos en términos de implementaciones específicas.

Volviendo ahora a la Figura 6F, una realización de un aparato de gráficos 620 puede incluir un procesador 621, una memoria 622 acoplada comunicativamente al procesador 621 y un motor de colaboración 623 acoplado comunicativamente al procesador para identificar un componente de gráficos compartido entre dos o más usuarios en un entorno, y para compartir los componentes de gráficos compartidos con los dos o más usuarios del entorno.

Algunas realizaciones del aparato 620 pueden incluir cualquier número de módulos adicionales para soportar el procesamiento de gráficos colaborativo. Por ejemplo, el motor de colaboración 623 puede incluir uno o más de un distribuidor centralizado 624, un distribuidor de profundidad 625, un preprocesador compartido 626, un subsistema de gráficos multipuerto 627 y un distribuidor de decodificación 628.

En algunas realizaciones del aparato 620, por ejemplo, el motor de colaboración 623 puede incluir además el distribuidor centralizado 624 (por ejemplo, como se describe con más detalle a continuación). Por ejemplo, el distribuidor centralizado puede configurarse para difundir los componentes de gráficos compartidos a todos los dos o más usuarios, y distribuir un componente de gráficos separado por separado a uno de los dos o más usuarios. El distribuidor centralizado 624 puede estar configurado además para dividir la carga de trabajo de los componentes de gráficos compartidos basándose en un aparato de realidad virtual objetivo.

En algunas realizaciones del aparato 620, por ejemplo, el motor de colaboración 623 puede incluir además el distribuidor de profundidad 625 (por ejemplo, como se describe con más detalle a continuación). Por ejemplo, el distribuidor de profundidad 625 puede estar configurado para recopilar información de profundidad de una fuente independiente de un primer usuario de los dos o más usuarios, y para compartir la información de profundidad con el primer usuario. El distribuidor de profundidad 625 puede estar configurado además para recopilar información de visibilidad de la fuente independiente que está fuera del campo de visión del primer usuario, y compartir la información de visibilidad con el primer usuario.

En algunas realizaciones del aparato 620, por ejemplo, el motor de colaboración 623 puede incluir además el preprocesador compartido 626 (por ejemplo, como se describe con más detalle a continuación). Por ejemplo, el preprocesador compartido 626 puede estar configurado para precalcular información relacionada con el componente de gráficos compartido y para compartir la información precalculada con los dos o más usuarios. La información precalculada puede incluir una o más de información geométrica, información primitiva e información de física.

El motor de colaboración 623 incluye además el subsistema de gráficos multipuerto 627 (por ejemplo, como se describe con más detalle a continuación). El subsistema de gráficos multipuerto 627 está configurado para soportar un usuario diferente en cada puerto del subsistema de gráficos multipuerto 627. Por ejemplo, el subsistema de gráficos multipuerto 627 puede estar configurado además para soportar una pantalla del ojo izquierdo y una pantalla del ojo derecho de un primer aparato de realidad virtual cuando únicamente el primer aparato de realidad virtual está conectado al subsistema de gráficos multipuerto 627, para soportar el primer aparato de realidad virtual y un segundo aparato de realidad virtual cuando tanto el primer aparato de realidad virtual como el segundo aparato de realidad virtual están conectados al subsistema de gráficos multipuerto 627, y compartir primitivas de gráficos entre el primer aparato de realidad virtual y el segundo aparato de realidad virtual cuando tanto el primer aparato de realidad virtual como el segundo aparato de realidad virtual están conectados al subsistema de gráficos multipuerto 627.

El motor de colaboración 623 incluye además el distribuidor de decodificación 628 (por ejemplo, como se describe con más detalle a continuación). El distribuidor de decodificación 628 está configurado para identificar una región superpuesta de una escena compartida entre una primera región de vista de un primer usuario y una segunda región de vista de un segundo usuario, decodificar la región superpuesta y compartir la región superpuesta decodificada con el primer usuario y el segundo usuario. El distribuidor de decodificación 628 también puede estar configurado para priorizar la decodificación basándose en la región superpuesta.

Las realizaciones de cada uno del procesador 621, memoria 622, motor de colaboración 623, distribuidor centralizado 624, distribuidor de profundidad 625, preprocesador compartido 626, subsistema de gráficos multipuerto 627, distribuidor de decodificación 628 y otros componentes del sistema anteriores pueden implementarse en hardware, software, o cualquier combinación adecuada de los mismos. Por ejemplo, las implementaciones de hardware pueden incluir lógica configurable tal como, por ejemplo, PLA, FPGA, CPLD, o en hardware de lógica de funcionalidad fija usando tecnología de circuitos tal como, por ejemplo, tecnología ASIC, CMOS o TTL, o cualquier combinación de las mismas. Como alternativa, o adicionalmente, estos componentes pueden implementarse en uno o más módulos como un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento legible por máquina u ordenador, tal como RAM, ROM, PROM, firmware, memoria flash, etc., para ejecutarse por un procesador o dispositivo informático. Por ejemplo, el código del programa informático para llevar a cabo las operaciones de los componentes se puede escribir en cualquier combinación de uno o más lenguajes de programación apropiados/aplicables al sistema operativo, incluyendo un lenguaje de programación orientado a objetos tal como PYTHON, PERL, JAVA, SMALLTALK, C++, C# o lenguajes de programación de procedurales similares y convencionales, tales como el lenguaje de programación "C" o lenguajes de programación similares.

Por ejemplo, el aparato 620 puede incluir componentes y/o características similares a las del sistema 100, configurado además con un motor de colaboración. Por ejemplo, el aparato 620 puede adicionalmente, o como alternativa, incluir componentes y/o características similares al procesador paralelo 200, configurado además con un motor de colaboración como se describe en el presente documento. El aparato 620 también puede adaptarse para trabajar con un sistema montado en la cabeza estéreo tal como, por ejemplo, el sistema descrito en relación con las Figuras 11-15 a continuación.

Volviendo ahora a las Figuras 6G a 6L, una realización de un método 630 de colaboración de gráficos puede incluir identificar un componente de gráficos compartido entre dos o más usuarios en un entorno en el bloque 631, y compartir los componentes gráficos compartidos con los dos o más usuarios en el entorno en el bloque 632.

En algunas realizaciones, el método 630 puede incluir además difundir los componentes gráficos compartidos a todos de los dos o más usuarios en el bloque 633 y distribuir un componente de gráficos separado por separado a uno de los dos o más usuarios en el bloque 634. Algunas realizaciones también pueden incluir dividir la carga de trabajo para los componentes de gráficos compartidos basándose en un aparato de realidad virtual objetivo en el bloque 635.

En algunas realizaciones, el método 630 puede incluir además recopilar información de profundidad de una fuente independiente de un primer usuario de los dos o más usuarios en el bloque 636 y compartir la información de profundidad con el primer usuario en el bloque 637. El método también puede incluir recopilar información de visibilidad de la fuente independiente que está fuera del campo de visión del primer usuario en el bloque 638 y compartir la información de visibilidad con el primer usuario en el bloque 639.

En algunas realizaciones, el método 630 puede incluir además el precálculo de la información relacionada con el componente de gráficos compartido en el bloque 640 y compartir la información precalculada con los dos o más usuarios en el bloque 641. Por ejemplo, la información precalculada puede incluir una o más de información de geometría, información de primitiva e información de física en el bloque 642.

En algunas realizaciones, el método 630 puede incluir además soportar a un usuario diferente en cada puerto de un subsistema de gráficos multipuerto en el bloque 643. Por ejemplo, el método 630 puede incluir soportar una pantalla del ojo izquierdo y una pantalla del ojo derecho de un primer aparato de realidad virtual cuando únicamente el primer aparato de realidad virtual está conectado al subsistema de gráficos multipuerto en el bloque 644, soportar el primer aparato de realidad virtual y un segundo aparato de realidad virtual cuando tanto el primer aparato de realidad virtual como el segundo aparato de realidad virtual están conectados al subsistema de gráficos multipuerto en el bloque 645, y compartir primitivas de gráficos entre el primer aparato de realidad virtual y el segundo aparato de realidad virtual cuando tanto el primer aparato de realidad virtual como el segundo aparato de realidad virtual están conectados al subsistema de gráficos multipuerto en el bloque 646.

En algunas realizaciones, el método 630 puede incluir además identificar una región superpuesta de una escena compartida entre una primera región de vista de un primer usuario y una segunda región de vista de un segundo usuario en el bloque 647, decodificar la región superpuesta en el bloque 648 y compartir la región superpuesta decodificada tanto con el primer usuario como con el segundo usuario en el bloque 649. Algunas realizaciones también pueden incluir priorizar la decodificación basándose en la región superpuesta en el bloque 650.

Las realizaciones del método 630 pueden implementarse en un sistema, aparato, GPU, unidad de procesamiento paralelo (PPU) o un aparato de canalización de procesador de gráficos tal como, por ejemplo, los descritos en el presente documento. Más particularmente, las implementaciones de hardware del método 630 pueden incluir lógica configurable tal como, por ejemplo, PLA, FPGA, CPLD, o en hardware de lógica de funcionalidad fija usando tecnología de circuitos tal como, por ejemplo, tecnología ASIC, CMOS o TTL, o cualquier combinación de las mismas. Como alternativa, o adicionalmente, el método 630 puede implementarse en uno o más módulos como un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento legible por máquina u ordenador, tal como RAM, ROM, PROM, firmware, memoria flash, etc., para ejecutarse por un procesador o dispositivo informático. Por ejemplo, el código del programa informático para llevar a cabo las operaciones de los componentes se puede escribir en cualquier combinación de uno o más lenguajes de programación apropiados/aplicables al sistema operativo, incluyendo un lenguaje de programación orientado a objetos tal como PYTHOⁿ, PERL, JAVA, SMALLTALK, C++, C# o lenguajes de programación de procedurales similares y convencionales, tales como el lenguaje de programación "C" o lenguajes de programación similares. Por ejemplo, el método 630 puede implementarse en un medio legible por ordenador como se describe en relación con los ejemplos 23 a 33 a continuación.

Por ejemplo, las realizaciones o partes del método 630 pueden implementarse en aplicaciones (por ejemplo, a través de una API) o software de controlador. Otras realizaciones o porciones del método 630 pueden implementarse en código especializado (por ejemplo, sombreadores) para ejecutarse en una GPU. Otras realizaciones o porciones del método 630 pueden implementarse en lógica de función fija o hardware especializado (por ejemplo, en la GPU).

Ejemplos colaborativos de anfitrión/cliente m ultiusuario

Diversas realizaciones del sistema de VR colaborativo multiusuario descrito en el presente documento pueden implementarse en diversos dispositivos, incluyendo los sistemas de servidor/anfitrión, tales como los servicios en la nube. Otros sistemas de anfitrión pueden incluir PC, tales como ordenadores de escritorio, ordenadores portátiles, ordenadores convertibles, tabletas, etc. Los sistemas cliente, en un contexto de VR, pueden incluir el HMD del usuario u otro equipo de VR usado para consumir el contenido. En términos generales, la información de una fuente (por ejemplo, una fuente central u otro usuario) se puede compartir con el usuario (por ejemplo, para reducir la carga de trabajo del usuario y/o mejorar la experiencia del usuario). En consecuencia, el sistema del usuario puede configurarse para recibir y hacer uso de la información compartida y/o para fusionar la información compartida con información local y/o específica del usuario.

Volviendo ahora a la Figura 6M, una realización de un aparato de gráficos 670 puede incluir un procesador 671, una memoria 672 acoplada comunicativamente al procesador 671, una interfaz de colaboración 673 acoplada comunicativamente al procesador 671 para recibir un componente de gráficos compartido y un compositor 674 acoplado comunicativamente al procesador 671 para fusionar los componentes de gráficos compartidos con un componente de gráficos separado. Algunas realizaciones del aparato 670 pueden incluir además un subsistema de gráficos multipuerto 675 para soportar un usuario diferente en cada puerto.

Algunas realizaciones del aparato 670 pueden incluir además un alojamiento llevable 676 para ser llevado por un usuario, y una pantalla 677 comunicativamente acoplada al procesador 671, donde la pantalla 677, el procesador 671, la memoria 672, la interfaz de colaboración 673 y el compositor 674 pueden todos soportarse por el alojamiento llevable 676. Por ejemplo, el alojamiento llevable 676 se puede ser llevado en la cabeza del usuario, en el cuello del usuario, en el hombro del usuario, etc., con la pantalla 677 situada o pudiendo situarse cerca de un ojo del usuario.

En algunas realizaciones, la interfaz de colaboración 673 puede configurarse para difundir información que incluye el componente de gráficos compartido. Por ejemplo, el componente de gráficos compartido puede incluir una o más de información de profundidad compartida, información de geometría compartida e información de física compartida. En algunas realizaciones, el componente de gráficos compartido puede incluir contenido de vídeo 360.

Las realizaciones de cada uno del procesador 671, memoria 672, interfaz de colaboración 673, compositor 674, subsistema de gráficos multipuerto 675, pantalla 677 y otros componentes del sistema anteriores pueden implementarse en hardware, software o cualquier combinación adecuada de los mismos. Por ejemplo, las implementaciones de hardware pueden incluir lógica configurable tal como, por ejemplo, PLA, FPGA, CPLD, o en hardware de lógica de funcionalidad fija usando tecnología de circuitos tal como, por ejemplo, tecnología ASIC, CMOS o TTL, o cualquier combinación de las mismas Como alternativa o adicionalmente estos componentes pueden implementarse en uno o más módulos como un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento legible por máquina u ordenador, tal como RAM, ROM, PROM, firmware, memoria flash, etc., para ejecutarse por un procesador o dispositivo informático. Por ejemplo, el código del programa informático para llevar a cabo las operaciones de los componentes se puede escribir en cualquier combinación de uno o más lenguajes de programación apropiados/aplicables al sistema operativo, incluyendo un lenguaje de programación orientado a objetos tal como PYTHON, PERL, JAVA, SMALLTALK, C++, C# o lenguajes de programación de procedurales similares y convencionales, tales como el lenguaje de programación "C" o lenguajes de programación similares.

Por ejemplo, el aparato 670 puede incluir componentes y/o características similares a las del sistema 100, configurado además con una interfaz de colaboración y compositor. Por ejemplo, el aparato 670 puede adicionalmente, o como alternativa, incluir componentes y/o características similares al procesador paralelo 200, configurado además con una interfaz de colaboración y compositor como se describe en el presente documento. El aparato 670 también puede adaptarse para trabajar con un sistema montado en la cabeza estéreo tal como, por ejemplo, el sistema descrito en relación con las Figuras 11-15 a continuación.

Volviendo ahora a la Figura 6N, un método 680 de colaboración de gráficos puede incluir recibir un componente de gráficos compartido en el bloque 681 y fusionar los componentes gráficos compartidos con un componente de gráficos separado en el bloque 682. El método 680 puede incluir además proporcionar un alojamiento llevable para que sea llevado por un usuario en el bloque 683, y soportar una pantalla, un procesador, una memoria, una interfaz de colaboración y un compositor con el alojamiento llevable en el bloque 684. Por ejemplo, el componente de gráficos compartido puede incluir una o más de información de profundidad compartida, información de geometría compartida e información de física compartida en el bloque 685 y/o contenido de vídeo 360 en el bloque 686. El método 680 también puede incluir recibir información de difusión que incluye el componente de gráficos compartido en el bloque 687. Algunas realizaciones también pueden incluir soportar a un usuario diferente en cada puerto de un subsistema de gráficos multipuerto en el bloque 688.

Las realizaciones del método 680 pueden implementarse en un sistema, aparato, GPU, PPU o un aparato de canalización de procesador de gráficos tal como, por ejemplo, los descritos en el presente documento. Más particularmente, las implementaciones de hardware del método 680 pueden incluir lógica configurable tal como, por ejemplo, PLA, FPGA, CPLD, o en hardware de lógica de funcionalidad fija usando tecnología de circuitos tal como, por ejemplo, tecnología ASIC, CMOS o TTL, o cualquier combinación de las mismas. Como alternativa, o adicionalmente, el método 680 puede implementarse en uno o más módulos como un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento legible por máquina u ordenador, tal como RAM, ROM, PROM, firmware, memoria flash, etc., para ejecutarse por un procesador o dispositivo informático. Por ejemplo, el código del programa informático para llevar a cabo las operaciones de los componentes se puede escribir en cualquier combinación de uno o más lenguajes de programación apropiados/aplicables al sistema operativo, incluyendo un lenguaje de programación orientado a objetos tal como PYTHON, PERL, JAVA, SMALLTALK, C++, C# o lenguajes de programación de procedurales similares y convencionales, tales como el lenguaje de programación "C" o lenguajes de programación similares. Por ejemplo, el método 680 puede implementarse en un medio legible por ordenador como se describe en relación con los ejemplos 57 a 61 a continuación.

Por ejemplo, las realizaciones o partes del método 680 pueden implementarse en aplicaciones (por ejemplo, a través de una API) o software de controlador. Otras realizaciones o porciones del método 680 pueden implementarse en código especializado (por ejemplo, sombreadores) para ejecutarse en una GPU. Otras realizaciones o porciones del método 680 pueden implementarse en lógica de función fija o hardware especializado (por ejemplo, en la GPU).

Ejemplos de d istribu idor centralizado

Volviendo ahora a la Figura 7A, una realización de un aparato distribuidor centralizado 700 puede incluir un difusor 721 para difundir un componente de gráficos compartido a todos de dos o más usuarios, y un distribuidor 722 acoplado comunicativamente al difusor 721 para distribuir un componente de gráficos separado por separado a uno de los dos o más usuarios. Algunas realizaciones del aparato 700 pueden incluir además un divisor de trabajo 723 para dividir la carga de trabajo de los componentes gráficos compartidos basándose en un aparato de realidad virtual objetivo. Algunas realizaciones del aparato 700 pueden implementar porciones del método 630 y/o el método 680 (por ejemplo, véanse las Figuras 6H y 6N).

Las realizaciones de cada uno del difusor 721, distribuidor 722, divisor de trabajo 723 y otros componentes del aparato 700 anteriores pueden implementarse en hardware, software o cualquier combinación de los mismos. Por ejemplo, porciones o la totalidad del aparato 700 pueden implementarse como parte del procesador paralelo 200, configurado además con un difusor, distribuidor y/o divisor de trabajo como se describe en el presente documento. El aparato 700 también puede adaptarse para trabajar con un sistema montado en la cabeza estéreo tal como, por ejemplo, el sistema descrito en relación con las Figuras 11-15 a continuación. Por ejemplo, las implementaciones de hardware pueden incluir lógica configurable tal como, por ejemplo, PLA, FPGA, CPLD, o en hardware de lógica de funcionalidad fija usando tecnología de circuitos tal como, por ejemplo, tecnología ASIC, CMOS o TTL, o cualquier combinación de las mismas. Como alternativa, o adicionalmente, estos componentes pueden implementarse en uno o más módulos como un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento legible por máquina u ordenador, tal como RAM, ROM, PROM, firmware, memoria flash, etc., para ejecutarse por un procesador o dispositivo informático. Por ejemplo, el código del programa informático para llevar a cabo las operaciones de los componentes se puede escribir en cualquier combinación de uno o más lenguajes de programación apropiados/aplicables al sistema operativo, incluyendo un lenguaje de programación orientado a objetos tal como PYTHON, PERL, JAVA, SMALLTALK, C++, C# o lenguajes de programación de procedurales similares y convencionales, tales como el lenguaje de programación "C" o lenguajes de programación similares.

Algunas realizaciones pueden proporcionar ventajosamente una estructura de representación de VR centralizada con difusión a través de pantallas inalámbricas entre múltiples usuarios. Cuando múltiples usuarios interactúan en un entorno de VR compartido, por ejemplo, pueden hacer que la representación de VR se realice en una máquina central y que el resultado se difunda a sus pantallas inalámbricas. La máquina central puede procesar cierto trabajo común y dejar las diferencias específicas del usuario a la unidad final de cada usuario para terminar la representación final.

Por ejemplo, los usuarios de un parque temático pueden ver el mismo contenido en su mayoría y ese trabajo común puede realizarse en una unidad centralizada. En los casos cuando los usuarios tienen diferentes ángulos de visión, la máquina centralizada puede procesar cualquier trabajo común identificado y dejar algunas diferencias específicas del usuario en la unidad final de cada usuario para terminar la representación final. De acuerdo con algunas realizaciones, el ancho de banda de la red puede incrementarse usando una frecuencia común para la información de difusión.

Algunas realizaciones pueden proporcionar un modelo de distribución más eficiente para la interacción entre un procesador de gráficos y uno o más HMD objetivo. En lugar de conexiones punto a punto con cada HMD, por ejemplo, algunas realizaciones pueden transmitir algunos elementos a múltiples usuarios. La transmisión de contenido compartido puede ahorrar ancho de banda en comparación con un modelo punto a punto. Incluso si cada usuario puede tener un punto de vista diferente, aún se puede compartir información útil. Algunas realizaciones pueden difundir la información compartida, por ejemplo, usando una máquina centralizada. Cada usuario también puede obtener un flujo separado para su información/contenido específico. La información puede fusionarse localmente para una vista completa y específica del usuario.

Algunas realizaciones pueden identificar el trabajo común frente al trabajo específico del usuario. Para una experiencia de usuario común (por ejemplo, paseos en parques temáticos), por diseño puede haber muchos elementos comunes. Cuatro usuarios en un coche de paseo pueden ver casi la misma escena desde un ángulo ligeramente diferente dependiendo de la posición del usuario en el coche de paseo. El mismo contenido puede ser un componente compartido que puede difundirse a los usuarios. Dependiendo de la posición exacta del usuario, la información puede interpolarse y/o reorientarse según sea necesario para el punto de vista de ese usuario. En algunos entornos, los componentes de trabajo/compartidos comunes pueden conocerse de antemano. El componente compartido puede representarse centralmente, mientras que la porción específica del usuario puede representarse localmente. En algunas realizaciones, el trabajo específico también puede presentarse en una ubicación centralizada, pero puede enviarse individualmente en lugar de difundirse. El dispositivo del usuario puede estar configurado para fusionar el componente compartido y la porción específica del usuario.

En algunas realizaciones, la información compartida se puede enviar por un enlace común (por ejemplo, la misma frecuencia) para su difusión. En general, la difusión puede referirse a enviar la información únicamente una vez y que se reciba por todos los usuarios. Identificar un componente compartido y enviar el componente compartido una vez para todos los usuarios puede ahorrar ancho de banda en comparación con enviar la misma información o similar múltiples veces para múltiples usuarios.

Para el ejemplo del paseo, los usuarios pueden ver un telón de fondo desde un ángulo ligeramente diferente. Pero para aumentar la uniformidad y ahorrar ancho de banda, se puede ignorar la ligera diferencia. Algunas realizaciones pueden representar el telón de fondo como una imagen estática que no se inclina con precisión con pequeños cambios en el punto de vista/orientación. El telón de fondo relativamente estático puede no tener un impacto apreciable en la experiencia del usuario mientras proporciona un ahorro sustancial de ancho de banda. En algunas realizaciones, la cantidad de cambio en el punto de vista puede estar basada en umbral. Por ejemplo, si el punto de vista del segundo usuario está dentro de los cinco grados del punto de vista del primer usuario, se puede proporcionar el mismo telón de fondo. Por diseño, algunas realizaciones pueden no adherirse a una representación ideal del punto de vista de cada usuario para ahorrar procesamiento y/o ancho de banda de la red. Para una experiencia de realidad aumentada (AR), por ejemplo, un objeto AR se puede representar con la misma orientación/posición para más de un usuario, aunque la orientación/posición del usuario no sea exactamente la misma.

Para una experiencia de ARNR instalada, numerosos usuarios pueden pasar por la experiencia de forma regular. Aunque desde la perspectiva de un usuario particular, la experiencia cambia a medida que avanza en el paseo, hay otro grupo de usuarios que entran en la escena en breve y que tendrán una experiencia muy similar a la de los usuarios anteriores. La información común puede representarse previamente para una diversidad de posiciones y orientaciones. A continuación, los HMD de los usuarios pueden transmitir su respectiva información de posición y orientación y la máquina centralizada puede transmitir la información de escena apropiada para esa posición y orientación.

Algunas realizaciones pueden implementarse en dos etapas para componentes comunes y componentes específicos. Algunas realizaciones pueden representar y/o difundir componentes comunes juntos en una primera etapa y distribuir componentes específicos según sea necesario en una segunda etapa. Algunas realizaciones pueden ahorrar ancho de banda ventajosamente difundiendo componentes comunes. Un procesador compartido centralizado (por ejemplo, una GPU o un procesador de ARNR) puede identificar los componentes comunes de una escena y los componentes específicos de la escena, procesar los componentes comunes según corresponda y difundir los componentes comunes procesados. El procesador compartido centralizado también puede distribuir los componentes específicos. El dispositivo de ARNR del usuario (por ejemplo, HMD) puede incluir un compositor para fusionar los componentes comunes y los componentes específicos.

El procesador compartido centralizado puede procesar los componentes compartidos en diversos grados. En algunos casos, el procesador compartido centralizado puede representar un píxel de visualización final. Es posible que los componentes comunes no se representen en un píxel de visualización final. El HMD aún puede realizar algún proceso de representación o deformación en los componentes comunes. Por ejemplo, algunos componentes comunes pueden corresponder simplemente a modelos y/o geometrías comunes. El procesador centralizado puede diferir algún procesamiento al HMD, que puede tener mejor información local para completar el procesamiento.

Algunas realizaciones pueden incluir un divisor de trabajo para dividir el trabajo común basándose en la capacidad de procesamiento del HMD. Por ejemplo, diferentes HMD pueden tener diferente potencia de procesamiento y/o componentes para manejar diferentes cargas de trabajo de gráficos. Un HMD sencillo puede necesitar el procesador compartido centralizado para representar el píxel de visualización final, mientras que un HMD más complejo puede manejar una mayor parte de la carga de trabajo. El procesador centralizado puede estar configurado para identificar el tipo de HMD objetivo y ajustar la carga de trabajo en consecuencia.

Ejemplos de d istribu idor de profundidad

Volviendo ahora a la Figura 8A, una realización de un aparato distribuidor de profundidad 800 puede incluir un recolector de información de profundidad 821 para recopilar información de profundidad de una fuente independiente de un primer usuario de dos o más usuarios, y un distribuidor de información de profundidad 822 acoplado comunicativamente al recolector de información de profundidad 821 para compartir la información de profundidad con el primer usuario. Algunas realizaciones del aparato 800 pueden incluir además un recolector de información de visibilidad 823 para recopilar información de visibilidad de la fuente independiente que está fuera de un campo de visión del primer usuario, y un distribuidor de información de visibilidad 824 acoplado comunicativamente al recolector de información de visibilidad 823 para compartir la información de visibilidad con el primer usuario. Algunas realizaciones del aparato 800 pueden implementar porciones del método 630 y/o el método 680 (por ejemplo, véanse las Figuras 6I y 6N).

Las realizaciones de cada uno del recolector de información de profundidad 821, distribuidor de información de profundidad 822, recolector de información de visibilidad 823, distribuidor de información de visibilidad 824 y otros componentes del aparato 800 anteriores pueden implementarse en hardware, software o cualquier combinación de los mismos. Por ejemplo, porciones o la totalidad del aparato 800 pueden implementarse como parte del procesador paralelo 200, configurado además con un recolector de información de profundidad, un distribuidor de información de profundidad, un recolector de información de visibilidad y/o un distribuidor de información de visibilidad como se describe en el presente documento. El aparato 800 también puede adaptarse para trabajar con un sistema montado en la cabeza estéreo tal como, por ejemplo, el sistema descrito en relación con las Figuras 11-15 a continuación. Por ejemplo, las implementaciones de hardware pueden incluir lógica configurable tal como, por ejemplo, PLA, FPGA, CPLD, o en hardware de lógica de funcionalidad fija usando tecnología de circuitos tal como, por ejemplo, tecnología ASIC, CMOS o TTL, o cualquier combinación de las mismas. Como alternativa, o adicionalmente, estos componentes pueden implementarse en uno o más módulos como un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento legible por máquina u ordenador, tal como RAM, ROM, PROM, firmware, memoria flash, etc., para ejecutarse por un procesador o dispositivo informático. Por ejemplo, el código del programa informático para llevar a cabo las operaciones de los componentes se puede escribir en cualquier combinación de uno o más lenguajes de programación apropiados/aplicables al sistema operativo, incluyendo un lenguaje de programación orientado a objetos tal como PYTHON, PERL, JAVA, SMALLTALK, C++, C# o lenguajes de programación de procedurales similares y convencionales, tales como el lenguaje de programación "C" o lenguajes de programación similares.

Volviendo ahora a la Figura 8B, múltiples usuarios U¹, U², a Uⁿ, pueden estar operando equipo de ARNR (por ejemplo, HMD¹, HMD², a HMDⁿ) en un entorno (por ejemplo, donde N>2). Los múltiples usuarios pueden o no estar usando la misma aplicación (por ejemplo, jugando al mismo juego) y/o pueden o no tener el mismo equipo de ARNR. De acuerdo con algunas realizaciones, el equipo de ARNR puede estar configurado para compartir información que puede ser útil para otros usuarios y/o para recibir información compartida que puede ser útil para el equipo de ARNR.

Algunas realizaciones pueden proporcionar ventajosamente un procesamiento distribuido de los datos de cámara de profundidad de los múltiples usuarios. Por ejemplo, si muchos usuarios de RA se encuentran en un entorno, sus dispositivos de RA pueden compartir información de la cámara de profundidad. Ventajosamente, cada sistema de ARNR puede no necesitar desarrollar individualmente toda la escena Por ejemplo si muchos usuarios usan AR con cámaras de profundidad en un área densa (por ejemplo, un entorno urbano), cada dispositivo de AR puede transmitir y recibir (por ejemplo, muy comprimidos) datos de la cámara para obtener más precisión y potencialmente menos potencia de procesamiento.

Algunas realizaciones pueden aumentar la precisión de los datos de ubicación. Por ejemplo, el dispositivo de AR de un usuario puede transmitir información de profundidad a dispositivos de AR vecinos cercanos. La comunicación de la información puede ayudar con la precisión, porque el dispositivo vecino cercano puede tener una mejor lectura de la profundidad de un objeto que el dispositivo de AR del usuario. Por ejemplo, una cámara de profundidad puede tener una mayor precisión dentro de un cierto rango. Algunas realizaciones pueden ampliar ventajosamente el alcance del sistema de ARNR del usuario con información de profundidad adicional de usuarios adicionales. Algunas realizaciones pueden proporcionar cámaras menos potentes y/o reducir la potencia de la cámara (por ejemplo, menor potencia, menor coste) basándose en la capacidad de compartir datos de profundidad. Algunas realizaciones también pueden ahorrar potencia al obtener información de otras fuentes en comparación con el desarrollo local de esa información.

Otras fuentes también pueden pasar información de profundidad al dispositivo de ARNR del usuario. Las otras fuentes pueden incluir, por ejemplo, fuentes estacionarias en el entorno (por ejemplo, ubicaciones de cámaras fijas), fuentes autónomas en el entorno (por ejemplo, una cámara en un dron o vehículo autónomo) y fuentes fuera del entorno, tales como servicios en la nube. Algunas realizaciones pueden utilizar compartición entre pares, compartición centralizada o ambas. Por ejemplo, la información acerca de objetos en movimiento se puede proporcionar principalmente a partir de fuentes entre pares basándose en objetos percibidos en tiempo real, mientras que la información acerca de objetos estáticos se puede proporcionar desde la nube. Algunas realizaciones pueden configurarse para recibir información de profundidad de otra fuente (por ejemplo, otro usuario/nube) e integrar la información de profundidad recibida con la información de profundidad local.

Por ejemplo, la información de profundidad puede obtenerse de forma colectiva y almacenarse en la nube. A continuación, el dispositivo de AR del usuario puede descargar información de profundidad (por ejemplo, un mapa 3D) basándose en la ubicación y orientación del usuario. Se pueden proporcionar diversos grados de resolución para la información descargada basándose en el ancho de banda disponible y la capacidad del dispositivo de AR del usuario para hacer uso de la información. La compartición de información de profundidad basada en la nube puede ser útil para objetos que pueden ser relativamente estables. Por ejemplo, los usuarios que caminan por un entorno pueden generar información de profundidad que puede cargarse en la nube y guardarse. La información de profundidad cargada puede usarse para desarrollar mapas 3D para objetos en el entorno que están estacionarios. Por ejemplo, algunas realizaciones pueden usar el análisis de datos para determinar un objeto estático frente a un objeto dinámico (por ejemplo, un objeto puede considerarse estático después de recibir los mismos datos de 100 usuarios diferentes que muestran que el objeto no ha cambiado). Si el objeto estático anterior parece haberse movido o ya no se confirma que esté presente, el objeto puede eliminarse del mapa en la nube.

Además de o como alternativa a la información de distancia/profundidad mejorada, algunas realizaciones pueden proporcionar información fuera de la vista de un usuario para aumentar la capacidad de ese usuario de ver fuera de su vista o la vista de sus cámaras. Por ejemplo, el usuario puede ver objetos ocluidos alrededor de las esquinas o detrás de otros objetos, a través de una pared, etc. Si las personas frente al usuario bloquean la vista del usuario de un objeto estático (por ejemplo, una boca de incendios), puede alertarse al usuario de la presencia de objetos estáticos. El usuario puede ver detrás de las espaldas de las personas (por ejemplo, están ocultando algo del usuario, pero alguien más lo ve o lo vio). Por ejemplo, un oficial de policía que usa lentes AR puede ver personas escondidas en las esquinas o armas ocultas. Algunas realizaciones también pueden proporcionar grabaciones contextuales previas en la escena (por ejemplo, hace dos minutos había cinco personas en el callejón).

Algunas realizaciones pueden proporcionar ventajosamente colaboración entre múltiples cascos de VR. Por ejemplo, múltiples sistemas de VR que funcionan en un entorno pueden compartir información. En un entorno de VR, es muy posible que múltiples usuarios con cascos de VR estén mirando la misma escena o geometría. Por ejemplo, puede haber múltiples vistas de la misma escena. Algunas realizaciones pueden usar colaboración/imágenes entre cascos de VR para proporcionar una experiencia de usuario mejorada en la que pueden mirar detrás de objetos opacos o tener diferentes ángulos de visión disponibles.

Algunas realizaciones pueden proporcionar visibilidad detrás de objetos sólidos. Por ejemplo, en un entorno de juego con cámaras de VR que comparten la misma escena, un primer usuario puede obtener un punto de vista obstruido desde su perspectiva incluso si hay objetos sólidos obstruyendo el punto de vista. Otros usuarios pueden proporcionar la información de vista detrás del objeto sólido para compartir con el primer usuario. Por ejemplo, otros usuarios pueden estar mirando el área desde un ángulo diferente que no está obstruido. Los otros usuarios pueden proporcionar la información de visibilidad y esa información de visibilidad se puede reflejar en el HMD del primer usuario para que el primer usuario pueda ver más allá de los objetos sólidos. La perspectiva del otro usuario puede extrapolarse y reorientarse al punto de vista del primer usuario. Algunas realizaciones pueden incluir recibir información relacionada con una escena de un HMD, extrapolar la información a una orientación de otro HMD y mostrar la información reorientada en otro HMD.

Dependiendo de los recursos disponibles (por ejemplo, almacenamiento, memoria y/o potencia de procesamiento), se puede mapear un área basándose en el movimiento de diversos usuarios alrededor del área, de modo que el primer usuario pueda mirar detrás de los objetos incluso si ningún otro usuario está actualmente mirando el área detrás del objeto (por ejemplo, puede ser una vista retardada temporal en lugar de una vista en tiempo real). Algunas realizaciones pueden ser útiles para aplicaciones de VR y/o AR. Algunas realizaciones pueden ser aplicables a aplicaciones de conducción autónoma para ampliar la vista del conductor. Por ejemplo, múltiples vehículos pueden compartir información y proporcionar la vista al conductor más allá del coche, al lado del coche o detrás del coche. Puede proporcionarse al conductor un peligro que puede estar fuera de la vista actual del conductor. Se puede proyectar una imagen del peligro en el parabrisas junto con información acerca de la distancia al peligro.

Ejemplos de preprocesador compartido

Volviendo ahora a la Figura 8C, una realización de un aparato de preprocesador compartido 840 puede incluir un preordenador 841 para precalcular información relacionada con un componente de gráficos compartido, y un distribuidor de información precalculada 842 para compartir la información precalculada con dos o más usuarios. Por ejemplo, la información precalculada puede incluir una o más de información de geometría, información de primitiva e información de física. Algunas realizaciones del aparato 840 pueden implementar porciones del método 630 y/o el método 680 (por ejemplo, véanse las Figuras 6J y 6N).

Las realizaciones de cada uno del preordenador 841, distribuidor de información precalculada 842 y otros componentes del aparato 840 anteriores pueden implementarse en hardware, software o cualquier combinación de los mismos. Por ejemplo, porciones o la totalidad del aparato 840 pueden implementarse como parte del procesador paralelo 200, configurado además con un preordenador y/o un distribuidor de información precalculada como se describe en el presente documento. El aparato 840 también puede adaptarse para trabajar con un sistema montado en la cabeza estéreo tal como, por ejemplo, el sistema descrito en relación con las Figuras 11-15 a continuación. Por ejemplo, las implementaciones de hardware pueden incluir lógica configurable tal como, por ejemplo, PLA, FPGA, CPLD, o en hardware de lógica de funcionalidad fija usando tecnología de circuitos tal como, por ejemplo, tecnología ASIC, CMOS o TTL, o cualquier combinación de las mismas. Como alternativa, o adicionalmente, estos componentes pueden implementarse en uno o más módulos como un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento legible por máquina u ordenador, tal como RAM, ROM, PROM, firmware, memoria flash, etc., para ejecutarse por un procesador o dispositivo informático. Por ejemplo, el código del programa informático para llevar a cabo las operaciones de los componentes se puede escribir en cualquier combinación de uno o más lenguajes de programación apropiados/aplicables al sistema operativo, incluyendo un lenguaje de programación orientado a objetos tal como PYTHON, PERL, JAVA, SMALLTALK, C++, C# o lenguajes de programación de procedurales similares y convencionales, tales como el lenguaje de programación "C" o lenguajes de programación similares.

Volviendo ahora a la Figura 8D, múltiples usuarios U¹, U², a Uⁿ, pueden estar operando equipo de ARNR (por ejemplo, HMD¹, HMD², a HMDⁿ) en un entorno (por ejemplo, donde N>2). Los múltiples usuarios pueden estar usando la misma aplicación y pueden tener o no el mismo equipo de ARNR. Ventajosamente, algunas realizaciones pueden proporcionar una simulación compartida factorizada. En un entorno multijugador, por ejemplo, varios jugadores pueden experimentar una experiencia física o de IA común que se puede precalcular y distribuir como parte de un kit de desarrollo de software (SDK). En un juego de múltiples jugadores donde los jugadores experimentan algunas de las mismas cosas, algunas realizaciones pueden calcular alguna información de gráficos una vez y compartir los resultados entre múltiples jugadores/HMD o dispositivos de anfitrión (por ejemplo, compartidos entre múltiples PC, consolas de juegos, etc.). Algunas realizaciones pueden incluir un servidor para precalcular la información común (por ejemplo, física, IA, etc.) y, a continuación, compartir la información precalculada con múltiples HMD. Por ejemplo, la información precalculada puede incluir información de espacio del objeto, información de geometría, información de vértice, información de textura, información de sombra, información de terreno, etc.

Ejemplos de subsistema de gráficos multipuerto

Volviendo ahora a la Figura 9A, una realización de un subsistema de gráficos multipuerto 900 puede incluir una primera GPU 921 para una primera pantalla y una segunda GPU 922 para una segunda pantalla. Algunas realizaciones del subsistema de gráficos 900 pueden tener tanto la primera como la segunda GPU en un mismo sustrato (por ejemplo, troquel/SoC/paquete/placa de circuito impreso) tal como una tarjeta gráfica discreta con múltiples puertos. Algunas realizaciones del subsistema de gráficos 900 pueden tener la primera y la segunda GPU en diferentes sustratos, tal como múltiples tarjetas gráficas discretas y/o una combinación de gráficos integrados en una placa base junto con una tarjeta de gráficos discreta, que soporta múltiples puertos entre las diversas GPU disponibles.

De acuerdo con algunas realizaciones, el subsistema de gráficos multipuerto 900 puede estar configurado para soportar un usuario diferente en cada puerto del subsistema de gráficos multipuerto 900. Por ejemplo, el subsistema de gráficos multipuerto 900 puede estar configurado para soportar una pantalla del ojo izquierdo y una pantalla del ojo derecho de un primer aparato de realidad virtual cuando únicamente el primer aparato de realidad virtual está conectado al subsistema de gráficos multipuerto 900. El subsistema 900 puede estar configurado además para soportar el primer aparato de realidad virtual y un segundo aparato de realidad virtual cuando tanto el primer aparato de realidad virtual como el segundo aparato de realidad virtual están conectados al subsistema de gráficos multipuerto 900, y compartir primitivas de gráficos entre el primer aparato de realidad virtual y el segundo aparato de realidad virtual cuando tanto el primer aparato de realidad virtual como el segundo aparato de realidad virtual están conectados al subsistema de gráficos multipuerto 900. Algunas realizaciones del subsistema 900 pueden implementar porciones del método 630 y/o el método 680 (por ejemplo, véanse las Figuras 6K y 6N).

Las realizaciones de cada una de la primera GPU 921, segunda GPU 922 y otros componentes del subsistema 900 anteriores pueden implementarse en hardware, software o cualquier combinación de los mismos. Por ejemplo, porciones o la totalidad del subsistema 900 pueden implementarse como parte del procesador paralelo 200, configurado además para soportar múltiples usuarios en múltiples puertos como se describe en el presente documento. El subsistema 900 también puede adaptarse para trabajar con un sistema montado en la cabeza estéreo tal como, por ejemplo, el sistema descrito en relación con las Figuras 11-15 a continuación. Por ejemplo, las implementaciones de hardware pueden incluir lógica configurable tal como, por ejemplo, PLA, FPGA, CPLD, o en hardware de lógica de funcionalidad fija usando tecnología de circuitos tal como, por ejemplo, tecnología ASIC, CMOS o TTL, o cualquier combinación de las mismas. Como alternativa, o adicionalmente, estos componentes pueden implementarse en uno o más módulos como un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento legible por máquina u ordenador, tal como RAM, ROM, PROM, firmware, memoria flash, etc., para ejecutarse por un procesador o dispositivo informático. Por ejemplo, el código del programa informático para llevar a cabo las operaciones de los componentes se puede escribir en cualquier combinación de uno o más lenguajes de programación apropiados/aplicables al sistema operativo, incluyendo un lenguaje de programación orientado a objetos tal como PYTHON, PERL, JAVA, SMALLTALK, C++, C# o lenguajes de programación de procedurales similares y convencionales, tales como el lenguaje de programación "C" o lenguajes de programación similares.

Volviendo ahora a las Figuras 9B y 9C, un subsistema de gráficos multipuerto 930 puede incluir un primer puerto 931 y un segundo puerto 932. Cuando se conecta un primer HMD 933 al subsistema de gráficos 930, el subsistema de gráficos 930 puede soportar una pantalla del ojo izquierdo 934 y una pantalla del ojo derecho 935 del primer HMD 933. Cuando tanto el primer HMD 933 como el segundo HMD 936 están conectados al subsistema de gráficos 930, el subsistema de gráficos 930 puede soportar vistas independientes en cada uno del primer HMD 933 y el segundo HMD 936.

Ventajosamente, algunas realizaciones pueden proporcionar VR multiusuario con dos o más usuarios. En algunas realizaciones, en lugar de pantallas del ojo izquierdo y derecho, el subsistema de gráficos puede soportar dos usuarios reutilizando primitivas para soportar dos HMD. Por ejemplo, en una configuración de gráficos duales (por ejemplo, una interfaz de enlace escalable (SLI) o gráficos discretos y gráficos integrados), puede haber suficiente ancho de banda para representar a dos HMD diferentes. Cuando únicamente hay un HMD presente, pueden utilizarse las SLI/GPU para generar vistas izquierda/derecha. Algunas realizaciones pueden compartir ventajosamente componentes gráficos (por ejemplo, geometrías, primitivas, contenido, texturas, etc.) para representar contenido 3D en dos HMD diferentes con contenido diferente mostrado en cada HMD. Algunas realizaciones pueden soportar un punto de vista con diferentes vectores de "mirada", mientras que algunas realizaciones pueden soportar múltiples puntos de vista independientes. Algunas realizaciones también pueden soportar Twitch, en la que un usuario puede aprovechar la interacción de VR de otro usuario. Por ejemplo, la escena de VR puede difundirse o distribuirse para que la vean otros usuarios.

Algunas tarjetas gráficas pueden soportar múltiples salidas, donde un usuario puede conectar múltiples HMD a las salidas para obtener la misma escena de VR. Algunas realizaciones pueden soportar ventajosamente diferentes orientaciones para los HMD conectados a través de la compartición de primitivas. Por ejemplo, el sistema puede representar una imagen de 360 grados y cada usuario puede tener su propia vista de esa imagen de 360 grados. Algunas realizaciones pueden hacer una determinación acerca de la posición y el campo de visión de cada usuario (por ejemplo, qué están mirando) e identificar información para compartir entre los usuarios. En algunas realizaciones, la compartición puede ocurrir entre una GPU integrada y una GPU discreta.

El usuario puede conectar múltiples HMD en la misma GPU y usar esa GPU para representar ambos HMD. En lugar de que la tarjeta gráfica soporte pantallas del ojo izquierdo y derecho, una tarjeta gráfica puede soportar dos usuarios. Si ambos usuarios están jugando el mismo juego (por ejemplo, VR social o VR cooperativa), se puede compartir la superposición entre las escenas de los usuarios para utilizar la GPU de manera efectiva. Por ejemplo, puede haber una o más geometrías comunes que no necesitan duplicarse para representar. Esas geometrías comunes pueden compartirse para cada punto de vista, lo que reduce la carga de trabajo en la GPU. Cuando hay múltiples GPU disponibles (por ejemplo, cada usuario tiene su propia GPU), dividir las geometrías comunes entre las múltiples GPU puede reducir la carga de trabajo para cada GPU. Algunas realizaciones pueden ahorrar energía de manera ventajosa o aumentar el ancho de banda disponible para otras operaciones de GPU (por ejemplo, mayor detalle para mejorar la experiencia de usuario).

Por ejemplo, una primera GPU puede obtener cálculos de iluminación, color, extensión, etc. para una perspectiva de un primer usuario. Esa información se puede pasar a una segunda GPU para que la use desde una perspectiva diferente de un segundo usuario. Algunas realizaciones pueden ahorrar ancho de banda en la segunda GPU al no tener que recuperar esa información de su propio disco/memoria. Algunas realizaciones pueden utilizar caché bajo demanda para compartir la información Algunas realizaciones pueden dividir la carga de trabajo basándose en la capacidad de procesamiento de las dos GPU. Por ejemplo, la primera GPU puede obtener los cálculos de iluminación mientras que la segunda GPU obtiene la información de color.

Algunas realizaciones pueden tener dos tarjetas gráficas en un subsistema de gráficos, una para el ojo izquierdo y otra para el ojo derecho, que soportan un HMD. En algunas realizaciones, ese subsistema de gráficos puede soportar además dos HMD. Los usuarios pueden conectar un HMD a una tarjeta gráfica y otro HMD a la otra tarjeta gráfica. El subsistema de gráficos puede soportar la compartición de primitivas entre las dos tarjetas gráficas. Cada tarjeta puede representar dos ojos, pero con la compartición de primitivas aún puede proporcionar una buena experiencia de usuario mientras soporta dos usuarios en lugar de uno.

Algunas realizaciones pueden permitir que un grupo de usuarios reproduzca un vídeo 360 desde un servicio en la nube (por ejemplo, YOUTUBE o FACEBOOK) con múltiples HMD conectados a diferentes puertos en una tarjeta gráfica. Por ejemplo, un sistema de gráficos integrado podría incluir un puerto VGA, un puerto HDMI y/o un puerto de tipo display port. Los puertos pueden soportar múltiples monitores al mismo tiempo. Algunas realizaciones pueden proporcionar controladores para soportar múltiples HMD.

En algunas realizaciones donde una tarjeta gráfica soporta múltiples salidas, cada HMD puede tener su propia ventana gráfica y dirección de visualización. En algunas aplicaciones puede haber un usuario principal, que puede estar mirando en una dirección mientras que otros observadores pueden estar mirando en una dirección diferente. Algunas realizaciones pueden ser útiles en algunos juegos cooperativos en los que el observador u observadores pueden alertar al usuario principal sobre la actividad que ocurre en el campo de visión del observador u observadores que el usuario principal podría no estar viendo.

Ejemplos de d istribu idor de decodificación

Volviendo ahora a la Figura 10A, el distribuidor de decodificación 1000 incluye un identificador de región 1021 para identificar una región superpuesta de una escena compartida entre una primera región de vista de un primer usuario y una segunda región de vista de un segundo usuario, un decodificador 1022 para decodificar la región superpuesta y un distribuidor de región 1023 para compartir la región superpuesta decodificada tanto con el primer usuario como con el segundo usuario. Algunas realizaciones del aparato 1000 pueden incluir además un priorizador de decodificación 1024 para priorizar la decodificación basándose en la región superpuesta. Algunas realizaciones del aparato 1000 pueden implementar porciones del método 630 y/o el método 680 (por ejemplo, véanse las Figuras 6L y 6N).

Las realizaciones de cada uno del identificador de región 1021, decodificador 1022, distribuidor de región 1023, priorizador de decodificación 1024 y otros componentes del aparato 1000 anteriores pueden implementarse en hardware, software o cualquier combinación de los mismos. Por ejemplo, porciones o todo el aparato 1000 pueden implementarse como parte del procesador paralelo 200, configurado además con un identificador de región, decodificador 1022, distribuidor de región y/o priorizador de decodificación como se describe en el presente documento. El aparato 1000 también puede adaptarse para trabajar con un sistema montado en la cabeza estéreo tal como, por ejemplo, el sistema descrito en relación con las Figuras 11-15 a continuación. Por ejemplo, las implementaciones de hardware pueden incluir lógica configurable tal como, por ejemplo, PLA, FPGA, CPLD, o en hardware de lógica de funcionalidad fija usando tecnología de circuitos tal como, por ejemplo, tecnología ASIC, CMOS o TTL, o cualquier combinación de las mismas. Como alternativa, o adicionalmente, estos componentes pueden implementarse en uno o más módulos como un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento legible por máquina u ordenador, tal como RAM, ROM, PROM, firmware, memoria flash, etc., para ejecutarse por un procesador o dispositivo informático. Por ejemplo, el código del programa informático para llevar a cabo las operaciones de los componentes se puede escribir en cualquier combinación de uno o más lenguajes de programación apropiados/aplicables al sistema operativo, incluyendo un lenguaje de programación orientado a objetos tal como PYTHON, PERL, JAVA, SMALLTALK, C++, C# o lenguajes de programación de procedurales similares y convencionales, tales como el lenguaje de programación "C" o lenguajes de programación similares.

Volviendo ahora a la Figura 10B, un subsistema de gráficos multipuerto 1030 puede incluir un primer puerto 1031, un segundo puerto 1032, un tercer puerto 1033 y un cuarto puerto 1034. Un primer HMD 1035, un segundo HMD 1036 y un tercer HMD 1037 pueden conectarse a los respectivos puertos del subsistema de gráficos 1030. El subsistema de gráficos 1030 puede soportar vistas independientes en cada uno del primer HMD 1035, el segundo HMD 1036 y el tercer HMD 1037.

Volviendo ahora a las Figuras 10C a 10D, los tres HMD pueden ver simultáneamente un fotograma 360 1040. Por ejemplo, el primer HMD 1035 puede situarse en un primer punto de vista A, el segundo HMD 1036 puede situarse en un segundo punto de vista B y el tercer HMD 1037 puede situarse en un tercer punto de vista C. El primer punto de vista A y el segundo el punto de vista B pueden incluir una primera región de superposición 1041. El primer punto de vista A y el tercer punto de vista C pueden incluir una segunda región de superposición 1042. Los diversos puntos de vista y las regiones superpuestas pueden cambiar a medida que los HMD cambian de posición.

Algunas realizaciones pueden proporcionar ventajosamente reproducción de vídeo 360 social para múltiples HMD para aplicaciones de VR. Por ejemplo, algunas realizaciones pueden decodificar múltiples para que una GPU soporte múltiples usuarios, donde una decodificación de hardware puede basarse en la orientación de cada usuario para representar una porción del campo de visión (FOV) de un fotograma de 360 grados. Múltiples unidades de decodificación de hardware pueden soportar múltiples HMD en un único flujo de VR social (por ejemplo, un vídeo 360). Todas las realizaciones soportan múltiples ventanas gráficas para un vídeo 360 y/o Twitch 360. Todas las realizaciones implementan una decodificación 360 de un único flujo de manera más eficiente compartiendo la decodificación/codificación de regiones superpuestas para evitar realizar la decodificación/codificación múltiples veces en una misma región y/o priorizar la decodificación basándose en una cantidad de superposición.

Algunos sistemas pueden crear un fotograma rectangular grande para un vídeo 360, codificar el fotograma completo y, a continuación, de acuerdo con el punto donde el usuario está mirando, proporcionar esa porción del fotograma para mostrar al usuario. Si un segundo usuario está viendo el vídeo 360, algunos sistemas pueden decodificar la vista del segundo usuario basándose en dónde mira el segundo usuario sin referencia al primer usuario, de modo que diversas regiones pueden decodificarse dos veces (por ejemplo, o más para más usuarios con vistas superpuestas). Algunas realizaciones pueden identificar ventajosamente regiones superpuestas de puntos de vista de múltiples usuarios para evitar decodificar una misma región más de una vez.

Algunas realizaciones pueden proporcionar un fotograma 360 a un decodificador compartido. El decodificador compartido puede tomar la posición y orientación del usuario como entrada. Una primera decodificación para el primer usuario puede almacenarse en una primera memoria intermedia de fotogramas (FB1). Para un segundo usuario, el decodificador compartido puede tener en cuenta la posición y orientación del segundo usuario para proporcionar una segunda decodificación para el segundo usuario almacenada en una segunda memoria intermedia de fotogramas (FB2). El decodificador compartido puede determinar la superposición entre las dos memorias intermedias de fotogramas para evitar la decodificación duplicada. El decodificador compartido puede priorizar la decodificación basándose en la presencia de regiones superpuestas y puede reutilizar porciones del fotograma previamente decodificadas. Si muchas regiones se superponen, el decodificador compartido puede procesar las regiones superpuestas en primer lugar. Si nadie está viendo una región en particular, puede que el decodificador compartido no decodifique la región no vista en absoluto.

En algunas realizaciones, un sistema de anfitrión (por ejemplo, un PC, servidor, etc.) puede incluir almacenamiento que almacene el vídeo 360. Múltiples HMD pueden estar conectados, de manera alámbrica y/o inalámbrica al sistema de anfitrión. Por ejemplo, el sistema de anfitrión puede incluir una tarjeta de vídeo con múltiples ranuras de GPU. El sistema de anfitrión puede proporcionar adicional o como alternativa una puerta de enlace o un enrutador para soportar múltiples HMD. Múltiples usuarios de los HMD pueden tener cada uno su propia dirección de vista, y el sistema de anfitrión puede realizar una decodificación 360 para cada usuario con decodificación compartida y priorizada. En algunas realizaciones, el vídeo puede sincronizarse cuando se proporciona a los múltiples usuarios. Con el envío por flujo continuo en la nube, por ejemplo, algunas realizaciones pueden sincronizarse con multipunto para que los usuarios tengan una mejor experiencia compartida.

Ventajosamente, algunas realizaciones pueden no transmitir la totalidad del fotograma 360. Algunas realizaciones pueden decodificar selectivamente basándose en lo que están viendo los usuarios. Si los HMD están conectados por un cable, el ancho de banda de la red puede no ser tan importante, pero algunas realizaciones aún pueden ahorrar ancho de banda de procesamiento mediante la decodificación selectiva y la decodificación compartida para las regiones superpuestas. Para los HMD inalámbricos, algunas realizaciones pueden ahorrar en la congestión de la red y el ancho de banda transmitiendo únicamente los datos de decodificación únicos.

Algunas realizaciones pueden usar múltiples bloques de decodificación para decodificar un único fotograma 360. Por ejemplo, una GPU puede incluir una arquitectura con múltiples unidades de decodificación configuradas para compartir las regiones de decodificación superpuestas en la GPU. Un motor de posición y orientación puede fusionar la información de posición y orientación para todos los usuarios para determinar la superposición y proporcionar las regiones a los múltiples bloques de decodificación. La GPU puede tomar un vídeo 360, dividirlo en múltiples decodificaciones, transcodificar, combinar y volver a codificar la información para cada HMD.

Descripción general del sistema de pantalla montada en la cabeza

La Figura 11 muestra un sistema de pantalla montada en la cabeza (HMD) 1100 que está siendo llevado por un usuario mientras experimenta un entorno inmersivo tal como, por ejemplo, un entorno de realidad virtual (VR), un entorno de realidad aumentada (AR), un juego tridimensional (3D) multijugador, etc. En el ejemplo ilustrado, una o más correas 1120 sujetan un marco 1102 del sistema de HMD 1100 delante de los ojos del usuario. En consecuencia, una pantalla del ojo izquierdo 1104 puede situarse para que la vea el ojo izquierdo del usuario y una pantalla del ojo derecho 1106 puede situarse para que la vea el ojo derecho del usuario. Como alternativa, la pantalla del ojo izquierdo 1104 y la pantalla del ojo derecho 1106 pueden integrarse en una única pantalla en ciertos ejemplos tales como, por ejemplo, un teléfono inteligente que lleva el usuario. En el caso de AR, las pantallas 1104, 1106 pueden ser pantallas transparentes que permiten al usuario ver el entorno físico, con otro contenido representado (por ejemplo, personajes virtuales, anotaciones informativas, pantalla frontal/HUD) que se presentan en la parte superior una transmisión en vivo del entorno físico.

En un ejemplo, el marco 1102 incluye una cámara orientada hacia abajo a la izquierda 1108 para capturar imágenes de un área generalmente delante del usuario y debajo del ojo izquierdo (por ejemplo, gestos con la mano izquierda). Además, una cámara orientada hacia abajo a la derecha 1110 puede capturar imágenes de un área generalmente delante del usuario y debajo del ojo derecho (por ejemplo, gestos con la mano derecha). El marco ilustrado 1102 también incluye una cámara orientada hacia el frente a la izquierda 1112 y una cámara orientada hacia el frente a la derecha 1114 para capturar imágenes delante de los ojos izquierdo y derecho, respectivamente, del usuario. El marco 1102 también puede incluir una cámara orientada hacia el lado izquierdo 1116 para capturar imágenes desde un área a la izquierda del usuario y una cámara orientada hacia el lado derecho 1118 para capturar imágenes desde un área a la derecha del usuario.

Las imágenes captadas por las cámaras 1108, 1110, 1112, 1114, 1116, 1118, que pueden tener campos de visión superpuestos, pueden usarse para detectar gestos realizados por el usuario, así como para analizar y/o reproducir el entorno externo en las pantallas 1104, 1106. En un ejemplo, los gestos detectados se usan por una arquitectura de procesamiento de gráficos (por ejemplo, interna y/o externa) para representar y/o controlar una representación virtual del usuario en un juego 3D. De hecho, los campos de visión superpuestos pueden permitir la captura de gestos realizados por otros individuos (por ejemplo, en un juego de multijugador), donde los gestos de otros individuos pueden usarse además para representar/controlar la experiencia inmersiva. Los campos de visión superpuestos también pueden permitir que el sistema de HMD 1100 detecte automáticamente obstrucciones u otros peligros cerca del usuario. Tal enfoque puede ser particularmente ventajoso en las aplicaciones de sistema avanzado de asistencia al conductor (ADAS).

En un ejemplo, proporcionar a la cámara orientada hacia abajo a la izquierda 1108 y a la cámara orientada hacia abajo a la derecha 1110 campos de visión superpuestos proporciona una vista estereoscópica que tiene una resolución aumentada. La resolución aumentada puede permitir, a su vez, que los movimientos de usuario muy similares se distingan entre sí (por ejemplo, con una precisión submilimétrica). El resultado puede ser un rendimiento mejorado del sistema de HMD 1100 con respecto a la fiabilidad. De hecho, la solución ilustrada puede ser útil en una amplia gama de aplicaciones tales como, por ejemplo, colorear información en configuraciones de AR, intercambiar herramientas/dispositivos virtuales entre usuarios en un entorno multiusuario, representar elementos virtuales (por ejemplo, armas, espadas, personal), y así sucesivamente. Los gestos de otros objetos, extremidades y/o partes del cuerpo también pueden detectarse y usarse para representar/controlar el entorno virtual. Por ejemplo, las señales mielográficas, las señales electroencefalográficas, el rastreo ocular, la respiración o el resoplido, los movimientos de las manos, etc., pueden rastrearse en tiempo real, ya sea del portador o de otro individuo en un entorno compartido. Las imágenes capturadas por las cámaras 1108, 1110, 1112, 1114, 1116, 1118 también pueden servir como entrada contextual. Por ejemplo, podría determinarse que el usuario está indicando una palabra en particular para editar o una tecla para presionar en una aplicación de procesamiento de texto, un arma en particular para desplegar o una dirección de desplazamiento en un juego, etc.

Adicionalmente, las imágenes capturadas por las cámaras 1108, 1110, 1112, 1114, 1116, 1118 pueden utilizarse para llevar a cabo una comunicación compartida o una interactividad en red en aplicaciones de operación de equipos, entrenamiento médico y/o guiado remoto/teleoperativo. Las bibliotecas de gestos específicos de tareas o el aprendizaje automático de redes neuronales podrían permitir la identificación de herramientas y la realimentación para una tarea. Por ejemplo, se puede habilitar una herramienta virtual que se traduce en acciones reales remotas. En otro ejemplo más, el sistema de HMD 1100 traduce la manipulación de un taladro virtual dentro de una escena virtual a la operación remota de un taladro en un dispositivo robótico desplegado para buscar un edificio derrumbado. Además, el sistema de HMD 1100 puede programarse en la medida en que incluye, por ejemplo, un protocolo que permite al usuario añadir un nuevo gesto a una lista de gestos identificables asociados con las acciones del usuario.

Además, las diversas cámaras del HMD 1100 pueden configurarse para detectar frecuencias de espectro además de las longitudes de onda visibles del espectro. Las capacidades de formación de imágenes multiespectrales en las cámaras de entrada permiten el rastreo de la posición del usuario y/o los objetos eliminando características de imagen no esenciales (por ejemplo, ruido de fondo). Por ejemplo, en aplicaciones de realidad aumentada (AR), tales como cirugía, los instrumentos y equipos pueden rastrearse por su reflectividad infrarroja sin necesidad de ayudas de rastreo adicionales. Además, el HMD 1100 podría emplearse en situaciones de baja visibilidad donde una "alimentación en vivo" de las diversas cámaras podría mejorarse o aumentarse a través del análisis por ordenador y mostrarse al usuario como señales visuales o de audio.

El sistema de HMD 1100 también puede renunciar a realizar cualquier tipo de comunicación de datos con un sistema informático remoto o necesitar cables de alimentación (por ejemplo, modo de operación independiente). A este respecto, el sistema de HMD 1100 puede ser un dispositivo "sin cables" que tiene una unidad de alimentación que permite que el sistema de HMD 1100 opere independientemente de los sistemas de alimentación externos. En consecuencia, el usuario puede desempeñar un papel completo sin estar conectado a otro dispositivo (por ejemplo, una consola de juegos) o fuente de alimentación. En un ejemplo de procesamiento de textos, el sistema de HMD 1100 podría presentar un teclado virtual y/o un ratón virtual en las pantallas 1104 y 1106 para proporcionar un escritorio virtual o una escena de procesamiento de textos. Por lo tanto, los datos de reconocimiento de gestos capturados por una o más de las cámaras pueden representar actividades de escritura del usuario en el teclado virtual o movimientos del ratón virtual. Las ventajas incluyen, pero sin limitación, la facilidad de portabilidad y la privacidad del escritorio virtual de los individuos cercanos. La arquitectura de procesamiento de gráficos subyacente puede soportar la compresión y/o descompresión de señales de vídeo y audio. Además, proporcionar imágenes separadas para el ojo izquierdo y el ojo derecho del usuario puede facilitar la representación, generación y/o percepción de escenas 3D. Las posiciones relativas de la pantalla del ojo izquierdo 1104 y la pantalla del ojo derecho 1106 también pueden ajustarse para adaptarse a las variaciones en la separación de los ojos entre diferentes usuarios.

El número de cámaras ilustradas en la Figura 11 es para facilitar el análisis únicamente. De hecho, el sistema de HMD 1100 puede incluir menos de seis o más de seis cámaras, dependiendo de las circunstancias.

Componentes funcionales del sistema de HMD

La Figura 12 muestra el sistema de HMD con mayor detalle. En el ejemplo ilustrado, el marco 1102 incluye una unidad de alimentación 1200 (por ejemplo, alimentación a batería, adaptador) para proporcionar alimentación al sistema de HMD. El marco ilustrado 1102 también incluye un módulo de rastreo de movimiento 1220 (por ejemplo, acelerómetros, giroscopios), en donde el módulo de rastreo de movimiento 1220 proporciona datos de rastreo de movimiento, datos de orientación y/o datos de posición a un sistema de procesador 1204. El sistema de procesador 1204 puede incluir un adaptador de red 1224 que está acoplado a un puente de E/S 1206. El puente de E/S 1206 puede permitir comunicaciones entre el adaptador de red 1224 y diversos componentes tales como, por ejemplo, módulos de entrada de audio 1210, módulos de salida de audio 1208, un dispositivo de visualización 1207, cámaras de entrada 1202, y así sucesivamente.

En el ejemplo ilustrado, los módulos de entrada de audio 1210 incluyen una entrada de audio derecha 1218 y una entrada de audio izquierda 1216, que detectan el sonido que puede procesarse para reconocer los comandos de voz del usuario y de los individuos cercanos. Los comandos de voz reconocidos en las señales de audio capturadas pueden aumentar el reconocimiento de gestos durante la conmutación de modalidad y otras aplicaciones. Además, las señales de audio capturadas pueden proporcionar información en 3D que se usa para mejorar la experiencia inmersiva.

Los módulos de salida de audio 1208 pueden incluir una salida de audio derecha 1214 y una salida de audio izquierda 1212. Los módulos de salida de audio 1208 pueden entregar sonido a los oídos del usuario y/u otros individuos cercanos. Los módulos de salida de audio 1208, que pueden tener la forma de auriculares, altavoces en los αdos, altavoces sobre los oídos, altavoces, etc., o cualquier combinación de los mismos, pueden entregar contenido de audio estéreo y/o 3D al usuario (por ejemplo, localización espacial). El marco ilustrado 1102 también incluye un módulo inalámbrico 1222, que puede facilitar las comunicaciones entre el sistema de HMD y diversos otros sistemas (por ejemplo, ordenadores, dispositivos portátiles, consolas de juegos). En un ejemplo, el módulo inalámbrico 1222 se comunica con el sistema de procesador 1204 a través del adaptador de red 1224.

El dispositivo de pantalla ilustrado 1207 incluye la pantalla del ojo izquierdo 1104 y la pantalla del ojo derecho 1106, en donde el contenido visual presentado en las pantallas 1104, 1106 puede obtenerse del sistema de procesador 1204 a través del puente de E/S 1206. Las cámaras de entrada 1202 pueden incluir la cámara orientada hacia el lado izquierdo 1116, la cámara orientada hacia el lado derecho 1118, la cámara orientada hacia abajo a la izquierda 1108, la cámara orientada hacia delante a la izquierda 1112, la cámara orientada hacia delante a la derecha 1114 y la cámara orientada hacia abajo a la derecha 1110, ya analizadas.

Volviendo ahora a la Figura 13, se muestra una agrupación de procesamiento general (GPC) 1300. La GPC 1300 ilustrada puede incorporarse a un sistema de procesamiento tal como, por ejemplo, el sistema de procesamiento 1204 (Figura 12), ya analizado. La GPC 1300 puede incluir un gestor de canalización 1302 que se comunica con un planificador. En un ejemplo, el gestor de canalización 1302 recibe tareas del programador y distribuye las tareas a uno o más multiprocesadores (SM) de envío por flujo continuo 1304. Cada SM 1304 puede estar configurado para procesar grupos de hilos, donde un grupo de hilos puede considerarse una pluralidad de hilos relacionados que ejecutan operaciones iguales o similares en diferentes datos de entrada. Por lo tanto, cada hilo en el grupo de hilos se puede asignar a un SM 1304 particular. En otro ejemplo, la cantidad de hilos puede ser mayor que el número de unidades de ejecución en el SM 1304. En este sentido, los hilos de un grupo de hilos pueden operar paralelo. El gestor de canalización 1302 también puede especificar destinos de datos procesados a una barra transversal de distribución de trabajo 1308, que se comunica con una barra transversal de memoria.

Por lo tanto, como cada SM 1304 transmite una tarea procesada a la barra transversal de distribución de trabajo 1308, la tarea procesada se puede proporcionar a otra GPC 1300 para su procesamiento adicional. La salida del SM 1304 también se puede enviar a una unidad de operaciones de prerasterización (preROP) 1314, que a su vez dirige los datos a una o más unidades de operaciones de rasterización, o realiza otras operaciones (por ejemplo, realizar traducciones de direcciones, organizar datos de color de imagen, mezcla de colores y así sucesivamente). El SM 1304 puede incluir una caché de nivel uno (L1) interna (no mostrada) en la que el SM 1304 puede almacenar datos. El SM 1304 también puede tener acceso a una caché de nivel dos (L2) (no mostrada) a través de una unidad de gestión de memoria (MMU) 1310 y una memoria caché de nivel uno punto cinco (L1.5) 1306. La MMU 1310 puede mapear direcciones virtuales a direcciones físicas. A este respecto, la MMU 1310 puede incluir entradas de tabla de páginas (PTE) que se usan para mapear direcciones virtuales a direcciones físicas de una pieza, página de memoria y/o índice de línea de caché. La GPC 1300 ilustrada también incluye una unidad de texturas 1312.

Arquitectura de canalización de gráficos

Volviendo ahora a la Figura 14, se muestra una canalización de gráficos 1400. En el ejemplo ilustrado, una canalización espacial mundial 1420 incluye un distribuidor de primitivas (PD) 1402. El PD 1402 puede recopilar datos de vértices asociados con servicios de alto orden, primitivas de gráficos, triángulos, etc., y transmitir los datos de vértices a una unidad de extracción de atributos de vértices (VAF) 1404. La VAF 1404 puede recuperar atributos de vértices asociados con cada uno de los vértices entrantes de la memoria compartida y almacenar los datos de vértices, junto con los atributos de vértices asociados, en la memoria compartida.

La canalización espacial mundial 1420 ilustrada también incluye una unidad de procesamiento de geometría (VTG) de vértices, teselación, 1406. La VTG 1406 puede incluir, por ejemplo, una unidad de procesamiento de vértices, una unidad de procesamiento de inicialización de teselación, un distribuidor de tareas, una unidad de generación de tareas, una unidad de generación de topología, una unidad de procesamiento de geometría, una unidad de procesamiento de teselación, etc., o cualquier combinación de los mismos. En un ejemplo, la VTG 1406 es una unidad de ejecución programable que está configurada para ejecutar programas de geometría, programas de teselación y programas de sombreador de vértices. Los programas ejecutados por la VTG 1406 pueden procesar los datos de vértices y los atributos de vértices recibidos de la VAF 1404. Además, los programas ejecutados por la VTG 1406 pueden producir primitivas de gráficos, valores de color, factores normales de superficie y valores de transparencia en cada vértice para las primitivas de gráficos para su procesamiento adicional dentro de la canalización de procesamiento de gráficos 1400.

La unidad de procesamiento de vértices 1406 de la VTG es una unidad de ejecución programable que ejecuta programas de sombreador de vértices, datos de vértices de iluminación y transformación como se especifica por los programas de sombreador de vértices. Por ejemplo, la unidad de procesamiento de vértices podría programarse para transformar los datos de vértices de una representación de coordenadas basada en objetos (por ejemplo, espacio de objetos) a un sistema de coordenadas basado de manera alternativa, tal como el espacio mundial o el espacio de coordenadas de dispositivo normalizado (NDC). Adicionalmente, la unidad de procesamiento de vértices puede leer datos de vértices y atributos de vértices que están almacenados en la memoria compartida por la VAF 1404 y procesar los datos de vértices y los atributos de vértices. En un ejemplo, la unidad de procesamiento de vértices almacena los vértices procesados en memoria compartida.

La unidad de procesamiento de inicialización de teselación (por ejemplo, sombreador de casco, sombreador de control de teselación) puede ejecutar programas de sombreador de inicialización de teselación. En un ejemplo, la unidad de procesamiento de inicialización de teselación procesa los vértices producidos por la unidad de procesamiento de vértices y genera primitivas de gráficos a las que en ocasiones se hace referencia como "parches". La unidad de procesamiento de inicialización de teselación también puede generar diversos atributos de parche, en donde los datos de parche y los atributos de parche se almacenan en memoria compartida. La unidad de generación de tareas de la VTG 1406 puede recuperar datos y atributos para vértices y parches de la memoria compartida. En un ejemplo, la unidad de generación de tareas genera tareas para procesar los vértices y parches para su procesamiento por las últimas etapas en la canalización de procesamiento de gráficos 1400.

Las tareas producidas por la unidad de generación de tareas pueden redistribuirse por el distribuidor de tareas de la VTG 1406. Por ejemplo, las tareas producidas por las diversas instancias del programa de sombreador de vértices y el programa de inicialización de teselación pueden variar significativamente entre una canalización de procesamiento de gráficos 1400 y otra. En consecuencia, el distribuidor de tareas puede redistribuir estas tareas de modo que cada canalización de procesamiento de gráficos 1400 tenga aproximadamente la misma carga de trabajo durante las etapas de la canalización posteriores.

Como ya se indicó, la VTG 1406 también puede incluir una unidad de generación de topología. En un ejemplo, la unidad de generación de topología recupera tareas distribuidas por el distribuidor de tareas, indexa los vértices, incluyendo los vértices asociados con parches, y calcula las coordenadas (UV) para los vértices de teselación y los índices que conectan los vértices de teselación para formar primitivas de gráficos. Los vértices indexados pueden almacenarse por la unidad de generación de topología en memoria compartida. La unidad de procesamiento de teselación de la VTG 1406 se puede configurar para ejecutar programas de sombreador de teselación (por ejemplo, sombreadores de dominio, sombreadores de evaluación de teselación). La unidad de procesamiento de teselación puede leer datos de entrada de la memoria compartida y escribir datos de salida en la memoria compartida. Los datos de salida se pueden pasar de la memoria compartida a la unidad de procesamiento de geometría (por ejemplo, la siguiente etapa del sombreador) como datos de entrada.

La unidad de procesamiento de geometría de la VTG 1406 puede ejecutar programas de sombreador de geometría para transformar primitivas de gráficos (por ejemplo triángulos segmentos de línea puntos etc) En un ejemplo, los vértices se agrupan para construir primitivas de gráficos, en donde la unidad de procesamiento de geometría subdivide las primitivas de gráficos en una o más primitivas de gráficos nuevas. La unidad de procesamiento de geometría también puede calcular parámetros tales como, por ejemplo, coeficientes de ecuaciones simples, que pueden usarse para rasterizar las nuevas primitivas de gráficos.

La canalización espacial mundial 1420 ilustrada también incluye una unidad de escala, selección y recorte de ventana gráfica (VPC) 1408 que recibe los parámetros y vértices que especifican nuevas primitivas de gráficos de la VTG 1406. En un ejemplo, la VPC 1408 realiza el recorte, la selección, la corrección de la perspectiva y la transformación de la ventana gráfica para identificar las primitivas de gráficos que son potencialmente visibles en la imagen representada final. La VPC 1408 también puede identificar las primitivas de gráficos que pueden no ser visibles.

La canalización de procesamiento de gráficos 1400 también puede incluir una unidad de piezas 1410 acoplada a la canalización de espacio mundial 1420. La unidad de piezas 1410 puede ser un motor de clasificación de primitivas de gráficos, en donde las primitivas de gráficos se procesan en la canalización espacial mundial 1420 y a continuación se transmiten a la unidad de piezas 1410. A este respecto, la canalización de procesamiento de gráficos 1400 también puede incluir una canalización de espacio de pantalla 1422, en donde el espacio de pantalla puede dividirse en piezas de caché. Por lo tanto, cada pieza de caché puede estar asociada con una porción del espacio de la pantalla. Para cada primitiva de gráficos, la unidad de piezas 1410 puede identificar el conjunto de piezas de caché que se cruzan con la primitiva de gráficos (por ejemplo, "generación de piezas"). Después de generar piezas de un número de primitivas de gráficos, la unidad de generación de piezas 1410 puede procesar las primitivas de gráficos basándose en una pieza de caché. En un ejemplo, las primitivas de gráficos asociadas con una pieza de caché particular se transmiten a una unidad de configuración 1412 en la canalización de espacio de pantalla 1422, una pieza cada vez. Las primitivas de gráficos que se cruzan con múltiples piezas de caché pueden procesarse una vez en la canalización de espacio mundial 1420, mientras se transmiten múltiples veces a la canalización de espacio de pantalla 1422.

En un ejemplo, la unidad de configuración 1412 recibe datos de vértices desde la VPC 1408 a través de la unidad de piezas 1410 y calcula los parámetros asociados con las primitivas de gráficos. Los parámetros pueden incluir, por ejemplo, ecuaciones de borde, ecuaciones de plano parcial y ecuaciones de plano de profundidad. La canalización de espacio de pantalla 1422 también puede incluir un rasterizador 1414 acoplado a la unidad de configuración 1412. El rasterizador puede explorar y convertir las nuevas primitivas de gráficos y transmitir fragmentos y datos de cobertura a una unidad de sombreado de píxeles (PS) 1416. El rasterizador 1414 también puede realizar selección Z y otras optimizaciones basadas en Z.

El PS 1416, que puede acceder a la memoria compartida, puede ejecutar programas de sombreador de fragmentos que transforman los fragmentos recibidos del rasterizador 1414. Más particularmente, los programas de sombreador de fragmentos pueden sombrear fragmentos con granularidad de nivel de píxel (por ejemplo, funcionando como programas de sombreador de píxeles). En otro ejemplo, el sombreador de fragmentos programa fragmentos de sombreado con una granularidad de nivel de muestra, donde cada píxel incluye múltiples muestras y cada muestra representa una porción de un píxel. Además, los programas de sombreador de fragmentos pueden sombrear fragmentos a cualquier otra granularidad, dependiendo de las circunstancias (por ejemplo, la tasa de muestreo). La PS 1416 puede realizar mezcla, sombreado, corrección de perspectiva, mapeo de texturas, etc., para generar fragmentos sombreados.

La canalización de espacio de pantalla 1422 ilustrada también incluye una unidad de operaciones de rasterización (ROP) 1418, que puede realizar operaciones de rasterización tales como, por ejemplo, estarcido, prueba Z, mezcla y así sucesivamente. A continuación, la ROP 1418 puede transmitir datos de píxeles como datos de gráficos procesados a uno o más objetivos representados (por ejemplo, memoria de gráficos). La ROP 1418 puede configurarse para comprimir Z o datos de color que se escriben en la memoria y descomprimir Z o datos de color que se leen de la memoria. La ubicación de la ROP 1418 puede variar dependiendo de las circunstancias.

La canalización de procesamiento de gráficos 1400 puede implementarse por uno o más elementos de procesamiento. Por ejemplo, la Vt G 1406 y/o la PS 1416 pueden implementarse en uno o más SM, el PD 1402, la VAF 1404, la VPC 1408, la unidad de piezas 1410, la unidad de configuración 1412, el rasterizador 1414 y/o la ROP 1418 pueden implementarse en elementos de procesamiento de una GPC particular junto con una unidad de subdivisión correspondiente. La canalización de procesamiento de gráficos 1400 también puede implementarse en lógica de hardware de funcionalidad fija. De hecho, la canalización de procesamiento de gráficos 1400 puede implementarse en una PPU.

Por lo tanto, la canalización espacial mundial 1420 ilustrada procesa objetos gráficos en el espacio 3D, donde la posición de cada objeto gráfico es conocida en relación con otros objetos gráficos y en relación con un sistema de coordenadas 3D. Por el contrario, la canalización de espacio de pantalla 1422 puede procesar objetos gráficos que han sido proyectados desde el sistema de coordenadas 3D sobre una superficie plana 2D que representa la superficie del dispositivo de visualización. Además, la canalización espacial mundial 1420 puede dividirse en una canalización de fase alfa y una canalización de fase beta, en donde la canalización de fase alfa incluye etapas de canalización desde el PD 1402 hasta la unidad de generación de tareas. La canalización de fase beta puede incluir etapas de canalización desde la unidad de generación de topología hasta la VPC 1408 En un caso de este tipo la canalización de procesamiento de gráficos 1400 puede realizar un primer conjunto de operaciones (por ejemplo, un único hilo, un grupo de hilos, múltiples grupos de hilos que actúan al unísono) en la canalización de fase alfa y un segundo conjunto de operaciones (por ejemplo, un único hilo, un grupo de hilos, múltiples grupos de hilos que actúan al unísono) en la canalización de fase beta.

Si se usan múltiples canalizaciones de procesamiento de gráficos 1400, los datos de vértices y los atributos de vértices asociados con un conjunto de objetos gráficos pueden dividirse para que cada canalización de procesamiento de gráficos 1400 tenga una carga de trabajo similar a través de la fase alfa. En consecuencia, el procesamiento de fase alfa puede expandir sustancialmente la cantidad de datos de vértices y atributos de vértices, de modo que la cantidad de datos de vértices y atributos de vértices producidos por la unidad de generación de tareas es significativamente mayor que la cantidad de datos de vértices y atributos de vértices procesados por el PD 1402 y la VAF 1404. Además, las unidades de generación de tareas asociadas con diferentes canalizaciones de procesamiento de gráficos 1400 pueden producir datos de vértices y atributos de vértices que tienen diferentes niveles de calidad, incluso cuando comienzan la fase alfa con la misma cantidad de atributos. En tales casos, el distribuidor de tareas puede redistribuir los atributos producidos por la canalización de fase alfa de modo que cada canalización de procesamiento de gráficos 1400 tenga aproximadamente la misma carga de trabajo al comienzo de la canalización de fase beta.

Volviendo ahora a la Figura 15, se muestra un multiprocesador de envío por flujo continuo (SM) 1500. El SM 1500 ilustrado incluye K unidades de planificación 1504 acopladas a una memoria caché de instrucciones 1502, en donde cada unidad de planificación 1504 recibe una matriz de bloques de hilos de un gestor de canalización (no mostrado) y gestiona la planificación de instrucciones para uno o más bloques de hilos de cada matriz de bloques de hilos activa. La unidad de planificación 1504 puede planificar hilos para su ejecución en grupos de hilos paralelos, donde cada grupo puede denominarse "urdimbre". Por lo tanto, cada urdimbre podría incluir, por ejemplo, sesenta y cuatro hilos. Adicionalmente, la unidad de planificación 1504 puede gestionar una pluralidad de bloques de hilos diferentes, asignando los bloques de hilos a urdimbres para su ejecución. A continuación, la unidad de planificación puede planificar instrucciones de la pluralidad de urdimbres diferentes en diversas unidades funcionales durante cada ciclo de reloj. Cada unidad de planificador 1504 puede incluir una o más unidades de despacho de instrucciones 1522, en donde cada unidad de despacho 1522 transmite instrucciones a una o más de las unidades funcionales. El número de unidades de despacho 1522 puede variar dependiendo de las circunstancias. En el ejemplo ilustrado, la unidad de planificador 1504 incluye dos unidades de despacho 1522 que permiten enviar dos instrucciones diferentes de la misma urdimbre durante cada ciclo de reloj.

El SM 1500 también puede incluir un archivo de registro 1506. El archivo de registro 1506 puede incluir un conjunto de registros que se dividen entre las unidades funcionales de modo que a cada unidad funcional se le asigna una porción especializada del archivo de registro 1506. El archivo de registro 1506 también se puede dividir entre diferentes urdimbres que ejecuta el SM 1500. En un ejemplo, el archivo de registro 1506 proporciona almacenamiento temporal para operandos conectados a las rutas de datos de las unidades funcionales. El SM 1500 ilustrado también incluye L núcleos de procesamiento 1508, en donde L puede ser un número relativamente grande (por ejemplo, 192). Cada núcleo 1508 puede ser una unidad de procesamiento de precisión simple canalizada que incluye una unidad lógica aritmética de coma flotante (por ejemplo, IEEE 754-2008) así como una unidad aritmético-lógica de números enteros.

El SM 1500 ilustrado también incluye M unidades de doble precisión (DPU) 1510, N unidades de funciones especiales (SFU) 1512 y P unidades de carga/almacén (LSU) 1514. Cada DPU 1510 puede implementar aritmética de coma flotante de doble precisión y cada SFU 1512 puede realizar funciones especiales tales como, por ejemplo, la mezcla de píxeles de copia de rectángulo, etc. Además, cada LSU 1514 puede llevar a cabo operaciones de carga y almacén entre una memoria compartida 1518 y el archivo de registro 1506. En un ejemplo, las operaciones de carga y almacén se llevan a cabo a través de unidades de texturas J/cachés Ll 1520 y una red interconectada 1516. En un ejemplo, la unidad de texturas J/cachés Ll 1520 también están acopladas a una barra transversal (no mostrada). Por lo tanto, la red de interconexión 1516 puede conectar cada una de las unidades funcionales al archivo de registro 1506 y a la memoria compartida 1518. En un ejemplo, la red de interconexión 1516 funciona como una barra transversal que conecta cualquiera de las unidades funcionales a cualquiera de los registros en el archivo de registro 1506.

El SM 1500 puede implementarse dentro de un procesador de gráficos (por ejemplo, unidad de procesamiento de gráficos/GPU), en donde la unidad de texturas/cachés Ll 1520 puede acceder a mapas de textura desde la memoria y muestrear los mapas de textura para producir valores de textura muestreados para su uso en programas de sombreador. Las operaciones de textura realizadas por la unidad de texturas/cachés Ll 1520 incluyen, pero sin limitación, suavizado basado en mipmaps.

Ejemplo de vista general del sistema adicional

La Figura 16 es un diagrama de bloques de un sistema de procesamiento 1600, de acuerdo con una realización. En diversas realizaciones, el sistema 1600 incluye uno o más procesadores 1602 y uno o más procesadores de gráficos 1608, y puede ser un sistema de sobremesa de procesador único, un sistema de estación de trabajo de multiprocesador, o un sistema de servidor que tiene un gran número de procesadores 1602 o núcleos de procesador 1607. En una realización, el sistema 1600 es una plataforma de procesamiento incorporada dentro de un circuito integrado de sistema en un chip (SoC) para su uso en dispositivos móviles portátiles o integrados

Una realización del sistema 1600 puede incluir, o estar incorporada dentro de una plataforma de juegos basada en servidor, una consola de juegos, que incluye una consola de juegos y medios, una consola de juegos móvil, una consola de juegos portátil o una consola de juegos en línea. En algunas realizaciones, el sistema 1600 es un teléfono móvil, teléfono inteligente, dispositivo informático de tableta o dispositivo de internet móvil. El sistema de procesamiento de datos 1600 puede incluir también, estar acoplado con, o estar integrado dentro de un dispositivo llevable, tal como un dispositivo llevable de reloj inteligente, dispositivo de gafas inteligentes, dispositivo de realidad aumentada o dispositivo de realidad virtual. En algunas realizaciones, el sistema de procesamiento de datos 1600 es un dispositivo de televisión o decodificador de salón que tiene uno o más procesadores 1602 y una interfaz gráfica generada por uno o más procesadores de gráficos 1608.

En algunas realizaciones, cada uno del uno o más procesadores 1602 incluye uno o más núcleos de procesador 1607 para procesar instrucciones que, cuando se ejecutan, realizan operaciones para el sistema y el software de usuario. En algunas realizaciones, cada uno del uno o más núcleos de procesador 1607 está configurado para procesar un conjunto de instrucciones específico 1609. En algunas realizaciones, el conjunto de instrucciones 1609 puede facilitar el cálculo de conjunto de instrucciones complejo (CISC), el cálculo de conjunto de instrucciones reducido (RISC) o el cálculo mediante una palabra de instrucción muy larga (VLIW). Cada uno de múltiples núcleos de procesador 1607 puede procesar un conjunto de instrucciones diferente 1609, que puede incluir instrucciones para facilitar la emulación de otros conjuntos de instrucciones. El núcleo de procesador 1607 puede incluir también otros dispositivos de procesamiento, tal como un procesador de señales digitales (DSP).

En algunas realizaciones, el procesador 1602 incluye memoria caché 1604. Dependiendo de la arquitectura, el procesador 1602 puede tener una única caché interna o múltiples niveles de caché interna. En algunas realizaciones, la memoria caché se comparte entre diversos componentes del procesador 1602. En algunas realizaciones, el procesador 1602 también usa una caché externa (por ejemplo, una caché de nivel 3 (L3) o caché de último nivel (LLC)) (no mostrada), que puede compartirse entre núcleos de procesador 1607 usando técnicas de coherencia de caché conocidas. Un archivo de registro 1606 está incluido adicionalmente en el procesador 1602 que puede incluir diferentes tipos de registros para almacenar diferentes tipos de datos (por ejemplo, registros de números enteros, registros de coma flotante, registros de estado y un registro de puntero de instrucción). Algunos registros pueden ser registros de fin general, mientras que otros registros pueden ser específicos al diseño del procesador 1602.

En algunas realizaciones, el procesador 1602 está acoplado con un bus de procesador 1610 para transmitir señales de comunicación tales como señales de dirección, de datos o de control entre el procesador 1602 y otros componentes en el sistema 1600. En una realización, el sistema 1600 usa una arquitectura de sistema de 'concentrador' ilustrativa, que incluye un concentrador de controlador de memoria 1616 y un concentrador de controlador de entrada y salida (E/S) 1630. Un concentrador de controlador de memoria 1616 facilita la comunicación entre un dispositivo de memoria y otros componentes del sistema 1600, mientras que un concentrador de controlador de E/S (ICH) 1630 proporciona conexiones a los dispositivos de E/S mediante un bus de E/S local. En una realización, la lógica del concentrador de controlador de memoria 1616 está integrada dentro del procesador.

El dispositivo de memoria 1620 puede ser un dispositivo de memoria de acceso aleatorio dinámica (DRAM), un dispositivo de memoria de acceso aleatorio estática (SRAM), dispositivo de memoria flash, dispositivo de memoria de cambio de fase o algún otro dispositivo de memoria que tiene un rendimiento adecuado para dar servicio como una memoria de proceso. En una realización, el dispositivo de memoria 1620 puede operar como memoria de sistema para el sistema 1600, para almacenar datos 1622 e instrucciones 1621 para su uso cuando el uno o más procesadores 1602 ejecutan una aplicación o proceso. El concentrador de controlador de memoria 1616 también se acopla con un procesador de gráficos externo opcional 1612, que puede comunicarse con el uno o más procesadores de gráficos 1608 en los procesadores 1602 para realizar operaciones de gráficos y de medios.

En algunas realizaciones, el ICH 1630 posibilita que los periféricos se conecten al dispositivo de memoria 1620 y al procesador 1602 mediante un bus de E/S de alta velocidad. Los periféricos de E/S incluyen, pero sin limitación, un controlador de audio 1646, una interfaz de firmware 1628, un transceptor inalámbrico 1626 (por ejemplo, Wi-Fi, Bluetooth), un dispositivo de almacenamiento de datos 1624 (por ejemplo, unidad de disco duro, memoria flash, etc.), y un controlador de E/S heredado 1640 para acoplar dispositivos heredados (por ejemplo, dispositivos de sistema personal 2 (PS/2)) al sistema. Uno o más controladores de bus serie universal (USB) 1642 conectan dispositivos de entrada, tales como las combinaciones de teclado y ratón 1644. Un controlador de red 1634 puede acoplarse también con el ICH 1630. En algunas realizaciones, un controlador de red de alto rendimiento (no mostrado) se acopla con el bus de procesador 1610. Se apreciará que, el sistema 1600 mostrado es ilustrativo y no limitante, ya que pueden usarse otros tipos de sistemas de procesamiento de datos que están configurados de manera diferente. Por ejemplo, el concentrador de controlador de E/S 1630 puede integrarse dentro del uno o más procesadores 1602, o el concentrador de controlador de memoria 1616 y el concentrador de controlador de E/S 1630 pueden estar integrados en un procesador de gráficos externo discreto, tal como el procesador de gráficos externo 1612.

La Figura 17 es un diagrama de bloques de una realización de un procesador 1700 que tiene uno o más núcleos de procesador 1702A-1702N, un controlador de memoria integrado 1714 y un procesador de gráficos integrado 1708. Aquellos elementos de la Figura 17 que tienen los mismos números (o nombres) de referencia que los elementos de cualquier otra figura en el presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, pero no se limitan a tal cosa. El procesador 1700 puede incluir núcleos adicionales hasta e incluyendo el núcleo adicional 1702N representado por los recuadros con línea discontinua. Cada uno de los núcleos de procesador 1702A-1702N incluye una o más unidades de caché internas 1704A-1704N. En algunas realizaciones, cada núcleo de procesador también tiene acceso a una o más unidades almacenadas en caché compartidas 1706.

Las unidades de caché internas 1704A-1704N y las unidades de caché compartidas 1706 representan una jerarquía de memoria caché dentro del procesador 1700. La jerarquía de memoria caché puede incluir al menos un nivel de caché de instrucciones y de datos dentro de cada núcleo de procesador y uno o más niveles de caché de nivel medio compartida, tal como una caché de nivel 2 (L2), de nivel 3 (L3), de nivel 4 (L4) u otros niveles, donde el nivel más alto de caché antes de la memoria externa se clasifica como la LLC. En algunas realizaciones, la lógica de coherencia de caché mantiene la coherencia entre las diversas unidades de caché 1706 y 1704A-1704N.

En algunas realizaciones, el procesador 1700 puede incluir también un conjunto de una o más unidades de controlador de bus 1716 y un núcleo de agente de sistema 1710. La una o más unidades de controlador de bus 1716 gestionan un conjunto de buses periféricos, tal como uno o más buses de interconexión de componentes periféricos (por ejemplo, PCI, PCI Express). El núcleo de agente de sistema 1710 proporciona funcionalidad de gestión para los diversos componentes de procesador. En algunas realizaciones, el núcleo de agente de sistema 1710 incluye uno o más controladores de memoria integrados 1714 para gestionar el acceso a diversos dispositivos de memoria externa (no mostrados).

En algunas realizaciones, uno o más de los núcleos de procesador 1702A-1702N incluyen el soporte para múltiples hilos simultáneos. En una realización de este tipo, el núcleo de agente de sistema 1710 incluye componentes para coordinar y operar los núcleos 1702A-1702N durante el procesamiento de múltiples hilos. El núcleo de agente de sistema 1710 puede incluir adicionalmente una unidad de control de potencia (PCU), que incluye lógica y componentes para regular el estado de potencia de los núcleos de procesador 1702A-1702N y el procesador de gráficos 1708.

En algunas realizaciones, el procesador 1700 incluye adicionalmente un procesador de gráficos 1708 para ejecutar operaciones de procesamiento de gráficos. En algunas realizaciones, el procesador de gráficos 1708 se acopla con el conjunto de unidades de caché compartidas 1706 y el núcleo de agente de sistema 1710, que incluye el uno o más controladores de memoria integrados 1714. En algunas realizaciones, un controlador de visualización 1711 está acoplado con el procesador de gráficos 1708 para controlar una salida del procesador de gráficos a una o más pantallas acopladas. En algunas realizaciones, el controlador de visualización 1711 puede ser un módulo separado acoplado con el procesador de gráficos mediante al menos una interconexión, o puede estar integrado dentro del procesador de gráficos 1708 o el núcleo de agente de sistema 1710.

En algunas realizaciones, se usa una unidad de interconexión basada en anillo 1712 para acoplar los componentes internos del procesador 1700. Sin embargo, puede usarse una unidad de interconexión alternativa, tal como una interconexión de punto a punto, una interconexión conmutada u otras técnicas, que incluyen técnicas bien conocidas en la técnica. En algunas realizaciones, el procesador de gráficos 1708 se acopla con el anillo de interconexión 1712 mediante un enlace de E/S 1713.

El enlace de E/S 1713 ilustrativo representa al menos una de múltiples variedades de interconexiones de E/S, que incluyen una interconexión de E/S de paquete, que facilita la comunicación entre diversos componentes de procesador y un módulo de memoria integrado de alto rendimiento 1718, tal como un módulo de eDRAM. En algunas realizaciones, cada uno de los núcleos de procesador 1702-1702N y del procesador de gráficos 1708 usa módulos de memoria integrados 1718 tal como una caché de último nivel compartida.

En algunas realizaciones, los núcleos de procesador 1702A-1702N son núcleos homogéneos que ejecutan la misma arquitectura de conjunto de instrucciones. En otra realización, los núcleos de procesador 1702A-1702N son heterogéneos en términos de arquitectura de conjunto de instrucciones (ISA), donde uno o más de los núcleos de procesador 1702A-N ejecutan un primer conjunto de instrucciones, mientras que al menos uno de los otros núcleos ejecuta un subconjunto del primer conjunto de instrucciones o un conjunto de instrucciones diferente. En una realización, los núcleos de procesador 1702A-1702N son heterogéneos en términos de microarquitectura, donde uno o más núcleos que tienen un consumo de potencia relativamente más alto se acoplan con uno o más núcleos de potencia que tienen un consumo de potencia más bajo. Adicionalmente, el procesador 1700 puede implementarse en uno o más chips o como un circuito de SoC integrado que tiene los componentes ilustrados, además de otros componentes.

La Figura 18 es un diagrama de bloques de un procesador de gráficos 1800, que puede ser una unidad de procesamiento de gráficos discreta, o puede ser un procesador de gráficos integrado con una pluralidad de núcleos de procesamiento. En algunas realizaciones, el procesador de gráficos se comunica mediante una interfaz de E/S de memoria mapeada a registros en el procesador de gráficos y con comandos colocados en la memoria de procesador. En algunas realizaciones, el procesador de gráficos 1800 incluye una interfaz de memoria 1814 para acceder a memoria. La interfaz de memoria 1814 puede ser una interfaz a memoria local, a una o más cachés internas, a una o más cachés externas compartidas y/o a memoria de sistema.

En algunas realizaciones, el procesador de gráficos 1800 también incluye un controlador de visualización 1802 para controlar unos datos de salida de visualización a un dispositivo de visualización 1820. El controlador de visualización 1802 incluye hardware para uno o más planos de superposición para la visualización y la composición de múltiples capas de vídeo o elementos de interfaz de usuario. En algunas realizaciones, el procesador de gráficos 1800 incluye un motor de códec de vídeo 1806 para codificar, decodificar o transcodificar medios a, desde o entre uno o más formatos de codificación de medios, que incluyen, pero sin limitación formatos del Grupo de Expertos de Imágenes en Movimiento (MPEG) tales como MPEG-2, formatos de Codificación de Vídeo Avanzada (AVC) tales como H.264/MPEG-4 AVC, así como de la Sociedad de Ingenieros de Imágenes en Movimiento y Televisión (SMPTE) 421MNC-1 y formatos del Grupo Mixto de Expertos en Fotografía (JPEG), tal como los formatos JPEG y Motion JPEG (MJPEG).

En algunas realizaciones, el procesador de gráficos 1800 incluye un motor de transferencia de imagen de bloque (BLIT) 1804 para realizar operaciones de rasterizador bidimensionales (2D) que incluyen, por ejemplo, transferencias de bloque de límite de bit. Sin embargo, en una realización, se realizan operaciones de gráficos 2D usando uno o más componentes del motor de procesamiento de gráficos (GPE) 1810. En algunas realizaciones, el motor de procesamiento de gráficos 1810 es un motor de cálculo para realizar operaciones de gráficos, que incluyen operaciones de gráficos tridimensionales (3D) y operaciones de medios.

En algunas realizaciones, el GPE 1810 incluye una canalización 3D 1812 para realizar operaciones 3D, tal como representar imágenes y escenas tridimensionales usando funciones de procesamiento que actúan en formas de primitivas 3D (por ejemplo, rectángulo, triángulo, etc.). La canalización 3D 1812 incluye elementos de función programable y fija que realizan diversas tareas dentro del elemento y/o abarcan hilos de ejecución en un subsistema 3D/de medios 1815. Aunque puede usarse la canalización 3D 1812 para realizar operaciones de medios, una realización del GPE 1810 también incluye una canalización de medios 1816 que se usa específicamente para realizar operaciones de medios, tales como post procesamiento de vídeo y mejora de imagen.

En algunas realizaciones, la canalización de medios 1816 incluye unidades de lógica de función fija o programable para realizar una o más operaciones de medios especializadas, tales como aceleración de decodificación de vídeo, desentrelazado de vídeo y aceleración de codificación de vídeo en lugar de, o en beneficio del motor de códec de vídeo 1806. En algunas realizaciones, la canalización de medios 1816 incluye adicionalmente una unidad de generación de hilos para generar hilos para su ejecución en el subsistema 3D/de medios 1815. Los hilos generados realizan cálculos para las operaciones de medios en una o más unidades de ejecución de gráficos incluidas en el subsistema 3D/de medios 1815.

En algunas realizaciones, el subsistema 3D/de medios 1815 incluye lógica para ejecutar hilos generados por la canalización de 3D 1812 y la canalización de medios 1816. En una realización, las canalizaciones envían solicitudes de ejecución de hilos al subsistema 3D/de medios 1815, que incluye lógica de despacho de hilo para arbitrar y despachar las diversas solicitudes a recursos de ejecución de hilo disponibles. Los recursos de ejecución incluyen una matriz de unidades de ejecución de gráficos para procesar los hilos 3D y los medios. En algunas realizaciones, el subsistema 3D/de medios 1815 incluye una o más cachés internas para instrucciones y datos de hilo. En algunas realizaciones, el subsistema también incluye memoria compartida, que incluye registros y memoria direccionable, para compartir datos entre hilos y para almacenar datos de salida.

Procesamiento 3D/de medios

La Figura 19 es un diagrama de bloques de un motor de procesamiento de gráficos 1910 de un procesador de gráficos de acuerdo con algunas realizaciones. En una realización, el GPE 1910 es una versión del GPE 1810 mostrado en la Figura 18. Los elementos de la Figura 19 que tienen los mismos números (o nombres) de referencia que los elementos de cualquier otra figura en el presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, pero sin limitación a esto.

En algunas realizaciones, el GPE 1910 se acopla con un emisor por flujo continuo de comandos 1903, que proporciona un flujo de comandos al GPE 3D y canalizaciones de medios 1912, 1916. En algunas realizaciones, el emisor por flujo continuo de comandos 1903 está acoplado con memoria, que puede ser memoria de sistema, o una o más de memoria de caché interna y memoria de caché compartida. En algunas realizaciones, el emisor por flujo continuo de comandos 1903 recibe comandos desde la memoria y envía los comandos a la canalización 3D 1912 y/o a la canalización de medios 1916. Los comandos son directivas extraídas desde una memoria intermedia en anillo, que almacena comandos para las canalizaciones 3D y de medios 1912, 1916. En una realización, la memoria intermedia en anillo puede incluir adicionalmente unas memorias intermedias de comandos en lotes que almacenan lotes de múltiples comandos. Las canalizaciones 3D y de medios 1912, 1916 procesan los comandos realizando operaciones a través de la lógica dentro de las respectivas canalizaciones o despachando uno o más hilos de ejecución a una matriz de unidades de ejecución 1914. En algunas realizaciones, la matriz de unidades de ejecución 1914 es escalable, de modo que la matriz incluye un número variable de unidades de ejecución basándose en la potencia objetivo y el nivel de rendimiento de GPE 1910.

En algunas realizaciones, un motor de muestreo 1930 se acopla con la memoria (por ejemplo, la memoria caché o memoria de sistema) y la matriz de unidades de ejecución 1914. En algunas realizaciones, el motor de muestreo 1930 proporciona un mecanismo de acceso a memoria para la matriz de unidades de ejecución 1914 que permite que la matriz de ejecución 1914 lea gráficos y datos de medios de la memoria. En algunas realizaciones, el motor de muestreo 1930 incluye lógica para realizar operaciones de muestreo de imágenes especializadas para medios.

En algunas realizaciones, la lógica de muestreo de medios especializada en el motor de muestreo 1930 incluye un módulo de anulación de ruido/desentrelazado 1932, un módulo de estimación de movimiento 1934 y un módulo de escalado y filtrado de imágenes 1936. En algunas realizaciones, el módulo de anulación de ruido/desentrelazado 1932 incluye lógica para realizar uno o más algoritmos de anulación de ruido o desentrelazado en datos de vídeo decodificados. La lógica de desentrelazado combina campos alternos de contenido de vídeo entrelazado en un único fotograma de vídeo. La lógica de anulación de ruido reduce o elimina el ruido de los datos de vídeo e imagen. En algunas realizaciones, la lógica de anulación de ruido y la lógica de desentrelazado se adaptan al movimiento y usan filtrado espacial o temporal basándose en la cantidad de movimiento detectado en los datos de vídeo. En algunas realizaciones, el módulo de anulación de ruido/desentrelazado 1932 incluye lógica de detección de movimiento especializada (por ejemplo, dentro del motor de estimación de movimiento 1934).

En algunas realizaciones, el motor de estimación de movimiento 1934 proporciona aceleración de hardware para operaciones de vídeo realizando funciones de aceleración de vídeo tales como estimación y predicción de vector de movimiento en datos de vídeo. El motor de estimación de movimiento determina los vectores de movimiento que describen la transformación de los datos de imagen entre fotogramas de vídeo sucesivos. En algunas realizaciones, un códec de medios de procesador de gráficos usa el motor de estimación de movimiento de vídeo 1934 para realizar operaciones en vídeo a nivel de macrobloque que, de lo contrario, pueden ser demasiado intensivas a nivel de computación para realizarlas con un procesador de propósito general. En algunas realizaciones, el motor de estimación de movimiento 1934 está generalmente disponible para los componentes de procesador de gráficos para ayudar con las funciones de procesamiento y decodificación de vídeo que son sensibles o adaptables a la dirección o magnitud del movimiento dentro de los datos de vídeo.

En algunas realizaciones, el módulo de escalado y filtrado de imágenes 1936 realiza operaciones de procesamiento de imágenes para mejorar la calidad visual de las imágenes y de vídeo generados. En algunas realizaciones, el módulo de escalado y filtrado 1936 procesa datos de imagen y vídeo durante la operación de muestreo antes de proporcionar los datos a la matriz de unidades de ejecución 1914.

En algunas realizaciones, el GPE 1910 incluye un puerto de datos 1944, que proporciona un mecanismo adicional para que los subsistemas de gráficos accedan a memoria. En algunas realizaciones, el puerto de datos 1944 facilita el acceso a memoria para operaciones que incluyen escrituras objetivo de representación, lecturas de memoria intermedia constantes, lecturas/escrituras de espacio de memoria de borrador y accesos a la superficie de medios. En algunas realizaciones, el puerto de datos 1944 incluye espacio de memoria caché para almacenar en caché los accesos a memoria. La memoria caché puede ser una única caché de datos o separada en múltiples cachés para los múltiples subsistemas que acceden a la memoria a través del puerto de datos (por ejemplo, una caché de memoria intermedia de representación, una caché de memoria intermedia constante, etc.). En algunas realizaciones, los hilos que se ejecutan en una unidad de ejecución en la matriz de unidades de ejecución 1914 se comunican con el puerto de datos intercambiando mensajes a través de una interconexión de distribución de datos que acopla cada uno de los subsistemas de GPE 1910.

Unidades de ejecución

La Figura 20 es un diagrama de bloques de otra realización de un procesador de gráficos 2000. Los elementos de la Figura 20 que tienen los mismos números (o nombres) de referencia que los elementos de cualquier otra figura en el presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, pero sin limitación a esto.

En algunas realizaciones, el procesador de gráficos 2000 incluye una interconexión en anillo 2002, un extremo frontal de canalización 2004, un motor de medios 2037 y núcleos de gráficos 2080A-2080N. En algunas realizaciones, la interconexión en anillo 2002 acopla el procesador de gráficos a otras unidades de procesamiento, que incluyen otros procesadores de gráficos o uno o más núcleos de procesadores de fin general. En algunas realizaciones, el procesador de gráficos es uno de muchos procesadores integrados dentro de un sistema de procesamiento de múltiples núcleos.

En algunas realizaciones, el procesador de gráficos 2000 recibe lotes de comandos mediante la interconexión en anillo 2002. Los comandos de entrada se interpretan por un emisor por flujo continuo de comandos 2003 en el extremo frontal de la canalización 2004. En algunas realizaciones, el procesador de gráficos 2000 incluye una lógica de ejecución escalable para realizar procesamiento de geometría 3D y procesamiento de medios mediante el núcleo o núcleos de gráficos 2080A-2080N. Para comandos de procesamiento de geometría 3D el emisor por flujo continuo de comandos 2003 suministra comandos a la canalización de geometría 2036. Para al menos algunos comandos de procesamiento de medios, el emisor por flujo continuo de comandos 2003 suministra los comandos a un extremo frontal de vídeo 2034, que se acopla con un motor de medios 2037. En algunas realizaciones, el motor de medios 2037 incluye un motor de calidad de vídeo (VQE) 2030 para post procesamiento de vídeo y de imagen y un motor de codificación/decodificación de múltiples formatos (MFX) 2033 para proporcionar codificación y decodificación de datos de medios acelerados por hardware. En algunas realizaciones, cada uno de la canalización de geometría 2036 y el motor de medios 2037 generan hilos de ejecución para los recursos de ejecución de hilos proporcionados por al menos un núcleo de gráficos 2080A.

En algunas realizaciones, el procesador de gráficos 2000 incluye recursos de ejecución de hilos ajustables a escala que cuentan con los núcleos modulares 2080A-2080N (denominados, en ocasiones, cortes de núcleo), teniendo cada uno múltiples subnúcleos 2050A-2050N, 2060A-2060N (denominados, en ocasiones, subcortes de núcleo). En algunas realizaciones, el procesador de gráficos 2000 puede tener cualquier número de núcleos de gráficos 2080A a 2080N. En algunas realizaciones, el procesador de gráficos 2000 incluye un núcleo de gráficos 2080A que tiene al menos un primer subnúcleo 2050A y un segundo núcleo subnúcleo 2060A. En otras realizaciones, el procesador de gráficos es un procesador de baja potencia con un único subnúcleo (por ejemplo, 2050A). En algunas realizaciones, el procesador de gráficos 2000 incluye múltiples núcleos de gráficos 2080A-2080N, incluyendo cada uno un conjunto de primeros subnúcleos 2050A-2050N y un conjunto de segundos subnúcleos 2060A-2060N. Cada subnúcleo en el conjunto de primeros subnúcleos 2050A-2050N incluye al menos un primer conjunto de unidades de ejecución 2052A-2052N y muestreadores de medios/texturas 2054A-2054N. Cada subnúcleo en el conjunto de segundos subnúcleos 2060A-2060N incluye al menos un segundo conjunto de unidades de ejecución 2062A-2062N y muestreadores 2064A-2064N. En algunas realizaciones, cada subnúcleo 2050A-2050N, 2060A-2060N comparte un conjunto de recursos compartidos 2070A-2070N. En algunas realizaciones, los recursos compartidos incluyen memoria de caché compartida y lógica de operación de píxel. Pueden incluirse también otros recursos compartidos en las diversas realizaciones del procesador de gráficos.

La Figura 21 ilustra lógica de ejecución de hilo 2100 que incluye una matriz de elementos de procesamiento empleados en algunas realizaciones de un GPE. Los elementos de la Figura 21 que tienen los mismos números (o nombres) de referencia que los elementos de cualquier otra figura en el presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, pero sin limitación a esto.

En algunas realizaciones, la lógica de ejecución de hilos 2100 incluye un sombreador de píxeles 2102, un despachador de hilos 2104, una caché de instrucciones 2106, una matriz de unidades de ejecución escalable que incluye una pluralidad de unidades de ejecución 2108A-2108N, un muestreador 2110, una caché de datos 2112 y un puerto de datos 2114. En una realización, los componentes incluidos están interconectados mediante un tejido de interconexión que se enlaza a cada uno de los componentes. En algunas realizaciones, la lógica de ejecución de hilos 2100 incluye una o más conexiones a memoria, tal como la memoria de sistema o memoria caché, a través de una o más de la caché de instrucciones 2106, el puerto de datos 2114, el muestreador 2110 y la matriz de unidades de ejecución 2108A-2108N. En algunas realizaciones, cada unidad de ejecución (por ejemplo, 2108A) es un procesador de vector individual que puede ejecutar múltiples hilos simultáneos y procesar múltiples elementos de datos en paralelo para cada hilo. En algunas realizaciones, la matriz de unidades de ejecución 2108A-2108N incluye cualquier número de unidades de ejecución individuales.

En algunas realizaciones, la matriz de unidades de ejecución 2108A-2108N se usa principalmente para ejecutar programas de "sombreador". En algunas realizaciones, las unidades de ejecución en la matriz 2108A-2108N ejecutan un conjunto de instrucciones que incluye el soporte nativo para muchas instrucciones de sombreador de gráficos de 3D convencional, de manera que se ejecutan los programas de sombreador de las bibliotecas de gráficos (por ejemplo, Direct 3D y OpenGL) con una traducción mínima. Las unidades de ejecución soportan procesamiento de vértices y de geometría (por ejemplo, programas de vértices, programas de geometría, sombreadores de vértices), procesamiento de píxeles (por ejemplo, sombreadores de píxeles, sombreadores de fragmentos) y procesamiento de fin general (por ejemplo, sombreadores de cálculo y de medios).

Cada unidad de ejecución en la matriz de unidades de ejecución 2108A-2108N opera en matrices de elementos de datos. El número de elementos de datos es el "tamaño de ejecución", o el número de canales para la instrucción. Un canal de ejecución es una unidad lógica de ejecución para el acceso de elemento de datos, el enmascaramiento y el control de flujo dentro de las instrucciones. El número de canales puede ser independiente del número de Unidades Aritmético-Lógicas (ALU) o Unidades de Coma Flotante (FPU) físicas para un procesador de gráficos particular. En algunas realizaciones, las unidades de ejecución 2108A-2108N soportan tipos de datos de números enteros y de coma flotante.

El conjunto de instrucciones de la unidad de ejecución incluye instrucciones de datos múltiples de una sola instrucción (SIMD). Los diversos elementos de datos pueden almacenarse como un tipo de datos empaquetado en un registro y la unidad de ejecución procesará los diversos elementos basándose en el tamaño de datos de los elementos. Por ejemplo, cuando se opera en un vector de 256 bits de ancho, los 256 bits del vector se almacenan en un registro y la unidad de ejecución opera en el vector como cuatro elementos de datos empaquetados de 64 bits separados (elementos de datos de tamaño de palabra cuádruple (QW)) ocho elementos de datos empaquetados de 32 bits separados (elementos de datos de tamaño de palabra doble (DW)), dieciséis elementos de datos empaquetados de 16 bits separados (elementos de datos de tamaño de palabra (W)), o treinta y dos elementos de datos de 8 bits separados (elementos de datos de tamaño de byte (B)). Sin embargo, son posibles diferentes tamaños de anchuras de vector y registros.

Una o más cachés de instrucción internas (por ejemplo, 2106) están incluidas en la lógica de ejecución de hilo 2100 a las instrucciones de hilo de caché para las unidades de ejecución. En algunas realizaciones, una o más cachés de datos (por ejemplo, 2112) están incluidas en datos de hilo de caché durante la ejecución de hilo. En algunas realizaciones, se incluye un muestreador 2110 para proporcionar un muestreo de textura para operaciones 3D y muestreo de medios para operaciones de medios. En algunas realizaciones, el muestreador 2110 incluye funcionalidad de textura especializada o muestreo de medios para procesar los datos de textura o de medios durante el proceso de muestreo antes de proporcionar los datos muestreados a una unidad de ejecución.

Durante la ejecución, las canalizaciones de gráficos y de medios envían solicitudes de iniciación de hilo a la lógica de ejecución de hilos 2100 mediante una lógica de generación y de despacho de hilos. En algunas realizaciones, la lógica de ejecución de hilos 2100 incluye un despachador de hilos local 2104 que arbitra las solicitudes de inicio de hilos de las canalizaciones de gráficos y medios y genera instancias a los hilos solicitados en una o más unidades de ejecución 2108A-2108N. Por ejemplo, la canalización de geometría (por ejemplo, 2036 de la Figura 20) despacha hilos de procesamiento de vértices, teselación o procesamiento de geometría a la lógica de ejecución de hilos 2100 (Figura 21). En algunas realizaciones, el despachador de hilo 2104 puede procesar también hilos en tiempo de ejecución que abarcan solicitudes desde los programas de sombreador de ejecución.

Una vez que un grupo de objetos geométricos ha sido procesado y rasterizado en datos de píxeles, se invoca el sombreador de píxeles 2102 para calcular además la información de salida y hacer que los resultados se escriban en las superficies de salida (por ejemplo, memorias intermedias de color, memorias intermedias de profundidad, memorias intermedias de estarcido, etc.). En algunas realizaciones, el sombreador de píxeles 2102 calcula los valores de los diversos atributos de vértice que han de interpolarse a través del objeto rasterizado. En algunas realizaciones, el sombreador de píxeles 2102 a continuación ejecuta un programa de sombreador de píxeles suministrado por la interfaz de programación de aplicaciones (API). Para ejecutar el programa de sombreador de píxeles, el sombreador de píxeles 2102 despacha hilos a una unidad de ejecución (por ejemplo, 2108A) mediante el despachador de hilos 2104. En algunas realizaciones, el sombreador de píxeles 2102 usa la lógica de muestreo de textura en muestreador 2110 para acceder a datos de textura en mapas de textura almacenados en memoria. Las operaciones aritméticas en los datos de textura y los datos de geometría de entrada calculan datos de color de píxel para cada fragmento geométrico, o descartan uno o más píxeles de su procesamiento adicional.

En algunas realizaciones, el puerto de datos 2114 proporciona un mecanismo de acceso a memoria para que la lógica de ejecución de hilos 2100 emita datos procesados a memoria para su procesamiento en una canalización de salida de procesador de gráficos. En algunas realizaciones, el puerto de datos 2114 incluye o se acopla a una o más memorias de caché (por ejemplo, la caché de datos 2112) para almacenar en caché datos para el acceso a memoria mediante el puerto de datos.

La Figura 22 es un diagrama de bloques que ilustra unos formatos de instrucción de procesador de gráficos 2200 de acuerdo con algunas realizaciones. En una o más realizaciones, las unidades de ejecución de procesador de gráficos soportan un conjunto de instrucciones que tiene instrucciones en múltiples formatos. Los recuadros con línea continua ilustran los componentes que se incluyen en general en una instrucción de unidad de ejecución, mientras que las líneas discontinuas incluyen componentes que son opcionales o que únicamente están incluidos en un subconjunto de las instrucciones. En algunas realizaciones, el formato de instrucción 2200 descrito e ilustrado son macroinstrucciones, en el sentido de que las mismas son instrucciones suministradas a la unidad de ejecución, en contraposición a micro-operaciones resultantes de la decodificación de instrucciones una vez que se ha procesado la instrucción.

En algunas realizaciones, las unidades de ejecución de procesador de gráficos soportan de manera nativa las instrucciones en un formato de 128 bits 2210. Un formato de instrucción de 64 bits compacto 2230 está disponible para algunas instrucciones basándose en la instrucción seleccionada, las opciones de instrucción y el número de operandos. El formato de 128 bits nativo 2210 proporciona acceso a todas las opciones de instrucción, mientras que algunas opciones y operaciones están restringidas en el formato de 64 bits 2230. Las instrucciones nativas disponibles en el formato de 64 bits 2230 varían por realización. En algunas realizaciones, la instrucción está compactada en parte usando un conjunto de valores de índice en un campo de índice 2213. El hardware de la unidad de ejecución hace referencia a un conjunto de tablas de compactación basándose en los valores de índice y usa las salidas de tabla de compactación para reconstruir una instrucción nativa en el formato de 128 bits 2210.

Para cada formato, la operación de código de instrucción 2212 define la operación que ha de realizar la unidad de ejecución. Las unidades de ejecución ejecutan cada instrucción en paralelo a lo largo de los múltiples elementos de datos de cada operando. Por ejemplo, en respuesta a una instrucción de adición, la unidad de ejecución realiza una operación de adición simultánea a través de cada canal de color que representa un elemento de textura o elemento de imagen. Por defecto, la unidad de ejecución realiza cada instrucción a través de todos los canales de datos de los operandos. En algunas realizaciones, el campo de control de instrucción 2214 posibilita el control a través de ciertas opciones de ejecución, tal como la selección de canales (por ejemplo, predicación) y orden de canal de datos (por ejemplo, mezcla). Para las instrucciones de 128 bits 2210, un campo de tamaño de ejecución 2216 limita el número de canales de datos que se ejecutarán en paralelo. En algunas realizaciones, el campo de tamaño de ejecución 2216 no está disponible para su uso en el formato de instrucción compacto de 64 bits 2230.

Algunas instrucciones de la unidad de ejecución tienen hasta tres operandos que incluyen dos operandos de origen, src0 2220, src1 2222, y un destino 2218. En algunas realizaciones, las unidades de ejecución soportan instrucciones de destino dual, donde está implicado uno de los destinos. Las instrucciones de manipulación de datos pueden tener un tercer operando de origen (por ejemplo, SRC₂2224), donde la operación de código de instrucción 2212 determina el número de operandos de origen. Un último operando de origen de la instrucción puede ser un valor inmediato (por ejemplo, precodificado) pasado con la instrucción.

En algunas realizaciones, el formato de instrucción de 128 bits 2210 incluye una información de modo de acceso/dirección 2226 que especifica, por ejemplo, si se usa el modo de direccionamiento de registro directo o el modo de direccionamiento de registro indirecto. Cuando se usa el modo de direccionamiento de registro directo, la dirección de registro de uno o más operandos se proporciona directamente por los bits en la instrucción 2210.

En algunas realizaciones, el formato de instrucción de 128 bits 2210 incluye un campo de modo de acceso/dirección 2226, que especifica un modo de dirección y/o un modo de acceso para la instrucción. En una realización, el modo de acceso para definir una alineación de acceso de datos para la instrucción. Algunas realizaciones soportan modos de acceso que incluyen un modo de acceso alineado de 16 bytes y un modo de acceso alineado de 1 byte, donde la alineación de bytes del modo de acceso determina la alineación de acceso de los operandos de instrucción. Por ejemplo, cuando está en un primer modo, la instrucción 2210 puede usar un direccionamiento alineado en bytes para operandos de origen y destino y, cuando está en un segundo modo, la instrucción 2210 puede usar direccionamiento alineado de 16 bytes para todos los operandos de origen y destino.

En una realización, la porción de modo de dirección del campo de modo de acceso/dirección 2226 determina si la instrucción es para usar el direccionamiento directo o indirecto. Cuando se usa el modo de direccionamiento de registro directo, los bits en la instrucción 2210 proporcionan directamente la dirección de registro de uno o más operandos. Cuando se usa el modo de direccionamiento de registro indirecto, puede calcularse la dirección de registro de uno o más operandos basándose en un valor de registro de dirección y un campo de dirección inmediata en la instrucción.

En algunas realizaciones, las instrucciones se agrupan basándose en los campos de bits del código de operación 2212 para simplificar la decodificación del código de operación 2240. Para un código de operación de 8 bits, los bits 4, 5 y 6 permiten que la unidad de ejecución determine el tipo de código de operación. La agrupación de código de operación precisa mostrada es simplemente un ejemplo. En algunas realizaciones, un grupo de código de operación de movimiento y lógica 2242 incluye instrucciones de movimiento y lógica de datos (por ejemplo, mover (mov), comparar (cmp)). En algunas realizaciones, el grupo de movimiento y lógica 2242 comparte los cinco bits más significativos (MSB), donde las instrucciones mover (mov) están en forma de 0000xxxxb y las instrucciones de lógica están en forma de 0001xxxxb. Un grupo de instrucciones de control de flujo 2244 (por ejemplo, llamada, salto (jmp)) incluye instrucciones en forma de 0010xxxxb (por ejemplo, 0x20). Un grupo de instrucciones misceláneas 2246 incluye una mezcla de instrucciones, incluyendo instrucciones de sincronización (por ejemplo, esperar, enviar) en forma de 0011xxxxb (por ejemplo, 0x30). Un grupo de instrucciones de cálculo paralelo 2248 incluye instrucciones aritméticas a nivel de componente (por ejemplo, añadir, multiplicar (mul)) en forma de 0100xxxxb (por ejemplo, 0x40). El grupo de cálculo matemático paralelo 2248 realiza las operaciones aritméticas en paralelo a través de canales de datos. El grupo de cálculo matemático vectorial 2250 incluye instrucciones aritméticas (por ejemplo, dp4) en forma de 0101xxxxb (por ejemplo, 0x50). El grupo de cálculo matemático vectorial realiza la aritmética tal como los cálculos de producto escalar en operandos vectoriales.

Canalización de gráficos

La Figura 23 es un diagrama de bloques de otra realización de un procesador de gráficos 2300. Los elementos de la Figura 23 que tienen los mismos números (o nombres) de referencia que los elementos de cualquier otra figura en el presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, pero sin limitación a esto.

En algunas realizaciones, el procesador de gráficos 2300 incluye una canalización de gráficos 2320, una canalización de medios 2330, un motor de visualización 2340, lógica de ejecución de hilos 2350 y una canalización de salida del representador 2370. En algunas realizaciones, el procesador de gráficos 2300 es un procesador de gráficos dentro de un sistema de procesamiento de múltiples núcleos que incluye uno o más núcleos de procesamiento de fin general. El procesador de gráficos se controla por las escrituras de registro en uno o más registros de control (no mostrados) o mediante comandos emitidos al procesador de gráficos 2300 mediante una interconexión en anillo 2302. En algunas realizaciones, la interconexión en anillo 2302 acopla el procesador de gráficos 2300 a otros componentes de procesamiento, tales como otros procesadores de gráficos o procesadores de fin general. Los comandos desde la interconexión en anillo 2302 se interpretan por un emisor de envío por flujo continuo de comandos 2303, que suministra instrucciones a componentes individuales de la canalización de gráficos 2320 o la canalización de medios 2330.

En algunas realizaciones, el emisor por flujo continuo de comandos 2303 dirige la operación de un extractor de vértices 2305 que lee datos de vértices desde memoria y ejecuta comandos de procesamiento de vértices proporcionados por el emisor de envío por flujo continuo de comandos 2303. En algunas realizaciones, el extractor de vértices 2305 proporciona datos de vértices a un sombreador de vértices 2307, que realiza operaciones de transformación espacial de coordenadas y de iluminación en cada vértice. En algunas realizaciones, el extractor de vértices 2305 y el sombreador de vértices 2307 ejecutan instrucciones de procesamiento de vértices despachando hilos de ejecución a unidades de ejecución 2352A, 2352B mediante un despachador de hilos 2331.

En algunas realizaciones, las unidades de ejecución 2352A, 2352B son una matriz de procesadores vectoriales que tienen un conjunto de instrucciones para realizar operaciones de gráficos y de medios. En algunas realizaciones, las unidades de ejecución 2352A, 2352B tienen una caché L1 adjunta 2351 que es específica para cada matriz o está compartida entre las matrices. La caché puede estar configurada como una caché de datos, una caché de instrucciones o una única caché que está subdividida para contener datos e instrucciones en diferentes subdivisiones.

En algunas realizaciones, la canalización de gráficos 2320 incluye componentes de teselación para realizar teselación acelerada por hardware de objetos 3D. En algunas realizaciones, un sombreador de casco programable 2311 configura las operaciones de teselación. Un sombreador de domino programable 2317 proporciona una evaluación de extremo trasero de la salida de teselación. Un teselador 2313 opera en la dirección del sombreador de casco 2311 y contiene lógica de fin especial para generar un conjunto de objetos geométricos detallados basándose en un modelo geométrico aproximado que se proporciona como entrada a la canalización de gráficos 2320. En algunas realizaciones, si no se usa la teselación, pueden omitirse los componentes de teselación 2311,2313, 2317.

En algunas realizaciones, pueden procesarse objetos geométricos completos por un sombreador de geometría 2319 mediante uno o más hilos despachados a unidades de ejecución 2352A, 2352B, o pueden continuar directamente al recortador 2329. En algunas realizaciones, el sombreador de geometría opera en objetos geométricos enteros, en lugar de en vértices o parches de vértices como en etapas anteriores de la canalización de gráficos. Si se desactiva la teselación, el sombreador de geometría 2319 recibe entrada desde el sombreador de vértices 2307. En algunas realizaciones, el sombreador de geometría 2319 es programable por un programa de sombreador de geometría para realizar teselación de geometría si las unidades de teselación están desactivadas.

Antes de la rasterización, un recortador 2329 procesa datos de vértices. El recortador 2329 puede ser un recortador de función fija o un recortador programable que tiene funciones de recortador y de sombreador de geometría. En algunas realizaciones, un rasterizador 2373 (por ejemplo, el componente de prueba de profundidad) en la canalización de salida del representador 2370 despacha sombreadores de píxeles para convertir los objetos geométricos en sus representaciones por píxeles. En algunas realizaciones, la lógica de sombreador de píxeles está incluida en la lógica de ejecución de hilos 2350. En algunas realizaciones, una aplicación puede omitir el rasterizador 2373 y accede a datos de vértices no rasterizados mediante una unidad de salida de flujo 2323.

El procesador de gráficos 2300 tiene un bus de interconexión, tejido de interconexión o algún otro mecanismo de interconexión que permite que los datos y los mensajes pasen entre los componentes principales del procesador. En algunas realizaciones, las unidades de ejecución 2352A, 2352B y la caché o cachés asociadas 2351, el muestreador de textura y de medios 2354 y la caché de textura/muestreador 2358 se interconectan mediante un puerto de datos 2356 para realizar el acceso a memoria y comunicarse con los componentes de canalización de salida del representador del procesador. En algunas realizaciones, cada uno del muestreador 2354, las cachés 2351,2358 y las unidades de ejecución 2352A, 2352B tienen rutas de acceso a memoria separadas.

En algunas realizaciones, la canalización de salida del representador 2370 contiene un rasterizador 2373 que convierte objetos basados en vértices en una representación basada en píxeles asociada. En algunas realizaciones, la lógica del rasterizador incluye una unidad generadora de ventanas/enmascaradora para realizar rasterización de triángulo y de línea de función fija. Una caché del representador asociada 2378 y caché de profundidad 2379 también están disponibles en algunas realizaciones. Un componente de operaciones de píxel 2377 realiza operaciones basadas en píxel en los datos, aunque, en algunos casos, las operaciones de píxeles asociadas con las operaciones 2D (por ejemplo, transferencias de imagen de bloque de bits con mezcla) se realizan por el motor 2D 2341, o se sustituyen en el momento de visualización por el controlador de visualización 2343 usando planos de visualización superpuestos. En algunas realizaciones, está disponible una caché L3 compartida 2375 para todos los componentes de gráficos, lo que permite la compartición de datos sin el uso de memoria de sistema principal.

En algunas realizaciones, la canalización de medios del procesador de gráficos 2330 incluye un motor de medios 2337 y un extremo frontal de vídeo 2334. En algunas realizaciones, el extremo frontal de vídeo 2334 recibe comandos de canalización desde el emisor de envío por flujo continuo de comandos 2303. En algunas realizaciones, la canalización de medios 2330 incluye un emisor de envío por flujo continuo de comandos separado. En algunas realizaciones, el extremo frontal de vídeo 2334 procesa comandos de medios antes de enviar el comando al motor de medios 2337.

En algunas realizaciones, el motor de medios 2337 incluye funcionalidad de generación de hilo para generar hilos para despachar a lógica de ejecución de hilo 2350 mediante el despachador de hilo 2331.

En algunas realizaciones, el procesador de gráficos 2300 incluye un motor de visualización 2340. En algunas realizaciones, el motor de visualización 2340 es externo al procesador 2300 y se acopla con el procesador de gráficos mediante el anillo de interconexión 2302, o algún otro bus o tejido de interconexión. En algunas realizaciones, el motor de visualización 2340 incluye un motor 2D 2341 y un controlador de visualización 2343. En algunas realizaciones, el motor de visualización 2340 contiene lógica de fin especial que puede operar independientemente de la canalización 3D. En algunas realizaciones, el controlador de visualización 2343 se acopla con un dispositivo de visualización (no mostrado), que puede ser un dispositivo de visualización integrado en sistema, como en un ordenador portátil, o un dispositivo de visualización externo adjunto mediante un conector de dispositivo de visualización.

En algunas realizaciones, la canalización de gráficos 2320 y la canalización de medios 2330 se pueden configurar para realizar operaciones basándose en múltiples interfaces de programación de gráficos y de medios y no son específicas de ninguna interfaz de programación de aplicaciones (API). En algunas realizaciones, el software del controlador para el procesador de gráficos traduce llamadas API que son específicas a gráficos o a bibliotecas de medios particulares en comandos que pueden procesarse por el procesador de gráficos. En algunas realizaciones, se proporciona soporte para la biblioteca Open Graphics (OpenGL) y Open Computing Language (OpenCL) de Khronos Group, la biblioteca Direct3D de Microsoft Corporation, o se puede proporcionar soporte tanto para OpenGL como para D3D. También se puede proporcionar soporte para la Biblioteca de Visión Informática de Código Abierto (OpenCV). También se soportaría una API futura con una canalización 3D compatible si pudiera hacerse un mapeo de la canalización de la API futura a la canalización del procesador de gráficos.

Programación de canalización de gráficos

La Figura 24A es un diagrama de bloques que ilustra un formato de comando de procesador de gráficos 2400 de acuerdo con algunas realizaciones. La Figura 24B es un diagrama de bloques que ilustra una secuencia de comandos de procesador de gráficos 2410 de acuerdo con una realización. Los recuadros de línea continua en la Figura 24A ilustran los componentes que están incluidos en general en un comando de gráficos, mientras que las líneas discontinuas incluyen componentes que son opcionales o que están incluidos únicamente en un subconjunto del comandos de gráficos. El formato de comando de procesador de gráficos 2400 ilustrativo de la Figura 24A incluye campos de datos para identificar un cliente objetivo 2402 del comando, un código de operación del comando (código de operación) 2404 y los datos relevantes 2406 para el comando. También se incluye un subcódigo de operación 2405 y un tamaño de comando 2408 en algunos comandos.

En algunas realizaciones, el cliente 2402 especifica la unidad de cliente del dispositivo de gráficos que procesa los datos de comando. En algunas realizaciones, un analizador de comando de procesador de gráficos examina el campo de cliente de cada comando para acondicionar el procesamiento adicional del comando y encaminar los datos de comando a la unidad de cliente apropiada. En algunas realizaciones, las unidades de cliente de procesador de gráficos incluyen una unidad de interfaz de memoria, una unidad del representador, una unidad 2D, una unidad 3D y una unidad de medios. Cada unidad de cliente tiene una canalización de procesamiento correspondiente que procesa los comandos. Una vez que se recibe el comando por la unidad de cliente, la unidad de cliente lee el código de operación 2404 y, si está presente, el subcódigo de operación 2405 para determinar la operación a realizar. La unidad de cliente realiza el comando usando información en el campo de datos 2406. Para algunos comandos, se espera un tamaño de comando explícito 2408 para especificar el tamaño del comando. En algunas realizaciones, el analizador de comando determina automáticamente el tamaño de al menos alguno de los comandos basándose en el código de operación del comando. En algunas realizaciones, se alinean los comandos mediante múltiplos de una palabra doble.

El diagrama de flujo en la Figura 24B muestra una secuencia de comandos de procesador de gráficos 2410 ilustrativo. En algunas realizaciones, el software o firmware de un sistema de procesamiento de datos que presenta una realización de un procesador de gráficos usa una versión de la secuencia de comandos mostrada para establecer, ejecutar y terminar un conjunto de operaciones de gráficos. Se muestra una secuencia de comandos de muestra y se describe para los fines de ejemplo únicamente ya que las realizaciones no están limitadas a estos comandos específicos o para esta secuencia de comandos. Además, pueden emitirse los comandos como un lote de comandos en una secuencia de comandos, de manera que el procesador de gráficos procesará la secuencia de comandos en al menos parcialmente concurrencia.

En algunas realizaciones, la secuencia de comandos de procesador de gráficos 2410 puede comenzar con un comando de vaciado de canalización 2412 para hacer que cualquier canalización de gráficos activa complete los comandos actualmente pendientes para la canalización. En algunas realizaciones, la canalización 3D 2422 y la canalización de medios 2424 no operan concurrentemente. Se realiza el vaciado de la canalización para hacer que la canalización de gráficos activa complete algún comando pendiente. En respuesta a un vaciado de canalización, el analizador de comando para el procesador de gráficos pausará el procesamiento de comandos hasta que los motores de dibujo activos completen las operaciones pendientes y se invaliden las cachés de lectura relevantes. Opcionalmente, cualquier dato en la caché del representador que se marca 'sucio' puede vaciarse a memoria. En algunas realizaciones, puede usarse el comando de vaciado de canalización 2412 para la sincronización de canalización o antes de colocar el procesador de gráficos en un estado de baja potencia.

En algunas realizaciones, se usa un comando de selección de canalización 2413 cuando una secuencia de comandos requiere el procesador de gráficos para conmutar explícitamente entre canalizaciones. En algunas realizaciones, se requiere únicamente un comando de selección de canalización 2413 una vez dentro de un contexto de ejecución antes de emitir comandos de canalización a menos que el contexto sea emitir comandos para ambas canalizaciones. En algunas realizaciones, se requiere un comando de vaciado de canalización 2412 inmediatamente antes de un conmutador de canalización mediante el comando de selección de canalización 2413.

En algunas realizaciones, un comando de control de canalización 2414 configura una canalización de gráficos para la operación y se usa para programar la canalización 3D 2422 y la canalización de medios 2424. En algunas realizaciones, el comando de control de canalización 2414 configura el estado de canalización para la canalización activa. En una realización, se usa el comando de control de canalización 2414 para sincronización de canalización y para limpiar datos de una o más memorias de caché dentro de la canalización activa antes de procesar un lote de comandos.

En algunas realizaciones, se usan comandos de estado de memoria intermedia de retorno 2416 para configurar un conjunto de memorias intermedias de retorno para que las respectivas canalizaciones escriban datos. Algunas operaciones de canalización requieren la asignación, selección o configuración de una o más memorias intermedias de retorno en las que las operaciones escriben datos intermedios durante el procesamiento. En algunas realizaciones, el procesador de gráficos también usa una o más memorias intermedias de retorno para almacenar datos de salida y realizar comunicación de hilo cruzada. En algunas realizaciones, el estado de la memoria intermedia de retorno 2416 incluye seleccionar el tamaño y número de memorias intermedias de retorno para su uso para un conjunto de operaciones de canalización.

Los comandos restantes en la secuencia de comandos difieren basándose en la canalización activa para las operaciones. Basándose en una determinación de la canalización 2420, la secuencia de comandos se adapta a la canalización 3D 2422 que comienza con el estado de canalización 3D 2430, o a la canalización de medios 2424 que comienza en el estado de canalización de medios 2440.

Los comandos para el estado de canalización 3D 2430 incluyen los comandos de ajuste de estado 3D para el estado de memoria intermedia de vértice, estado de elemento de vértice, estado de color constante, estado de memoria intermedia de profundidad y otras variables de estado que han de configurarse antes de que se procesen los comandos de primitiva 3D. Los valores de estos comandos se determinan, al menos en parte, basándose en la API 3D particular en uso. En algunas realizaciones, los comandos de estado de canalización 3D 2430 también pueden desactivar o desviar selectivamente ciertos elementos de canalización si no se usarán estos elementos.

En algunas realizaciones, se usa el comando de primitiva 3D 2432 para enviar que se procesen primitivas 3D por la canalización 3D. Los comandos y parámetros asociados que se pasan al procesador de gráficos mediante el comando de primitiva 3D 2432 se reenvían a la función de extracción de vértice en la canalización de gráficos. La función de extracción de vértices usa los datos de comando de primitiva 3D 2432 para generar estructuras de datos de vértices. Las estructuras de datos de vértices se almacenan en una o más memorias intermedias de retorno. En algunas realizaciones, se usa el comando de primitiva 3D 2432 para realizar operaciones de vértice en primitivas 3D mediante sombreadores de vértice. Para procesar sombreadores de vértice, la canalización 3D 2422 despacha hilos de ejecución de sombreador a las unidades de ejecución de procesador de gráficos.

En algunas realizaciones, se activa la canalización 3D 2422 mediante un comando o evento de ejecución 2434. En algunas realizaciones, una escritura de registro activa la ejecución de comando. En algunas realizaciones, se activa la ejecución mediante un comando 'ir' o 'disparar' en la secuencia de comandos. En una realización se activa la ejecución de comando usando un comando de sincronización de canalización para vaciar la secuencia de comandos a través de la canalización de gráficos. La canalización 3D realizará un procesamiento de geometría para las primitivas 3D. Una vez que están completadas las operaciones, se rasterizan los objetos geométricos resultantes y los colores de motor de píxel y los píxeles resultantes. Pueden incluirse también comandos adicionales para controlar el sombreado de píxeles y las operaciones de extremo trasero de píxeles para estas operaciones.

En algunas realizaciones, la secuencia de comandos de procesador de gráficos 2410 sigue la ruta de canalización de medios 2424 cuando se realizan operaciones de medios. En general, el uso y manera específicos de la programación para la canalización de medios 2424 depende de las operaciones de medios o de cálculo que van a realizarse. Las operaciones de decodificación de medios específicas pueden descargarse en la canalización de medios durante la decodificación de medios. En algunas realizaciones, puede desviarse también la canalización de medios y puede realizarse la decodificación de medios, en su totalidad o en parte, usando recursos proporcionados por uno o más núcleos de procesamiento de fin general. En una realización, la canalización de medios también incluye elementos para las operaciones de la unidad de procesador de gráficos de fin general (GPGPU), donde se usa el procesador de gráficos para realizar operaciones vectoriales SIMD usando programas de sombreador computacionales que no están relacionados explícitamente con la representación de primitivas de gráficos.

En algunas realizaciones, se configura la canalización de medios 2424 de una manera similar que la canalización 3D 2422. Se despacha o se coloca un conjunto de comandos de estado de canalización de medios 2440 en una cola de comandos antes de los comandos de objeto de medios 2442. En algunas realizaciones, los comandos de estado de canalización de medios 2440 incluyen datos para configurar los elementos de canalización de medios que se usarán para procesar los objetos de medios. Esto incluye datos para configurar la lógica de decodificación de vídeo y de codificación de vídeo dentro de la canalización de medios, tal como el formato de codificación o de decodificación. En algunas realizaciones, los comandos de estado de canalización de medios 2440 también soportan el uso de uno o más punteros a elementos de estado "indirecto" que contienen un lote de ajustes de estado.

En algunas realizaciones, los comandos de objeto de medios 2442 suministran punteros a objetos de medios para su procesamiento por la canalización de medios. Los objetos de medios incluyen memorias intermedias que contienen datos de vídeo que van a procesarse. En algunas realizaciones, todos los estados de canalización de medios deben ser válidos antes de que se emita un comando de objeto de medios 2442. Una vez que está configurado el estado de la canalización y se ponen en cola los comandos de objeto de medios 2442, se activa la canalización de medios 2424 mediante un comando de ejecución 2444 o un evento de ejecución equivalente (por ejemplo, escritura de registro). La salida de la canalización de medios 2424 puede post procesarse a continuación por las operaciones proporcionadas por la canalización de 3D 2422 o la canalización de medios 2424. En algunas realizaciones, las operaciones de GPGPU se configuran y ejecutan de una manera similar a las operaciones de medios.

Arquitectura de software de gráficos

La Figura 25 ilustra una arquitectura de software de gráficos ilustrativa para un sistema de procesamiento de datos 2500 de acuerdo con algunas realizaciones. En algunas realizaciones, la arquitectura de software incluye una aplicación de gráficos 3D 2510, un sistema operativo 2520 y al menos un procesador 2530. En algunas realizaciones, el procesador 2530 incluye un procesador de gráficos 2532 y uno o más núcleo o núcleos de procesador de fin general 2534. Cada uno de la aplicación de gráficos 2510 y el sistema operativo 2520 se ejecutan en la memoria de sistema 2550 del sistema de procesamiento de datos.

En algunas realizaciones, la aplicación de gráficos 3D 2510 contiene uno o más programas de sombreador que incluyen instrucciones de sombreador 2512. Las instrucciones de lenguaje de sombreador pueden estar en un lenguaje de sombreador de alto nivel, tal como el Lenguaje de Sombreador de Alto Nivel (HLSL) o el Lenguaje de Sombreador OpenGL (GLSL). La aplicación también incluye instrucciones ejecutables 2514 en un lenguaje máquina adecuado para su ejecución por el núcleo de procesador de fin general 2534. La aplicación también incluye los objetos de gráficos 2516 definidos por los datos de vértices.

En algunas realizaciones, el sistema operativo 2520 es un sistema operativo Microsoft® Windows® de Microsoft Corporation, un sistema operativo similar a UNIX propietario o un sistema operativo similar a UNIX de código abierto que usa una variante del núcleo Linux. Cuando está en uso la API Direct3D, el sistema operativo 2520 usa un compilador de sombreador de extremo frontal 2524 para compilar cualquier instrucción de sombreador 2512 en HLSL en un lenguaje de sombreador de nivel inferior. La compilación puede ser una compilación justo a tiempo (JIT) o la aplicación puede realizar una precompilación de sombreador. En algunas realizaciones, los sombreadores de alto nivel se compilan en sombreadores de bajo nivel durante la compilación de la aplicación de gráficos 3D 2510.

En algunas realizaciones, el controlador de gráficos de modo de usuario 2526 contiene un compilador de sombreador de extremo trasero 2527 para convertir las instrucciones de sombreador 2512 en una representación específica de hardware. Cuando está en uso la API OpenGL, las instrucciones de sombreador 2512 en el lenguaje de alto nivel GLSL se pasan a un controlador de gráficos de modo de usuario 2526 para su compilación. En algunas realizaciones, el controlador de gráficos de modo de usuario 2526 usa las funciones de modo de núcleo de sistema operativo 2528 para comunicarse con un controlador de gráficos de modo de núcleo 2529. En algunas realizaciones, el controlador de gráficos de modo de núcleo 2529 se comunica con el procesador de gráficos 2532 para despachar comandos e instrucciones.

Implementaciones de núcleo de IP

Uno o más aspectos de al menos una realización pueden implementarse por código representativo almacenado en un medio legible por máquina que representa y/o define lógica dentro de un circuito integrado tal como un procesador. Por ejemplo, el medio legible por máquina puede incluir instrucciones que representan una lógica diversa dentro del procesador. Cuando se leen por una máquina, las instrucciones pueden hacer que la máquina fabrique la lógica para realizar las técnicas descritas en el presente documento. Tales representaciones, conocidas como "núcleos de IP", son unidades reutilizables de lógica para un circuito integrado que pueden almacenarse en un medio legible por máquina tangible como un modelo de hardware que describe la estructura del circuito integrado. El modelo de hardware puede suministrarse a diversos clientes o instalaciones de fabricación, que cargan el modelo de hardware en máquinas de fabricación que fabrican el circuito integrado. El circuito integrado puede fabricarse de manera que el circuito realiza las operaciones descritas en asociación con cualquiera de las realizaciones descritas en el presente documento.

La Figura 26 es un diagrama de bloques que ilustra un sistema de desarrollo de núcleo de IP 2600 que puede usarse para fabricar un circuito integrado para realizar las operaciones de acuerdo con una realización. El sistema de desarrollo de núcleo de IP 2600 puede usarse para generar diseños reutilizables modulares que pueden incorporarse en un diseño más grande o usarse para construir un circuito integrado entero (por ejemplo, un circuito integrado de SOC). Una instalación de diseño 2630 puede generar una simulación de software 2610 de un diseño de núcleo de IP en un lenguaje de programación de alto nivel (por ejemplo, C/C++). La simulación de software 2610 puede usare para diseñar, probar y verificar el comportamiento del núcleo de IP. A continuación, puede crearse o sintetizarse un diseño de nivel de transferencia de registro (RTL) a partir del modelo de simulación 2600. El diseño de RTL 2615 es una abstracción del comportamiento del circuito integrado que modela el flujo de señales digitales entre registros de hardware, que incluyen la lógica asociada realizada usando las señales digitales modeladas. Además de un diseño de RTL 2615, los diseños de nivel inferior en el nivel de lógica o en el nivel de transistores también pueden crearse, diseñarse o sintetizarse. Por lo tanto, los detalles particulares del diseño y simulación inicial pueden variar.

El diseño de RTL 2615, o un equivalente, puede ser sintetizado adicionalmente por la instalación de diseño para obtener un modelo de hardware 2620, que puede estar en un lenguaje de descripción de hardware (HDL) o alguna otra representación de datos de diseño físico. El HDL puede simularse o probarse además para verificar el diseño de núcleo de IP. El diseño de núcleo de IP puede almacenarse para su entrega a una instalación de fabricación de 3os 2665 usando memoria no volátil 2640 (por ejemplo, disco duro, memoria flash o cualquier medio de almacenamiento no volátil). Como alternativa, el diseño de núcleo de IP puede transmitirse (por ejemplo, mediante Internet) a través de una conexión alámbrica 2650 o conexión inalámbrica 2660. La instalación de fabricación 2665 puede fabricar a continuación un circuito integrado que está basado al menos en parte en el diseño de núcleo de IP. El circuito integrado fabricado puede estar configurado para realizar operaciones de acuerdo con al menos una realización descrita en el presente documento.

La Figura 27 es un diagrama de bloques que ilustra un circuito integrado de sistema en un chip 2700 ilustrativo que puede fabricarse usando uno o más núcleos de IP, de acuerdo con una realización. El circuito integrado ilustrativo incluye uno o más procesadores de aplicación 2705 (por ejemplo, las CPU), al menos un procesador de gráficos 2710, y puede incluir adicionalmente un procesador de imágenes 2715 y/o un procesador de vídeo 2720, cualquiera de los que puede ser un núcleo de IP modular desde las mismas o múltiples diferentes instalaciones de diseño. El circuito integrado incluye lógica de periférico o de bus que incluye un controlador de USB 2725, controlador de UART 2730, un controlador de SPI/SDIO 2735 y un controlador de I2S/I2C 2740. Adicionalmente, el circuito integrado puede incluir un dispositivo de visualización 2745 acoplado a uno o más de un controlador de interfaz multimedia de alta definición (HDMI) 2750 y una interfaz de visualización de interfaz de procesador de industria móvil (MIPI) 2755. El almacenamiento puede proporcionarse por un subsistema de memoria flash 2760 que incluye la memoria flash y un controlador de memoria flash. La interfaz de memoria puede proporcionarse mediante un controlador de memoria 2765 para acceso a dispositivos de memoria de SDRAM o SRAM. Algunos circuitos integrados incluyen adicionalmente un motor de seguridad integrado 2770.

Además, se pueden incluir otras lógicas y circuitos en el procesador del circuito integrado 2700, incluyendo procesadores/núcleos de gráficos adicionales, controladores de interfaz periféricos o núcleos de procesador de propósito general.

Las realizaciones son aplicables para su uso con todos los tipos de chips de circuitos integrados ("CI") de semiconductores. Los ejemplos de estos chips CI incluyen, pero sin limitación, procesadores, controladores, componentes de conjuntos de chips, conjuntos lógicos programables (PLA), chips de memoria, chips de red, sistemas en chip (SoC), ASIC de controlador de SSD/NAND y similares. Además, en algunos de los dibujos, las líneas conductoras de señales se representan con líneas. Algunas pueden ser diferentes, para indicar más rutas de señal constituyentes, tener una etiqueta numérica, para indicar un número de rutas de señal constituyentes y/o tener flechas en uno o más extremos, para indicar la dirección de flujo de información principal. Esto, sin embargo, no debe interpretarse de manera limitativa. Más bien, tal detalle añadido se puede usar en relación con una o más realizaciones ilustrativas para facilitar una comprensión más fácil de un circuito. Cualquier línea de señal representada, tenga o no información adicional, en realidad puede comprender una o más señales que pueden viajar en múltiples direcciones y puede implementarse con cualquier tipo adecuado de esquema de señal, por ejemplo, líneas digitales o analógicas implementadas con pares diferenciales, líneas de fibra óptica y/o líneas de un solo extremo.

Se pueden haber dado ejemplos de tamaños/modelos/valores/intervalos, aunque las realizaciones no se limitan a lo mismo. A medida que las técnicas de fabricación (por ejemplo, la fotolitografía) maduran con el tiempo, se espera que se puedan fabricar dispositivos de menor tamaño. Además, las conexiones de alimentación/tierra bien conocidas a los chips de CI y otros componentes pueden mostrarse o no dentro de las figuras, para simplificar la ilustración y el análisis, y para no oscurecer ciertos aspectos de las realizaciones. Además, las disposiciones pueden mostrarse en forma de diagrama de bloques para evitar oscurecer las realizaciones, y también en vista del hecho de que los detalles específicos con respecto a la implementación de tales disposiciones de diagrama de bloques dependen en gran medida de la plataforma en la que se va a implementar la realización, es decir, tales detalles específicos deberían estar dentro del alcance de un experto en la materia. Cuando se establecen detalles específicos (por ejemplo, circuitos) para describir realizaciones ilustrativas, debería ser evidente para un experto en la materia que las realizaciones se pueden poner en práctica sin, o con variación de, estos detalles específicos. Por lo tanto, la descripción debe considerarse ilustrativa en lugar de limitativa.

El término "acoplado" puede usarse en el presente documento para referirse a cualquier tipo de relación, directa o indirecta, entre los componentes en cuestión, y puede aplicarse a conexiones eléctricas, mecánicas, de fluidos, ópticas, electromagnéticas, electromecánicas u otras. Además, los términos "primero", "segundo", etc. pueden usarse en el presente documento únicamente para facilitar el análisis y no tienen un significado temporal o cronológico particular a menos que se indique lo contrario. Adicionalmente, se entiende que los artículos indefinidos "un" o "una" conllevan el significado de "uno o más" o "al menos uno".

Como se usa en esta solicitud y en las reivindicaciones, una lista de elementos unidos por la expresión "uno o más de" puede significar cualquier combinación de los términos enumerados. Por ejemplo, las expresiones "uno o más de A, B o C" pueden significar A, B, C; A y B; A y C; B y C; o A, B y C.

Las realizaciones se han descrito anteriormente con referencia a realizaciones específicas. El alcance de la protección está definido por las reivindicaciones adjuntas.

Claims

REIVINDICACIONES

1. Un aparato de gráficos (620, 670, 700, 800, 840, 1000) para implementar realidad virtual colaborativa multiusuario y soportar múltiples ventanas gráficas para un vídeo de 360° y/o Twitch de 360°, comprendiendo el aparato: un procesador (200, 405-407, 601, 621, 671, 1602, 1608, 1612, 1700, 1708, 1800, 2000, 2300, 2530, 2532, 2715, 2720);

memoria (104, 222, 270, 272, 346, 362, 401-402, 411,420-423, 622, 672, 1518, 2550) acoplada comunicativamente al procesador; y

un motor de colaboración (607, 618, 623) acoplado comunicativamente al procesador para:

identificar (631) un componente de gráficos compartido entre dos o más usuarios en un entorno; y

compartir (632) los componentes de gráficos compartidos con los dos o más usuarios en el entorno, caracterizado por que el motor de colaboración (607, 618, 623) incluye además un subsistema de gráficos multipuerto (627, 675) para soportar un usuario diferente en cada puerto del subsistema de gráficos multipuerto (627, 675) y un distribuidor de decodificación (628, 1000) para:

identificar (647) una región superpuesta de una escena compartida entre una primera región de vista de un primer usuario y una segunda región de vista de un segundo usuario;

decodificar (648) la región superpuesta; y

compartir (649) la región superpuesta decodificada tanto con el primer usuario como con el segundo usuario.

2. El aparato (620, 670, 700, 800, 840, 1000) de la reivindicación 1, en donde el motor de colaboración (607, 618, 623) incluye además un distribuidor centralizado (624) para:

un difusor (721) para difundir los componentes gráficos compartidos a todos los dos o más usuarios; y

un distribuidor para distribuir un componente de gráficos separado por separado a uno de los dos o más usuarios.

3. El aparato (620, 670, 700, 800, 840, 1000) de la reivindicación 1, en donde el motor de colaboración (607, 618, 623) incluye además un distribuidor de profundidad (625) para:

recopilar información de profundidad de una fuente independiente de un primer usuario de los dos o más usuarios; y compartir la información de profundidad con el primer usuario.

4. El aparato (620, 670, 700, 800, 840, 1000) de la reivindicación 1, en donde el motor de colaboración (607, 618, 623) incluye además un preprocesador compartido (626) para:

precalcular información relacionada con el componente de gráficos compartido; y

compartir la información precalculada con los dos o más usuarios.

5. Un método implementado por ordenador (630, 680) de colaboración de gráficos para implementar realidad virtual colaborativa multiusuario y soportar múltiples ventanas gráficas para un vídeo de 360° y/o un Twitch de 360°, que comprende:

compartir (632) los componentes de gráficos compartidos con los dos o más usuarios en el entorno, caracterizado por que el método (630, 680) comprende, además (32G, 64G):

soportar un usuario diferente en cada puerto de un subsistema de gráficos multipuerto (627, 675);

decodificar (648) la región superpuesta; y

6. El método (630, 680) de la reivindicación 5, que comprende, además:

difundir los componentes gráficos compartidos a todos los dos o más usuarios; y

distribuir un componente de gráficos separado por separado a uno de los dos o más usuarios.

7. El método (630, 680) de la reivindicación 5, que comprende, además:

8. El método (630, 680) de la reivindicación 5 que comprende además:

compartir la información precalculada con los dos o más usuarios.

9. Al menos un medio legible por ordenador, que comprende un conjunto de instrucciones que, cuando son ejecutadas por un dispositivo informático, hacen que el dispositivo informático implemente una realidad virtual colaborativa multiusuario y soporte múltiples ventanas gráficas para un vídeo 360 y/o un Twitch 360, que comprende las etapas:

compartir (632) los componentes de gráficos compartidos con los dos o más usuarios en el entorno, caracterizado por que el conjunto de instrucciones hace además que el dispositivo informático:

identifique (647) una región superpuesta de una escena compartida entre una primera región de vista de un primer usuario y una segunda región de vista de un segundo usuario;

decodifique (648) la región superpuesta; y

comparta (649) la región superpuesta decodificada tanto con el primer usuario como con el segundo usuario.

10. El al menos un medio legible por ordenador de la reivindicación 9, que comprende un conjunto de instrucciones adicional que, cuando son ejecutadas por un dispositivo informático, hacen que el dispositivo informático: difunda los componentes gráficos compartidos a todos los dos o más usuarios; y

distribuya un componente de gráficos separado por separado a uno de los dos o más usuarios.

11. El al menos un medio legible por ordenador de la reivindicación 10, que comprende un conjunto de instrucciones adicional que, cuando son ejecutadas por un dispositivo informático, hacen que el dispositivo informático: divida la carga de trabajo para los componentes de gráficos compartidos basándose en un aparato de realidad virtual objetivo (620, 670, 700, 800, 840, 1000).