DE112020002425T5

DE112020002425T5 - Bewegungsvorhersage unter verwendung eines oder mehrerer neuronaler netzwerke

Info

Publication number: DE112020002425T5
Application number: DE112020002425.3T
Authority: DE
Inventors: Artem Rozantsev; Marco Foco; Gavriel STATE
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2019-05-17
Filing date: 2020-05-15
Publication date: 2022-01-27
Also published as: WO2020236596A1; US20220230376A1

Abstract

Eine Animation kann mit einer hohen Wahrnehmungsqualität durch Benutzen eines trainierten neuronalen Netzwerks erzeugt werden, das als Eingabe einen aktuellen Zustand eines zu animierenden virtuellen Charakters nimmt, der zu animieren und vorherzusagen ist, wie dieser Charakter in einem oder mehreren anschließenden Frames erscheinen würde. Ein derartiger Prozess kann rekursiv durchgeführt werden, um die Daten für diese Frames zu erzeugen. Während des Trainings kann jedes Frame einer erzeugten Sequenz aus einem Ergebnis für ein vorheriges Frame vorhergesagt werden und diese erzeugte Sequenz kann mit einer Ground-Truth-Sequenz unter Verwendung eines generativen Netzwerks verglichen werden. Unterschiede zwischen den Ground-Truth- und den erzeugten Animationssequenzen können minimiert werden, wodurch eine spezifische Zielfunktion nicht manuell definiert werden muss. Das Minimieren von Unterschieden zwischen den erzeugten Animationssequenzen und den Ground-Truth-Sequenzen während des Trainings verbessert die Qualität von Netzwerkvorhersagen für einzelne Frames zur Inferenzzeit.

Description

QUERVERWEIS AUF VERWANDTE ANWENDUNGEN
Diese Anwendung beansprucht die Priorität der vorläufigen U.S.-Patentanmeldung mit der Seriennummer 62/849,731, eingereicht am 17. Mai 2019, mit dem Titel „Adversarial Training of Deep Motion Prediction Controllers“, die hier durch Bezugnahme in ihrer Gesamtheit und für alle Zwecke aufgenommen ist.
HINTERGRUND
Leute konsumieren eine immer zunehmende Menge an digitalem Inhalt unter Verwendung von Vorrichtungen mit immer zunehmenden Anzeigefähigkeiten. Demgemäß ist es wünschenswert, die Qualität von diesem digitalen Inhalt ebenfalls zu verbessern, wie beispielsweise durch Erhöhen einer Wahrnehmungsqualität der anzuzeigenden Computeranimation. Maschinelles Lernen wurde eingeführt, um dabei zu helfen, einer derartige Qualität der erzeugten Animation zu verbessern, wobei existierende Vorgehensweisen jedoch häufig Techniken benutzen, die zu Überanpassung und einer Unfähigkeit eines Netzwerks führen können, seine eigenen akkumulierten Fehler zu korrigieren, was sich negativ auf die Qualität der erzeugten Animation auswirken kann.
Figurenliste
Verschiedene Ausführungsformen gemäß der vorliegenden Offenbarung werden mit Bezugnahme auf die Zeichnungen beschrieben, in denen:

1A, 1B, 1C und 1D Frames einer Animation veranschaulichen, die erzeugt werden kann, gemäß mindestens einer Ausführungsform;
FIG. eine Inhalt-Präsentationsarchitektur2 veranschaulicht, die analysiert werden kann, gemäß mindestens einer Ausführungsform;
3 eine beispielhafte Trainingsarchitektur gemäß mindestens einer Ausführungsform veranschaulicht;
4A und 4B Leistungsdaten für unterschiedliche Modelle gemäß mindestens einer Ausführungsform veranschaulichen;
5 einen beispielhaften Prozess 500 zum Trainieren eines Bewegungsvorhersagemodells gemäß mindestens einer Ausführungsform veranschaulicht;
6 einen beispielhaften Prozess 600 zum Erzeugen des Charakterzustands für ein Frame gemäß mindestens einer Ausführungsform veranschaulicht;
7A eine Inferenz- und/oder Trainingslogik gemäß mindestens einer Ausführungsform veranschaulicht;
7B eine Inferenz- und/oder Trainingslogik gemäß mindestens einer Ausführungsform veranschaulicht;
8 ein beispielhaftes Rechenzentrumsystem gemäß mindestens einer Ausführungsform veranschaulicht;
9 ein Computersystem gemäß mindestens einer Ausführungsform veranschaulicht;
10 veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform veranschaulicht;
11 zumindest Abschnitte eines Graphikprozessors gemäß einer oder mehreren Ausführungsformen veranschaulicht;
12 zumindest Abschnitte eines Graphikprozessors gemäß einer oder mehreren Ausführungsformen veranschaulicht;
13 ein beispielhaftes Datenablaufdiagramm für eine fortgeschrittenen Rechen-Pipeline gemäß mindestens einer Ausführungsform ist;
14 ein Systemdiagramm für ein beispielhaftes System zum Trainieren, Anpassen, Instanziieren und Einsetzen von maschinellen Lernmodellen in einer fortgeschrittenen Rechen-Pipeline gemäß mindestens einer Ausführungsform ist; und
15A und 15B ein Datenablaufdiagramm für einen Prozess, um ein maschinelles Lernmodell zu trainieren, sowie auch eine Client-Server-Architektur, um Annotationstools mit vortrainierten Annotationsmodellen zu verbessern, gemäß mindestens einer Ausführungsform veranschaulichen.

AUSFÜHRLICHE BESCHREIBUNG
In Anwendungen, wie beispielsweise Spielen und Animation, kann es wünschenswert sein, die Bewegung von einem oder mehreren virtuellen Charakteren oder Objekten zu erzeugen oder zu rendern. In einigen Instanzen kann dies das Bereitstellen eines virtuellen Charakters umfassen, wie beispielsweise in den beispielhaften Animationsframes 100 von 1A - 1D veranschaulicht, wobei dieser Charakter aus einer Anzahl von Elementen zusammengesetzt sein kann, die durch eine Anzahl von Gelenken verbunden sind. Um diesen Charakter zu animieren, können Posen- oder Zustandsinformationen für diese verschiedenen Gelenke geändert werden, um die entsprechenden Elemente (z.B. Arme, Beine oder Kopf) dieses Charakters zu veranlassen, sich zu bewegen oder die Orientierung und Position in geeigneter Weise zu ändern. Es kann verschiedene Möglichkeiten geben, eine Eingabe bereitzustellen, um die Pose oder den Zustand dieser verschiedenen Gelenke einzustellen, wie es eine manuelle Eingabe oder eine Bewegungserfassung neben anderen solchen Optionen beinhalten kann. 1A bis ID veranschaulichen beispielhafte Frames einer Animationssequenz, wobei dieser Charakter animiert ist, um scheinbar eine Steigung zu erklimmen. Um die Animation ordnungsgemäß zu rendern, kann es verschiedene Beschränkungen geben, die angewandt werden, wie sie sich auf Einschränkungen auf Posen der verschiedenen Gelenken sowie auch physischen Beschränkungen aufgrund der Oberfläche der Steigung beziehen können, die erklommen wird.
Verschiedene existierende Vorgehensweisen können als Eingabe Aktualisierungen nehmen, wie beispielsweise Poseninformationen für ein oder mehrere Gelenke, und diese verwenden, um Animation zu erzeugen. Derartige Vorgehensweisen sorgen jedoch nicht immer für eine realistische Animation, weil die Animation nicht glatt sein kann oder nicht darstellen kann, wie sich ein tatsächlicher Charakter, der eine derartige Aktion durchführt, mit der Zeit bewegen würde. Um eine Wahrnehmungsqualität einer derartigen Animation zu verbessern, können Vorgehensweisen gemäß verschiedener Ausführungsformen ein trainiertes neuronales Netzwerk benutzen, das als eine Eingabe beispielsweise einen aktuellen Zustand eines zu animierenden virtuellen Charakters nimmt, wobei dieser Zustand Informationen für die Posen von unterschiedlichen Gelenken in zwei oder drei Dimensionen sowie auch Winkel und andere Informationen umfasst, die für die Animation nützlich sein können. Dieses Netzwerk kann dann vorhersagen, wie dieser Charakter in einem oder mehreren anschließenden Frames der Animation oder anschließenden Charakterzuständen erscheinen würde. Ein derartiger Prozess kann rekursiv durchgeführt werden, um die Daten für diese Frames zu erzeugen. Vorgehensweisen gemäß verschiedener Ausführungsformen können verbesserte Ergebnisse durch Starten mit einem einzelnen Anfangs-Frame bereitstellen, wobei dieser dann jedoch verwendet wird, um eine Sequenz von anschließenden Frames vorherzusagen, wobei jedes Frame von einem Ergebnis eines vorherigen Frames vorhergesagt wird. Diese erzeugte Sequenz kann dann mit einer Ground-Truth-Sequenz während des Trainings verglichen werden, wie beispielsweise durch Verwenden eines generativen adversarialen Netzwerks (GAN). Unterschiede zwischen den Ground-Truth- und den erzeugten Animationssequenzen können minimiert werden, wodurch es nicht notwendig ist, dass eine spezifische Zielfunktion manuell definiert wird. Das Minimieren der Unterschiede zwischen den erzeugten und den Ground-Truth-Animationssequenzen während des Trainings kann ebenfalls dabei helfen, die Qualität von Netzwerkvorhersagen für einzelne Frames zur Inferenzzeit zu verbessern.
In mindestens einer Ausführungsform kann der zu präsentierende Inhalt verschiedene Arten von Inhalt, wie virtuelle Realität (VR), augmentierte Realität (AR), Spielen, Audio- oder Video-Inhalt umfassen. In mindestens einer Ausführungsform kann dieser Inhalt unter Verwendung einer Client-Vorrichtung 202 präsentiert werden, wie in der Systemarchitektur 200 von 2 veranschaulicht. Die Client-Vorrichtung 202 kann jede geeignete Vorrichtung umfassen, die imstande ist, mindestens einen derartigen Inhalt zu präsentieren, wie es einen Desktop-Computer, einen Notebook-Computer, eine Set-Top-Box, eine Streaming-Vorrichtung, eine Gaming-Konsole, ein Smartphone, einen Tablet-Computer, einen VR-Headset, AR-Schutzbrillen, einen tragbaren Computer oder einen Smartfernseher umfassen kann. In mindestens einer Ausführungsform kann dieser Inhalt einen Inhalt umfassen, der über mindestens ein Netzwerk 212 von einem Inhalt-Server 220 an eine Client-Vorrichtung 202 übertragen wird. In mindestens einer Ausführungsform kann eine Inhalt-Präsentationsanwendung 224, die auf einem Inhalt-Server 220 ausgeführt wird, eine der Client-Vorrichtung 202 zugeordnete Sitzung unter Verwendung eines Sitzung-Managers 226 und in einer Benutzerdatenbank 234 gespeicherte Benutzerdaten initiieren und kann bewirken, dass ein Inhalt 232 unter Verwendung einer Rendering-Engine 228 gerendert wird, wenn für diese Art von Inhalt benötigt, und an die Client-Vorrichtung 202 unter Verwendung eines geeigneten Stream-Managers 222 übertragen wird. In mindestens einer Ausführungsform kann die Client-Vorrichtung 202, die diesen Inhalt empfängt, eine Inhalt-Präsentationsanwendung 204 bereitstellen, die ebenfalls eine Rendering-Engine 206 zur Präsentation über die Client-Vorrichtung 202 (wie beispielsweise Video-Inhalt durch eine Anzeige 208) und Audio (wie beispielsweise Klänge und Musik) durch mindestens einer Audiowiedergabevorrichtung 210, wie beispielsweise einen Lautsprecher oder Kopfhörer, umfassen kann. In mindestens einer Ausführungsform kann dieser Inhalt bereits gespeichert sein auf oder zugreifbar sein von einer Client-Vorrichtung 202, so dass eine Übertragung über das Netzwerk 212 nicht erforderlich ist. In mindestens einer Ausführungsform kann auch ein anderer Übertragungsmechanismus als Streaming verwendet werden, um diesen Inhalt von dem Server 220 oder der Inhalt-Datenbank 232 an die Client-Vorrichtung 202 zu transferieren.
In mindestens einer Ausführungsform, bei der die Client-Vorrichtung 202 mit einem entfernten Server kommuniziert, kann die Anwendung 224 einen Inhalt-Manager 230 umfassen, der einen Inhalt analysieren kann, bevor dieser Inhalt an die Client-Vorrichtung 202 übertragen wird. Der Inhalt-Manager 230 kann ein oder mehrere neuronale Netzwerke umfassen, die imstande sind, diesen Inhalt zu analysieren, nachdem mindestens einige Anfangs-Bytes gerendert und für die Client-Vorrichtung 202 übertragen werden. In mindestens einer Ausführungsform wird der Inhalt-Manager 230 diese neuronalen Netzwerke oder andere tiefe Lernmechanismen benutzen, um die Bewegung für ein oder mehrere anschließende Frames vorherzusagen, die beim Erzeugen einer realistischeren Animation zu verwenden sind. In mindestens einer Ausführungsform kann der Inhalt-Manager 230 einen Text oder andere Daten für erzeugte Animation in einer Inhalt-Datenbank 232 speichern. In verschiedenen Ausführungsformen kann diese Animation unter Verwendung einer Rendering-Engine 228 auf dem Server 220 oder einer Rendering-Engine 206 auf der Client-Vorrichtung 202 gerendert werden. In mindestens einer Ausführungsform kann dieser Inhalt an die Client-Vorrichtung 202 zur Anzeige oder einer anderen Präsentation übertragen werden. In anderen Ausführungsformen können Aufgaben, wie beispielsweise Inferenzieren und Rendering, von der auf der Client-Vorrichtung 202 ausgeführten Anwendung 204 unter anderen derartigen Optionen durchgeführt werden.
In mindestens einer Ausführungsform kann ein Controller für virtuelle Charaktere bereitgestellt werden, der imstande ist, sich auf unterschiedlichen Umgebungen anzupassen und eine realistische Animation zu erzeugen. Bestimmte existierende Vorgehensweisen benutzen Netzwerke, die imstande sind, die Bewegung eines virtuellen Charakters basierend auf seiner Pose in dem vorherigen Frame sowie auch Benutzereingabebefehlen vorherzusagen. Obwohl es zahlreiche Fortschritte beim Entwickeln einer derartigen Netzwerkarchitektur gegeben hat, wurde wenig Aufmerksamkeit auf das Verbessern von Trainingsprozeduren und Zielfunktionen gerichtet, die für diese und andere derartige Netzwerke verwendet werden. Demgemäß können Vorgehensweisen gemäß verschiedener Ausführungsformen eine Trainingsvorgehensweise bereitstellen, die auf verschiedene Architekturen anwendbar ist, die eine beliebige Bewegungsvorhersagearchitektur umfassen und die für die Verbesserung in der Qualität und Variabilität der erzeugten Animation sorgt, was diese erzeugte Animation visuell ansprechender machen kann. In verschiedenen Ausführungsformen kann ein rekurrentes generatives adversariales Netzwerk (GAN) benutzt werden, was die Notwendigkeit für eine von Hand gestaltete Zielfunktion wie in früheren Lösungen vermeidet. Ein rekurrentes GAN kann helfen, dass die erzeugte Animation eng den entsprechenden Bewegungsdaten, wie beispielsweise Bewegungsaufnahmedaten, entspricht.
Wie erwähnt, ist die Erzeugung einer realistischen Animation von virtuellen Charakteren ein herausforderndes Problem, weil es das Entwickeln eines Controllers beinhalten kann, der schnell und imstande ist, die Bewegung des Charakters auf unterschiedliche Hindernisse und Geländeänderungen anzupassen. Sogar mit der Verfügbarkeit von Bewegungsaufnahmedatensätzen ist die Ausgestaltung eines derartigen Controllers ein kompliziertes Problem, weil er Informationen von großen Datensätzen von Beispielen einbeziehen muss, die einen niedrigen Speichergrundriss aufweisen und die sehr schnell zur Laufzeit sind. Vorgehensweisen gemäß verschiedener Ausführungsformen benutzen tiefe Lerntechniken, um dabei zu helfen, einen derartigen Controller bereitzustellen.
Bestimmte Controller können Netzwerke benutzen, wie beispielsweise Faltungs- oder autoregressive Netzwerke. Faltungsvorgehensweisen können Faltungsoperation in der zeitlichen Domäne durchführen, was zu einer Transformation des Eingabesignals in eine gewünschte Ausgabe führt. Obwohl für verschiedene Offline-Anwendungen wirksam, sind diese Arten von Vorgehensweisen im Allgemeinen für Echtzeitanwendungen, wie beispielsweise für Computerspiele, aufgrund mindestens der Tatsache nicht geeignet, dass sie typischerweise eine vollständige Sequenz von Frames erfordern, die als Eingabe in das Netzwerk verfügbar sind. Eine derartige Anforderung präsentiert eine starke Einschränkung, weil die zukünftigen Frames durch die Aktionen der Benutzer beeinflusst werden können und daher nicht im Voraus bekannt sein können. Einige Vorgehensweisen können sich auf autoregressive Modelle stützen, wie beispielsweise beschränkte Boltzmann-Maschinen und rekurrente neuronale Netzwerke (RNNs). Die ersteren erfordern typischerweise eine Modell-komplexe Trainingsprozedur, während die Parameter der letzteren mit einem einfachen stochastischen Gradientenabstieg gelernt werden können. Insgesamt sind diese Verfahren für Online-Anwendungen geeigneter, weil diese Verfahren beispielsweise keine Kenntnis über die zukünftigen Frames erfordern. Eine signifikante Einschränkung dieser Techniken liegt jedoch in der Tatsache, dass aufgrund ihrer autoregressiven Natur sie dazu neigen, auszusterben oder zu explodieren, wenn der Fehler von mehreren aufeinanderfolgenden Vorhersagen akkumuliert wird.
In verschiedener Ausführungsformen kann eine Trainingsprozedur benutzt werden, die dabei hilft, eine Wahrnehmungsqualität von erzeugter Animation zu erhöhen. In mindestens einer Ausführungsform beinhaltet dies die Verwendung einer autoregressiven Trainingsprozedur, die einem Netzwerk ermöglicht, seine eigenen Posenschätzungsfehler zu korrigieren, ohne irgendein manuelles Parametertuning zu erfordern. Eine derartige Trainingsprozedur kann eine generische Zielfunktion benutzen, die auf eine konditionale generative adversariale neuronale Netzwerkarchitektur basiert, was die Diskrepanz zwischen Verteilungen von erzeugten Charakterposensequenzen und jene von den Bewegungsaufnahmedaten verringert. Eine derartige Vorgehensweise kann allgemeiner Natur sein, so dass sie mit praktisch jeder Bewegungsvorhersagearchitektur benutzt werden kann.
In mindestens einer Ausführungsform kann die Eingabe und Ausgabe für ein Bewegungsvorhersagenetzwerk jeweilige Datenformate benutzen. In mindestens einer Ausführungsform können Eingaben in ein Bewegungsvorhersagenetzwerk als der folgende Vektor bei Frame t dargestellt werden: $x_{t} = {t_{t}^{p}, t_{t}^{d}, t_{t}^{a}, t_{t - 1}^{p}, t_{t - 1}^{v}, h_{t}}$
wobei die Beschreibung der Komponenten in Tabelle 1 beschrieben ist. Die Ausgabe dieses Bewegungsvorhersagenetzwerk ist der Vektor y_t, welcher die folgende Form aufweisen kann: $y_{t} = {t_{t + 1}^{p}, t_{t + 1}^{d}, j_{t}^{p}, j_{t}^{v}, j_{t}^{r}, {\dot{r}}_{t}^{x}, {\dot{r}}_{t}^{z}, {\dot{r}}_{t}^{a}, f_{t}^{c}, f_{t}^{h}}$
mit den gleichen Notationen wie in Tabelle 1 definiert.
Tabelle 1. Beispielhafte Notationen, die verwendet werden, um die Eingabe- und die Ausgabezustände des Bewegungsvorhersagesystems zu beschreiben:
Zusätzlich zu den oben erwähnten Eingangs- und Ausgangsvektoren empfängt eine Vorgehensweise basierend auf einem Phasen-funktionierten neuronalen Netzwerk (PFNN) einen einzelnen reellwertigen Parameter p_t, der die Phase des aktuellen Bewegungszyklus zum Zeitschritt t bezeichnet. Die Ausgabe des PFNN kann mit einem zusätzlichen vorhergesagten Parameter Δp_t augmentiert werden, der dem Phaseninkrement entspricht, das verwendet werden kann, um einen Wert von p_t+1 während der autoregressiven Inferenz zu schätzen.
In verschiedener Ausführungsformen können Architekturen von zwei unterschiedlichen Bewegungsvorhersagenetzwerken als Backbone-Architektur zur Veranschaulichung benutzt werden. In mindestens einer Ausführungsform kann ein Phase-arbeitendes Neuronales Netzwerk (PFNN) benutzt werden, dass aus mindestens zwei Teilen besteht: einem neuronalen Netzwerk F und einer Phasenfunktion Θ, welche die Parameter von F definiert. Das neuronale Netzwerk F kann ein dreischichtiges Netzwerk sein, das als Eingangsvektor x_t empfängt, wie hier anderswo definiert. Ferner kann F = F(x_t;α) von einem Satz von Parametern α abhängen, nämlich den Gewichtungen und den Vorspannungen der vollständig verbundenen Schichten. Diesen Parametern kann nicht erlaubt werden, sich frei zu ändern, stattdessen können sie berechnet werden als: $α = ⊖ (p, β)$
wobei $β = {α_{i}}_{i = 0}^{k - 1}$
die trainierbaren Sätze von Parametern sind, k die Anzahl von Steuerpunkten ist und Θ die Phasenfunktion ist, die als die kubische Catmull-Rom-Spline genommen wird. Die letztere weist mehrere bedeutende Vorteile auf, weil Θ ohne Weiteres zyklisch gemacht werden kann, in dem die Start- und Endsteuerpunkte gezwungen werden, gleich zu sein. Ferner kann sich Θ sanft mit der Änderung des Phasenparameters verändern. In mindestens einer Ausführungsform kann eine Anzahl von Steuerpunkten k auf einen Wert eingestellt werden, wie beispielsweise 4. Für diesen Fall kann die Phasenfunktion Θ das folgende Aussehen aufweisen: $⊖ (p, β) = \frac{1}{2} {[\begin{matrix} 2 α_{k_{1}} \\ α_{k_{2}} - α_{k_{0}} \\ 2 α_{k_{0}} - 5 α_{k_{1}} + 4 α_{k_{2}} - α_{k_{3}} \\ 3 α_{k_{1}} - 3 α_{k_{2}} + α_{k_{3}} - α_{k_{0}} \end{matrix}]}^{T} [\begin{matrix} 1 \\ ν \\ ν^{2} \\ ν^{3} \end{matrix}]$
wobei β = {a_i}, i = [0..3] und die Parameter v und {k_n}, n = [0..3] wie folgt definiert sind: $ν = \frac{4 p}{2 π} (mod 1) {; k}_{n} = | \frac{4 p}{2 π} | + n - 1 (mod 4)$
In mindestens einer Ausführungsform wird die Architektur eines Modus-adaptiven neuronalen Netzwerks (MANN) sehr durch die eines PFNN-Netzwerks inspiriert, jedoch mit einigen bedeutenden Unterschieden. Anstatt eine Phasenfunktion zu verwenden, um die Parameter a des Bewegungsvorhersagenetzwerks F(x_t;α) zu berechnen, könnte beispielsweise ein Gangartnetzwerk Ω(x̂_t) benutzt werden. Das letztere arbeitet an die Eingangsvektor, der eine Teilmenge von x_t ist, welche die Fußenden-Effektorgeschwindigkeiten, Variablen der aktuellen Aktion und die gewünschte Geschwindigkeit der Charakter umfasst. Mit diesen Eingang Ω(x̂_t)_wird dann ein Satz von Gewichtungen w = {w_i}, i = [0..k—1] vorhergesagt, die verwendet werden, um die Parameter α des Bewegungsvorhersagenetzwerks F wie folgt zu berechnen: $α = \sum_{i = 0}^{k = 1} w_{i} α_{i}, w = {w_{i}}_{i = 0}^{k - 1} = Ω ({\bar{x}}_{t}) : \sum_{i = 0}^{k - 1} w_{i} = 1$
wobei ${α_{j}}_{i = 0}^{k - 1}$
die Sätze der trainierbaren Parameter ähnlich zu denen sind, die in obenstehend definiert sind.
Ein Vorteil einer derartigen Vorgehensweise liegt in ihrer Anwendbarkeit auf eine breitere Vielfalt von Bewegungen im Vergleich mit PFNN und dass keine langwierige Prozedur des Kenntlichmachens des Werts eines Phasenparameters während der Erstellung eines Trainingsdatensatzes erforderlich ist.
Während sowohl MANN- als auch PFNN-basierte Verfahren eine große Verbesserung in der Animationsqualität mit Bezug auf herkömmliche tiefe neuronale Netzwerke gezeigt haben, können Vorgehensweisen gemäß verschiedener Ausführungsformen für eine weitere Verbesserung in der erzeugten Animation sorgen, so dass diese Animation realistischer aus der Perspektive eines menschlichen Betrachters ist.
Bestimmte Bewegungsvorhersageverfahren stützen sich auf eine autoregressive Inferenzstrategie, wodurch bei jedem Zeitschritt die Vorhersage des Netzwerks als die Eingabe in das Netzwerk bei dem anschließenden Schritt verwendet wird. Eine derartige Vorgehensweise macht jedoch die Inferenzaufgabe sehr schwierig für das Netzwerk, weil es zur Trainingszeit lediglich die Ground-Truth-Posen als Eingabe gesehen hat. Folglich kann dies zu einer Abnahme in der Animationsqualität führen.
Vorgehensweisen gemäß verschiedener Ausführungsformen können dieses Problem abmildern, indem auch zur Trainingszeit ein Bewegungsvorhersagenetzwerk in einer autoregressiven Art und Weise ausgeführt wird. In mindestens einer Ausführungsform könnte ein Simulator in einer Trainingsschleife umfasst sein, wobei eine derartige Vorgehensweise jedoch recht kostenintensiv sein kann und zu einer signifikanten Abnahme in der Trainingsgeschwindigkeit führt. Stattdessen können Vorgehensweisen gemäß verschiedener Ausführungsformen mit einer Sequenz von Eingaben {x_t}, t ∈ [1..T] und der jeweilige Sequenz von Ground-Truth-Bezeichnungen {y_t} starten. Die Ausgabe z₁ des Bewegungsvorhersagenetzwerks F kann dann für das erste Element der Eingangsequenz x₁ berechnet werden. Um die Vorhersage von F für das zweite Element dieser Eingangsequenz (x₂) in einer autoregressiven Art und Weise zu berechnen, muss die Pose P₁ des Charakters von der Vorhersage z₁ zu F zusammen mit den aktualisierten Werten für andere Parameter des Zustands R₁ (z.B. Höhenkarten), berechnet von dem Simulator, zurückgeführt werden. Das letztere kann jedoch relativ langsam sein, so dass diese Werte stattdessen von dem zweiten Element der Eingangsequenz x₂ extrahiert werden können. Dieser Vorgang kann dann für sämtliche der Elemente der Trainingssequenz wiederholt werden, wobei eine Näherung eines autoregressiven Trainingsprozess verlassen wird. Eine derartige Vorgehensweise wird in dem folgenden Algorithmus kurz zusammengefasst:
Obwohl eine derartige Vorgehensweise eine Näherung des autoregressiven Trainings sein kann, kann sie verschiedene Vorteile erreichen, wie beispielsweise, dass das Netzwerk nicht perfekte Posen eines Charakters sieht, was zu besserer Verallgemeinerung und der Fähigkeit führt, die Posenschätzungsfehler zu korrigieren. Ferner umfasst das Training nicht den möglicherweisen zeitaufwändigen Simulationsschritt, was ermöglicht, die Trainingsgeschwindigkeit zu bewahren.
Bei gegebenen geschätzten autoregressiven Vorhersagen kann der durchschnittliche quadratische Fehler (Mean Squared Error; MSE) über sämtliche der Zeitschritte [1..T] berechnet werden, wie gegeben werden kann durch: $L = \frac{1}{T} \sum_{t = 1}^{T} ({‖ z_{t} - y_{t} ‖}_{L_{2}})$
wobei z_t, t ∈ [1..T] die Netzwerkvorhersagen sind, die berechnet werden, wie in Algorithmus 1 beschrieben.
Die Leistung einer PFNN-basierten Vorgehensweise kann recht stabil sein, sogar wenn der Trainingsdatensatz hinsichtlich der Anzahl von Proben mit beispielsweise flachen und felsigen Geländen sehr unausgeglichen ist. Diese Stabilität kommt, mindestens teilweise, von der Tatsache, dass PFNN eine Phase der aktuellen Bewegungsgangart verwendet, was als ein starke Priore dient. Obwohl flexibler als PFNN, stützt sich ein MANN-basiertes Verfahren nicht auf die Phase der Bewegungsgangart zu Trainings- und Inferenzzeiten und hängt daher von der Qualität der Trainingsdatensätze ab und kann ohne Weiteres überangepasst werden, wenn die Daten für eine spezifische Art einer Bewegung oder Umgebung knapp sind. Dies kann zu einigen Artifakten führen, wie Beinschieben oder unrealistisch aussehender Animation.
Verschiedene Ausführungsformen können sich diesem Datensatz-Ungleichgewichtsproblem widmen, in dem der Beitrag jeder Trainingsprobe zu der endgültigen Zielfunktion basierend, mindestens teilweise, auf einer Häufigkeit des Erscheinens des jeweiligen Höhenkartentyps in dem Datensatz neu bewertet wird. Eine derartige Vorgehensweise kann ein Clustering der Daten in dem Trainingssatz durch entsprechende Höhenkarten beispielsweise unter Verwendung eines K-Means-Clustering mit einer festen Anzahl von Clustern K beinhalten, wobei K ein Parameter des zuvor präsentierten Algorithmus ist. Für jeden der Cluster C_k, k = [1..K] kann eine Anzahl von Elementen aus dem die Datensatz N_Ck berechnet werden, die zu diesem gehören, was eine Statistik des Erscheinens von unterschiedlichen Arten von Umgebungen in den Trainingsdaten bereitstellt. Eine Mehrheit der Daten gehört zum Cluster 0, was im Wesentlichen flachen Oberflächen entspricht. Nachdem das Clustering abgeschlossen ist, kann ein Beitrag von jedem der Elemente in dem Datensatz zu der endgültigen Zielfunktion wie folgt berechnet werden: $w_{i} = off {(\frac{N_{C (i)}}{\sum_{k = 1}^{K} N_{C_{k}}} + off)}^{- 1}$
Hier ist w_i der Beitrag der i-ten Trainingsprobe innerhalb der Zielfunktion; C(i) ist der Cluster, zu dem die i-te Trainingsprobe gehört; Nc ist die Koordinalität des Datenclusters C und off = 0,25 ist ein positiver Versatz.
Um die erzeugte Animation noch näher zu der Ground-Truth-Animation zu machen, kann ein adversarialer Zielbegriff zu dem Optimierungsverlust hinzugefügt werden. Um dieses adversariale Ziel zu berechnen, kann ein zeitlicher Diskriminator D verwendet werden, der als Eingang Sequenzen von Charakterposen empfängt, die sowohl von dem Netzwerk vorhergesagt als auch von den Ground-Truth-Daten extrahiert werden. Ein Ziel von D in dieser Situation ist dann, zu unterscheiden, ob jede dieser Sequenzen real ist oder nicht. Die zeitliche Natur von D ermöglicht, die glatten Übergänge zwischen Gangarten und Kräften des Bewegungsvorhersagenetzwerks zu lernen, um sich besser auf Informationen hoher Frequenz der Trainingsdaten einzustellen, was wiederum zu höherer Variabilität der vorhergesagten Bewegung führt.
Um Informationen aus den Vorhersagen eines Vorhersagenetzwerks für mehrere aufeinanderfolgende Zeitschritte auf eine effiziente Weise zu sammeln, können Einheiten eines oder mehrerer langer Kurzzeitspeicher (Long Short-Term Memory; LSTM) in der Diskriminatorarchitektur benutzt werden. In mindestens einer Ausführungsform empfängt dieses Modell eine Sequenz von vollständigen Ausgangszuständen des Bewegungsvorhersagenetzwerks und gibt die latente Darstellung zurück, welche die Informationen von sämtlichen der zeitlichen Vorhersagen sammelt. Diese latente Darstellung wird dann von einer Sequenz von vollständig verbundenen Schichten verarbeitet, die schließlich vorhersagen, ob die Sequenzen von eingegeben Proben erzeugt wird oder von dem Ground-Truth-Daten kommt.
Ferner kann ein Diskriminator-Modell in mindestens einer Ausführungsform auf die wahren Höhenkarten-Schätzwerte und Gangwerte konditioniert sein, die dem aktuellen Zeitschritt entsprechen. Dies ermöglicht dem Diskriminator, sich auf unterschiedlichen Arten von Bewegungen für unterschiedlichen Arten von Umgebungen und Gangarten besser zu konzentrieren.
In mindestens einer Ausführungsform kann ein Vorhersagemodell unter Verwendung einer Wassertein-Zielfunktion trainiert werden. Parameter ω des Diskriminators D_ω(·) können durch Minimieren eines Ziels trainiert werden, wie beispielsweise gegebenen werden kann durch: $ω \leftarrow \nabla_{ω} \frac{1}{m} (\sum_{i = 1}^{B} D_{ω} (y_{i}) - \sum_{i = 1}^{B} D_{ω} (F_{θ} (x_{i})))$
wobei θ und ω jeweils Parameter des Bewegungsvorhersagenetzwerks bzw. des Diskriminators sind und B die Anzahl von Proben in dem Los bezeichnet. Das Bewegungsvorhersagenetzwerk Fe(.) kann dann unter Verwendung eines Zielbegriffs trainiert werden, wie beispielsweise: $θ \leftarrow - \nabla_{θ} \frac{1}{m} \sum_{i = 1}^{B} D_{ω} (F_{θ} (x_{i}))$
was zu der Hauptverlustfunktion hinzugefügt wird. Eine derartige Verlustfunktion kann im Vergleich mit einem üblicherweise verwendeten Kreuzentropie-Verlust beim Überbrücken der Lücke zwischen den erzeugten und Ground-Truth-Verteilungen von Charakterposen wirksamer sein.
In mindestens einer Ausführungsform kann das Hinzufügen des adversarialen Verlusts zu dem Optimierungsziel die visuelle Qualität der erzeugten Animation unter Verwendung des PFNN-Bewegungsvorhersagenetzwerks signifikant verbessern. Die Qualität des MANN-Verfahrens hängt jedoch sehr von der Größe des Datensatzes ab, der für das Training verwendet wird. Von daher kann dann, wenn der Datensatz nicht groß genug ist, eine MANN-basierte Vorgehensweise anfällig für eine Überanpassung an die Trainingsproben sein, was zu dem Erscheinen von verschiedener Artifakten zur Inferenzzeit führen kann, wie beispielsweise Beinschieben und unrealistischer Posenerzeugung. Um dieses Problem zu überwinden, fügen Vorgehensweisen gemäß verschiedener Ausführungsformen eine Phasen-basierte Regularisierung zu dem Netzwerk für derartige Gangarten hinzu, wo die Phase verfügbar ist. Dies macht das Modell wesentlich robuster gegen unterschiedliche Umgebungen, so dass die resultierende Animation realistischer aussieht. Um dies zu erreichen und die Unabhängigkeit der MANN-Architektur von der Phase bei der Inferenzzeit zu bewahren, können Ground-Truth-Phasendaten als eine zusätzliche Eingabe in das Diskriminatornetzwerk hinzugefügt werden. Das Konditionieren des Diskriminators in einer derartigen Weise kann dem Bewegungsvorhersagenetzwerk eine notwendige zeitliche Regularisierung bereitstellen und zu einer erzeugten Animation von höherer Qualität führen.
3 veranschaulicht eine beispielhafte Architektur 300, die gemäß verschiedener Ausführungsformen benutzt werden kann. In diesem Beispiel entsprechen die Eingangszustandsdaten 304 einer Sequenz von aufeinanderfolgenden Frames X = {x_t}, t ∈ [1..T], die durch ein Bewegungsvorhersagenetzwerk 312 geleitet wurde. Die Eingangszustandsdaten 304 können durch das Bewegungsvorhersagenetzwerk 312 in einer autoregressiven Art und Weise geleitet werden, wie durch den zuvor präsentierten Algorithmus 1 anschaulich dargestellt. Das Bewegungsvorhersagenetzwerk 312 kann vorhergesagte Zustandsdaten 314 erzeugen, die eine Sequenz von vorhergesagten Zuständen Y = = {y_t} umfassen. Diese Sequenz von vorhergesagten Zuständen kann dann in einen zeitlichen Diskriminator 318 eines generativen adversarialen Netzwerks (GAN) geleitet werden, der auf dem des Bewegungsvorhersagenetzwerks 312 synthetisiert ist. Eine Eingabe in den Diskriminator 318 kann ebenfalls getrennte Eingabedaten 306 (z.B., Klettern, Laufen oder Springen) und Höhenkarten 308 umfassen, die mit den vorhergesagten Zustandsdaten unter Verwendung eines Verketters 316 verkettet geworden sein könnten. In mindestens einer Ausführungsform kann ein zeitlichen Diskriminatornetzwerk 318 mindestens ein Modul eines langen Kurzzeitgedächtnisses (Long Short-Term Memory; LSTM) gefolgt von einer Sequenz von vollständig verbundenen Schichten (fully-connected layers; FC) umfassen. In mindestens einer Ausführungsform können diese durch eine leckende ReLU Aktivierungsfunktion getrennt sein. Das zeitliche Diskriminatornetzwerk kann on der Gangart der aktuellen Bewegung ${t_{t}^{α}}$
und on die Höhenkarte der Umgebung konditioniert werden, welche den virtuellen Charakter {ht} umgibt. Der Diskriminator 318 kann dann einen adversarialen Verlust 322 ausgeben, der bestimmt wird, wie hier anderswo erläutert. Die vorhergesagten Zustandsdaten 314 des Bewegungsvorhersagenetzwerks 312 können ebenfalls gegen die Ground-Truth-Zustandsdaten 302 verglichen werden, um einen anderen Verlustwert, wie beispielsweise den Verlust eines mittleren quadratischen Fehlers (Mean Squared Error; MSE), zu bestimmen. Diese Verlustwerte können dann verwendet werden, um Netzwerkparameter für einen anschließenden Trainingsdurchgang einzustellen, um zu versuchen, das Netzwerk zu optimieren, und einen durch eine Verlustfunktion bestimmten Gesamtverlust zu minimieren, der diese beiden Verlustwerte umfasst.
In einem Experiment unter Verwendung einer derartigen Architektur gemäß einer Ausführungsform wurde ein Adam-Optimierer mit Lernrate 10^-4 benutzt. Eine Sequenz von T = 9 Frames wurde als Eingabe in eine autoregressive Trainingsprozedur verwendet, wie hier erläutert. Ein Wert, wie beispielsweise dieser, wurde bestimmt, als genug zu sein, um einen starken zeitlichen Kontext für den Diskriminator in vielen Ausführungsformen zu erzeugen, was wiederum das Erzeugen von sowohl realistischen als auch variablen Bewegungen ermöglicht. In verschiedenen Experimenten wird ein Bewegungsaufnahmedatensatz mit durchgeführter Vorverarbeitung benutzt, um die Rohdaten in einen Satz von Paaren umzuwandeln, welche die Eingabe in das Bewegungsvorhersagenetzwerk und die Ground-Truth in dem hier anderswo beschriebenen Format enthalten. 4A veranschaulicht einen Vergleich 400 von Ergebnissen für unterschiedliche GANbasierte Vorgehensweisen auf diesem Datensatz (kein GAN, Kreuzentropie-basiertes GAN, GAN der kleinsten Quadrate und Wasserstein-GAN). Ein GAN gemäß mindestens einer Ausführungsform kann eine Zielfunktion basierend auf einer Wasserstein-Metrik benutzen, die eine Distanzfunktion bereitstellt, die zwischen Wahrscheinlichkeitsverteilungen auf einem gegebenen metrischen Raum definiert ist. Die Prozentsätze neben den Balken zeigen die relative Verbesserung mit Bezug auf das Verfahren ohne GAN gemäß dem Validierungssatz. Wie veranschaulicht, kann die Qualität der erzeugten Animation signifikant von der Wahl des GAN-Optimierungsziels abhängen. In sämtlichen der Fälle wurde ein PFNN als das Backbone-Bewegungsvorhersagenetzwerk benutzt. Die Architektur des Diskriminators war ebenfalls festgelegt, mit Änderungen lediglich in der Weise, in der die GAN-Zielfunktion berechnet wurde. Die Leistung dieser Techniken auf den Validierungsdaten wurde durch Berechnen des mittleren quadratischen Fehlers (Mean Squared Error; MSE) der vorhergesagten Posen des Charakters mit Bezug auf die Ground-Truth-Daten bewertet, wie in 4A veranschaulicht. Andere Verfahren versagen dabei, die Leistung zu verbessern, was aufgrund der Tatsache geschieht, dass die Verteilungen der vorhergesagten und Ground-Truth-Charakterposen recht unterschiedlich voneinander sind und die GAN-Zielfunktion nicht imstande ist, diese Lücke erfolgreich zu überbrücken. 4B stellt ein graphische Darstellung 450 bereit, die eine Bewertung der visuellen Leistung von unterschiedlichen Verfahren gemäß dem Maß des Mean-Opinion-Score (MOS) veranschaulicht.
Die Leistung einer Vorgehensweise gemäß mindestens einer Ausführungsform kann mit der des Grundlinienverfahrens von PFNN und MANN verglichen werden. Eine derartige Vorgehensweise kann das Optimierungsziel und die Trainingsstrategie modifizieren, während die Bewegungsvorhersagearchitektur unberührt beibehalten wird. Andere Techniken könnten ebenso benutzt werden, wie sie imstande sein können, eine Charakterbewegung zu erzeugen, womit diese Vorgehensweise im Wesentlichen allgemein gemacht wird. Eine derartige Vorgehensweise kann die wahrgenommene Qualität von erzeugter Animation für ein Bewegungsvorhersagenetzwerk durch Modifizieren seiner Zielfunktion und Trainingsprozedur verbessern.
5 veranschaulicht einen beispielhaften Prozess 500 zum Trainieren eines Bewegungsvorhersagemodells, das gemäß verschiedener Ausführungsformen benutzt werden kann. Es sei für diesen und andere hier erläuterte Prozesse zu verstehen, dass es zusätzliche, alternative oder weniger Schritte gibt, die in einer ähnlichen oder zumindest teilweise alternativen Reihenfolgen oder parallel innerhalb des Umfangs der verschiedenen Ausführungsformen durchgeführt werden können, sofern nichts anderes angegeben ist. In diesem Beispiel werden Eingangszustandsdaten für eine Sequenz von Frames von Trainingsdaten empfangen 502. Für Trainingszwecke können zugeordnete Ground-Truth-Daten ebenfalls in diesem Trainingsdatensatz empfangen oder erhalten werden. Diese ersten Eingangszustandsdaten können als Eingabe in ein Bewegungsvorhersagenetzwerk und eine für das nächste Frame empfangene Vorhersage bereitgestellt werden 504. In mindestens einigen Ausführungsformen können die Zustandsdaten eine gewisse Menge an Vorverarbeitung durchlaufen, um mindestens die Daten in ein geeignetes Format für das Bewegungsvorhersagenetzwerk zu platzieren. Diese Vorhersage kann mit der Gangart und Wärmekartenwerten der Eingangszustandsdaten aggregriert 506 und an das Bewegungsvorhersagenetzwerk geleitet werden. Dieses Aggregieren kann für alle Frames in der Eingangsequenz wiederholt werden und eine vorhergesagte Sequenz von Frames der Animation kann als Eingabe in einen zeitlichen Diskriminator geleitet werden 508. Unter Verwendung der Gangart und der Kartendaten als Bedingungen, kann der zeitliche Diskriminator eines generativen adversarialen Netzwerks (GAN), das auf dem Bewegungsvorhersagenetzwerk synthetisiert ist, einen adversarialer Verlustwert bestimmen 510. In anderen Ausführungsformen könnte auch ein zeitliches Faltungs- oder rekurrentes Netzwerk verwendet werden. Ein Verlust, wie beispielsweise ein Verlustwert eines mittleren quadratischen Fehlers (Mean Squared Error; MSE), kann ebenfalls der Reihe nach oder parallel durch Vergleichen der vorhergesagten und Ground-Truth-Frames bestimmt werden 512. Ein oder mehrere Parameter dieses Bewegungsvorhersagenetzwerks können dann, um einen Gesamtverlust zu minimieren, unter Verwendung einer Verlustfunktion eingestellt werden 514, die Terme für sowohl den MSE-Verlust als auch den adversarialer Verlust umfasst. Eine Bestimmung kann hinsichtlich dessen durchgeführt werden 516, ob eine Endbedingung oder ein Kriterium erfüllt wurde, wie beispielsweise, wo eine maximale Anzahl von Trainingsdurchgängen erreicht oder ein Konvergenzkriterium erfüllt wurde. In mindestens einer Ausführungsform können dann, wenn eine Endbedingung erfüllt wurde, diese trainierten Modelle 518 zum Inferenzieren bereitgestellt 518 werden, wobei andernfalls das Training mit einem nächsten Durchgang oder einer nächsten Iteration fortgesetzt werden kann.
In mindestens einer Ausführungsform kann ein in 6 veranschaulichter Prozess 600 zur Inferenzzeit verwendet werden, um auf Bewegungs- oder Animationsdaten zu schließen. In mindestens einer Ausführungsform können eine oder mehreren Instanzen von Framedaten empfangen werden 602 und als Eingabe in ein trainiertes Modell, wie beispielsweise einem trainierten Bewegungsvorhersagemodell, bereitgestellt werden 604. In mindestens einer Ausführungsform können inferenzierte Daten als Ausgabe dieses trainierten Modells empfangen werden 456, wobei sich diese inferenzierten Daten auf vorhergesagte Bewegungs-, Zustands- oder Animationsdaten für mindestens eine Instanz von Framedaten beziehen können.
INFERENZIERUNG- UND TRAININGSLOGIK
7A veranschaulicht die Inferenzierungs- und/oder Trainingslogik 715, die verwendet wird, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen verbunden sind. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 715 werden nachstehend in Verbindung mit 7A und/oder 7B bereitgestellt.
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 715, ohne darauf beschränkt zu sein, Code- und/oder Datenspeicherung 701 zum Speichern von Vorwärts- und/oder Ausgabegewicht und/oder Eingangs-/Ausgangsdaten und/oder anderen Parametern zum Konfigurieren von Neuronen oder Schichten eines neuronalen Netzwerks umfassen, das zur Inferenzierung in Aspekten einer oder mehrerer Ausführungsformen trainiert und/oder verwendet wird. In mindestens einer Ausführungsform kann die Trainingslogik 715 Code und/oder Datenspeicherung 701 umfassen oder mit diesem gekoppelt sein, um Graphikcode oder andere Software zum Steuern des Timings und/oder der Reihenfolge zu speichern, in welcher Gewichts- und/oder andere Parameterinformationen zu laden sind, um Logik, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (zusammen arithmetische Logikeinheiten (ALUs)) zu konfigurieren. In mindestens einer Ausführungsform lädt Code, wie beispielsweise Graphikcode, Gewichts- oder andere Parameterinformationen in Prozessor-ALUs, basierend auf einer Architektur eines neuronalen Netzwerks, dem der Code entspricht. In mindestens einer Ausführungsform speichert die Code- und/oder Datenspeicherung 701 Gewichtsparameter und/oder Ein-/Ausgabedaten jeder Schicht eines neuronalen Netzwerks, das in Verbindung mit einer oder mehreren Ausführungsformen während der Vorwärtspropagation von Ein-/Ausgabedaten und/oder Gewichtsparametern während des Trainings und/oder der Inferenzierung unter Verwendung von Aspekten einer oder mehrerer Ausführungsformen trainiert oder verwendet wurde. In mindestens einer Ausführungsform kann jeder Abschnitt der Code- und/oder Datenspeicherung 701 in anderem On-Chip- oder Off-Chip-Datenspeicher, einschließlich des L1-, L2- oder L3-Caches oder Systemspeichers eines Prozessors, enthalten sein.
In mindestens einer Ausführungsform kann jeder beliebige Abschnitt der Code- und/oder Datenspeicherung 701 intern oder extern zu einem oder mehreren Prozessoren oder anderen Hardware-Logikvorrichtungen oder Schaltungen sein. In mindestens einer Ausführungsform können Code und/oder die Code- und/oder Datenspeicherung 701 Cache-Speicher, dynamisches RAM („DRAM“), statisches RAM („SRAM“), nichtflüchtiger Speicher (z.B. Flash-Speicher) oder andere Speicherung sein. In mindestens einer Ausführungsform kann die Wahl, ob Code und/oder die Code- und/oder Datenspeicherung 701 beispielsweise intern oder extern zu einem Prozessor ist oder aus DRAM, SRAM, Flash-Speicher oder einem anderen Speicherungstyp besteht, von auf dem Chip bzw. on-chip gegenüber nicht auf dem Chip bzw. off-chip verfügbarem Speicherung, Latenzanforderungen der durchgeführten Trainings- und/oder Inferenzierungsfunktionen, der Losgröße der bei der Inferenzierung und/oder dem Training eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 715, ohne darauf beschränkt zu sein, eine Code- und/oder Datenspeicherung 705 umfassen zum Speichern von Rückwärts- und/oder Ausgangsgewichten und/oder Eingangs-/Ausgangsdaten, die Neuronen oder Schichten eines neuronalen Netzwerks entsprechen, das zur Inferenzierung in Aspekten einer oder mehrerer Ausführungsformen trainiert und/oder verwendet wird. In mindestens einer Ausführungsform speichert de Code- und /oder Datenspeicherung 705 Gewichtsparameter und/oder Eingangs-/Ausgangsdaten jeder Schicht eines neuronalen Netzwerks, die in Verbindung mit einer oder mehreren Ausführungsformen während einer Rückwärtspropagation von Eingangs-/Ausgangsdaten und/oder Gewichtsparametern während des Trainings und/oder der Inferenzierung unter Verwendung von Aspekten einer oder mehrerer Ausführungsformen trainiert oder verwendet werden. In mindestens einer Ausführungsform kann die Trainingslogik 715 die Code- und/oder Datenspeicherung 705 umfassen oder mit dieser gekoppelt sein, um Graphikcode oder andere Software zum Steuern des Timings und/oder der Reihenfolge zu speichern, in welchem bzw. welcher Gewichts- und/oder andere Parameterinformationen zum Konfigurieren von Logik einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (zusammen arithmetische Logikeinheiten (ALUs)) zu laden sind. In mindestens einer Ausführungsform lädt Code, wie beispielsweise Graphikcode, basierend auf einer Architektur eines neuronalen Netzwerks, dem der Code entspricht, Gewichts- oder andere Parameterinformationen in Prozessor-ALUs. In mindestens einer Ausführungsform kann jeder beliebige Abschnitt der Code- und/oder Datenspeicherung 705 mit anderem On-Chip- oder Off-Chip-Datenspeicherung, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors, verbunden sein. In mindestens einer Ausführungsform kann jeder beliebige Abschnitt der Code- und/oder Datenspeicherung 705 intern oder extern zu einem oder mehreren Prozessoren oder anderen Hardware-Logikvorrichtungen oder Schaltungen sein. In mindestens einer Ausführungsform kann die Code- und/oder Datenspeicherung 705 Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z.B. Flash-Speicher) oder eine andere Speicherung sein. In mindestens einer Ausführungsform kann die Wahl, ob die Code- und/oder Datenspeicherung 705 beispielsweise intern oder extern zu einem Prozessor ist oder aus DRAM, SRAM, Flash oder einem anderen Speicherungstyp besteht, von On-Chip gegenüber Off-Chip verfügbarem Speicher, Latenzanforderungen an durchgeführten Trainings- und/oder Inferenzierungsfunktionen, der Losgröße der bei der Inferenzierung und/oder dem Training eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
In mindestens einer Ausführungsform können die Code- und/oder Datenspeicherung 701 und die Code- und/oder Datenspeicherung 705 separate Speicherungsstrukturen sein. In mindestens einer Ausführungsform können die Code- und/oder Datenspeicherung 701 und die Code- und/oder Datenspeicherung 705 die gleiche Speicherungsstruktur sein. In mindestens einer Ausführungsform können die Code- und/oder Datenspeicherung 701 und die Code- und/oder Datenspeicherung 705 teilweise eine gleiche Speicherungsstruktur und teilweise eine separate Speicherungsstrukturen sein. In mindestens einer Ausführungsform kann jeder beliebige Abschnitt der Code- und/oder Datenspeicherung 701 und der Code- und/oder Datenspeicherung 705 mit anderen On-Chip- oder Off-Chip-Datenspeicherungen, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors, kombiniert sein.
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 715, ohne darauf beschränkt zu sein, eine oder mehrere arithmetische Logikeinheiten („ALU(s)“) 810, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten, umfassen, um logische und/oder mathematische Operationen durchzuführen, die mindestens teilweise auf Trainings- und/oder Inferenzcode (beispielsweise Graphikcode) basieren oder durch diesen angezeigt werden, deren Ergebnis Aktivierungen (z.B. Ausgangswerte von Schichten oder Neuronen innerhalb eines neuronalen Netzwerks), die in einer Aktivierungsspeicherung 720 gespeichert sind, erzeugen kann, die Funktionen von Eingangs-/Ausgangs- und/oder Gewichtsparameterdaten sind, die in der Code- und/oder Datenspeicherung 701 und/oder der Code- und/oder Datenspeicherung 705 gespeichert sind. In mindestens einer Ausführungsform werden in der Aktivierungsspeicherung 720 gespeicherte Aktivierungen in Übereinstimmung mit linearer algebraischer und/oder matrixbasierter Mathematik erzeugt, die von den ALU(s) 810 im Ansprechen auf das Ausführen von Anweisungen oder anderem Code durchgeführt wird, wobei Gewichtswerte, die in dem Code und/oder Datenspeicherung 705 gespeichert sind, und/oder Code und/oder Daten 701 als Operanden zusammen mit anderen Werten, wie beispielsweise Biaswerten, Gradienteninformationen, Impulswerten oder anderen Parametern oder Hyperparametern, verwendet werden, von welchen beliebige oder alle in der Code- und/oder Datenspeicherung 705 oder dem Code und/oder der Code- und/oder Datenspeicherung 701 oder einer anderen Speicherung auf oder außerhalb des Chips gespeichert sein können.
In mindestens einer Ausführungsform ist bzw. sind die ALU(s) 810 in einem oder mehreren Prozessoren oder anderen Hardware-Logikvorrichtungen oder Schaltungen enthalten, während in einer anderen Ausführungsform die ALU(s) 810 extern zu einem Prozessor oder einer anderen Hardware-Logikvorrichtung oder Schaltung, die sie verwendet (z.B. einem Co-Prozessor), sein kann bzw. können. In mindestens einer Ausführungsform können ALUs 810 in den Ausführungseinheiten eines Prozessors oder anderweitig in einer Bank von ALUs, auf welche die Ausführungseinheiten eines Prozessors entweder innerhalb desselben Prozessors oder verteilt auf verschiedene Prozessoren unterschiedlicher Art (z.B. Zentraleinheiten, Graphikverarbeitungseinheiten, Festfunktionseinheiten usw.) zugreifen können, aufgenommen sein. In mindestens einer Ausführungsform können die Code- und/oder Datenspeicherung 701, die Code- und/oder Datenspeicherung 705 und die Aktivierungsspeicherung 720 einen Prozessor oder eine anderen Hardware-Logikvorrichtung oder -schaltung gemeinsam nutzen, wohingegen sie in einer anderen Ausführungsform in unterschiedlichen Prozessoren oder anderen Hardware-Logikvorrichtungen oder -schaltungen oder einer Kombination aus gleichen und unterschiedlichen Prozessoren oder anderen Hardware-Logikvorrichtungen oder -schaltungen sein können. In mindestens einer Ausführungsform kann ein beliebiger Abschnitt der Aktivierungsspeicherung 720 mit einer anderen On-Chip- oder Off-Chip-Datenspeicherung, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors, enthalten sein. Ferner kann Inferenzierungs- und/oder Trainingscode mit anderem Code gespeichert sein, der einem Prozessor oder einer anderen Hardware-Logik oder -Schaltung zugänglich ist, und kann unter Verwendung der Hol-, Decodier-, Planungs-, Ausführungs-, Stilllegungs- und/oder anderen logischen Schaltungen eines Prozessors abgerufen und/oder verarbeitet werden.
In mindestens einer Ausführungsform kann die Aktivierungsspeicherung 720 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z.B. Flash-Speicher) oder andere Speicherung sein. In mindestens einer Ausführungsform kann die Aktivierungsspeicherung 720 ganz oder teilweise innerhalb oder außerhalb eines oder mehrerer Prozessoren oder anderer logischer Schaltungen sein. In mindestens einer Ausführungsform kann eine Wahl, ob der Aktivierungsspeicherung 720 beispielsweise intern oder extern zu einem Prozessor ist oder aus DRAM, SRAM, Flash oder einer anderen Speicherungstyp besteht, von on-chip gegenüber off-chip verfügbarer Speicherung, Latenzanforderungen an die durchzuführenden Trainings- und/oder Inferenzierungsfunktionen, der Losgröße der Daten, die bei der Inferenzierung und/oder dem Training eines neuronalen Netzwerks verwendet werden, oder einer Kombination dieser Faktoren abhängen. In mindestens einer Ausführungsform kann die in 7A dargestellte Inferenzierungs- und/oder Trainingslogik 715 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung („ASIC“), wie beispielsweise der Tensorflow®-Verarbeitungseinheit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana® (z.B. „Lake Crest“)-Prozessor der Intel Corp. verwendet werden. In mindestens einer Ausführungsform, kann die in 7A dargestellte Inferenzierungs- und/oder Trainingslogik 715 in Verbindung mit Hardware der Zentralverarbeitungseinheit („CPU“), Hardware der Graphikverarbeitungseinheit („GPU“) oder anderer Hardware, wie beispielsweise feldprogrammierbaren Gate-Arrays („FPGAs“), verwendet werden.
7B veranschaulicht die Inferenzierungs- und/oder Trainingslogik 715 gemäß mindestens einer oder mehreren Ausführungsformen. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 715, ohne darauf beschränkt zu sein, Hardwarelogik umfassen, in welcher Rechenressourcen dediziert oder anderweitig exklusiv in Verbindung mit Gewichtswerten oder anderen Informationen, die einer oder mehreren Schichten von Neuronen innerhalb eines neuronalen Netzwerks entsprechen, verwendet werden. In mindestens einer Ausführungsform kann die in 7B dargestellte Inferenzierungs- und/oder Trainingslogik 715 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung (ASIC), wie beispielsweise der Tensorflow®-Verarbeitungseinheit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana® (z.B. „Lake Crest“)-Prozessor der Intel Corp. verwendet werden. In mindestens einer Ausführungsform kann die in 7B dargestellte Inferenzierungs- und/oder Trainingslogik 715 in Verbindung mit Hardware der Zentralverarbeitungseinheit (CPU), Hardware der Graphikverarbeitungseinheit (GPU) oder anderer Hardware, wie beispielsweise feldprogammierbaren Gate Arrays (FPGAs), verwendet werden. In mindestens einer Ausführungsform umfasst die Inferenzierungs- und/oder Trainingslogik 715, ohne darauf beschränkt zu sein, die Code- und/oder Datenspeicherung 701 und die Code- und/oder Datenspeicherung 705, die zum Speichern von Code (z.B. Graphikcode), Gewichtswerten und/oder anderen Informationen, einschließlich Biaswerten, Gradienteninformationen, Impulswerten und/oder anderen Parameter- oder Hyperparameter-Informationen, verwendet werden können. In mindestens einer Ausführungsform, die in 7B dargestellt ist, ist jede der Code- und/oder Datenspeicherung 701 und der Code- und/oder Datenspeicherung 705 jeweils einer dedizierten Rechenressource zugeordnet, wie beispielsweise der Rechenhardware 702 und Rechenhardware 706. In mindestens einer Ausführungsform umfasst die Rechenhardware 702 und die Rechenhardware 706 jeweils eine oder mehrere ALUs, die mathematischen Funktionen, wie beispielsweise lineare algebraische Funktionen, nur auf Informationen durchführen, die in der Code- und/oder Datenspeicherung 701 bzw. der Code- und/oder Datenspeicherung 705 gespeichert sind, deren Ergebnis in der Aktivierungsspeicherung 720 gespeichert wird.
In mindestens einer Ausführungsform entsprechen jeweils die Code- und/oder Datenspeicherung 701 und 705 und entsprechende Rechenhardware 702 und 706 jeweils verschiedenen Schichten eines neuronalen Netzwerks, so dass eine aus einem „Speicherung/Rechenpaar 701/702“ der Code- und/oder Datenspeicherung 701 und der Rechenhardware 702 resultierende Aktivierung als eine Eingabe in das nächste „Speicher/Rechenpaar 705/706“ der Code- und/oder Datenspeicherung 705 und der Rechenhardware 706 bereitgestellt wird, um die konzeptionelle Organisation eines neuronalen Netzwerks zu spiegeln. In mindestens einer Ausführungsform kann jedes der Speicherung/Rechenpaare 701/702 und 705/706 mehr als einer neuronalen Netzwerkschicht entsprechen. In mindestens einer Ausführungsform können zusätzliche Speicher/Rechenpaare (nicht gezeigt) nach oder parallel zu den Speicher/Rechenpaaren 701/702 und 705/706 in die Inferenzierungs- und/oder Trainingslogik 715 aufgenommen sein.
RECHENZENTRUM
8 veranschaulicht ein beispielhaftes Rechenzentrum 800, in welchem mindestens eine Ausführungsform verwendet werden kann. In mindestens einer Ausführungsform umfasst das Rechenzentrum 800 eine Rechenzentrum-Infrastrukturschicht 88, eine Framework-Schicht 820, eine Softwareschicht 830 und eine Anwendungsschicht 840.
In mindestens einer Ausführungsform kann, wie in 8 gezeigt, die Rechenzentrum-Infrastrukturschicht 810 einen Ressourcenorchestrator 812, gruppierte Rechenressourcen 814 und Knotenrechenressourcen („Knoten-C.R.“) 816(1)-816(N) umfassen, wobei „N“ eine beliebige positive ganze Zahl darstellt. In mindestens einer Ausführungsform können die Knoten-C.R.s 816(1)-816(N), sind jedoch nicht beschränkt auf, eine beliebige Anzahl von zentralen Verarbeitungseinheiten („CPUs“) oder anderen Prozessoren (einschließlich Beschleunigern, feldprogrammierbaren Gate-Arrays (FPGAs), Graphikprozessoren usw.), Speichervorrichtungen (z.B. dynamischer Nur-Lese-Speicher), Speicherungsvorrichtungen (z.B. Festkörper- oder Festplattenlaufwerke), Netzwerk-Eingabe-/Ausgabe („NW EA“)-Vorrichtungen, Netzwerkschalter, virtuelle Maschinen („VMs“), Leistungsmodule und Kühlmodule usw. umfassen. In mindestens einer Ausführungsform können ein oder mehrere Knoten-C.R.s von unter den Knoten-C.R.s 816(1)-816(N) ein Server mit einer oder mehreren der oben erwähnten Rechenressourcen sein.
In mindestens einer Ausführungsform können gruppierte Rechenressourcen 814 separate Gruppierungen von Knoten-C.R.s. umfassen, die in einem oder mehreren Racks (nicht gezeigt) untergebracht sind, oder in vielen Racks, die in Rechenzentren an verschiedenen geografischen Standorten untergebracht sind (ebenfalls nicht gezeigt). Separate Gruppierungen von Knoten-C.R.s. innerhalb gruppierter Rechenressourcen 814 gruppierte Rechen-, Netzwerk-, Speicher- oder Speicherungsressourcen umfassen, die konfiguriert oder zugeteilt sein können, um eine oder mehrere Arbeitslasten zu unterstützen. In mindestens einer Ausführungsform können mehrere Knoten-C.R.s einschließlich CPUs oder Prozessoren innerhalb eines oder mehrerer Racks gruppiert sein, um Rechenressourcen zur Unterstützung einer oder mehrerer Arbeitslasten bereitzustellen. In mindestens einer Ausführungsform können ein oder mehrere Racks ebenfalls eine beliebige Anzahl von Leistungsmodulen, Kühlmodulen und in beliebiger Kombination umfassen.
In mindestens einer Ausführungsform kann der Ressourcenorchestrator 812 eine oder mehrere Knoten-C.R.s 816(1)-816(N) und/oder gruppierte Rechenressourcen 814 konfigurieren oder anderweitig steuern. In mindestens einer Ausführungsform kann der Ressourcenorchestrator 812 eine Software-Design-Infrastruktur („SDI“)-Verwaltungseinheit für das Rechenzentrum 800 umfassen. In mindestens einer Ausführungsform kann der Ressourcenorchestrator Hardware, Software oder eine Kombination davon umfassen.
In mindestens einer Ausführungsform umfasst, wie in 8 gezeigt, die Framework-Schicht 820 einen Job-Planer 822, einen Konfigurationsverwalter 824, einen Ressourcenverwalter 826 und ein verteiltes Dateisystem 828. In mindestens einer Ausführungsform kann die Framework-Schicht 820 ein Framework zur Unterstützung der Software 832 der Softwareschicht 830 und/oder eine oder mehrere Anwendungen 842 der Anwendungsschicht 840 umfassen. In mindestens einer Ausführungsform kann die Software 832 oder können die Anwendung(en) 842 jeweils webbasierte Dienstsoftware oder Anwendungen umfassen, wie beispielsweise diejenigen, die von Amazon Web Services, Google Cloud und Microsoft Azure bereitgestellt werden. In mindestens einer Ausführungsform kann, ohne darauf beschränkt zu sein, die Framework-Schicht 820 eine Art Framework für eine freie und quelloffene Software-Webanwendung-Framework wie beispielsweise Apache Spark™ (nachfolgend als „Spark“ bezeichnet) sein, welches das verteilte Dateisystem 828 für eine groß angelegte Datenverarbeitung (z.B. „big data“) nutzen kann. In mindestens einer Ausführungsform kann der Job-Planer 832 einen Spark-Treiber umfassen, um die Planung von Arbeitslasten zu erleichtern, die von verschiedenen Schichten des Rechenzentrums 800 unterstützt werden. In mindestens einer Ausführungsform kann der Konfigurationsverwalter 824 in der Lage sein, verschiedene Schichten wie beispielsweise die Softwareschicht 830 und die Framework-Schicht 820 einschließlich Spark und des verteilten Dateisystems 828 zur Unterstützung der groß angelegten Datenverarbeitung zu konfigurieren. In mindestens einer Ausführungsform kann der Ressourcenverwalter 826 in der Lage sein, geclusterte oder gruppierte Rechenressourcen zu verwalten, die zur Unterstützung des verteilten Dateisystems 828 und des Job-Planers 822 gemappt oder zugeteilt sind. In mindestens einer Ausführungsform können geclusterte oder gruppierte Rechenressourcen die gruppierte Rechenressource 814 auf der Rechenzentrum-Infrastrukturschicht 810 umfassen. In mindestens einer Ausführungsform kann sich der Ressourcenverwalter 826 mit dem Ressourcenorchestrator 812 koordinieren, um diese gemappten oder zugeteilten Rechenressourcen zu verwalten.
In mindestens einer Ausführungsform kann die in der Softwareschicht 830 enthaltene Software 832 Software, die von mindestens Teilen der Knoten-C.R.s 816(1)-816(N) verwendet wird, gruppierte Rechenressourcen 814 und/oder das verteilte Dateisystem 828 der Framework-Schicht 820 umfassen. Die eine oder mehrere Arten von Software können, ohne darauf beschränkt zu sein, Internet-Webseiten-Suchsoftware, E-Mail-Virenscanner-Software, Datenbanksoftware und Streaming-Videoinhalt-Software umfassen.
In mindestens einer Ausführungsform kann(können) die in der Anwendungsschicht 840 enthaltene(n) Anwendung(en) 842 eine oder mehrere Arten von Anwendungen, die von mindestens Teilen der Knotens-C.R.s 816(1)-816(N) verwendet werden, gruppierte Rechenressourcen 814 und/oder das verteilte Dateisystem 828 der Framework-Schicht 820 umfassen. Eine oder mehrere Arten von Anwendungen können, jedoch ohne darauf beschränkt zu sein, eine beliebige Anzahl einer genomischen Anwendung, eines kognitiven Berechnens und einer Anwendung maschinellen Lernens, einschließlich Trainings- oder Inferenzsoftware, Framework-Software für maschinelles Lernen (z.B. PyTorch, TensorFlow, Caffe usw.) oder andere Anwendungen maschinellen Lernens umfassen, die in Verbindung mit einer oder mehreren Ausführungsformen verwendet werden.
In mindestens einer Ausführungsform beliebige des Konfigurationsmanager 834, des Ressourcenmanagers 836 und des Ressourcenorchestrators 812, basierend auf einer beliebigen Menge und der Art von Daten, die in beliebig technisch machbarer Weise erfasst wurden, eine beliebige Anzahl und Art von selbstmodifizierenden Aktionen implementieren. In mindestens einer Ausführungsform können selbstmodifizierende Aktionen einen Betreiber des Rechenzentrums 800 davon befreien, möglicherweise schlechte Konfigurationsentscheidungen zu treffen und möglicherweise ungenutzte und/oder schlecht funktionierende Abschnitte eines Rechenzentrums zu vermeiden.
In mindestens einer Ausführungsform kann das Rechenzentrum 800 Tools, Dienste, Software oder andere Ressourcen umfassen, um ein oder mehrere Modelle maschinellen Lernens zu trainieren oder Informationen unter Verwendung eines oder mehrerer Modelle maschinellen Lernens vorherzusagen oder abzuleiten, gemäß einer oder mehrerer hier beschriebener Ausführungsformen. Beispielsweise kann in mindestens einer Ausführungsform ein Modell maschinellen Lernens trainiert werden, indem Gewichtsparameter gemäß einer neuronalen Netzwerkarchitektur unter Verwendung der vorstehend in Bezug auf das Rechenzentrum 800 beschriebenen Software und Rechenressourcen berechnet werden. In mindestens einer Ausführungsform können trainierte Modelle maschinellen Lernens, die einem oder mehreren neuronalen Netzwerken entsprechen, verwendet werden, um Informationen unter Verwendung der vorstehend in Bezug auf das Rechenzentrum 800 beschriebenen Ressourcen unter Verwendung von Gewichtsparametern, die durch eine oder mehrere der hierin beschriebenen Trainingstechniken berechnet wurden, abzuleiten oder vorherzusagen.
In mindestens einer Ausführungsform kann das Rechenzentrum CPUs, anwendungsspezifische integrierte Schaltungen (ASICs), GPUs, FPGAs oder andere Hardware verwenden, um ein Training und/oder Inferenzieren unter Verwendung der vorstehend beschriebenen Ressourcen durchzuführen. Außerdem können eine oder mehrere der vorstehend beschriebenen Software- und/oder Hardware-Ressourcen als ein Dienst konfiguriert sein, um Benutzern zu erlauben, Informationen, wie beispielsweise Bilderkennung, Spracherkennung oder andere Dienste künstlicher Intelligenz, zu trainieren oder eine Inferenzierung derselben durchzuführen.
Die Inferenzierungs- und/oder Trainingslogik 715 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B bereitgestellt. In mindestens einer Ausführungsform kann in dem System von 8 die Inferenzierungs- und/oder Trainingslogik 915 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
Derartige Komponenten können verwendet werden, um eine Bewegung zum Erzeugen von Animation vorherzusagen. Dies kann die Verwendung eines Bewegungsvorhersagenetzwerks umfassen, das trainiert wurde, wie hier erläutert, um einzelne Frames der Animation zu erzeugen.
COMPUTERSYSTEME
9 ist ein Blockdiagramm, das ein beispielhaftes Computersystem veranschaulicht, welches ein System mit miteinander verbundenen Vorrichtungen und Komponenten, ein System auf einem Chip (SOC) oder eine Kombination davon sein kann, das mit einem Prozessor gebildet ist, der Ausführungseinheiten zum Ausführen einer Anweisung umfassen kann, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann ein Computersystem 900, ohne darauf beschränkt zu sein, eine Komponente umfassen, wie beispielsweise einen Prozessor 902, um Ausführungseinheiten mit Logik zum Ausführen von Algorithmen für Prozessdaten in Übereinstimmung mit der vorliegenden Offenbarung, wie beispielsweise der hier beschriebenen Ausführungsformen, zu benutzen. In mindestens einer Ausführungsform kann das Computersystem 900 Prozessoren, wie beispielsweise die PENTIUM®-Prozessorfamilie, Xeon™, Itanium®, XScale™ und/oder StarkenARM™, Intel® Core™ oder Intel® Nervana™ Mikroprozessoren, umfassen, die von der Intel Corporation in Santa Clara, Kalifornien, erhältlich sind, obwohl auch andere Systeme (einschließlich PCs mit anderen Mikroprozessoren, Engineering-Arbeitsplätze, Set-Top-Boxen und dergleichen) verwendet werden können. In mindestens einer Ausführungsform kann das Computersystem 900 eine Version des Betriebssystems WINDOWS ausführen, das bei der Microsoft Corporation in Redmond, Washington erhältlich ist, obwohl auch andere Betriebssysteme (z.B. UNIX und Linux), eingebettete Software und/oder graphische Benutzeroberflächen verwendet werden können.
Ausführungsformen können in anderen Geräten wie beispielsweise Handheld-Geräten und Eingebettete-Anwendungen verwendet werden. Einige Beispiele für tragbare bzw. Handheld-Geräte umfassen Mobiltelefone, Internet-Protokoll-Geräte, Digitalkameras, persönliche digitale Assistenten („PDAs“) und Handheld-PCs. In mindestens einer Ausführungsform können eingebettete Anwendungen einen Mikrocontroller, einen digitalen Signalprozessor („DSP“), ein System auf einem Chip, Netzwerkcomputer („NetPCs“), Set-Top-Boxen, Netzwerk-Hubs, Wide Area Network („WAN“) Schalter oder jedes andere System umfassen, das eine oder mehrere Anweisungen ausführen kann, gemäß mindestens einer Ausführungsform.
In mindestens einer Ausführungsform kann das Computersystem 900, ohne darauf beschränkt zu sein, den Prozessor 902 umfassen, der, ohne darauf beschränkt zu sein, eine oder mehrere Ausführungseinheiten 908 umfassen kann, um in Übereinstimmung mit hier beschriebenen Techniken ein Training eines maschinell lernenden Modells und/oder Inferenzieren durchzuführen. In mindestens einer Ausführungsform ist ein Computersystem 900 ein Einzelprozessor-Desktop- oder Serversystem, wobei in einer anderen Ausführungsform das Computersystem 900 jedoch ein Multiprozessorsystem sein kann. In mindestens einer Ausführungsform kann der Prozessor 902, ohne darauf beschränkt zu sein, einen Mikroprozessor mit komplexem Anweisungssatz-Computer („CISC“), einen Mikroprozessor mit reduziertem Anweisungssatz („RISC“), einen Mikroprozessor mit sehr langem Anweisungswort („VLIW“), einen Prozessor, der eine Kombination von Anweisungssätzen implementiert, oder jede andere Prozessorvorrichtung, wie beispielsweise einen digitalen Signalprozessor, umfassen. In mindestens einer Ausführungsform kann der Prozessor 902 mit einem Prozessorbus 910 gekoppelt sein, der Datensignale zwischen dem Prozessor 902 und anderen Komponenten in dem Computersystem 900 übertragen kann.
In mindestens einer Ausführungsform kann der Prozessor 902, ohne darauf beschränkt zu sein, einen internen Level-1 („L1“)-Cache-Speicher („Cache“) 904 umfassen. In mindestens einer Ausführungsform kann der Prozessor 902 einen einzelnen internen Cache oder mehrere Ebenen eines internen Cache aufweisen. In mindestens einer Ausführungsform kann sich der Cache-Speicher extern zu dem Prozessor 902 befinden. Andere Ausführungsformen können je nach Implementierung und Bedarf auch eine Kombination aus internen und externen Caches umfassen. In mindestens einer Ausführungsform kann eine Registerdatei 906 verschiedene Arten von Daten in verschiedenen Registern speichern, einschließlich, jedoch nicht beschränkt auf, Ganzzahlregister, Gleitkommaregister, Zustandsregister und einem Anweisungszeigerregister.
In mindestens einer Ausführungsform befindet sich die Ausführungseinheit 908, jedoch ohne darauf beschränkt zu sein, die Logik zum Ausführen von Ganzzahl- und Gleitkommaoperationen umfasst, ebenfalls in dem Prozessor 902. In mindestens einer Ausführungsform kann der Prozessor 902 auch einen Mikrocode („ucode“)-Nur-Lese-Speicher („ROM“) umfassen, der Mikrocode für bestimmte Makroanweisungen speichert. In mindestens einer Ausführungsform kann die Ausführungseinheit 908 Logik zur Handhabung eines gepackten Anweisungssatzes 909 umfassen. In mindestens einer Ausführungsform können, indem der gepackte Anweisungssatz 909 in den Anweisungssatz eines Universalprozessors aufgenommen wird, zusammen mit zugehörigen Schaltungen zur Ausführung von Anweisungen Operationen, die von vielen Multimedia-Anwendungen verwendet werden, unter Verwendung von gepackten Daten in einem Allzweckprozessor 902 durchgeführt werden. In einer oder mehreren Ausführungsformen können viele Multimedia-Anwendungen beschleunigt und effizienter ausgeführt werden, indem die volle Breite eines Datenbusses des Prozessors für die Ausführung von Operationen auf gepackten Daten verwendet wird, welches die Notwendigkeit eliminieren kann, kleinere Dateneinheiten über den Datenbus des Prozessors zu übertragen, um eine oder mehrere Operationen jeweils Datenelement für Datenelement durchzuführen.
In mindestens einer Ausführungsform kann die Ausführungseinheit 908 auch in Mikrocontrollern, eingebetteten Prozessoren, Graphikvorrichtungen, DSPs und anderen Arten von Logikschaltungen verwendet werden. In mindestens einer Ausführungsform kann das Computersystem 900, ohne darauf beschränkt zu sein, einen Speicher 920 umfassen. In mindestens einer Ausführungsform kann der Speicher 920 als eine Dynamic Random Access Memory („DRAM“)-Vorrichtung, als eine Static Random Access Memory („SRAM“)-Vorrichtung, als eine Flash-Speichervorrichtung oder eine andere Speichervorrichtung implementiert sein. In mindestens einer Ausführungsform kann der Speicher 920 einen oder mehrere Anweisungen 919 und/oder Daten 921 speichern, die durch Datensignale repräsentiert werden, die von dem Prozessor 902 ausgeführt werden können.
In mindestens einer Ausführungsform kann ein Systemlogikchip mit dem Prozessorbus 910 und dem Speicher 920 gekoppelt sein. In mindestens einer Ausführungsform kann der Systemlogikchip, ohne darauf beschränkt zu sein, einen Speichercontroller-Hub („MCH“) 916 umfassen, und der Prozessor 902 kann über den Prozessorbus 910 mit dem MCH 916 kommunizieren. In mindestens einer Ausführungsform kann der MCH 916 einen Speicherpfad 918 mit hoher Bandbreite zu dem Speicher 920 für Anweisungs- und Datenspeicherung sowie zur Speicherung von Graphikbefehlen, Daten und Texturen bereitstellen. In mindestens einer Ausführungsform kann der MCH 916 Datensignale zwischen dem Prozessor 902, dem Speicher 920 und anderen Komponenten in dem Computersystem 900 leiten und Datensignale zwischen dem Prozessorbus 910, dem Speicher 920 und einer System-E/A 922 überbrücken. In mindestens einer Ausführungsform kann ein Systemlogikchip einen Graphikport zur Kopplung an einen Graphik-Controller bereitstellen. In mindestens einer Ausführungsform kann der MCH 916 über einen Speicherpfad 918 mit hoher Bandbreite mit dem Speicher 920 gekoppelt sein, und eine Graphik-/Video-Karte 912 kann über eine Accelerated Graphics Port („AGP“) Zwischenverbindung 914 mit dem MCH 916 gekoppelt sein.
In mindestens einer Ausführungsform kann das Computersystem 900 die System-E/A 922 verwenden, die ein proprietärer Hub-Schnittstellenbus ist, um den MCH 916 mit dem E/A-Controller-Hub („ICH“) 930 zu verbinden. In mindestens einer Ausführungsform kann der ICH 930 über einen lokalen E/A-Bus direkte Verbindungen zu einigen E/A-Vorrichtungen bereitstellen. In mindestens einer Ausführungsform kann ein lokaler E/A-Bus, ohne darauf beschränkt zu sein, einen Hochgeschwindigkeits-E/A-Bus zum Verbinden von Peripheriegeräten mit dem Speicher 920, einem Chipsatz und dem Prozessor 902 umfassen. Beispiele können, ohne darauf beschränkt zu sein, einen Audio-Controller 929, einen Firmware-Hub („Flash-BIOS“) 928, einen drahtlosen Transceiver 926, eine Datenspeicherung 924, einen Legacy-E/A-Controller 923 mit Benutzereingabe und Tastaturschnittstellen 925, einen seriellen Erweiterungsport 927, wie beispielsweise einen Universal Serial Bus („USB“) Port, und ein Netzwerk-Controller 934 sein. Die Datenspeicherung 924 ein Festplattenlaufwerk, ein Diskettenlaufwerk, eine CD-ROM-Vorrichtung, eine Flash-Speicher-Vorrichtung oder eine andere Massenspeicherungsvorrichtung umfassen.
In mindestens einer Ausführungsform veranschaulicht 9 ein System, welches miteinander verbundene Hardware-Vorrichtungen oder „Chips“ umfasst, während in anderen Ausführungsformen 9 ein beispielhaftes System auf einem Chip („SoC“) darstellen kann. In mindestens einer Ausführungsform können Vorrichtungen mit proprietären Zwischenverbindungen, standardisierten Zwischenverbindungen (z.B. PCle) oder einer Kombination derselben verbunden sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten des Computersystems 900 unter Verwendung von Compute Express Link (CXL)-Zwischenverbindungen verbunden.
Die Inferenzierungs- und/oder Trainingslogik 715 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zu der Inferenzierungs- und/oder Trainingslogik 715 werden nachstehend in Verbindung mit 7A und/oder 7B bereitgestellt. In mindestens einer Ausführungsform kann in dem System von 9 die Inferenzierungs- und/oder Trainingslogik 715 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
Derartige Komponenten können verwendet werden, um eine Bewegung zum Erzeugen von Animation vorherzusagen. Dies kann die Verwendung eines Bewegungsvorhersagenetzwerks umfassen, das trainiert wurde, wie hier erläutert, um einzelne Frames der Animation zu erzeugen.
10 ist ein Blockdiagramm, das eine elektronische Vorrichtung 1000 zur Verwendung eines Prozessors 1010 darstellt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die elektronische Vorrichtung 1000 beispielsweise und ohne darauf beschränkt zu sein ein Notebook, ein turmförmig aufgebauter bzw. Tower-Server, ein Rahmengestell- bzw. Rack-Server, ein Einschub- bzw. Blade-Server, ein tragbarer Rechner bzw. Laptop, ein Tischcomputer bzw. Desktop, ein Tablett, ein mobiles Gerät, ein Telefon, ein eingebetteter bzw. Embedded-Computer oder jede andere geeignete elektronische Vorrichtung sein.
In mindestens einer Ausführungsform kann das System 1000, ohne darauf beschränkt zu sein, den Prozessor 1010 umfassen, der kommunikativ mit einer beliebigen geeigneten Anzahl oder Art von Komponenten, Peripheriegeräten, Modulen oder Vorrichtungen gekoppelt ist. In mindestens einer Ausführungsform ist der Prozessor 1010 über einen Bus oder eine Schnittstelle, wie beispielsweise einen I²C-Bus, einen System Management Bus („SMBus“), einen Low Pin Count (LPC)-Bus, eine serielle Peripherieschnittstelle („SPI“), einen High Definition Audio („HDA“)-Bus, einen Serial Advance Technology Attachment („SATA“)-Bus, einen Universal Serial Bus („USB“) (Versionen 1, 2, 3 usw.) oder einen Universal Asynchronous Receiver/Transmitter („UART“)-Bus, gekoppelt. In mindestens einer Ausführungsform veranschaulicht 10 ein System, welches miteinander verbundene Hardware-Vorrichtungen oder „Chips“ umfasst, während in anderen Ausführungsformen 10 ein beispielhaftes System auf einem Chip („SoC“) veranschaulichen kann. In mindestens einer Ausführungsform können die in 10 veranschaulichten Vorrichtungen mit proprietären Verbindungen, standardisierten Zwischenverbindungen (z.B. PCle) oder einer Kombination davon verbunden sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten von 10 unter Verwendung von Compute Express Link (CXL)-Zwischenverbindungen miteinander verbunden.
In mindestens einer Ausführungsform kann 10 eine Anzeige 1024, einen berührungsempfindlichen Bildschirm bzw. Touchscreen 1025, ein berührungsempfindliches Feld bzw. Touchpad 1030, eine Nahfeld-Kommunikationseinheit (Near Field Communications Unit; „NFC“) 1045, einen Sensor-Hub 1040, einen Thermosensor 1046, einen Express-Chipsatz („EC“) 1035, ein Trusted Platform Module („TPM“) 1038, BIOS/Firmware/Flash-Speicher („BIOS, FW-Flash“) 1022, einen DSP 1060, ein Laufwerk („SSD oder HDD“) 1012, wie beispielsweise eine Solid State Disk („SSD“) oder eine Festplatte („HDD“), eine Wireless Local Area Network Unit („WLAN“) 1050, eine Bluetooth-Einheit 1052, eine Wireless Wide Area Network Unit („WWAN“) 1056, ein Global Positioning System (GPS) Einheit 1055, eine Kamera („USB 3.0 Camera“) 1054, wie beispielsweise eine USB 3.0-Kamera, oder eine Low Power Double Data Rate („LPDDR“)-Speichereinheit („LPDDR3“) 1015, die beispielsweise in einem LPDDR3-Standard implementiert ist, umfassen. Diese Komponenten können jeweils in beliebig geeigneter Art und Weise implementiert sein.
In mindestens einer Ausführungsform können andere Komponenten durch die oben erläuterten Komponenten kommunikativ mit dem Prozessor 1010 gekoppelt sein. In mindestens einer Ausführungsform können ein Beschleunigungssensor 1041, ein Umgebungslichtsensor (Ambient Light Sensor; „ALS“) 1042, ein Kompass 1043 und ein Gyroskop 1044 kommunikativ mit dem Sensor-Hub 1040 gekoppelt sein. In mindestens einer Ausführungsform können ein Thermosensor 1039, ein Lüfter 1037, eine Tastatur 1036 und ein Touchpad 1030 kommunikativ mit dem EC 1035 gekoppelt sein. In mindestens einer Ausführungsform können Lautsprecher 1063, Kopfhörer 1064 und ein Mikrofon („mic“) 1065 kommunikativ mit einer Audioeinheit („Audio-Codec und Class D-Amp“) 1062 gekoppelt sein, die wiederum kommunikativ mit dem DSP 1060 gekoppelt sein kann. In mindestens einer Ausführungsform kann eine Audioeinheit 1062, beispielsweise und ohne darauf beschränkt zu sein, einen Audio-Codierer/Decodierer („Codec“) und einen Klasse-D-Verstärker umfassen. In mindestens einer Ausführungsform kann die SIM-Karte („SIM“) 1057 kommunikativ mit der WWAN-Einheit 1056 gekoppelt sein. In mindestens einer Ausführungsform können Komponenten, wie beispielsweise die WLAN-Einheit 1050 und die Bluetooth-Einheit 1052 sowie auch die WWAN-Einheit 1056, in einem Formfaktor der nächsten Generation (Next Generation Form Faktor; „NGFF“) implementiert sein.
Die Inferenzierungs- und/oder Trainingslogik 715 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zu der Inferenzierungs- und/oder Trainingslogik 715 werden nachstehend in Verbindung mit 7A und/oder 7B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 715 in dem System von 10 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
Derartige Komponenten können verwendet werden, um eine Bewegung zum Erzeugen von Animation vorherzusagen. Dies kann die Verwendung eines Bewegungsvorhersagenetzwerks umfassen, das trainiert wurde, wie hier erläutert, um einzelne Frames der Animation zu erzeugen.
11 ist ein Blockdiagramm eines Verarbeitungssystems gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst das System 1500 einen oder mehrere Prozessoren 1102 und einen oder mehrere Graphikprozessoren 1108 und kann ein Desktop-System mit einem einzelnen Prozessor, ein Multiprozessor-Workstation-System oder ein Serversystem mit einer großen Anzahl von Prozessoren 1102 oder Prozessorkernen 1107 sein. In mindestens einer Ausführungsform ist das System 1500 eine Verarbeitungsplattform, die in eine System-on-a-Chip (SoC)-integrierte Schaltung zur Verwendung in mobilen, tragbaren oder eingebetteten Geräten integriert ist.
In mindestens einer Ausführungsform kann das System 1500 eine Spielkonsole, einschließlich einer Spiel- und Medienkonsole, eine mobile Spielkonsole, eine tragbare Spielkonsole oder eine Online-Spielkonsole umfassen oder in diese innerhalb einer serverbasierten Spieleplattform integriert sein. In mindestens einer Ausführungsform ist das System 1500 ein Mobiltelefon, ein Smartphone, ein Tablet-Computergerät oder ein mobiles Internetgerät. In mindestens einer Ausführungsform kann das Verarbeitungssystem 1500 auch ein tragbares Gerät, wie beispielsweise ein tragbares Smart Watch-Gerät, ein intelligentes Brillengerät, ein Gerät für erweiterte Realität oder ein Gerät für virtuelle Realität umfassen, mit ihm koppeln oder in dieses integriert sein. In mindestens einer Ausführungsform ist das Verarbeitungssystem 1500 ein Fernseh- oder Set-Top-Box-Gerät mit einem oder mehreren Prozessoren 1102 und einer von einem oder mehreren Graphikprozessoren 1108 erzeugten Graphikschnittstelle.
In mindestens einer Ausführungsform umfassen ein oder mehrere Prozessoren 1102 jeweils einen oder mehrere Prozessorkerne 1107 zum Verarbeiten von Anweisungen, die dann, wenn sie ausgeführt werden, Operationen für ein System- und Benutzersoftware ausführen. In mindestens einer Ausführungsform ist jeder eines oder mehrerer Prozessorkerne 1107 konfiguriert, um eine bestimmte Anweisungssatz 1109 zu verarbeiten. In mindestens einer Ausführungsform kann die Anweisungssatz 1109 Complex Instruction Set Computing (CISC), Reduced Instruction Set Computing (RISC) oder das Rechnen über ein Very Long Instruction Word (VLIW) erleichtern. In mindestens einer Ausführungsform können die Prozessorkerne 1107 jeweils eine andere Anweisungssatz 1109 verarbeiten, die Anweisungen zum Erleichtern der Emulation anderer Anweisungssätze umfassen kann. In mindestens einer Ausführungsform kann der Prozessorkern 1107 auch andere Verarbeitungsvorrichtungen, wie beispielsweise einen digitalen Signalprozessor (DSP), umfassen.
In mindestens einer Ausführungsform umfasst der Prozessor 1102 den Cache-Speicher 1104. In mindestens einer Ausführungsform kann der Prozessor 1102 einen einzelnen internen Cache oder mehrere Ebenen internen Caches aufweisen. In mindestens einer Ausführungsform wird der Cache-Speicher von verschiedenen Komponenten des Prozessors 1102 gemeinsam genutzt. In mindestens einer Ausführungsform verwendet der Prozessor 1102 auch einen externen Cache (z.B. einen Level 3 (L3)- Cache oder einen Last Level Cache (LLC)) (nicht gezeigt), welcher unter Verwendung bekannter Cache-Kohärenztechniken von den Prozessorkernen 1107 gemeinsam genutzt werden kann. In mindestens einer Ausführungsform ist die Registerdatei 1106 zusätzlich in dem Prozessor 1102 enthalten, welcher verschiedene Registertypen zum Speichern verschiedener Datentypen umfassen kann (z.B. ein Ganzzahlregister, ein Gleitkommaregister, ein Zustandsregister und ein Anweisungszeigerregister). In mindestens einer Ausführungsform kann die Registerdatei 1106 Universalregister oder andere Register umfassen.
In mindestens einer Ausführungsform sind ein oder mehrere Prozessoren 1102 mit einem oder mehreren Schnittstellenbussen 1110 gekoppelt, um Kommunikationssignale wie Adressen, Daten oder Steuersignale zwischen dem Prozessor 1102 und anderen Komponenten in dem System 1500 zu übertragen. In mindestens einer Ausführungsform kann, in einer Ausführungsform, ein Schnittstellenbus 1110 ein Prozessorbus sein, wie beispielsweise eine Version eines Direct Media Interface (DMI)-Busses. In mindestens einer Ausführungsform ist die Schnittstelle 1110 nicht auf einen DMI-Bus beschränkt und kann einen oder mehrere Peripheral Connect Zwischenverbindung-Busse (z.B. PCI, PCI Express), Speicherbusse oder andere Arten von Schnittstellenbussen umfassen. In mindestens einer Ausführungsform umfassen der/die Prozessor(en) 1102 eine integrierte Speicher-Controller 1116 und einen Plattform-Controller-Hub 1130. In mindestens einer Ausführungsform erleichtert der Speicher-Controller 1116 die Kommunikation zwischen einer Speichervorrichtung und anderen Komponenten des Systems 1500, während der Plattform-Controller-Hub (PCH) 1130 Verbindungen mit E/A-Vorrichtungen über einen lokalen E/A-Bus bereitstellt.
In mindestens einer Ausführungsform kann eine Speichervorrichtung 1120 eine dynamische Direktzugriffspeicher (DRAM)-Vorrichtung, eine statische Direktzugriffspeicher (SRAM)-Vorrichtung, eine Flash-Speicher-Vorrichtung, eine Phasenänderungs-Speichervorrichtung oder irgendeine andere Speichervorrichtung mit geeigneter Leistung sein, um als Prozessspeicher zu dienen. In mindestens einer Ausführungsform kann die Speichervorrichtung 1120 als Systemspeicher für das System 1500 arbeiten, um Daten 1122 und Anweisungen 1111 zu speichern, die verwendet werden, wenn ein oder mehrere Prozessoren 1102 eine Anwendung oder einen Prozess ausführen. In mindestens einer Ausführungsform koppelt die Speichercontroller 1116 darüber hinaus mit einem optionalen externen Graphikprozessor 1112, welcher mit einem oder mehreren Graphikprozessoren 1108 in den Prozessoren 1102 kommunizieren kann, um Graphik- und Medienoperationen durchzuführen. In mindestens einer Ausführungsform kann eine Anzeigevorrichtung 1111 mit dem/den Prozessor(en) 1102 verbinden. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 1111 eine oder mehrere einer internen Anzeigevorrichtung umfassen, wie in einer mobilen elektronischen Vorrichtung oder einer Laptopvorrichtung oder einer externen Anzeigevorrichtung, die über eine Anzeigeschnittstelle (z.B. DisplayPort, usw.) angeschlossen ist. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 1111 eine kopfangebrachte Anzeige (HMD) umfassen, wie beispielsweise eine stereoskopische Anzeigevorrichtung zur Verwendung in Virtual-Reality-Anwendungen (VR) oder Augmented-Reality-Anwendungen (AR).
In mindestens einer Ausführungsform ermöglicht der Plattform-Controller-Hub 1130 Peripheriegeräten, sich mit der Speichervorrichtung 1120 und dem Prozessor 1102 über einen Hochgeschwindigkeits-E/A-Bus zu verbinden. In mindestens einer Ausführungsform umfassen E/A-Peripheriegeräte unter anderem, sind jedoch nicht beschränkt auf, einen Audio-Controller 1146, einen Netzwerk-Controller 1134, eine Firmware-Schnittstelle 1111, einen drahtlosen Sender-Empfänger 1126, Berührungssensoren 1125, eine Datenspeichervorrichtung 1124 (z.B. eine Festplatte, einen Flash-Speicher usw.). In mindestens einer Ausführungsform kann die Datenspeichervorrichtung 1124 über eine Speicherschnittstelle (z.B. SATA) oder über einen Peripheriebus, wie beispielsweise einen Peripheral Component Interconnect Bus (z.B. PCI, PCI Express) verbinden. In mindestens einer Ausführungsform können die Berührungssensoren 1125 Sensoren eines berührungsempfindlichen Bildschirms, Drucksensoren oder Fingerabdrucksensoren umfassen. In mindestens einer Ausführungsform kann der drahtlose Sender-Empfänger 1126 ein Wi-Fi-Sender-Empfänger, ein Bluetooth-Sender-Empfänger oder ein Mobilfunk-Sender-Empfänger wie beispielsweise ein 3G-, 4G- oder Long Term Evolution (LTE)-Transceiver sein. In mindestens einer Ausführungsform ermöglicht die Firmware-Schnittstelle 1111 die Kommunikation mit der System-Firmware und kann beispielsweise eine vereinheitlichte erweiterbare Firmware-Schnittstelle (UEFI) sein. In mindestens einer Ausführungsform kann der Netzwerk-Controller 1134 eine Netzwerkverbindung zu einem verdrahteten Netzwerk aktivieren. In mindestens einer Ausführungsform koppelt einen Hochleistungs-Netzwerk-Controller (nicht gezeigt) mit dem Schnittstellenbus 1110. In mindestens einer Ausführungsform ist der Audio-Controller 1146 ein mehrkanaliger hochauflösenden Audio-Controller. In mindestens einer Ausführungsform umfasst das System 1500 eine optionale Legacy-E/A-Steuereinrichtung 1140 zum Koppeln von Legacy-Geräten (z.B. Personal System 2 (PS/2)) mit dem System. In mindestens einer Ausführungsform kann der Plattform-Controller-Hub 1130 auch mit einer oder mehreren Universal Serial Bus (USB)-Controllern 1142 verbinden, um Eingabegeräte wie beispielsweise Tastatur- und Maus-Kombinationen 1143, eine Kamera 1144 oder andere USB-Eingabegeräte zu verbinden.
In mindestens einer Ausführungsform kann eine Instanz des Speichercontrollers 1116 und des Plattform-Controller-Hub 1130 in einem diskreten externen Graphikprozessor, wie beispielsweise dem externen Graphikprozessor 1112, integriert sein. In mindestens einer Ausführungsform können der Plattform-Controller-Hub 1130 und/oder der Speicher-Controller 1116 extern zu einem oder mehreren Prozessoren 1102 sein. Beispielsweise kann das System 1500 in mindestens einer Ausführungsform einen externen Speicher-Controller 1116 und einen Plattform-Controller-Hub 1130 umfassen, die als ein Speicher-Controller-Hub und ein peripherer Controller-Hub innerhalb eines System-Chipsatzes, der mit dem bzw. den Prozessor(en) 1102 in Verbindung steht, konfiguriert sein können.
Die Inferenzierungs- und/oder Trainingslogik 715 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 715 werden nachstehend in Verbindung mit 7A und/oder 7B bereitgestellt. In mindestens einer Ausführungsform kann ein Abschnitt der oder die gesamte Inferenzierungs- und/oder Trainingslogik 715 in den Graphikprozessor 1500 integriert sein. Beispielsweise können in mindestens einer Ausführungsform hier beschriebene Trainings- und/oder Inferenzierungs-Techniken eine oder mehrere der in einem Graphikprozessor verkörperten ALUs verwenden. Außerdem können in mindestens einer Ausführungsform hier beschriebene Inferenzierungs- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als die in 7A oder 7B veranschaulichte Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, welche die ALUs eines Graphikprozessors konfigurieren, um einen oder mehrere Algorithmen maschinellen Lernens, neuronale Netzwerkarchitekturen, Anwendungsfälle oder die hier beschriebenen Trainingstechniken durchzuführen.
Derartige Komponenten können verwendet werden, um eine Bewegung zum Erzeugen von Animation vorherzusagen. Dies kann die Verwendung eines Bewegungsvorhersagenetzwerks umfassen, das trainiert wurde, wie hier erläutert, um einzelne Frames der Animation zu erzeugen.
12 ist ein Blockdiagramm eines Prozessors 1200 mit einem oder mehreren Prozessorkernen 1202A-1202N, einen integrierten Speicher-Controller 1214 und einem integrierten Graphikprozessor 1208 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozessor 1200 zusätzliche Kerne bis hin zu dem und einschließlich des(der) zusätzlichen Kerns(e) 1202N umfassen, die durch gestrichelte, linierte Kästen dargestellt sind. In mindestens einer Ausführungsform umfasst jeder der Prozessorkerne 1202A-1202N eine oder mehrere interne Cache-Einheiten 1204A-1204N. In mindestens einer Ausführungsform weist jeder Prozessorkern auch Zugriff auf eine oder mehrere gemeinsam genutzte Cache-Einheiten 1206 auf.
In mindestens einer Ausführungsform stellen die internen Cache-Einheiten 1204A-1204N und die gemeinsam genutzten Cache-Einheiten 1206 eine Cache-Speicherhierarchie innerhalb des Prozessors 1200 dar. In mindestens einer Ausführungsform können die Cache-Speichereinheiten 1204A-1204N mindestens eine Anweisungs- und Daten-Cache-Ebene innerhalb jedes Prozessorkerns und eine oder mehrere Ebenen gemeinsam genutzten Mid-Level-Caches, wie beispielsweise ein Level 2 (L2), ein Level 3 (L3), ein Level 4 (L4) oder andere Cache-Ebenen, umfassen, wobei eine höchste Cache-Ebene vor externem Speicher als eine LLC klassifiziert ist. In mindestens einer Ausführungsform behält die Cache-Kohärenzlogik Kohärenz zwischen den verschiedenen Cache-Einheiten 1206 und 1204A-1204N bei.
In mindestens einer Ausführungsform kann der Prozessor 1200 auch einen Satz einer oder mehrerer Bus-Controller-Einheiten 1216 und einen System-Agent-Kern 1210 umfassen. In mindestens einer Ausführungsform verwalten eine oder mehrere Bus-Controller-Einheiten 1216 einen Satz von Peripheriebussen, wie beispielsweise einen oder mehrere PCI- oder PCI-Express-Busse. In mindestens einer Ausführungsform stellt der System-Agent-Kern 1210 Managementfunktionen für verschiedene Prozessorkomponenten zur Verfügung. In mindestens einer Ausführungsform umfasst der System-Agent-Kern 1210 eine oder mehrere integrierte Speichercontroller 1214, um den Zugriff auf verschiedene externe Speichervorrichtungen (nicht gezeigt) zu verwalten.
In mindestens einer Ausführungsform umfassen ein oder mehrere der Prozessorkerne 1202A-1202N Unterstützung für gleichzeitiges Multithreading. In mindestens einer Ausführungsform umfasst der System-Agent-Kern 1210 Komponenten zum Koordinieren und Betreiben der Kerne 1202A-1202N während der Multithreading-Verarbeitung. In mindestens einer Ausführungsform kann der System-Agent-Kern 1210 zusätzlich eine Leistungssteuereinheit (PCU) umfassen, die Logik und Komponenten zum Regeln eines oder mehrerer Leistungszustände der Prozessorkerne 1202A-1202N und des Graphikprozessors 1208 umfasst.
In mindestens einer Ausführungsform umfasst der Prozessor 1200 zusätzlich den Graphikprozessor 1208, um Graphikverarbeitungsoperationen auszuführen. In mindestens einer Ausführungsform koppelt der Graphikprozessor 1208 mit den gemeinsam genutzten Cache-Einheiten 1206 und dem System-Agent-Kern 1210, einschließlich einer oder mehrerer integrierter Speichercontrollers 1214. In mindestens einer Ausführungsform umfasst der System-Agent-Kern 1210 auch einen Anzeige-Controller 1211, um die Graphikprozessorausgabe auf ein oder mehrere gekoppelte Anzeigen zu treiben. In mindestens einer Ausführungsform kann der Anzeige-Controller 1211 auch ein separates Modul sein, das über mindestens eine Zwischenverbindung mit dem Graphikprozessor 1208 gekoppelt ist oder in den Graphikprozessor 1208 integriert sein kann.
In mindestens einer Ausführungsform wird eine ringbasierte Zwischenverbindungseinheit 1212 verwendet, interne Komponenten des Prozessors 1200 zu koppeln. In mindestens einer Ausführungsform kann eine alternative Verbindungseinheit verwendet werden, wie beispielsweise eine Punkt-zu-Punkt-Zwischenverbindung, eine geschaltete Zwischenverbindung oder andere Techniken. In mindestens einer Ausführungsform koppelt der Graphikprozessor 1208 über eine E/A-Verbindung 1213 mit der Ring-Zwischenverbindung 1212.
In mindestens einer Ausführungsform repräsentiert die E/A-Verbindung 1213 mindestens eine von mehreren Varianten von E/A-Zwischenverbindungen, einschließlich einer E/A-Zwischenverbindung auf dem Gehäuse, welche die Kommunikation zwischen verschiedenen Prozessorkomponenten und einem eingebetteten Hochleistungsspeichermodul 1218, wie beispielsweise einem eDRAM-Modul, erleichtert. In mindestens einer Ausführungsform verwenden jeder der Prozessorkerne 1202A-1202N und der Graphikprozessor 1208 eingebettete Speichermodule 1218 als einen gemeinsam genutzten Cache letzter Ebene bzw. Last Level Cache.
In mindestens einer Ausführungsform sind die Prozessorkerne 1202A-1202N homogene Kerne, die eine gemeinsame Anweisungssatzarchitektur ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 1202A-1202N heterogen in Bezug auf die Anweisungssatzarchitektur (Instruction Set Architecture; ISA), wobei einer oder mehrere der Prozessorkerne 1202A-1202N einen gemeinsamen Anweisungssatz ausführen, während ein oder mehrere andere Kerne der Prozessorkerne 1202A-1202N eine Teilmenge eines gemeinsamen Anweisungssatzes oder einen bzw. eines anderen Anweisungssatzes ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 1202A-1202N in Bezug auf Mikroarchitektur heterogen, wobei ein oder mehrere Kerne mit einem relativ höheren Stromverbrauch mit einem oder mehreren Leistungskernen mit einem niedrigeren Stromverbrauch koppeln. In mindestens einer Ausführungsform kann der Prozessor 1200 auf einem oder mehreren Chips oder als eine in einem SoC integrierte Schaltung implementiert sein.
Die Inferenzierungs- und/oder Trainingslogik 715 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 715 werden nachstehend in Verbindung mit 7A und/oder 7B bereitgestellt. In mindestens einer Ausführungsform können Abschnitte der oder die gesamte(n) Inferenzierungs- und/oder Trainingslogik 715 in den Prozessor 1200 integriert sein. Beispielsweise können in mindestens einer Ausführungsform hier beschriebene Trainings- und/oder Inferenzierungs-Techniken einen oder mehrere in dem Graphikprozessor 1512 verkörperte ALUs, Graphikkerne 1202A-1202N oder andere Komponenten in 12 verwenden. Darüber hinaus können in mindestens einer Ausführungsform hier beschriebene Inferenzierungs- und/oder Trainingsoperationen mit einer anderen Logik als der in den 7A oder 7B veranschaulichten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, die ALUs des Graphikprozessors 1200 konfigurieren, um einen oder mehrere Algorithmen maschinellen Lernens, neuronale Netzwerkarchitekturen, Anwendungsfälle oder die hier beschriebenen Trainingstechniken auszuführen.
Derartige Komponenten können verwendet werden, um eine Bewegung zum Erzeugen von Animation vorherzusagen. Dies kann die Verwendung eines Bewegungsvorhersagenetzwerks umfassen, das trainiert wurde, wie hier erläutert, um einzelne Frames der Animation zu erzeugen.
VIRTUALISIERTE RECHENPLATTFORM
13 ist ein beispielhaftes Datenablaufdiagramm für einen Prozess 1300 zum Erzeugen und Einsetzen einer Bildverarbeitungs- und Inferenzierungs-Pipeline gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozess 1300 zur Verwendung mit Bildgebungsvorrichtungen, Verarbeitungsvorrichtungen und/oder anderen Gerätetypen in einer oder mehreren Einrichtungen 1302 eingesetzt werden. Der Prozess 1300 kann innerhalb eines Trainingssystems 1304 und/oder eines Einsatzsystems 1306 ausgeführt werden. In mindestens einer Ausführungsform kann das Trainingssystem 1304 verwendet werden, um das Training, den Einsatz und die Implementierung von Modellen maschinellen Lernens (z.B. neuronale Netzwerke, Objekterkennungsalgorithmen, Computer-Vision-Algorithmen usw.) zur Verwendung im Einsatzsystem 1306 durchzuführen. In mindestens einer Ausführungsform kann das Einsatzsystem 1306 konfiguriert sein, um Verarbeitungs- und Rechenressourcen in einer verteilten Rechenumgebung auszulagern, um die Infrastrukturanforderungen in der Einrichtung 1302 zu verringern. In mindestens einer Ausführungsform können eine oder mehrere Anwendungen in einer Pipeline Dienste (z.B. Inferenzierung, Visualisierung, Berechnung, KI usw.) des Einsatzsystems 1306 während der Ausführung von Anwendungen verwenden oder aufrufen.
In mindestens einer Ausführungsform können einige der Anwendungen, die in fortschrittlichen Verarbeitungs- und Inferenzierungs-Pipelines verwendet werden, Modelle maschinellen Lernens oder andere KI verwenden, um einen oder mehrere Verarbeitungsschritte durchzuführen. In mindestens einer Ausführungsform können Modelle maschinellen Lernens in der Einrichtung 1302 unter Verwendung von Daten 1308 (z.B. Bildgebungsdaten) trainiert werden, die in der Einrichtung 1302 erzeugt wurden (und auf einem oder mehreren PACS (Picture Archiving and Communication System)-Servern in der Einrichtung 1302 gespeichert sind) und können unter Verwendung von Bildgebungs- oder Sequenzierungsdaten 1308 aus einer anderen Einrichtung oder anderen Einrichtungen oder einer Kombination davon trainiert werden. In mindestens einer Ausführungsform kann das Trainingssystem 1304 verwendet werden, um Anwendungen, Dienste und/oder andere Ressourcen zur Erzeugung funktionierender, einsatzfähiger maschineller Lernmodelle für das Einsatzsystem 1306 bereitzustellen.
In mindestens einer Ausführungsform kann ein Modell-Register 1324 durch eine Objektspeicherung unterstützt werden, die Versionierung und Objektmetadaten unterstützen kann. In mindestens einer Ausführungsform kann auf den Objektspeicher z.B. über eine kompatible Anwendungsprogrammierschnittstelle (API) innerhalb einer Cloud-Plattform zugegriffen werden (z.B. eine Cloud 1426 in 14). In mindestens einer Ausführungsform können Modelle maschinellen Lernens innerhalb des Modell-Registers 1324 von Entwicklern oder Partnern eines Systems, das mit einer API wechselwirkt, hochgeladen, aufgelistet, geändert oder gelöscht werden. In mindestens einer Ausführungsform kann eine API Zugriff auf Verfahren bieten, die es Benutzern mit entsprechenden Anmeldeinformationen ermöglichen, Modelle mit Anwendungen zu verknüpfen, sodass Modelle als Teil der Ausführung von containerisierten Instanziierungen von Anwendungen ausgeführt werden können.
In mindestens einer Ausführungsform kann eine Trainings-Pipeline 1404 (14) ein Szenario umfassen, in dem die Einrichtung 1302 ihr eigenes Modell maschinellen Lernens trainiert oder ein bestehendes Modell maschinellen Lernens aufweist, das optimiert oder aktualisiert werden muss. In mindestens einer Ausführungsform können Bildgebungsdaten 1308, die von Bildgebungsvorrichtungen, Sequenzierungsvorrichtungen und/oder anderen Vorrichtungsarten erzeugt wurden, empfangen werden. In mindestens einer Ausführungsform kann nach dem Empfang von Bildgebungsdaten 1308 eine KI-gestützte Annotation 1310 verwendet werden, um bei der Erzeugung von Annotationen zu helfen, die den Bildgebungsdaten 1308 entsprechen, die als Ground-Truth-Daten für ein Modell maschinellen Lernens zu verwenden sind. In mindestens einer Ausführungsform kann die KI-gestützte Annotation 1310 ein oder mehrere Modelle maschinellen Lernens (z.B. Faltungsneuronale Netzwerke (CNNs)) umfassen, die trainiert werden können, um Annotationen zu erzeugen, die bestimmten Arten von Bilddaten 1308 (z.B. von bestimmten Vorrichtungen). In mindestens einer Ausführungsform können Klunterstützte Annotationen 1310 dann direkt verwendet oder mit einem Annotationswerkzeug angepasst oder feinabgestimmt werden, um Ground-Truth-Daten zu erzeugen. In mindestens einer Ausführungsform können KI-unterstützte Annotationen 1310, gekennzeichnete Klinikdaten 1312 oder eine Kombination davon als Ground-Truth-Daten für das Training eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform kann ein trainiertes Modell maschinellen Lernens als Ausgabemodell 1316 bezeichnet werden und von dem Einsatzsystem 1306, wie hier beschrieben, verwendet werden.
In mindestens einer Ausführungsform kann die Training-Pipeline 1404 (14) ein Szenario umfassen, wobei die Einrichtung 1302 ein maschinelles Lernmodell zur Verwendung beim Durchführen einer oder mehrerer Verarbeitungsaufgaben für eine oder mehrere Anwendungen im Einsatzsystem 1306 benötigt, wobei die Einrichtung 1302 jedoch aktuell kein derartiges maschinelles Lernmodell aufweisen kann (oder kein Modell aufweisen kann, das für derartige Zwecke optimiert, effizient oder wirksam ist). In mindestens einer Ausführungsform kann ein existierendes maschinelles Lernmodell aus dem Modellregister 1324 ausgewählt werden. In mindestens einer Ausführungsform kann das Modellregister 1324 maschinelle Lernmodelle umfassen, die trainiert sind, um eine Vielfalt von unterschiedlichen Inferenzaufgaben an Bildgebungsdaten durchzuführen. In mindestens einer Ausführungsform können maschinelle Lernmodelle im Modellregister 1324 auf Bildgebungsdaten von unterschiedlichen Einrichtungen (z.B. entfernt lokalisierte Einrichtungen) als Einrichtung 1302 trainiert worden sein. In mindestens einer Ausführungsform können maschinelle Lernmodelle auf Bildgebungsdaten von einem Ort, zwei Orten oder einer beliebigen Anzahl von Orten trainiert worden sein. In mindestens einer Ausführungsform kann das Training, wenn es auf Bildgebungsdaten eines spezifischen Orts durchgeführt wird, an diesem Ort oder mindestens in einer Art und Weise stattfinden, welche die Vertraulichkeit von Bildgebungsdaten schützt oder einschränkt, dass Bildgebungsdaten nach außerhalb transferiert werden. In mindestens einer Ausführungsform, sobald ein Modell bei einem Ort trainiert - oder teilweise trainiert - ist, kann ein maschinelles Lernmodell zu dem Modellregister 1324 hinzugefügt werden. In mindestens einer Ausführungsform kann ein maschinelles Lernmodell dann an einer beliebigen Anzahl von anderen Einrichtungen neutrainiert oder aktualisiert werden, und ein neutrainiertes oder aktualisiertes Modell kann in dem Modellregister 1324 verfügbar gemacht werden. In mindestens einer Ausführungsform kann ein maschinelles Lernmodell dann aus dem Modellregister 1324 ausgewählt - und als Ausgabe Modell 1316 bezeichnet - im Einsatzsystem 3706 verwendet werden, um eine oder mehrere Verarbeitungsaufgaben für eine oder mehrere Anwendungen eines Einsatzsystems durchzuführen.
In mindestens einer Ausführungsform kann die Trainings-Pipeline 1404 (14), kann ein Szenario die Einrichtung 1302 umfassen, die ein Modell maschinellen Lernens zur Verwendung bei der Durchführung einer oder mehrerer Verarbeitungsaufgaben für eine oder mehrere Anwendungen im Einsatzsystem 1306 benötigt, wobei die Einrichtung 1302 jedoch möglicherweise derzeit nicht über ein solches Modell maschinellen Lernens verfügt (oder möglicherweise nicht über ein Modell verfügt, das für solche Zwecke optimiert, effizient oder effektiv ist). In mindestens einer Ausführungsform könnte ein aus dem Modell-Register 1324 ausgewähltes Modell maschinellen Lernens aufgrund von Unterschieden in den Populationen, der Robustheit der zum Trainieren eines maschinellen Lernmodells verwendeten Trainingsdaten, der Diversität in Anomalien der Trainingsdaten und/oder anderer Probleme mit den Trainingsdaten nicht für die in der Einrichtung 1302 erzeugten Bildgebungsdaten 1308 feinabgestimmt oder optimiert sein. In mindestens einer Ausführungsform kann die KI-gestützte Annotation 1310 verwendet werden, um bei der Erzeugung von Annotationen zu helfen, die den Bildgebungsdaten 1308 entsprechen und als Ground-Truth-Daten für das Neutrainieren oder Aktualisieren eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform können gekennzeichnete Daten 1312 als Ground-Truth-Daten für das Training eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform kann das Neutrainieren oder Aktualisieren eines maschinellen Lernmodells als Modelltraining 1314 bezeichnet werden. In mindestens einer Ausführungsform kann das Modelltraining 1314 - z.B. KI-unterstützte Anmerkungen 1310, gekennzeichnete Klinikdaten 1312 oder eine Kombination davon - als Ground-Truth-Daten für das Neutrainieren oder Aktualisieren eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform kann ein trainiertes Modell maschinellen Lernens als ein Ausgabemodell 1316 bezeichnet werden und kann von dem Einsatzsystem verwendet werden, wie hier beschrieben.
In mindestens einer Ausführungsform kann das Einsatzsystem 1306 Software 1318, Dienste 1320, Hardware 1322 und/oder andere Komponenten, Merkmale und Funktionen umfassen. In mindestens einer Ausführungsform kann das Einsatzsystem 1306 einen Software-„Stapel“ umfassen, so dass die Software 1318 auf den Diensten 1320 aufgebaut sein kann und die Dienste 1320 zur Ausführung einiger oder aller Verarbeitungsaufgaben verwenden kann und die Dienste 1320 und die Software 1318 auf der Hardware 1322 aufgebaut sein können und die Hardware 1322 zur Ausführung von Verarbeitungs-, Speicher- und/oder anderen Rechenaufgaben des Einsatzsystems 1306 verwenden. In mindestens einer Ausführungsform kann die Software 1318 eine beliebige Anzahl von unterschiedlichen Containern umfassen, wobei jeder Container eine Instanziierung einer Anwendung ausführen kann. In mindestens einer Ausführungsform kann jede Anwendung eine oder mehrere Verarbeitungsaufgaben in einer fortschrittlichen Verarbeitungs- und Inferenzierungs-Pipeline durchführen (z.B. Inferenzierung, Objekterkennung, Merkmalserkennung, Segmentierung, Bildverbesserung, Kalibrierung usw.). In mindestens einer Ausführungsform kann eine fortschrittliche Verarbeitungs- und Inferenzierungs-Pipeline auf der Grundlage der Auswahl unterschiedlicher Container definiert werden, die für die Verarbeitung von Bilddaten 1308 erwünscht oder erforderlich sind, zusätzlich zu Containern, die Bilddaten zur Verwendung durch jeden Container und/oder zur Verwendung durch die Einrichtung 1302 nach der Verarbeitung durch eine Pipeline empfangen und konfigurieren (z.B. zur Rückkonvertierung von Ausgaben in einen verwendbaren Datentyp). In mindestens einer Ausführungsform kann eine Kombination von Containern innerhalb der Software 1318 (die z.B. eine Pipeline bilden) als virtuelles Instrument bezeichnet sein (wie hier ausführlicher beschrieben) und ein virtuelles Instrument kann Dienste 1320 und Hardware 1322 wirksam einsetzen, um einige oder alle Verarbeitungsaufgaben von in Containern instanziierten Anwendungen auszuführen.
In mindestens einer Ausführungsform kann eine Datenverarbeitungs-Pipeline Eingangsdaten (z.B. Bildgebungsdaten 1308) in einem spezifischen Format als Reaktion auf eine Inferenzierungsanforderung (z.B. eine Anforderung von einem Benutzer des Einsatzsystems 1306) empfangen. In mindestens einer Ausführungsform können die Eingangsdaten ein oder mehrere Bilder, Videos und/oder andere Datendarstellungen repräsentieren, die von einer oder mehreren Bildgebungsvorrichtungen erzeugt werden. In mindestens einer Ausführungsform können die Daten als Teil der Datenverarbeitungs-Pipeline einer Vorverarbeitung unterzogen werden, um die Daten für die Verarbeitung durch eine oder mehrere Anwendungen vorzubereiten. In mindestens einer Ausführungsform kann eine Nachverarbeitung an einer Ausgabe einer oder mehrerer Inferenzierungsaufgaben oder anderer Verarbeitungsaufgaben einer Pipeline durchgeführt werden, um Ausgabedaten für eine nächste Anwendung vorzubereiten und/oder um Ausgabedaten für die Übertragung und/oder Verwendung durch einen Benutzer vorzubereiten (z.B. als Antwort auf eine Inferenzierungsanforderung). In mindestens einer Ausführungsform können Inferenzierungsaufgaben von einem oder mehreren Modellen maschinellen Lernens durchgeführt werden, z.B. von trainierten oder eingesetzten neuronalen Netzwerken, die Ausgabemodelle 1316 des Trainingssystems 1304 umfassen können.
In mindestens einer Ausführungsform können Aufgaben der Datenverarbeitungs-Pipeline in einem oder mehreren Containern gekapselt werden, die jeweils eine diskrete, voll funktionsfähige Instanziierung einer Anwendung und einer virtualisierten Rechenumgebung repräsentieren, die in der Lage ist, Modelle für maschinelles Lernen zu referenzieren. In mindestens einer Ausführungsform können Container oder Anwendungen in einem privaten (z.B. zugangsbeschränkten) Bereich eines Container-Registers (hier ausführlicher beschrieben) veröffentlicht werden und können trainierte oder eingesetzte Modelle in einem Modell-Register 1324 gespeichert und mit einer oder mehreren Anwendungen verknüpft werden. In mindestens einer Ausführungsform können Bilder von Anwendungen (z.B. Container-Images) in einem Container-Register verfügbar sein und sobald von einem Benutzer aus einem Container-Register für den Einsatz in einer Pipeline ausgewählt wurden, kann ein Bild verwendet werden, um einen Container für eine Instanziierung einer Anwendung zur Verwendung durch das System eines Benutzers zu erzeugen.
In mindestens einer Ausführungsform können Entwickler (z.B. Softwareentwickler, Kliniker, Ärzte usw.) Anwendungen (z.B. in Form von Containern) zur Durchführung von Bildverarbeitung und/oder Inferenzierung auf eingesetzten Daten entwickeln, veröffentlichen und speichern. In mindestens einer Ausführungsform kann die Entwicklung, Veröffentlichung und/oder Speicherung unter Verwendung eines Softwareentwicklungskits (Software Development Kit; SDK) erfolgen, das mit einem System verbunden ist (z.B., um sicherzustellen, dass eine entwickelte Anwendung und/oder ein entwickelter Container mit einem System konform oder kompatibel ist). In mindestens einer Ausführungsform kann eine entwickelte Anwendung lokal (z.B. in einer ersten Einrichtung, auf Daten von einer ersten Einrichtung) mit einem SDK geprüft werden, das mindestens einige der Dienste 1320 als System unterstützen kann (z.B. ein System 1400 von 14). In mindestens einer Ausführungsform kann ein Entwickler aufgrund der Tatsache, dass DICOM-Objekte zwischen einem und Hunderten von Bildern oder anderen Datentypen umfassen können, für die Verwaltung (z.B. das Festlegen von Konstrukten, den Einbau von Vorverarbeitungen in eine Anwendung usw.) der Extraktion und Aufbereitung von eingehenden Daten verantwortlich sein. In mindestens einer Ausführungsform kann eine Anwendung, nachdem sie von dem System 1400 validiert wurde (z.B. hinsichtlich Genauigkeit), in einem Container-Register zur Auswahl und/oder Implementierung durch einen Benutzer verfügbar sein, um eine oder mehrere Verarbeitungsaufgaben in Bezug auf Daten in einer Einrichtung (z.B. einer zweiten Einrichtung) eines Benutzers durchzuführen.
In mindestens einer Ausführungsform können Entwickler dann Anwendungen oder Container über ein Netzwerk für den Zugriff und die Verwendung durch Benutzer eines Systems (z.B. das System 1400 von 14) gemeinsam nutzen. In mindestens einer Ausführungsform können fertiggestellte und validierte Anwendungen oder Container in einem Container-Register gespeichert werden und können zugehörige Modelle maschinellen Lernens in dem Modell-Register 1324 gespeichert werden. In mindestens einer Ausführungsform kann eine anfragende Entität - die eine Inferenzierungs- oder Bildverarbeitungsanforderung bereitstellt - ein Container-Register und/oder Modell-Register 1324 nach einer Anwendung, einem Container, einem Datensatz, einem maschinellen Lernmodell usw. durchsuchen, eine gewünschte Kombination von Elementen zur Aufnahme in die Datenverarbeitungs-Pipeline auswählen und eine Bildverarbeitungsanforderung senden. In mindestens einer Ausführungsform kann eine Anforderung Eingangsdaten (und in einigen Beispielen zugehörige Patientendaten) umfassen, die zur Durchführung einer Anforderung erforderlich sind und/oder eine Auswahl von Anwendungen und/oder Modellen maschinellen Lernens umfassen, die bei der Verarbeitung einer Anforderung auszuführen sind. In mindestens einer Ausführungsform kann eine Anforderung dann an eine oder mehrere Komponenten des Einsatzsystems 1306 (z.B. eine Cloud) weitergeleitet werden, um die Verarbeitung der Datenverarbeitungs-Pipeline durchzuführen. In mindestens einer Ausführungsform kann die Verarbeitung durch das Einsatzsystem 1306 die Referenzierung ausgewählter Elemente (z.B. Anwendungen, Container, Modelle usw.) aus einem Container-Register und/oder Modell-Register 1324 umfassen. In mindestens einer Ausführungsform können die Ergebnisse, sobald sie von einer Pipeline erzeugt wurden, an einen Benutzer als Referenz zurückgegeben werden (z.B. zur Anzeige in einer Anzeigeanwendungssuite, die auf einer lokalen, vor Ort Workstation oder einem Terminal ausgeführt wird). In mindestens einer Ausführungsform kann ein Radiologe Ergebnisse von einer Datenverarbeitungs-Pipeline erhalten, die eine beliebige Anzahl von Anwendungen und/oder Containern umfasst, wobei die Ergebnisse die Erkennung von Anomalien in Röntgenbildern, CT-Scans, MRTs usw. umfassen können.
In mindestens einer Ausführungsform können zur Unterstützung der Verarbeitung oder Ausführung von Anwendungen oder Containern in Pipelines Dienste 1320 wirksam eingesetzt werden. In mindestens einer Ausführungsform können die Dienste 1320 Rechendienste, Dienste für künstliche Intelligenz (Kl), Visualisierungsdienste und/oder andere Diensttypen umfassen. In mindestens einer Ausführungsform können Dienste 1320 Funktionalität bereitstellen, die einer oder mehreren Anwendungen in der Software 1318 gemeinsam ist, so dass die Funktionalität zu einem Dienst abstrahiert werden kann, der von Anwendungen aufgerufen oder genutzt werden kann. In mindestens einer Ausführungsform kann die von den Diensten 1320 eingesetzte Funktionalität dynamisch und effizienter ablaufen, während sie auch gut skaliert, indem Anwendungen die parallele Verarbeitung von Daten ermöglicht wird (z.B. unter Verwendung einer parallelen Rechenplattform 1430 (14)). In mindestens einer Ausführungsform muss nicht jede Anwendung, die dieselbe von einem Dienst 1320 angebotene Funktionalität nutzt, über eine entsprechende Instanz des Dienstes 1320 verfügen, sondern kann der Dienst 1320 von und zwischen unterschiedlichen Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform können die Dienste einen Inferenzierungsserver oder eine Inferenzierungs-Engine umfassen, die zur Ausführung von Erkennungs- oder Segmentierungsaufgaben verwendet werden können, als nicht beschränkende Beispiele. In mindestens einer Ausführungsform kann ein Modelltrainingsdienst umfasst sein, der Funktionen zum Trainieren und/oder Umlernen von Maschinenlernmodellen bereitstellt. In mindestens einer Ausführungsform kann ferner ein Datenaugmentationsdienst umfasst sein, der GPU-beschleunigte Daten (z.B. DICOM, RIS, CIS, REST-konforme Daten, RPC, Rohdaten usw.) extrahieren, in der Größe verändern, skalieren und/oder eine andere Augmentation bereitstellen kann. In mindestens einer Ausführungsform kann ein Visualisierungsdienst verwendet werden, der Bild-Rendering-Effekte hinzufügen kann - z.B. Raytracing, Rasterung, Entrauschung, Schärfung usw. - um zweidimensionalen (2D) und/oder dreidimensionalen (3D) Modellen Realismus hinzufügen. In mindestens einer Ausführungsform können Dienste für virtuelle Instrumente umfasst sein, die Strahlformung, Segmentierung, Inferenzierung, Bildgebung und/oder Unterstützung für andere Anwendungen innerhalb von Pipelines von virtuellen Instrumenten bieten.
In mindestens einer Ausführungsform, in der ein Dienst 1320 einen KI-Dienst (z.B. einen Inferenzierungsdienst) umfasst, können ein oder mehrere Modelle maschinellen Lernens durch Aufrufen (z.B. als API-Aufruf) eines Inferenzierungsdienstes (z.B. eines Inferenzierungsservers) ausgeführt werden, um Modelle maschinellen Lernens oder deren Verarbeitung als Teil der Anwendungsausführung auszuführen. In mindestens einer Ausführungsform, in der eine andere Anwendung ein oder mehrere Modelle maschinellen Lernens für Segmentierungsaufgaben umfasst, kann eine Anwendung einen Inferenzierungsdienst aufrufen, um Modelle maschinellen Lernens auszuführen, um eine oder mehrere der mit Segmentierungsaufgaben verbundenen Verarbeitungsoperationen auszuführen. In mindestens einer Ausführungsform kann die Software 1318, die eine fortschrittliche Verarbeitungs- und Inferenzierungs-Pipeline implementiert, die eine Segmentierungsanwendung und eine Anomalieerkennungsanwendung umfasst, rationalisiert sein, weil jede Anwendung denselben Inferenzierungsdienst aufrufen kann, um eine oder mehrere Inferenzierungsaufgaben durchzuführen.
In mindestens einer Ausführungsform kann die Hardware 1322 GPUs, CPUs, Graphikkarten, ein Kl-/Deep-Learning-System (z.B. ein KI-Supercomputer, wie beispielsweise das DGX von NVIDIA), eine Cloud-Plattform oder eine Kombination davon umfassen. In mindestens einer Ausführungsform können unterschiedliche Arten von Hardware 1322 verwendet werden, um eine effiziente, zweckmäßige Unterstützung für Software 1318 und Dienste 1320 im Einsatzsystem 1306 bereitzustellen. In mindestens einer Ausführungsform kann die Verwendung der GPU-Verarbeitung für die Verarbeitung lokal (z.B. in der Einrichtung 1302), innerhalb eines KI/Deep-Learning-Systems, in einem Cloud-System und/oder in anderen Verarbeitungskomponenten des Einsatzsystems 1306 implementiert sein, um die Effizienz, Genauigkeit und Wirksamkeit der Bildverarbeitung und Erzeugung zu verbessern. In mindestens einer Ausführungsform können die Software 1318 und/oder die Dienste 1320 für die GPU-Verarbeitung im Hinblick auf tiefes Lernen, maschinelles Lernen und/oder Hochleistungsrechnen, als nicht einschränkende Beispiele, optimiert sein. In mindestens einer Ausführungsform kann zumindest ein Teil der Rechenumgebung des Einsatzsystems 1306 und/oder des Trainingssystems 1304 in einem Rechenzentrum auf einem oder mehreren Supercomputern oder Hochleistungsrechnersystemen mit GPU-optimierter Software (z.B. Hardware- und Softwarekombination des DGX-Systems von NVIDIA) ausgeführt werden. In mindestens einer Ausführungsform kann die Hardware 1322 eine beliebige Anzahl von GPUs umfassen, die zur parallelen Verarbeitung von Daten, wie hier beschrieben, in Anspruch genommen werden können. In mindestens einer Ausführungsform kann die Cloud-Plattform außerdem eine GPU-Verarbeitung für die GPU-optimierte Ausführung von Deep-Learning-Aufgaben, maschinellen Lernaufgaben oder anderen Rechenaufgaben umfassen. In mindestens einer Ausführungsform kann die Cloud-Plattform (z.B. NVIDIAs NGC) unter Verwendung eines oder mehrerer KI/Deep-Learning-Supercomputer und/oder GPU-optimierter Software (z.B. wie auf NVIDIAs DGX-Systemen) als Hardware-Abstraktions- und Skalierungsplattform ausgeführt werden. In mindestens einer Ausführungsform kann die Cloud-Plattform ein Anwendungscontainer-Clustering-System oder ein Orchestrierungssystem (z.B. KUBERNETES) auf mehreren GPUs integrieren, um eine nahtlose Skalierung und Lastverteilung zu ermöglichen.
14 ist ein Systemdiagramm für ein beispielhaftes System 1400 zum Erzeugen und Einsetzen einer Bildverteilungs-Pipeline gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das System 1400 verwendet werden, um den Prozess 1300 von 13 und/oder andere Prozesse, einschließlich fortschrittlicher Verarbeitungs- und Inferenzierungs-Pipelines, zu implementieren. In mindestens einer Ausführungsform kann das System 1400 das Trainingssystem 1304 und das Einsatzsystem 1306 umfassen. In mindestens einer Ausführungsform können das Trainingssystem 1304 und das Einsatzsystem 1306 unter Verwendung von Software 1318, Diensten 1320 und/oder Hardware 1322, wie hier beschrieben, implementiert sein.
In mindestens einer Ausführungsform kann das System 1400 (z.B. das Trainingssystem 1304 und/oder das Einsatzsystem 1306) in einer Cloud-RechenUmgebung implementiert sein (z.B. unter Verwendung der Cloud 1426). In mindestens einer Ausführungsform kann das System 1400 lokal in Bezug auf eine Einrichtung des Gesundheitswesens oder als eine Kombination von sowohl Cloudals auch lokalen Rechenressourcen implementiert sein. In mindestens einer Ausführungsform kann der Zugriff auf die APIs in der Cloud 1426 durch erlassene Sicherheitsmaßnahmen oder -protokolle auf autorisierte Benutzer beschränkt sein. In mindestens einer Ausführungsform kann ein Sicherheitsprotokoll Web-Token umfassen, die von einem Authentifizierungsdienst (z.B. AuthN, AuthZ, Gluecon usw.) signiert werden und eine entsprechende Autorisierung tragen können. In mindestens einer Ausführungsform können APIs von virtuellen Instrumenten (hier beschrieben) oder anderen Instanziierungen des Systems 1400 auf einen Satz öffentlicher IPs beschränkt sein, die für die Wechselwirkung überprüft oder autorisiert wurden.
In mindestens einer Ausführungsform können unterschiedliche Komponenten des Systems 1400 unter Verwendung einer Vielfalt unterschiedlicher Netzwerktypen untereinander kommunizieren, einschließlich, jedoch nicht beschränkt auf, Lokalbereichsnetzwerke (LANs) und/oder Weitbereichsnetzwerke (WANs) über verdrahtete und/oder drahtlose Kommunikationsprotokolle. In mindestens einer Ausführungsform kann die Kommunikation zwischen Einrichtungen und Komponenten des Systems 1400 (z.B. zum Übertragen von Inferenzanforderungen, zum Empfangen von Ergebnissen von Inferenzanforderungen usw.) über einen Datenbus(se), drahtlose Datenprotokolle (Wi-Fi), verdrahtete Datenprotokolle (z.B. Ethernet) usw. kommuniziert werden.
In mindestens einer Ausführungsform kann das Trainingssystem 1304 Trainings-Pipelines 1404 ausführen, die denen ähnlich sind, die hier in Bezug auf 13 beschrieben sind. In mindestens einer Ausführungsform, in der ein oder mehrere Modelle maschinellen Lernens in Einsatz-Pipelines 1410 durch das Einsatzsystem 1306 zu verwenden sind, können die Trainings-Pipelines 1404 verwendet werden, um ein oder mehrere (z.B. vortrainierte) Modelle zu trainieren oder neu zu trainieren und/oder ein oder mehrere der vortrainierten Modelle 1406 zu implementieren (z.B. ohne die Notwendigkeit eines erneuten Trainings oder einer Aktualisierung). In mindestens einer Ausführungsform können als Ergebnis der Trainings-Pipelines 1404 Ausgabemodell(e) 1316 erzeugt werden. In mindestens einer Ausführungsform können die Trainings-Pipelines 1404 eine beliebige Anzahl von Verarbeitungsschritten umfassen, wie beispielsweise, jedoch nicht beschränkt auf, die Konvertierung oder Adaption von Bildgebungsdaten (oder anderen Eingangsdaten). In mindestens einer Ausführungsform können für unterschiedliche Modelle maschinellen Lernens, die von dem Einsatzsystem 1306 verwendet werden, unterschiedliche Trainings-Pipelines 1404 verwendet werden. In mindestens einer Ausführungsform kann die Trainings-Pipeline 1404, die einem in Bezug auf 13 beschrieben ersten Beispiel ähnlich ist, für ein erstes Modell maschinellen Lernens 1404 verwendet werden, die Trainings-Pipeline 1404, die einem in Bezug auf 13 beschrieben zweiten Beispiel ähnlich ist, kann für ein zweites Modell maschinellen Lernens verwendet werden, und die Trainings-Pipeline 1404, die einem in Bezug auf 13 beschrieben dritten Beispiel ähnlich ist, kann für ein drittes Modell maschinellen Lernens verwendet werden. In mindestens einer Ausführungsform kann eine beliebige Kombination von Aufgaben innerhalb des Trainingssystems 1304 abhängig davon verwendet werden, was für jedes jeweilige Modell maschinellen Lernens erforderlich ist. In mindestens einer Ausführungsform können ein oder mehrere Modelle maschinellen Lernens bereits trainiert und einsatzbereit sein, so dass die Modelle maschinellen Lernens keine Verarbeitung durch das Trainingssystem 1304 erfahren und durch das Einsatzsystem 1306 implementiert werden können.
In mindestens einer Ausführungsform können ein oder mehrere Ausgabemodelle 1316 und/oder ein oder mehrere vortrainierte Modelle 1406 alle Arten von Modellen maschinellen Lernens abhängig von der Implementierung oder Ausführungsform umfassen. In mindestens einer Ausführungsform und ohne darauf beschränkt zu sein, können die Modelle maschinellen Lernens, von dem System 1400 verwendet werden, Modelle maschinellen Lernens umfassen, die lineare Regression, logistische Regression, Entscheidungsbäume, Unterstützungsvektormaschinen (Support Vector Machines; SVM), Naive Bayes, k-nächster Nachbar (Knn), K-Means-Clustering, Random Forest, Dimensionalitätsreduktionsalgorithmen, Gradient-Boosting-Algorithmen, neuronale Netzwerke (z.B. Auto-Codierer, faltend, rekurrent, Perzeptronen, Long/Short Term Memory (LSTM), Hopfield, Boltzmann, Deep Belief, Deconvolutional, Generative Adversarial, Liquid State Machine usw.) und/oder andere Arten von Modellen maschinellen Lernens verwenden.
In mindestens einer Ausführungsform können die Trainings-Pipelines 1404 eine Kl-assistierte Annotation umfassen, wie hier in Bezug auf mindestens 15B ausführlicher beschrieben ist. In mindestens einer Ausführungsform können beschriftete Daten 1312 (z.B. traditionelle Annotation) durch eine beliebige Anzahl von Techniken erzeugt werden. In mindestens einer Ausführungsform können Beschriftungen oder andere Annotationen in einem Zeichenprogramm (z.B. einem Anmerkungsprogramm), einem CAD (Computer Aided Design)-Programm, einem Beschriftungsprogramm oder einer anderen Art von Programm erzeugt werden, das zur Erzeugung von Annotationen oder Beschriftungen für Ground-Truth geeignet ist und/oder in einigen Beispielen von Hand gezeichnet werden. In mindestens einer Ausführungsform können Ground-Truth-Daten synthetisch erzeugt werden (z.B. aus Computermodellen oder Renderings), real erzeugt werden (z.B. aus realen Daten entworfen und erzeugt werden), maschinell automatisiert werden (z.B. unter Verwendung von Merkmalsanalyse und Lernen, um Merkmale aus Daten zu extrahieren und dann Annotationen zu erzeugen), von Menschen beschriftet werden (z.B. Beschrifter oder Annotationsexperte, der die Position der Annotationen definiert) und/oder eine Kombination davon. In mindestens einer Ausführungsform kann es für jede Instanz von Bilddaten 1308 (oder einem anderen Datentyp, der von Modellen maschinellen Lernens verwendet wird) entsprechende Ground-Truth-Daten geben, die von dem Trainingssystem 1304 erzeugt werden. In mindestens einer Ausführungsform kann die KI-gestützte Annotation als Teil der Einsatzpipelines 1410 durchgeführt werden; entweder zusätzlich zu oder anstelle der Kl-gestützten Annotation, die in den Trainings-Pipelines 1404 umfasst ist. In mindestens einer Ausführungsform kann das System 1400 eine mehrschichtige Plattform umfassen, die eine Softwareschicht (z.B. Software 1318) von Diagnoseanwendungen (oder anderen Anwendungstypen) umfassen kann, die eine oder mehrere medizinische Bildgebungs- und Diagnosefunktionen ausführen können. In mindestens einer Ausführungsform kann das System 1400 kommunikativ mit (z.B. über verschlüsselte Verbindungen) PACS-Servernetzwerken einer oder mehrerer Einrichtungen gekoppelt sein. In mindestens einer Ausführungsform kann das System 1400 konfiguriert sein, dass es auf Daten von PACS-Servern zugreift und diese referenziert, um Operationen auszuführen, wie beispielsweise das Trainieren von Modellen maschinellen Lernens, das Einsetzen von Modellen maschinellen Lernens, Bildverarbeitung, Inferenzierung und/oder andere Operationen.
In mindestens einer Ausführungsform kann eine Softwareschicht als sichere, verschlüsselte und/oder authentifizierte API implementiert sein, über die Anwendungen oder Container aus einer externen Umgebung(en) (z.B. Einrichtung 1302) aufgerufen werden können. In mindestens einer Ausführungsform können Anwendungen dann einen oder mehrere Dienste 1320 aufrufen oder ausführen, um Rechen-, Kl- oder Visualisierungsaufgaben durchzuführen, die jeweiligen Anwendungen zugeordnet sind, und die Software 1318 und/oder die Dienste 1320 können die Hardware 1322 wirksam einsetzen, um Verarbeitungsaufgaben in einer wirksamen und effizienten Weise auszuführen.
In mindestens einer Ausführungsform kann das Einsatzsystem 1306 Einsatz-Pipelines 1410 ausführen. In mindestens einer Ausführungsform können Einsatz-Pipelines 1410 eine beliebige Anzahl von Anwendungen umfassen, die sequenziell, nicht-sequenziell oder anderweitig auf Bildgebungsdaten (und/oder andere Datentypen) angewendet werden können, die von Bildgebungsvorrichtungen, Sequenzierungsvorrichtungen, Genomik-Vorrichtungen usw. erzeugt werden - einschließlich KI-unterstützter Annotation, wie oben beschrieben. In mindestens einer Ausführungsform kann, wie hier beschrieben, eine Einsatz-Pipeline 1410 für eine einzelne Vorrichtung als ein virtuelles Instrument für eine Vorrichtung bezeichnet werden (z.B. ein virtuelles Ultraschallinstrument, ein virtuelles CT-Scan-Instrument, ein virtuelles Sequenzierungsinstrument usw.). In mindestens einer Ausführungsform kann es für eine einzelne Vorrichtung mehr als eine Einsatz-Pipeline 1410 abhängig von Informationen geben, die aus von einer Vorrichtung erzeugten Daten gewünscht werden. In mindestens einer Ausführungsform kann es, wo die Erfassung von Anomalien von einer MRT-Vorrichtung gewünscht wird, eine erste Einsatz-Pipeline 1410 geben, und wo eine Bildverbesserung von der Ausgabe einer MRT-Vorrichtung gewünscht wird, kann es eine zweite Einsatz-Pipeline 1410 geben.
In mindestens einer Ausführungsform kann eine Bilderzeugungsanwendung eine Verarbeitungsaufgabe umfassen, die die Verwendung eines maschinellen Lernmodells beinhaltet. In mindestens einer Ausführungsform kann ein Benutzer sein eigenes Modell maschinellen Lernens verwenden oder ein Modell maschinellen Lernens aus dem Modell-Register 1324 auswählen. In mindestens einer Ausführungsform kann ein Benutzer sein eigenes Modell maschinellen Lernens implementieren oder ein Modell maschinellen Lernens zur Einbeziehung in eine Anwendung zur Durchführung einer Verarbeitungsaufgabe auswählen. In mindestens einer Ausführungsform können Anwendungen auswählbar und anpassbar sein und wird durch die Definition von Konstrukten von Anwendungen die Bereitstellung und Implementierung von Anwendungen für einen bestimmten Benutzer als eine nahtlosere Benutzererfahrung dargestellt. In mindestens einer Ausführungsform können Entwicklungs-Pipelines 1410 durch die Nutzung anderer Funktionen des Systems 1400 - wie beispielsweise Dienste 1320 und Hardware 1322 - noch benutzerfreundlicher sein, eine einfachere Integration ermöglichen und genauere, effizientere und zeitgerechtere Ergebnisse liefern.
In mindestens einer Ausführungsform kann das Einsatzsystem 1306 eine Benutzerschnittstelle 1414 (z.B. eine graphische Benutzerschnittstelle, eine Web-Schnittstelle usw.) umfassen, die verwendet werden kann, um Anwendungen zur Aufnahme in die Einsatz-Pipeline(s) 1410 auszuwählen, Anwendungen anzuordnen, Anwendungen oder Parameter oder Konstrukte davon zu modifizieren oder zu ändern, die Einsatz-Pipeline(s) 1410 während der Einrichtung und/oder Bereitstellung zu verwenden und mit ihr zu wechselwirken und/oder anderweitig mit dem Einsatzsystem 1306 zu wechselwirken. In mindestens einer Ausführungsform, die jedoch in Bezug auf das Trainingssystem 1304 nicht dargestellt ist, kann die Benutzerschnittstelle 1414 (oder eine andere Benutzerschnittstelle) zur Auswahl von Modellen für die Verwendung in dem Einsatzsystem 1306, zur Auswahl von Modellen für das Training oder das erneute Training in dem Trainingssystem 1304 und/oder für die sonstige Wechselwirkung mit dem Trainingssystem 1304 verwendet werden.
In mindestens einer Ausführungsform kann der Pipeline-Verwalter 1412 zusätzlich zu einem Anwendungsorchestrierungssystem 1428 verwendet werden, um die Wechselwirkung zwischen Anwendungen oder Containern der Einsatz-Pipeline(s) 1410 und Diensten 1320 und/oder Hardware 1322 zu verwalten. In mindestens einer Ausführungsform kann der Pipeline-Verwalter 1412 konfiguriert sein, um Wechselwirkungen von Anwendung zu Anwendung, von Anwendung zu Dienst 1320 und/oder von Anwendung oder Dienst zu Hardware 1322 zu erleichtern.
In mindestens einer Ausführungsform, obwohl als in der Software 1318 umfasst dargestellt, ist dies nicht bestimmt, einschränkend zu sein, und in einigen Beispielen (z.B., wie in 12C veranschaulicht) kann der Pipeline-Verwalter 1412 in den Diensten 1320 umfasst sein. In mindestens einer Ausführungsform kann das Anwendungsorchestrierungssystem 1428 (z.B. Kubernetes, DOCKER usw.) ein Container-Orchestrierungssystem umfassen, das Anwendungen in Containern als logische Einheiten zur Koordination, Verwaltung, Skalierung und Bereitstellung gruppieren kann. In mindestens einer Ausführungsform kann durch die Zuordnung von Anwendungen aus der/den Einsatz-Pipeline(s) 1410 (z.B. eine Rekonstruktionsanwendung, eine Segmentierungsanwendung usw.) zu einzelnen Containern jede Anwendung in einer in sich geschlossenen Umgebung (z.B. auf Kernel-Ebene) ausgeführt werden, um die Geschwindigkeit und Effizienz zu erhöhen.
In mindestens einer Ausführungsform kann jede Anwendung und/oder jeder Container (oder ein Bild davon) individuell entwickelt, modifiziert und eingesetzt werden (z.B. kann ein erster Benutzer oder Entwickler eine erste Anwendung entwickeln, modifizieren und einsetzen und ein zweiter Benutzer oder Entwickler kann eine zweite Anwendung separat von einem ersten Benutzer oder Entwickler entwickeln, modifizieren und einsetzen), was die Konzentration auf und die Aufmerksamkeit für eine Aufgabe einer einzelnen Anwendung und/oder eines einzelnen Containers ermöglichen kann, ohne durch Aufgaben einer anderen Anwendung oder eines anderen Containers behindert zu werden. In mindestens einer Ausführungsform kann die Kommunikation und Zusammenarbeit zwischen unterschiedlichen Containern oder Anwendungen durch den Pipeline-Verwalter 1412 und das Anwendungsorchestrierungssystem 1428 unterstützt werden. In mindestens einer Ausführungsform kann, solange eine erwartete Eingabe und/oder Ausgabe jedes Containers oder jeder Anwendung durch ein System bekannt ist (z.B. basierend auf Konstrukten von Anwendungen oder Containern), das Anwendungsorchestrierungssystem 1428 und/oder der Pipeline-Verwalter 1412 die Kommunikation unter und zwischen den Anwendungen oder Containern sowie die gemeinsame Nutzung von Ressourcen unter und zwischen diesen erleichtern. In mindestens einer Ausführungsform kann das Anwendungsorchestrierungssystem 1428, da eine oder mehrere Anwendungen oder Container in der/den Einsatz-Pipeline(s) 1410 dieselben Dienste und Ressourcen gemeinsam nutzen können, die gemeinsame Nutzung von Diensten oder Ressourcen zwischen unterschiedlichen Anwendungen oder Containern orchestrieren, ausgleichen und bestimmen. In mindestens einer Ausführungsform kann ein Planer verwendet werden, um die Ressourcenanforderungen von Anwendungen oder Containern, die aktuelle oder geplante Nutzung dieser Ressourcen und die Ressourcenverfügbarkeit zu verfolgen. In mindestens einer Ausführungsform kann ein Planer somit unterschiedlichen Anwendungen Ressourcen zuweisen und Ressourcen zwischen und unter Anwendungen im Hinblick auf die Anforderungen und die Verfügbarkeit eines Systems verteilen. In einigen Beispielen kann ein Planer (und/oder eine andere Komponente des Anwendungsorchestrierungssystems 1428) die Ressourcenverfügbarkeit und -verteilung auf der Grundlage von Beschränkungen bestimmen, die einem System auferlegt sind (z.B. Benutzerbeschränkungen), wie beispielsweise Dienstgüte (QoS), Dringlichkeit des Bedarfs an Datenausgaben (z.B. um zu bestimmen, ob Echtzeitverarbeitung oder verzögerte Verarbeitung auszuführen ist) usw.
In mindestens einer Ausführungsform können die von Anwendungen oder Containern im Einsatzsystem 1306 genutzten und gemeinsam genutzten Dienste 1320 Rechendienste 1416, KI-Dienste 1418, Visualisierungsdienste 1420 und/oder andere Diensttypen umfassen. In mindestens einer Ausführungsform können Anwendungen einen oder mehrere der Dienste 1320 aufrufen (z.B. ausführen), um Verarbeitungsvorgänge für eine Anwendung durchzuführen. In mindestens einer Ausführungsform können die Rechendienste 1416 von Anwendungen genutzt werden, um Supercomputing- oder andere HPC (High Performance Computing)-Aufgaben durchzuführen. In mindestens einer Ausführungsform kann/können der/die Rechendienst(e) 1416 genutzt werden, um eine parallele Verarbeitung (z.B. unter Verwendung einer parallelen Rechenplattform 1430) zur Verarbeitung von Daten durch eine oder mehrere Anwendungen und/oder eine oder mehrere Aufgaben einer einzelnen Anwendung im Wesentlichen gleichzeitig durchzuführen. In mindestens einer Ausführungsform kann die Parallelrechenplattform 1430 (z.B. CUDA von NVIDIA) General Purpose Computing auf GPUs (GPGPU) ermöglichen (z.B. GPUs 1422). In mindestens einer Ausführungsform kann eine Softwareschicht der Parallelrechenplattform 1430 Zugriff auf virtuelle Befehlssätze und parallele Rechenelemente von GPUs für die Ausführung von Rechenkernen bereitstellen. In mindestens einer Ausführungsform kann die Parallelrechenplattform 1430 Speicher umfassen und in einigen Ausführungsformen kann ein Speicher zwischen mehreren Containern und/oder zwischen unterschiedlichen Verarbeitungsaufgaben innerhalb eines einzelnen Containers gemeinsam genutzt werden. In mindestens einer Ausführungsform können IPC (Inter-Process-Communication)-Aufrufe für mehrere Container und/oder für mehrere Prozesse innerhalb eines Containers erzeugt werden, um dieselben Daten aus einem gemeinsam genutzten Speichersegment der Parallelrechenplattform 1430 zu verwenden (z.B., wenn mehrere unterschiedliche Stufen einer Anwendung oder mehrere Anwendungen dieselben Informationen verarbeiten). In mindestens einer Ausführungsform können dieselben Daten an derselben Stelle eines Speichers für eine beliebige Anzahl von Verarbeitungsaufgaben verwendet werden (z.B. zur selben Zeit, zu unterschiedlichen Zeiten usw.), anstatt eine Kopie der Daten zu erstellen und die Daten an unterschiedliche Stellen im Speicher zu verschieben (z.B. eine Lese-/Schreiboperation). In mindestens einer Ausführungsform können, wenn Daten verwendet werden, um neue Daten als Ergebnis der Verarbeitung zu erzeugen, diese Informationen über einen neuen Speicherort der Daten gespeichert und zwischen unterschiedlichen Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform können der Speicherort von Daten und der Speicherort von aktualisierten oder geänderten Daten Teil einer Definition sein, wie eine Nutzlast innerhalb von Containern zu verstehen ist.
In mindestens einer Ausführungsform können KI-Dienste 1418 genutzt werden, um Inferenzierungsdienste für die Ausführung von Modellen maschinellen Lernens auszuführen, die Anwendungen zugeordnet sind (z.B. mit der Aufgabe, eine oder mehrere Verarbeitungsaufgaben einer Anwendung auszuführen). In mindestens einer Ausführungsform können die KI-Dienste 1418 das KI-System 1424 nutzen, um Modelle maschinellen Lernens (z.B. neuronale Netzwerke, wie beispielsweise CNNs) für Segmentierung, Rekonstruktion, Objekterkennung, Merkmalserkennung, Klassifizierung und/oder andere Inferenzierungsaufgaben auszuführen. In mindestens einer Ausführungsform können die Anwendungen der Bereitstellungs- bzw. Einsatz-Pipeline(s) 1410 ein oder mehrere Ausgabemodelle 1316 aus dem Trainingssystem 1304 und/oder andere Modelle von Anwendungen verwenden, um Schlussfolgerungen aus Bildgebungsdaten durchzuführen. In mindestens einer Ausführungsform können zwei oder mehr Beispiele für die Inferenzierung unter Verwendung des Anwendungsorchestrierungssystems 1428 (z.B. einen Planer) verfügbar sein. In mindestens einer Ausführungsform kann eine erste Kategorie einen Pfad mit hoher Priorität/geringer Latenz umfassen, der höhere Service Level Agreements erreichen kann, z.B. für die Durchführung von Inferenzierungen bei dringenden Anfragen während eines Notfalls oder für einen Radiologen während der Diagnose. In mindestens einer Ausführungsform kann eine zweite Kategorie einen Pfad mit Standardpriorität umfassen, der für Anfragen verwendet werden kann, die nicht dringlich sind oder bei denen die Analyse zu einem späteren Zeitpunkt durchgeführt werden kann. In mindestens einer Ausführungsform kann das Anwendungsorchestrierungssystem 1428 Ressourcen (z.B. Dienste 1320 und/oder Hardware 1322) basierend auf Prioritätspfaden für unterschiedliche Inferenzierungsaufgaben der KI-Dienste 1418 verteilen.
In mindestens einer Ausführungsform kann der gemeinsam genutzte Speicher an die KI-Dienste 1418 in dem System 1400 angebunden sein. In mindestens einer Ausführungsform kann der gemeinsam genutzte Speicher als ein Cache (oder eine andere Art von Speichervorrichtung) fungieren und zur Verarbeitung von Inferenzierungsanforderungen von Anwendungen verwendet werden. In mindestens einer Ausführungsform kann dann, wenn eine Inferenzierungsanforderung übermittelt wird, eine Anforderung von einem Satz von API-Instanzen des Einsatzsystems 1306 empfangen werden und können eine oder mehrere Instanzen ausgewählt werden (z.B. für beste Anpassung, für Lastausgleich usw.), um eine Anforderung zu verarbeiten. In mindestens einer Ausführungsform kann zur Verarbeitung einer Anforderung eine Anforderung in eine Datenbank eingegeben werden, kann ein Modell maschinellen Lernens aus dem Modell-Register 1324 gefunden werden, wenn es sich nicht bereits in einem Cache befindet, kann ein Validierungsschritt sicherstellen, dass ein geeignetes Modell maschinellen Lernens in einen Cache (z.B. einen gemeinsam genutzten Speicher) geladen wird und/oder kann eine Kopie eines Modells in einem Cache gespeichert werden. In mindestens einer Ausführungsform kann ein Planer (z.B. des Pipeline-Verwalters 1412) verwendet werden, um eine Anwendung zu starten, auf die in einer Anforderung verwiesen wird, wenn eine Anwendung nicht bereits läuft oder wenn nicht genügend Instanzen einer Anwendung vorhanden sind. In mindestens einer Ausführungsform kann ein Inferenzierungsserver gestartet werden, wenn er noch nicht gestartet ist, um ein Modell auszuführen. In mindestens einer Ausführungsform kann eine beliebige Anzahl von Inferenzierungsservern pro Modell gestartet werden. In mindestens einer Ausführungsform können in einem Pull-Modell, in dem Inferenzierungsserver geclustert sind, Modelle zwischengespeichert werden, wenn ein Lastausgleich vorteilhaft ist. In mindestens einer Ausführungsform können Inferenzierungsserver in entsprechenden, verteilten Servern statisch geladen werden.
In mindestens einer Ausführungsform kann die Inferenzierung mithilfe eines Inferenzierungsservers durchgeführt werden, der in einem Container läuft. In mindestens einer Ausführungsform kann eine Instanz eines Inferenzierungsservers einem Modell (und optional mehreren Versionen eines Modells) zugeordnet sein. In mindestens einer Ausführungsform kann eine neue Instanz geladen werden, wenn eine Instanz eines Inferenzierungsservers nicht vorhanden ist, wenn eine Anforderung zur Durchführung einer Inferenzierung an einem Modell empfangen wird. In mindestens einer Ausführungsform kann beim Starten eines Inferenzierungsservers ein Modell an einen Inferenzierungsserver übergeben werden, so dass ein und derselbe Container zur Bedienung unterschiedlicher Modelle verwendet werden kann, solange der Inferenzierungsserver als eine andere Instanz läuft.
In mindestens einer Ausführungsform kann während der Anwendungsausführung eine Inferenzierungsanforderung für eine bestimmte Anwendung empfangen werden und kann ein Container (z.B. mit einer Instanz eines Inferenzierungsservers) geladen werden (falls nicht bereits geschehen) und kann eine Startprozedur aufgerufen werden. In mindestens einer Ausführungsform kann die Vorverarbeitungslogik in einem Container eingehende Daten laden, decodieren und/oder eine zusätzliche Vorverarbeitung durchführen (z.B. unter Verwendung von CPU(s) und/oder GPU(s)). In mindestens einer Ausführungsform kann ein Container, sobald die Daten für die Inferenzierung vorbereitet sind, die Inferenzierung wie erforderlich an den Daten durchführen. In mindestens einer Ausführungsform kann dies einen einzigen Inferenzierungsaufruf für ein Bild (z.B. ein Röntgenbild einer Hand) umfassen oder eine Inferenzierung für Hunderte von Bildern (z.B. ein Brust-CT) erfordern. In mindestens einer Ausführungsform kann eine Anwendung die Ergebnisse vor der Fertigstellung zusammenfassen, was, ohne darauf beschränkt zu sein, einen einzelnen Konfidenzwert, eine Segmentierung auf Pixelebene, eine Segmentierung auf Voxel-Ebene, die Generierung einer Visualisierung oder die Generierung von Text zur Zusammenfassung der Ergebnisse umfassen kann. In mindestens einer Ausführungsform können unterschiedlichen Modellen oder Anwendungen unterschiedliche Prioritäten zugewiesen sein. Zum Beispiel können einige Modelle eine Echtzeitpriorität (TAT weniger als eine Minute) haben, während andere eine niedrigere Priorität haben (z.B. TAT weniger als 10 Minuten). In mindestens einer Ausführungsform können die Modellausführungszeiten von der anfragenden Institution oder Entität aus gemessen werden und können die Zeit für das Durchlaufen des Partnernetzwerks sowie die Ausführung auf einem Inferenzierungsdienst umfassen.
In mindestens einer Ausführungsform kann die Übertragung von Anfragen zwischen den Diensten 1320 und den Inferenzierungsanwendungen hinter einem Software Development Kit (SDK) verborgen sein und kann der robuste Transport über eine Warteschlange eingesetzt sein. In mindestens einer Ausführungsform wird eine Anforderung über eine API für eine individuelle Anwendungs-/Benutzer- bzw. Tenant-ID-Kombination in eine Warteschlange gestellt und zieht ein SDK eine Anforderung aus einer Warteschlange und gibt eine Anforderung an eine Anwendung weiter. In mindestens einer Ausführungsform kann ein Name einer Warteschlange in einer Umgebung eingesetzt sein, aus der ein SDK diesen abholt. In mindestens einer Ausführungsform kann die asynchrone Kommunikation über eine Warteschlange nützlich sein, da sie es jeder Instanz einer Anwendung ermöglichen kann, Arbeit aufzunehmen, sobald sie verfügbar wird. Ergebnisse können über eine Warteschlange zurück übertragen werden, um sicherzustellen, dass keine Daten verloren gehen. In mindestens einer Ausführungsform können Warteschlangen auch die Möglichkeit bieten, Arbeit zu segmentieren, da Arbeit mit höchster Priorität an eine Warteschlange gehen kann, an die die meisten Instanzen einer Anwendung gebunden sind, während Arbeit mit niedrigster Priorität an eine Warteschlange gehen kann, an die eine einzelne Instanz gebunden ist, die Aufgaben in der empfangenen Reihenfolge abarbeitet. In mindestens einer Ausführungsform kann eine Anwendung auf einer GPU-beschleunigten Instanz laufen, die in der Cloud 1426 generiert wird und kann ein Inferenzierungsdienst die Inferenzierung auf einer GPU durchführen.
In mindestens einer Ausführungsform können Visualisierungsdienste 1420 genutzt werden, um Visualisierungen für die Anzeige der Ausgaben von Anwendungen und/oder der Einsatz-Pipeline(s) 1410 zu erzeugen. In mindestens einer Ausführungsform können GPUs 1422 von Visualisierungsdiensten 1420 genutzt werden, um Visualisierungen zu erzeugen. In mindestens einer Ausführungsform können Rendering-Effekte, wie beispielsweise Ray-Tracing, von Visualisierungsdiensten 1420 implementiert werden, um Visualisierungen von höherer Qualität zu erzeugen. In mindestens einer Ausführungsform können Visualisierungen, ohne darauf beschränkt zu sein, 2D-Bild-Renderings, 3D-Volumen-Renderings, 3D-Volumen-Rekonstruktionen, 2D-Tomographie-Schichten, Virtual-Reality-Anzeigen, Augmented-Reality-Anzeigen usw. umfassen. In mindestens einer Ausführungsform können virtualisierte Umgebungen verwendet werden, um eine virtuelle interaktive Anzeige oder Umgebung (z.B. eine virtuelle Umgebung) für die Wechselwirkung durch Benutzer eines Systems (z.B. Ärzte, Krankenschwestern, Radiologen usw.) zu erzeugen. In mindestens einer Ausführungsform können die Visualisierungsdienste 1420 einen internen Visualizer, Kinematiken und/oder andere Rendering- oder Bildverarbeitungsfähigkeiten oder -funktionen (z.B. Raytracing, Rasterung, interne Optik usw.) umfassen.
In mindestens einer Ausführungsform kann die Hardware 1322 GPUs 1422, das Kl-System 1424, die Cloud 1426 und/oder jede andere Hardware umfassen, die zur Ausführung des Trainingssystems 1304 und/oder des Einsatzsystems 1306 verwendet wird. In mindestens einer Ausführungsform können die GPUs 1422 (z.B. NVIDIAs TESLA und/oder QUADRO GPUs) eine beliebige Anzahl von GPUs umfassen, die für die Ausführung von Verarbeitungsaufgaben der Rechendienste 1416, der KI-Dienste 1418, der Visualisierungsdienste 1420, anderer Dienste und/oder beliebiger Merkmale oder Funktionen der Software 1318 verwendet werden können. In Bezug auf die KI-Dienste 1418 können GPUs 1422 beispielsweise zur Vorverarbeitung von Bilddaten (oder anderen Datentypen, die von Modellen maschinellen Lernens verwendet werden), zur Nachverarbeitung von Ausgaben von Modellen maschinellen Lernens und/oder zur Durchführung von Inferenzierung (z.B. zur Ausführung von Modellen maschinellen Lernens) verwendet werden. In mindestens einer Ausführungsform können die Cloud 1426, das AI-System 1424 und/oder andere Komponenten des Systems 1400 GPUs 1422 verwenden. In mindestens einer Ausführungsform kann die Cloud 1426 eine GPU-optimierte Plattform für Deep-Learning-Aufgaben umfassen. In mindestens einer Ausführungsform kann das KI-System 1424 GPUs verwenden und kann die Cloud 1426 - oder zumindest ein Teil, der mit Deep Learning oder Inferenzierung beauftragt ist - unter Verwendung eines oder mehrerer KI-Systeme 1424 ausgeführt werden. Obwohl die Hardware 1322 als diskrete Komponenten dargestellt ist, ist dies nicht als Beschränkung zu verstehen und können alle Komponenten der Hardware 1322 mit anderen Komponenten der Hardware 1322 kombiniert oder von diesen genutzt werden.
In mindestens einer Ausführungsform kann das KI-System 1424 ein speziell entwickeltes Rechensystem (z.B. einen Supercomputer oder einen HPC) umfassen, das für Inferenzierung, Deep Learning, maschinelles Lernen und/oder andere Aufgaben der künstlichen Intelligenz konfiguriert ist. In mindestens einer Ausführungsform kann das KI-System 1424 (z.B. der DGX von NVIDIA) GPU-optimierte Software (z.B. einen Software-Stack) umfassen, die unter Verwendung einer Vielzahl von GPUs 1422 ausgeführt werden kann, zusätzlich zu CPUs, RAM, Speicher und/oder anderen Komponenten, Merkmalen oder Funktionen. In mindestens einer Ausführungsform können ein oder mehrere KI-Systeme 1424 in der Cloud 1426 (z.B. in einem Rechenzentrum) implementiert werden, um einige oder alle Kl-basierten Verarbeitungsaufgaben des Systems 1400 auszuführen.
In mindestens einer Ausführungsform kann die Cloud 1426 eine GPU-beschleunigte Infrastruktur (z.B. NGC von NVIDIA) umfassen, die eine GPU-optimierte Plattform für die Ausführung von Verarbeitungsaufgaben des Systems 1400 bereitstellen kann. In mindestens einer Ausführungsform kann die Cloud 1426 ein oder mehrere Kl-Systeme 1424 zur Ausführung einer oder mehrerer KI-basierter Aufgaben des Systems 1400 umfassen (z.B. als Hardware-Abstraktions- und Skalierungsplattform). In mindestens einer Ausführungsform kann die Cloud 1426 mit dem Anwendungsorchestrierungssystem 1428 integriert sein, das mehrere GPUs nutzt, um eine nahtlose Skalierung und einen Lastausgleich zwischen und unter Anwendungen und Diensten 1320 zu ermöglichen. In mindestens einer Ausführungsform kann die Cloud 1426 die Aufgabe haben, mindestens einige der Dienste 1320 des Systems 1400 auszuführen, einschließlich der Rechendienste 1416, KI-Dienste 1418 und/oder Visualisierungsdienste 1420, wie hier beschrieben. In mindestens einer Ausführungsform kann die Cloud 1426 kleine und große Batch-Inferenzierung durchführen (z.B. Ausführen von NVIDIAs TENSOR RT), eine beschleunigte Parallelrechen-API und -Plattform 1430 bereitstellen (z.B. NVIDIAs CUDA), ein Anwendungsorchestrierungssystem 1428 ausführen (z.B. KUBERNETES), eine Graphik-Rendering-API und -Plattform bereitstellen (z.B. für Ray-Tracing, 2D-Graphik, 3D-Graphik und/oder andere Rendering-Techniken, um qualitativ hochwertigere Kinofilme zu erzeugen) und/oder eine andere Funktionalität für das System 1400 bereitstellen.
15A veranschaulicht ein Datenablaufdiagramm für einen Prozess 1500 zum Trainieren, erneuten Trainieren oder Aktualisieren eines maschinellen Lernmodells gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozess 1500 unter Verwendung des Systems 1400 von 14 als nicht einschränkendes Beispiel ausgeführt werden. In mindestens einer Ausführungsform kann der Prozess 1500 die Dienste 1320 und/oder die Hardware 1322 des Systems 1400 wirksam einsetzen, wie hier beschrieben. In mindestens einer Ausführungsform können verfeinerte Modelle 1512, die von dem Prozess 1500 erzeugt wurden, durch das Einsatzsystem 1306 für eine oder mehrere containerisierte Anwendungen in Einsatz-Pipelines 1150 ausgeführt werden.
In mindestens einer Ausführungsform kann das Modelltraining 1314 ein Neutrainieren oder Aktualisieren eines anfänglichen Modells 1504 (z.B. eines vortrainierten Modells) unter Verwendung neuer Trainingsdaten (z.B. neuer Eingangsdaten, wie eines Kundendatensatzes 1506 und/oder neuer, den Eingangsdaten zugeordneter Ground-Truth-Daten) umfassen. In mindestens einer Ausführungsform kann/können zum erneuten Trainieren oder Aktualisieren des Ausgangsmodells 1504 die Ausgangs- oder Verlustschicht(en) des Ausgangsmodells 1504 zurückgesetzt oder gelöscht und/oder durch eine/mehrere aktualisierte oder neue Ausgangs- oder Verlustschicht(en) ersetzt werden. In mindestens einer Ausführungsform kann das Ausgangsmodell 1504 zuvor fein eingestellte Parameter (z.B. Gewichte und/oder Verzerrungen) haben, die vom vorherigen Training übrig geblieben sind, so dass das Training oder das erneute Training 1314 nicht so lange dauert oder so viel Verarbeitung erfordert wie das Training eines Modells von Grund auf. In mindestens einer Ausführungsform können während des Modelltrainings 1314 durch Zurücksetzen oder Ersetzen der Ausgangs- oder Verlustschicht(en) des ursprünglichen Modells 1504 die Parameter aktualisiert und für einen neuen Datensatz neu abgestimmt werden, basierend auf Verlustberechnungen, die der Genauigkeit der Ausgangs- oder Verlustschicht(en) bei der Erzeugung von Vorhersagen für einen neuen Kundendatensatz 1506 (z.B. Bilddaten 1308 von 13) zugeordnet sind.
In mindestens einer Ausführungsform können vortrainierte Modelle 1406 in einem Datenspeicher oder einem Register (z.B. Modell-Register 1324 von 13) gespeichert sein. In mindestens einer Ausführungsform können die vortrainierten Modelle 1406 zumindest teilweise in einer oder mehreren anderen Einrichtungen als der Einrichtung, die den Prozess 1500 ausführt, trainiert worden sein. In mindestens einer Ausführungsform können zum Schutz der Privatsphäre und der Rechte von Patienten, Probanden oder Kunden unterschiedlicher Einrichtungen die vortrainierten Modelle 1406 vor Ort trainiert worden sein, wobei Kunden- oder Patientendaten verwendet wurden, die vor Ort generiert wurden. In mindestens einer Ausführungsform können vortrainierte Modelle 1406 unter Verwendung der Cloud 1426 und/oder anderer Hardware 1322 trainiert werden, aber vertrauliche, datenschutzrechtlich geschützte Patientendaten dürfen nicht an Komponenten der Cloud 1426 (oder anderer Hardware außerhalb der Einrichtung) übertragen werden, von diesen verwendet werden oder für diese zugänglich sein. In mindestens einer Ausführungsform, in der ein vor-trainiertes Modell 1406 unter Verwendung von Patientendaten von mehr als einer Einrichtung trainiert wird, kann das vor-trainierte Modell 1406 individuell für jede Einrichtung trainiert worden sein, bevor es auf Patienten- oder Kundendaten von einer anderen Einrichtung trainiert wird. In mindestens einer Ausführungsform, z.B. wenn Kunden- oder Patientendaten aus Datenschutzgründen freigegeben wurden (z.B. durch eine Verzichtserklärung, für experimentelle Zwecke usw.) oder wenn Kunden- oder Patientendaten in einem öffentlichen Datensatz umfassen sind, können Kunden- oder Patientendaten aus einer beliebigen Anzahl von Einrichtungen verwendet werden, um das vortrainierte Modell 1406 vor Ort und/oder außerhalb des Standorts zu trainieren, z.B. in einem Rechenzentrum oder einer anderen Cloud-Computing-Infrastruktur.
In mindestens einer Ausführungsform kann ein Benutzer bei der Auswahl von Anwendungen zur Verwendung in Einsatz-Pipelines 1410 auch Modelle für maschinelles Lernen auswählen, die für bestimmte Anwendungen zu verwenden sind. In mindestens einer Ausführungsform kann ein Benutzer kein Modell zur Verwendung haben, sodass ein Benutzer ein vortrainiertes Modell 1406 zur Verwendung mit einer Anwendung auswählen kann. In mindestens einer Ausführungsform ist das vortrainierte Modell 1406 möglicherweise nicht dafür optimiert, genaue Ergebnisse für den Kundendatensatz 1506 einer Einrichtung eines Benutzers zu erzeugen (z.B. basierend auf der Patientenvielfalt, der Demographie, den Arten der verwendeten medizinischen Bildgebungsgeräte usw.). In mindestens einer Ausführungsform kann das vortrainierte Modell 1406 vor der Bereitstellung in der Einsatz-Pipeline 1410 zur Verwendung mit einer oder mehreren Anwendungen aktualisiert, neu trainiert und/oder für die Verwendung in einer entsprechenden Einrichtung feinabgestimmt werden.
In mindestens einer Ausführungsform kann ein Benutzer ein vortrainiertes Modell 1406 auswählen, das zu aktualisieren, neu zu trainieren und/oder feinabzustimmen ist, und das vortrainierte Modell 1406 kann als Ausgangsmodell 1504 für das Trainingssystem 1304 in dem Prozess 1500 bezeichnet werden. In mindestens einer Ausführungsform kann der Kundendatensatz 1506 (z.B. Bildgebungsdaten, Genomikdaten, Sequenzierungsdaten oder andere Datentypen, die von Vorrichtungen in einer Einrichtung erzeugt werden) verwendet werden, um das Modelltraining 1314 (das, ohne darauf beschränkt zu sein, Transferlernen umfassen kann) auf dem Ausgangsmodell 1504 durchzuführen, um das verfeinerte Modell 1512 zu erzeugen. In mindestens einer Ausführungsform können Ground-Truth-Daten, die dem Kundendatensatz 1506 entsprechen, von dem Trainingssystem 1304 erzeugt werden. In mindestens einer Ausführungsform können die Ground-Truth-Daten zumindest teilweise von Klinikern, Wissenschaftlern, Ärzten, Praktikern in einer Einrichtung erzeugt werden (z.B. als gekennzeichnete Klinikdaten 1312 von 13).
In mindestens einer Ausführungsform kann die KI-assistierte Annotation 1310 in einigen Beispielen verwendet werden, um Ground-Truth-Daten zu erzeugen. In mindestens einer Ausführungsform kann die KI-assistierte Annotation 1310 (z.B. unter Verwendung eines Kl-gestützten Annotation-SDKs implementiert) Modelle maschinellen Lernens (z.B. neuronale Netzwerke) nutzen, um vorgeschlagene oder vorhergesagte Ground-Truth-Daten für einen Kundendatensatz zu erzeugen. In mindestens einer Ausführungsform kann der Benutzer 1510 Annotationstools innerhalb einer Benutzeroberfläche (einer graphischen Benutzeroberfläche (GUI)) auf der Rechenvorrichtung 1508 verwenden.
In mindestens einer Ausführungsform kann der Benutzer 1510 über die Rechenvorrichtung 1508 mit einer GUI wechselwirken, um Anmerkungen oder (Auto)Annotationen zu bearbeiten oder fein abzustimmen. In mindestens einer Ausführungsform kann eine Polygoneditierfunktion verwendet werden, um Vertices eines Polygons an genauere oder feiner abgestimmte Positionen zu bewegen.
In mindestens einer Ausführungsform können, sobald dem Kundendatensatz 1506 Ground-Truth-Daten zugeordnet sind, Ground-Truth-Daten (z.B. aus Kl-assistierter Annotation, manueller Beschriftung usw.) während des Modelltrainings 1314 verwendet werden, um ein verfeinertes Modell 1512 zu erzeugen. In mindestens einer Ausführungsform kann der Kundendatensatz 1506 beliebig häufig auf das Ausgangsmodell 1504 angewendet werden und die Ground-Truth-Daten können verwendet werden, um die Parameter des Ausgangsmodells 1504 zu aktualisieren, bis ein akzeptables Genauigkeitsniveau für das verfeinerte Modell 1512 erreicht ist. In mindestens einer Ausführungsform kann das verfeinerte Modell 1512, sobald es erzeugt wurde, in einer oder mehreren Einsatz-Pipelines 1410 in einer Einrichtung zur Durchführung einer oder mehrerer Verarbeitungsaufgaben in Bezug auf medizinische Bildgebungsdaten eingesetzt werden.
In mindestens einer Ausführungsform kann das verfeinerte Modell 1512 zu den bereits trainierten Modellen 1406 in dem Modell-Register 1324 hochgeladen werden, um von einer anderen Einrichtung ausgewählt zu werden. In mindestens einer Ausführungsform kann dieser Prozess in einer beliebigen Anzahl von Einrichtungen abgeschlossen werden, so dass das verfeinerte Modell 1512 beliebig häufig an neuen Datensätzen weiter verfeinert werden kann, um ein universelleres Modell zu erzeugen.
15B ist eine beispielhafte Darstellung einer Client-Server-Architektur 1532 zur Verbesserung von Annotationstools mit vortrainierten Annotationsmodellen, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform können Kl-assistierte Annotationstools 1536 auf der Grundlage einer Client-Server-Architektur 1532 instanziiert werden. In mindestens einer Ausführungsform können Annotationstools 1536 in bildgebenden Anwendungen Radiologen beispielsweise bei der Identifizierung von Organen und Anomalien zu assistieren bzw. unterstützen. In mindestens einer Ausführungsform können Bildgebungsanwendungen Softwaretools umfassen, die dem Benutzer 1510 helfen, als nicht beschränkendes Beispiel, einige extreme Punkte auf einem bestimmten Organ von Interesse in Rohbildern 1534 (z.B. in einem 3D-MRI- oder CT-Scan) zu identifizieren und automatisch kommentierte Ergebnisse für alle 2D-Schichten eines bestimmten Organs zu erhalten. In mindestens einer Ausführungsform können die Ergebnisse in einem Datenspeicher als Trainingsdaten 1538 gespeichert und als (z.B. und ohne darauf beschränkt zu sein) Ground-Truth-Daten für das Training verwendet werden. In mindestens einer Ausführungsform kann ein Deep-Learning-Modell bzw. Modell für tiefes Lernen, wenn die Rechenvorrichtung 1508 Extrempunkte für die KI-assistierte Annotation 1310 sendet, diese Daten als Eingabe empfangen und Inferenzierungsergebnisse eines segmentierten Organs oder einer Anomalie zurückgeben. In mindestens einer Ausführungsform können vorinstanzierte Annotationstools, wie beispielsweise das KI-assistierte Annotationstool 1536B in 15B, durch API-Aufrufe (z.B. API-Aufruf 1544) an einen Server, wie beispielsweise einen Annotationsassistenzserver bzw. Annotation Assistant Server 1540, erweitert sein, der einen Satz vortrainierter Modelle 1542 umfassen kann, die z.B. in einem Annotationsmodell-Register gespeichert sind. In mindestens einer Ausführungsform kann ein Annotationsmodell-Register vortrainierte Modelle 1542 (z.B. Modelle für maschinelles Lernen, wie Deep-Learning-Modelle) speichern, die vortrainiert sind, um Kl-assistierte bzw. -gestützte Annotationen für ein bestimmtes Organ oder eine Anomalie durchzuführen. In mindestens einer Ausführungsform können diese Modelle unter Verwendung von Trainings-Pipelines 1404 weiter aktualisiert werden. In mindestens einer Ausführungsform können die vorinstallierten Annotationstools im Laufe der Zeit verbessert werden, wenn neue gekennzeichnete Klinikdaten 1312 hinzugefügt werden.
Derartige Komponenten können verwendet werden, um eine Bewegung zum Erzeugen von Animation vorherzusagen. Dies kann die Verwendung eines Bewegungsvorhersagenetzwerks umfassen, das trainiert wurde, wie hier erläutert, um einzelne Frames der Animation zu erzeugen.
Andere Variationen liegen innerhalb des Wesens der vorliegenden Offenbarung. Somit werden, obwohl die offenbarten Techniken für verschiedene Modifikationen und alternative Konstruktionen empfänglich sind, bestimmte erläuterte Ausführungsformen davon in den Zeichnungen gezeigt und wurden vorstehend ausführlich beschrieben. Es sei jedoch zu verstehen, dass keine Absicht besteht, die Offenbarung auf die offenbarte spezielle Form oder Formen zu begrenzen, sondern die Absicht besteht im Gegenteil darin, alle Modifikationen, alternativen Konstruktionen und Äquivalente abzudecken, die in innerhalb des Wesens und des Umfangs der Offenbarung fallen, wie in den beigefügten Ansprüchen definiert.
Die Verwendung der Begriffe „einer/eine/eines“ und „der/die/das“ und ähnliche Referenzen im Kontext des Beschreibens der offenbarten Ausführungsformen (insbesondere im Kontext der folgenden Ansprüche) sind auszulegen, als sowohl den Singular als auch den Plural zu umfassen, solange nichts Anderweitiges hier angegeben oder durch den Kontext deutlich widersprochen wird, und nicht als eine Definition eines Begriffs. Die Begriffe „umfassend“, „aufweisend“, „einschließlich“ und „enthaltend“ sind als offene Begriffe auszulegen (das heißt bedeutend „umfassend, jedoch nicht beschränkt auf“), solange nicht anderweitig angemerkt. Der Begriff „verbunden,“ wenn nicht modifiziert und sich auf physische Verbindungen beziehend, ist als teilweise oder vollständig innerhalb enthaltend, befestigt an oder zusammen verbunden auszulegen, sogar wenn es etwas Intervenierendes gibt. Die Nennung von Wertebereichen hier ist lediglich bestimmt, um als ein Kurzformverfahren des einzelnen Bezugnehmens auf jeden separaten Wert zu dienen, der in den Bereich fällt, es sei denn, dass hier etwas anderes angegeben ist, und jeder separate Wert wird in die Spezifikation aufgenommen, als ob er hier einzeln wiedergegeben wäre. Der Begriff „Satz“ (z.B., „ein Satz von Objekten“) oder „Teilsatz“, es sei denn, es ist etwas anderes angemerkt oder dies widerspricht dem Kontext, als eine nicht leere Zusammenstellung auszulegen, die ein oder mehrere Elemente umfasst. Ferner bezeichnet, es sei denn, dass etwas anderes angemerkt ist oder dies dem Kontext widerspricht, der Begriff „Teilsatz“ eines entsprechenden Satzes nicht notwendigerweise einen richtigen Teilsatz des entsprechenden Satzes, sondern der Teilsatz und ein entsprechender Satz können gleich sein.
Verbindende Sprache, wie beispielsweise Ausdrücke der Form „mindestens eines von A, B, und C“, oder „mindestens eines von A, B und C“, es sei denn, das es speziell anders angemerkt ist oder anderweitig eindeutig durch den Kontext widersprochen wird, ist andernfalls in dem Kontext zu verstehen, wie sie allgemein verwendet wird, um darzustellen, dass ein Objekt, ein Begriff usw. entweder A oder B oder C oder einen beliebigen nicht leeren Teilsatz des Satzes aus A und B und C sein kann. Beispielsweise beziehen sich im veranschaulichten Beispiel eines Satzes, der drei Elemente aufweist, die verbindenden Ausdrücke „mindestens eines von A, B, und C“ und „mindestens eines von A, B und C“ auf einen der folgenden Sätze: {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C}. Somit ist eine derartige verbindende Sprache allgemein nicht bestimmt, zu implizieren, dass bestimmte Ausführungsformen verlangen, dass mindestens eines von A, mindestens eines von B, und mindestens eines von C jeweils vorhanden sind. Außerdem gibt, es sei denn, dass etwas anderes angemerkt ist oder durch den Kontext widersprochen wird, der Begriff „Mehrzahl“ einen Zustand in der Mehrzahl an (z.B., „eine Mehrzahl von Elementen“ gibt mehrere Elemente an). Eine Mehrzahl ist mindestens zwei, kann jedoch mehr sein, wenn so entweder explizit oder durch en Kontext angegeben. Ferner bedeutet, es sei denn, dass etwas anderes angemerkt ist oder dies anderweitig aus dem Kontext offensichtlich ist, der Ausdruck „basierend auf“ basierend mindestens teilweise auf und nicht „basierend allein auf“.
Vorgänge von hier beschriebenen Prozessen können in jeder geeigneten Reihenfolge durchgeführt werden, sofern hier nicht anderweitig angegeben oder der Kontext dem anderweitig eindeutig widerspricht. In mindestens einer Ausführungsform wird ein Prozess, wie beispielsweise jene Prozesse (oder Variationen und/oder Kombinationen davon), die hier beschrieben sind, unter der Steuerung von einem oder mehreren Computersystemen durchgeführt, die mit ausführbaren Anweisungen konfiguriert sind, und wird als Code (z.B., ausführbare Anweisungen, ein oder mehrere Computerprogramme oder ein oder mehrere Anwendungen) implementiert, der zusammen auf einem oder mehreren Prozessoren durch Hardware oder Kombinationen davon ausgeführt wird. In mindestens einer Ausführungsform wird ein Code auf einem computerlesbaren Speichermedium beispielsweise in Form eines Computerprogramms ausgeführt, das mehrere Anweisungen umfasst, die durch einen oder mehrere Prozessoren ausführbar sind.
In mindestens einer Ausführungsform ist ein computerlesbares Speichermedium ein nicht flüchtiges computerlesbares Speichermedium, das flüchtige Signale ausschließt (z.B., eine propagierende transiente elektrische oder elektromagnetische Übertragung), jedoch nicht flüchtige Datenspeicherschaltungen (z.B., Puffer, Cache und Warteschlangen) innerhalb Transceiver von flüchtigen Signalen umfasst. In mindestens einer Ausführungsform ist der Code (z.B., ein ausführbarer Code oder Quellencode) auf einem Satz von einem oder mehreren nicht flüchtigen computerlesbaren Speichermedien gespeichert, die darauf gespeicherte ausführbare Anweisungen aufweisen (oder anderem Speicher, um ausführbare Anweisungen zu speichern) die, wenn durch einen oder mehreren Prozessoren eines Computersystems ausgeführt (d.h., als ein Ergebnis einer Ausführung) das Computersystem veranlassen, hier beschriebene Vorgänge durchzuführen. In mindestens einer Ausführungsform umfasst ein Satz von nicht flüchtigen computerlesbaren Speicherungsmedien mehrere nicht flüchtige computerlesbare Speicherungsmedien und eines oder mehrere von einzelnen nicht flüchtigen Speicherungsmedien der mehreren nicht flüchtigen computerlesbaren Speichermedien Fehlen sämtlicher Code, während mehrere nicht flüchtige computerlesbare Speichermedien zusammen den gesamten Code speichern. In mindestens einer Ausführungsform werden ausführbare Anweisungen ausgeführt, so dass unterschiedliche Anweisungen durch unterschiedliche Prozessoren ausgeführt werden - beispielsweise speichert ein nicht flüchtiges computerlesbares Speichermedium Anweisungen und eine Haupt-Zentralverarbeitungseinheit („CPU“) führt einige Anweisungen aus, während eine Graphikverarbeitungseinheit („GPU“) andere Anweisungen ausführt. In mindestens einer Ausführungsform weisen unterschiedliche Komponenten eines Computersystems getrennte Prozessoren auf und unterschiedliche Prozessoren führen unterschiedliche Teilsätze von Anweisungen aus.
Dementsprechend sind in mindestens einer Ausführungsform Computersysteme konfiguriert, um ein oder mehrere Dienste zu implementieren, die einzeln oder gemeinsam Vorgänge von hier beschriebenen Prozessen durchführen, und derartige Computersysteme sind mit anwendbarer Hardware und/oder Software konfiguriert, welche die Durchführung von Vorgängen ermöglichen. Ferner ist ein Computersystem, das mindestens eine Ausführungsform der vorliegenden Offenbarung implementiert, eine einzelne Vorrichtung, und ist in einer anderen Ausführungsform ein verteiltes Computersystem, das mehrere Vorrichtungen umfasst, die unterschiedlich arbeiten, sodass das ein verteiltes Computersystem die hier beschriebenen Vorgänge durchführt und sodass eine einzelne Vorrichtung nicht alle Vorgänge durchführt.
Die Verwendung von einzelnen oder allen Beispielen oder einer hier beispielhaften bereitgestellten Formulierung (z.B., „wie beispielsweise“) ist bestimmt, lediglich Ausführungsformen der Offenbarung besser zu beleuchten und stellt keine Einschränkung des Umfangs der Offenbarung dar, es sei denn, dass etwas anderes beansprucht ist. Keine Sprache in der Spezifikation sollte so ausgelegt werden, dass sie ein beliebiges nicht beanspruchtes Element als wesentlich angibt, um die Offenbarung zu praktizieren.
Sämtliche Bezugnahmen, einschließlich Veröffentlichungen, Patenanmeldungen und Patente, die hier zitiert sind, werden hiermit durch Bezugnahme in dem gleichen Ausmaß aufgenommen, als ob jede Bezugnahme einzeln und speziell angegeben würde, um durch Bezugnahme aufgenommen zu werden, und in ihrer Gesamtheit hier dargelegt wären.
In der Beschreibung und den Ansprüchen können die Begriffe „gekoppelt“ und „verbunden“ zusammen mit ihren Ableitungen verwendet werden. Es sei zu verstehen, dass diese Begriffe nicht als Synonyme füreinander bestimmt sind. Stattdessen kann in bestimmten Beispielen „verbunden“ oder „gekoppelt“ verwendet werden, um anzugeben, dass zwei oder mehr Elemente in direktem oder indirektem physischem oder elektrischem Kontakt miteinander sind. „Gekoppelt“ kann ebenfalls bedeuten, dass zwei oder mehr Elemente nicht in direktem Kontakt miteinander sind, jedoch dennoch weiterhin kooperieren oder miteinander wechselwirken.
Sofern nicht speziell anders angegeben, wird anerkannt, dass über die gesamte Spezifikation Begriffe wie „Verarbeiten“, „Rechnen“, „Berechnen“, „Bestimmen“ oder dergleichen sich auf eine Aktion und/oder Verfahren eines Computers oder Rechensystems beziehen, oder einer ähnlichen elektronischen Vorrichtung, die Daten manipulieren und/oder Daten transformieren, die als physikalische, wie beispielsweise elektronische, Größen in den Registern des Rechensystems und/oder Speichern in andere Daten, die auf ähnliche Weise als physikalische Größen innerhalb der Speicher des Rechensystems, Registern oder anderer derartiger Informationsspeicherungs-, Übertragungs- oder Anzeigevorrichtungen dargestellt werden.
Auf eine ähnliche Art und Weise kann sich der Begriff „Prozessor“ auf jede Vorrichtung oder Abschnitt einer Vorrichtung beziehen, die elektronische Daten aus Registern und/oder Speicher verarbeitet und diese elektronischen Daten in andere elektronische Daten transformiert, die in Registern und/oder Speicher gespeichert werden können. Als nicht einschränkende Beispiele kann „Prozessor“ eine CPU oder eine GPU sein. Eine „Rechenplattform“ kann einen oder mehrere Prozessoren umfassen. Wie hier verwendet, können „Software“-Prozesse beispielsweise Software- und/oder Hardwareentitäten umfassen, die Arbeit im Laufe der Zeit durchführen, wie beispielsweise Aufgaben, Threads und intelligente Agenten. Jeder Prozess kann sich ebenfalls auf mehrere Prozesse zum Ausführen von Anweisungen der Reihe nach oder parallel, kontinuierlich oder intermittierend beziehen. Die Begriffe „System“ und „Verfahren“ hier austauschbar verwendet, insofern als System ein oder mehrere Verfahren verkörpern und Verfahren als ein System betrachtet werden können.
In dem vorliegenden Dokument können Verweise auf das Erhalten, Erfassen, Empfangen oder Eingeben von analogen oder digitalen Daten in ein Teilsystem, Computersystem oder computerimplementierte Maschine erfolgen. Erhalten, Erfassen, Empfangen oder Eingeben von analogen und digitalen Daten kann in einer Vielfalt von Möglichkeiten erreicht werden, wie beispielsweise durch Empfangen von Daten als ein Parameter eines Funktionsaufrufs oder eines Aufrufs an eine Anwendungsprogrammierschnittstelle. In einigen Implementierungen kann der Prozess des Erhaltens, Erfassens, Empfangen oder Eingebens von analogen oder digitalen Daten durch Transferieren von Daten über eine serielle oder parallele Schnittstelle erreicht werden. In einer anderen Implementierung können Prozesse des Erhaltens, Erfassens, Empfangens oder Eingebens von analogen oder digitalen Daten durch Transferieren von Daten über ein Computernetzwerk von bereitstellender Entität zu erfassender Entität erreicht werden. In mindestens einer Ausführungsform können Verweise ebenfalls auf das Bereitstellen, Ausgeben, Übertragen, Senden oder Repräsentieren analoger oder digitaler Daten erfolgen. In verschiedenen Beispielen kann der Prozess des Bereitstellens, Ausgebens, Übertragens, Sendens oder Repräsentierens analoger oder digitaler Daten durch Transferieren von Daten als ein Eingangs- oder Ausgangsparameter eines Funktionsaufruf, eines Parameters einer Anwendungsprogrammierschnittstelle oder eines Mechanismus zur Interprozesskommunikation erreicht werden.
Obwohl die obige Erläuterung beispielhafte Implementierungen von beschriebenen Techniken darlegt, können andere Architekturen verwendet werden, um die beschriebene Funktionalität zu implementieren, und sind bestimmt, innerhalb des Umfangs der Offenbarung zu liegen. Des Weiteren könnten, obwohl spezifische Verteilungen von Verantwortlichkeiten obenstehend zum Zwecke der Erläuterung definiert sind, verschiedene Funktionen und Verantwortlichkeiten in unterschiedlichen Weisen abhängig von den Umständen verteilt und aufgeteilt werden.
Des Weiteren sei zu verstehen, obwohl der Gegenstand in einer für strukturelle Merkmale und/oder methodische Handlungen spezifischen Sprache beschrieben wurde, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendigerweise auf beschriebene spezifische Merkmale oder Handlungen beschränkt ist. Vielmehr werden spezifische Merkmale und Handlungen als beispielhafte Formen des Implementierens der Ansprüche offenbart.

Claims

Computerimplementiertes Verfahren, umfassend: Empfangen eines oder mehrerer Frames einer Eingangsequenz; Bereitstellen des einen oder mehrerer Frames an einem Bewegungsvorhersagenetzwerk zum Erzeugen einer Sequenz von vorhergesagten Frames, wobei die Sequenz eine Animation eines oder mehrerer virtueller Objekte darstellt, die in dem einen oder mehreren Frames anschaulich dargestellt sind; Vergleichen der Sequenz von vorhergesagten Frames gegen eine Sequenz von Ground-Truth-Frames für die Animation des einen oder mehrerer virtueller Objekte, um einen ersten Verlustwert zu erzeugen; Analysieren, unter Verwendung eines zeitlichen Diskriminators eines generativen Netzwerks, der Sequenz von vorhergesagten Frames, um einen adversarialen Verlustwert zu bestimmen; und Aktualisieren einer oder mehreren Netzwerkparameter für das Bewegungsvorhersagenetzwerk, um zu versuchen, einen Gesamtverlust zu minimieren, der den ersten Verlustwert und den adversarialer Verlustwert umfasst.
Computerimplementiertes Verfahren gemäß Anspruch 1, ferner umfassend: Durchführen der Aktualisierung des einen oder mehrerer Netzwerkparameter als Teil eines autoregressiven Trainings des Bewegungsvorhersagenetzwerks.
Computerimplementiertes Verfahren gemäß Anspruch 1, ferner umfassend: Bestimmen des adversarialen Verlustwerts unter Verwendung einer Zielfunktion, die einer Architektur des generativen Netzwerks entspricht, wobei das generative Netzwerk ein konditionales, rekurrentes generatives adversariales neuronales Netzwerk ist.
Computerimplementiertes Verfahren gemäß Anspruch 1, ferner umfassend: Verketten von Daten für die Sequenz von vorhergesagten Frames mit mindestens eines von Gangartdaten oder Höhenkartendaten des einen oder mehrerer Frames der Eingangsequenz vor dem Analysieren der Sequenz von vorhergesagten Frames unter Verwendung des zeitlichen Diskriminators, wobei das mindestens eines der Gangartdaten oder Höhenkartendaten in der Lage ist, um als eine Bedingung für den zeitlichen Diskriminator benutzt zu werden.
Computerimplementiertes Verfahren gemäß Anspruch 1, wobei das generative Netzwerk eine Zielfunktion basierend auf einer Wasserstein-Metrik, einem Kreuzentropie-Verlust oder einer Funktion der kleinsten Quadrate verwendet.
Computerimplementiertes Verfahren gemäß Anspruch 1, wobei das Bewegungsvorhersagenetzwerk mindestens teilweise auf einem Modus-adaptiven neuronalen Netzwerk (MANN) oder einem Phasen-funktionierten neuronalen Netzwerk (PFNN) basiert.
Computerimplementiertes Verfahren gemäß Anspruch 1, ferner umfassend: Bestimmen, für das eine oder mehrere Frames der Eingangsequenz, Posen- oder Zustandsinformationen für jedes von mehreren Gelenken des einen oder mehrerer virtueller Objekte und wobei das Bewegungsvorhersagenetzwerk Änderungen in den Posen- oder Zustandsinformationen vorhersagt.
Computerimplementiertes Verfahren gemäß Anspruch 1, ferner umfassend: Empfangen, nachdem das Bewegungsvorhersagenetzwerk trainiert wurde, ein Eingangsframe einer zu erzeugenden Animationssequenz; und Empfangen, von dem Bewegungsvorhersagenetzwerk, eines oder mehrerer anschließender Frames der erzeugten Animation.
Computerimplementiertes Verfahren gemäß Anspruch 1, wobei der zeitliche Diskriminator mindestens ein Modul eines langen Kurzzeitspeichers (LSTM) und eine Sequenz von vollständig verbundenen (FC) Schichten umfasst, die durch eine Aktivierungsfunktion einer leckenden gleichgerichteten Lineareinheit (ReLU) getrennt werden.
System, umfassend: mindestens einen Prozessor; und einen Speicher, der Anweisungen umfasst, die, wenn durch den mindestens einen Prozessor ausgeführt, das System veranlassen, um: ein oder mehrere Frames einer Eingangsanimationssequenz zu empfangen; das eine oder mehrere Frames einem Bewegungsvorhersagenetzwerk zum Erzeugen einer Sequenz von vorhergesagten Frames bereitzustellen; die Sequenz von vorhergesagten Frames gegen eine Sequenz von Ground-Truth-Frames zu vergleichen, um einen ersten Verlustwert zu erzeugen; unter Verwendung eines zeitlichen Diskriminators eines generativen Netzwerks die Sequenz von vorhergesagten Frames zu analysieren, um einen adversarialen Verlustwert zu bestimmen; und einen oder mehrere Netzwerkparameter für das Bewegungsvorhersagenetzwerk zu aktualisieren, um zu versuchen, einen Gesamtverlust, der den ersten Verlustwert und den adversarialen Verlustwert umfasst, zu minimieren.
System gemäß Anspruch 10, wobei die Anweisungen, wenn ausgeführt, ferner das System veranlassen, um: den adversarialen Verlustwert unter Verwendung einer Zielfunktion zu bestimmen, die einer Architektur des generativen Netzwerks entspricht, wobei das generative Netzwerk ein konditionales, rekurrentes generatives adversariales neuronales Netzwerk ist.
System gemäß Anspruch 10, wobei die Anweisungen, wenn ausgeführt, das System ferner veranlassen, um: Daten für die Sequenz von vorhergesagten Frames zu verketten, mit mindestens eines von Gangartdaten oder Höhenkartendaten von dem einen oder mehreren Frames der Eingangsequenz vor dem Analysieren der Sequenz von vorhergesagten Frames unter Verwendung des zeitlichen Diskriminators, wobei das mindestens eines der Gangartdaten oder Höhenkartendaten imstande ist, um als eine Bedingung für den zeitlichen Diskriminator benutzt zu werden.
System gemäß Anspruch 10, wobei das generative Netzwerk eine Zielfunktion basierend auf einer Wasserstein-Metrik, einem Kreuzentropie-Verlust oder einer Funktion der kleinsten Quadrate verwendet und wobei das Bewegungsvorhersagenetzwerk mindestens teilweise auf einem Modus-adaptiven neuronalen Netzwerk (MANN) oder einem Phasen-arbeitenden neuronalen Netzwerk (PFNN) basiert.
System gemäß Anspruch 10, wobei die Anweisungen, wenn ausgeführt, ferner das System veranlassen, um: für das eine oder mehrere Frames der Eingangsequenz Posen- oder Zustandsinformationen für jedes von mehreren Gelenken des einen oder mehreren virtuellen Objekten zu bestimmen, und wobei das Bewegungsvorhersagenetzwerk Änderungen in den Posen- oder Zustandsinformationen vorhersagt.
System gemäß Anspruch 10, wobei die Anweisungen, wenn ausgeführt, ferner das System veranlassen, um: nachdem das Bewegungsvorhersagenetzwerk trainiert wurde, ein Eingangsframe einer zu erzeugenden Animationssequenz zu empfangen, und aus dem Bewegungsvorhersagenetzwerk ein oder mehrere anschließende Frames der erzeugten Animation zu empfangen.
System gemäß Anspruch 10, wobei die Anweisungen, wenn ausgeführt, ferner das System veranlassen, um: das Aktualisieren des einen oder mehrerer Netzwerkparameter als Teil eines autoregressiven Trainings des Bewegungsvorhersagenetzwerks durchzuführen.
Animationserzeugungssystem, umfassend: mindestens einen Prozessor; und einen Speicher, der Anweisungen umfasst, die, wenn durch den mindestens einen Prozessor ausgeführt, das Animationserzeugungssystem veranlassen, um: ein Eingabeframe in einem Bewegungsvorhersagenetzwerk bereitzustellen, wobei das Bewegungsvorhersagenetzwerk unter Verwendung eines zeitlichen Diskriminatornetzwerks trainiert wird, um einen adversarialen Verlust für eine Sequenz von Frames, die von einer Eingangsframe erzeugt wurden, ein oder mehrere Netzwerkparameter des zeitlichen Diskriminatornetzwerks zu erzeugen, die ausgewählt werden, um einen Verlust zu minimieren, der den adversarialen Verlust umfasst; und von dem Bewegungsvorhersagenetzwerk ein oder mehrere vorhergesagte anschließende Frames einer Animationssequenz zu empfangen.
Animationserzeugungssystem gemäß Anspruch 17, wobei das zeitliche Diskriminatornetzwerk konfiguriert ist, um den adversarialen Verlustwert während des Trainings unter Verwendung einer Zielfunktion zu bestimmen, die der Architektur eines das zeitliche Diskriminatornetzwerk umfassenden generativen Netzwerks entspricht, wobei das generative Netzwerk ein konditionales, rekurrentes generatives adversariales neuronales Netzwerk ist.
Animationserzeugungssystem gemäß Anspruch 17, wobei während des Trainings Daten für eine Sequenz von vorhergesagten Frames mit Gangartdaten und Höhenkartendaten von einem oder mehreren Frames einer Eingangsequenz als Eingang in das zeitlichen Diskriminatornetzwerk verkettet werden, wobei die Gangartdaten und die Höhenkartendaten als Bedingungen für das zeitlichen Diskriminatornetzwerk benutzt werden.
Animationserzeugungssystem gemäß Anspruch 17, wobei die Anweisungen, wenn ausgeführt, ferner das System veranlassen, um: für das Eingangsframe, Posen- oder Zustandsinformationen für jedes von mehreren Gelenken von einem oder mehreren virtuellen Objekten zu bestimmen, die in die Eingangsframe dargestellt sind, die zu animieren sind.