LU601419B1 - Verfahren und System zur Bewertung der Programmierfähigkeit von Algorithmen der künstlichen Intelligenz - Google Patents

Abstract

Die vorliegende Erfindung stellt Verfahren und Systeme zur Bewertung der Programmierfähigkeit von Algorithmen der künstlichen Intelligenz bereit und bezieht sich auf das Gebiet der Bildungstechnologie der künstlichen Intelligenz. Das Verfahren und System zur Bewertung der Programmierfähigkeiten von Algorithmen der künstlichen Intelligenz umfasst die folgenden Schritte: S1: Auf der Grundlage des vom Benutzer eingereichten Quellcodes und der natürlichsprachlichen Beschreibung des Themas wird der Code analysiert, um einen abstrakten Syntaxbaum zu erzeugen, der semantisch mit der Beschreibung des Themas abgeglichen wird, der Grad der beabsichtigten Übereinstimmung des Codes berechnet wird, strukturelle Merkmale und semantische Merkmale extrahiert werden und ein multimodaler semantischer Vektor des Codes erzeugt wird. Durch den Algorithmus für die gemeinsame Einbettung des multimodalen großen Sprachmodells wird der Code in einen abstrakten Syntaxbaum geparst und semantisch mit der natürlichsprachlichen Beschreibung des Themas abgeglichen und mit der Verlustfunktion des vergleichenden Lernens kombiniert, um die strukturellen und semantischen Merkmale des Codes zu extrahieren, die Genauigkeit des Verstehens der Codeabsicht zu verbessern und die durch die semantische Mehrdeutigkeit bei der traditionellen Methode verursachte Bewertungsverzerrung zu vermeiden. Der Wissensgraphen-Subgraph-Isomorphismus-Matching-Algorithmus wird aufgerufen, um den abstrakten Syntaxbaum des Codes auf die vorgefertigten Wissensgraphenknoten des algorithmischen Entwurfsmusters abzubilden.

Description

Verfahren und System zur Bewertung der Programmierfähigkeit von Algorithmen de-601419 künstlichen Intelligenz

Technischer Bereich

Die vorliegende Erfindung bezieht sich auf das Gebiet der Bildungstechnologie für künstliche

Intelligenz, insbesondere auf Verfahren und System zur Bewertung der Programmierfähigkeit von

Algorithmen der künstlichen Intelligenz.

Technologie im Hintergrund

Der Bereich der KI-Bildungstechnologie konzentriert sich auf die Rekonstruktion des

Lehrprozesses und des Beurteilungssystems durch KI-Technologie. Zu den Kerntechnologien gehören die Verarbeitung natürlicher Sprache, die Konstruktion von Wissensgraphen, die

Optimierung von maschinellen Lernmodellen und die Entwicklung intelligenter Feedback-

Engines, die darauf abzielen, eine automatisierte Beurteilung, personalisierte Lernwegplanung und dynamische Kompetenzdiagnose in Bildungsszenarien zu realisieren. Die Methode und das

System zur Bewertung der Programmierfähigkeiten von KI-Algorithmen bezieht sich auf ein automatisches Bewertungssystem, das auf der semantischen Analyse des Codes, dem algorithmischen Musterabgleich und der dynamischen Testgenerierungstechnologie basiert und dazu dient, das Fähigkeitsniveau des Entwicklers in Bezug auf Algorithmusdesign,

Codeimplementierung und Ressourcenmanagement zu quantifizieren.

Bestehende Technologien stützen sich auf den unabhängigen Prozess der semantischen

Analyse des Codes und der dynamischen Testgenerierung und lassen die multimodale gemeinsame

Einbettung der Codestruktur und der Themenbeschreibung vermissen, was dazu führt, dass der

Grad der Übereinstimmung nur auf der Grundlage des Codes selbst berechnet wird und die

Abweichung des Entwicklers von den Themenanforderungen nicht erkannt wird, z. B. führt das

Szenario, in dem der Code logisch korrekt ist, aber das Ziel der Implementierung von den

Themenanforderungen abweicht, zu Bewertungsfehlern. Beim algorithmischen Pattern-Matching verwenden die bestehenden Methoden meist eine vordefinierte Regelbasis oder einfache Graphen-

Matching-Algorithmen, deren Abstraktionsebene für komplexe Entwurfsmuster nicht ausreicht und die nicht in der Lage sind, zwischen der Ähnlichkeit der Oberfläche und der logischen

Konsistenz des Codes zu unterscheiden, z. B. kann derselbe Algorithmus, der durch Rekursion und

Iteration implementiert wird, fälschlicherweise als Fehler in der Musteranwendung gewertet werden. Die dynamische Testgenerierung stützt sich auf feste Anwendungsfallbibliotheken oder zufällige Generierungsstrategien und lässt eine gezielte Analyse von Code-Fehlereigenschaften vermissen, was zu einer unvollständigen Abdeckung von Randbedingungen oder anormalen

Szenarien führt. So werden beispielsweise keine spezifischen Testdaten für das Risiko eines zyklischen Variablenüberlaufs generiert, was dazu führt, dass potenzielle Schwachstellen übersehen werden. Das Bewertungsmodell wird meist nach einem einzigen Indikator gewichtet und integriert keine mehrdimensionalen Daten wie die Einhaltung von Entwurfsmustern und den

Spitzen-Ressourcenverbrauch, was die Unzulänglichkeiten der Programmierfähigkeiten nicht vollständig widerspiegeln kann, z. B. wenn der Code den Test zwar besteht, aber redundante

Berechnungen oder Speicherlecks vorhanden sind, was zu überhôhten Punktzahlen führt. Darüber hinaus fehlt der bestehenden Technologie ein interpretierbarer Feedback-Mechanismus, was es schwierig macht, Entwickler in bestimmte Verbesserungsrichtungen zu leiten und den pädagogischen Wert der Bewertungsergebnisse zu verringern.

Inhalt der Erfindung

Die vorliegende Erfindung zielt auf die Mängel des Standes der Technik ab und stellt

Verfahren und System zur Bewertung der Programmierfähigkeit von Algorithmen der kiinstlichéi/601419

Intelligenz bereit. Sie löst das Problem, dass der Stand der Technik auf einem unabhängigen

Prozess der semantischen Analyse des Codes und der dynamischen Testerzeugung beruht und eine multimodale gemeinsame Einbettung der Codestruktur und der Themenbeschreibung fehlt, was dazu führt, dass die Berechnung des Grads der Übereinstimmung der Absichten nur auf dem Code selbst basiert und nicht in der Lage ist, die Abweichung des Entwicklers vom Verständnis der

Themenanforderungen zu erkennen. So führt beispielsweise ein Szenario, in dem die Codelogik korrekt ist, das Realisierungsziel aber von den Themenanforderungen abweicht, zu

Bewertungsfehlern.

Um den oben genannten Zweck zu erreichen, wird die vorliegende Erfindung durch die folgende technische Lösung realisiert: ein Verfahren zur Bewertung der Programmierfähigkeit eines Algorithmus der künstlichen Intelligenz, dadurch gekennzeichnet, dass es die folgenden

Schritte umfasst:

S1: Auf der Grundlage des vom Benutzer übermittelten Quellcodes und der natürlichsprachlichen Beschreibung des Themas wird der Code geparst, um einen abstrakten

Syntaxbaum zu erzeugen, der semantisch mit der Beschreibung des Themas abgeglichen wird, der

Grad der Übereinstimmung der Code-Intention wird berechnet, strukturelle Merkmale und semantische Merkmale werden extrahiert und ein multimodaler semantischer Codevektor wird erzeugt;

S2: Aufruf des multimodalen semantischen Codevektors, Knotenabbildung des Code-AST auf den Wissensgraphen für algorithmische Entwurfsmuster, Berechnung der Abweichung des

Codes vom Standardmuster, Identifizierung der Entwurfsmuster, die nicht korrekt angewandt werden, und Generierung der Bewertung für die Einhaltung algorithmischer Muster;

S3: Auf der Grundlage der semantischen Vektoren des multimodalen Codes und der

Bewertung der Konformität mit algorithmischen Mustern gezielte Testfälle generieren,

Eingabebeschränkungen ableiten, Testsätze konstruieren, die Grenzwerte und abnormale

Szenarien abdecken, und fehlerorientierte dynamische Testfallsätze generieren;

S4: Aufruf des dynamischen Testfallsets zur Ausführung des Codes, Berechnung der

Zeitkomplexitätsabweichung, der Raumbelegungsspitze, der Testdurchführungsrate, Ausgabe der

Fähigkeitskurztafel und Erstellung des quantitativen =— Bewertungsberichts der

Programmierfähigkeit.

Vorzugsweise umfasst die Erzeugung eines multimodalen semantischen Codevektors auf der

Grundlage des multimodalen Codes in S1 die folgenden Schritte;

S101: Extrahieren von Code-Variablendeklarationen, Kontrollflussstrukturen und

Funktionsaufrufbeziehungen auf der Grundlage des vom Benutzer übermittelten Quellcodes, um einen Code-Struktur-Merkmalsvektor zu erzeugen;

S102: Aufrufen des Code-Struktur-Merkmalsvektors, Kombinieren der natürlichsprachlichen

Beschreibung des Themas, Abbilden der AST und der Textbeschreibung auf denselben Vektorraum,

Berechnen der Kosinusähnlichkeit und Erzeugen des multimodalen semantischen Code-Vektors.

Vorzugsweise umfasst die Erzeugung eines algorithmischen Modal Compliance Score auf der

Grundlage des Algorithmus in S2 die folgenden Schritte;

S201: Auf der Grundlage des semantischen Vektors des multimodalen Codes, Abgleichen der

AST-Knoten mit dem Wissensgraphen des algorithmischen Entwurfsmusters durch

Kategoriebezeichnungen, Erzeugen einer Knotenabbildungsbeziehungstabelle;

S202: Aufrufen der Knotenabbildungs-Beziehungstabelle, Berechnen der Einbettungsdistanz zwischen dem Code-AST und dem Standardmuster-Subgraphen, Quantifizieren dk}/601419

Musterabweichung und Erzeugen der algorithmischen Mustertibereinstimmungsbewertung.

Vorzugsweise umfasst die Erzeugung eines fehlerorientierten dynamischen Testfallsatzes auf der Grundlage des fehlerorientierten dynamischen Testfallsatzes in S3 die folgenden Schritte;

S301: Analysieren von Code-Fehlermerkmalen auf der Basis von multimodalen semantischen

Code-Vektoren und algorithmischen Muster-Compliance-Scores, um eine Testprioritäts-

Gewichtungsverteilungstabelle zu erzeugen;

S302: Aufrufen der Fehlermerkmal-Gewichtungsverteilungstabelle, Ableiten von

Randbedingungen für Eingabevariablen, Erzeugen von Kombinationen von Testparametern, die risikoreiche Pfade abdecken, und Erzeugen dynamischer Testfallsätze.

Vorzugsweise umfasst die Erstellung eines quantitativen Bewertungsberichts der

Programmierfähigkeit auf der Grundlage des Berichts in S4 die folgenden Schritte;

S401: Aufrufen des dynamischen Testfallsatzes, um den Code auszuführen, Aufzeichnen der

Spitzenspeicherbelegung, der Ausführungszeit und der Anzahl der Ausnahmeauslôser, und

Erzeugen des Ressourcenverbrauchsindikatorsatzes;

S402: Berechnen der Zeitkomplexitätsabweichung, der Raumeffizienzbewertung und der

Mustervollständigkeit auf der Grundlage des Ressourcenverbrauchsindikatorsatzes und der algorithmischen = Musterkonformitätsbewertung, und Erzeugen des quantitativen

Bewertungsberichts.

Das System zur Bewertung der algorithmischen Programmierfähigkeiten einer künstlichen

Intelligenz, dadurch gekennzeichnet, dass das System zur Bewertung der algorithmischen

Programmierfähigkeiten die folgenden Module umfasst: ein semantisches Analysemodul, ein

Mustervergleichsmodul, ein Testerzeugungsmodul und ein umfassendes Bewertungsmodul;

Das semantische Analysemodul analysiert den Quellcode, um Variablendeklarationen,

Kontrollflussstrukturen und Funktionsaufrufbeziehungen zu extrahieren, gleicht die Code- und

Textsemantik ab und erzeugt einen multimodalen semantischen Codevektor;

Das semantische Analysemodul umfasst ein Untermodul für das Struktur-Parsing und ein

Untermodul für die semantische Ausrichtung;

Das Mustervergleichsmodul, das den Code AST und die Wissenskarte des algorithmischen

Musters abgleicht, die Abweichung vom Standardmuster berechnet und eine Bewertung der

Übereinstimmung mit dem algorithmischen Muster erzeugt;

Das Mustervergleichsmodul umfasst ein Untermodul für die Knotenzuordnung und ein

Untermodul für die Quantifizierung der Abweichung;

Das Testerzeugungsmodul, das Code-Fehlermerkmale analysiert, um Testgewichte zu erzeugen, Eingaberandbedingungen ableitet und Testfallsätze mit hohem Risiko konstruiert;

Das Testerzeugungsmodul, das ein Submodul zur Fehleranalyse und ein Submodul zur

Ableitung von Beschränkungen enthält;

Das umfassende Bewertungsmodul, das den Ressourcenverbrauch bei der Codeausführung überwacht, Metriken zur Zeitkomplexität, Raumeffizienz und MustervolIständigkeit integriert und quantitative Bewertungsberichte erstellt;

Das umfassende Bewertungsmodul umfasst das Submodul zur Ressourcenüberwachung und das Submodul zur Fusion von Metriken.

Vorzugsweise ein Strukturparsing-Submodul, das den Quellcode analysiert, um

Variablendeklarationen, Kontrollflussstrukturen und Funktionsaufrufbeziehungen zu extrahieren, und Code-Struktur-Merkmalsvektoren erzeugt;

Das Semantisches Alignment-Submodul, das abstrakte Syntaxbaume urkd/601419

Textbeschreibungen auf denselben Vektorraum abbildet, die semantische Kosinusähnlichkeit berechnet und multimodale semantische Vektoren fiir den Code erzeugt.

Vorzugsweise ein Untermodul für die Knotenzuordnung, das die AST-Knoten mit dem

Wissensgraphen für algorithmische Entwurfsmuster mit Kategoriebezeichnungen abgleicht, um eine Tabelle für die Knotenzuordnung zu erstellen;

Das Submodul zur Quantifizierung der Abweichung berechnet die Einbettungsdistanz zwischen dem Code-AST und dem Standardschema-Subgraphen, quantifiziert die Vollständigkeit der Schemaanwendung und erzeugt eine algorithmische Schemakonformitätsbewertung.

Vorzugsweise ein Untermodul zur Fehleranalyse, das Merkmale wie zyklische Randfehler und Nullzeigerrisiko analysiert, um eine Tabelle zur Verteilung der Testprioritäten zu erstellen;

Das Submodul zur Ableitung von Randbedingungen, das Randbedingungen für

Fingabevariablen ableitet, Testparameter erzeugt, die Pfade mit hohem Risiko abdecken, und dynamische Testfallsätze erzeugt.

Vorzugsweise ein Submodul zur Ressourcenüberwachung, das den maximalen

Speicherverbrauch, die Ausführungszeit und die Anzahl der Ausnahmeauslöser während der

Codeausführung aufzeichnet und eine Reihe von Metriken zum Ressourcenverbrauch erzeugt;

Das Submodul zur Indikatorfusion, das die Indikatoren für den Ressourcenverbrauch mit den

Werten für die Einhaltung der Muster integriert, Indikatoren für die Zeit- und Raumeffizienz berechnet und quantitative Bewertungsberichte erstellt.

Die vorliegende Erfindung stellt Verfahren und Systeme zur Bewertung der

Programmierfähigkeit von Algorithmen der künstlichen Intelligenz bereit. Sie hat die folgenden vorteilhaften Auswirkungen:

Die vorliegende Erfindung zerlegt den Code in einen abstrakten Syntaxbaum und gleicht ihn semantisch mit der natürlichsprachlichen Beschreibung des Themas mittels eines gemeinsamen

Einbettungsalgorithmus eines multimodalen großen Sprachmodells ab, extrahiert die strukturellen

Merkmale und semantischen Merkmale des Codes durch die Kombination einer vergleichenden

Lernverlustfunktion, verbessert die Genauigkeit des Verständnisses der Absicht des Codes und vermeidet die durch semantische Mehrdeutigkeit verursachte Beurteilungsverzerrung in der traditionellen Methode. Der Algorithmus zum Abgleich des Wissensgraphen-Subgraphen-

Isomorphismus wird aufgerufen, um den abstrakten Syntaxbaum des Codes auf die vorkonstruierten algorithmischen Entwurfsmuster-Wissensgraphenknoten abzubilden, und das neuronale Graphen-Netzwerk wird zur Berechnung der Ähnlichkeitsquantifizierungsabweichung verwendet, um die Entwurfsmuster, die nicht korrekt angewendet werden, genau zu identifizieren und so das Problem der Fehleinschätzung zu lösen, das durch eine unvollständige Abdeckung der

Regelbasis oder ein unzureichendes Abstraktionsniveau beim traditionellen Musterabgleich verursacht wird. Basierend auf dem Reinforcement Learning Policy Network, um gezielte Testfälle zu generieren, kombiniert mit der symbolischen Ausführungs-Engine, um die

Eingabebeschränkungen abzuleiten, wird der Testsatz, der Grenzwerte und anormale Szenarien abdeckt, dynamisch konstruiert, um die Fähigkeit der Testfälle zu verbessern, potenzielle Fehler auszulösen und die Abdeckungsrate im Vergleich zu den statischen voreingestellten

Anwendungsfällen zu verbessern. Das mehrdimensionale gewichtete Fusionsmodell integriert

Indikatoren für die Zeitkomplexitätsabweichung, die Raumbelegungsspitze und die

Testdurchlaufrate, kombiniert mit interpretierbaren Entscheidungsbaum-Ausgangsfähigkeits-

Kurztafeln, um eine mehrdimensionale Fähigkeitsquantifizierung und eine Verbesserung der

Richtungsweisung zu erreichen, verglichen mit dem eindimensionalen Scoring-Modell, um di&601419

Feedbackgenauigkeit zu verbessern. Der Gesamtprozess schreitet vom semantischen Verständnis des Codes bis zur dynamischen Testgenerierung voran und bildet eine geschlossene Schleife aus

Absichtsdiagnose, Musterüberprüfung, Fehlersuche und umfassender Bewertung, die 5 Algorithmusdesign, Implementierungsqualität und —Ressourcenmanagement-Fähigkeiten umfassend abdeckt und die Beschränkung der einseitigen Abhängigkeit von statischer Analyse oder einzelner Testüberprüfung in der traditionellen Bewertung effektiv löst.

Beschreibung der beigefügten Zeichnungen

Bild 1 zeigt ein Blockdiagramm des Systems der vorliegenden Erfindung;

Bild 2 zeigt ein schematisches Diagramm der wichtigsten Schritte der vorliegenden

Erfindung;

Bild 3 zeigt ein schematisches Diagramm der S1-Veredelung der vorliegenden Erfindung;

Bild 4 zeigt ein schematisches Diagramm der S2-Veredelung der vorliegenden Erfindung;

Bild 5 zeigt ein schematisches Diagramm der S3-Veredelung der vorliegenden Erfindung;

Bild 6 zeigt ein schematisches Diagramm der S4-Verfeinerung der vorliegenden Erfindung.

Detaillierte Beschreibung

Die technischen Lösungen in den Ausführungsformen der vorliegenden Erfindung werden im

Folgenden in Verbindung mit den beigefügten Zeichnungen in den Ausführungsformen der vorliegenden Erfindung klar und vollständig beschrieben, und es ist offensichtlich, dass die beschriebenen Ausführungsformen nur einen Teil der Ausführungsformen der vorliegenden

Erfindung und nicht alle Ausführungsformen darstellen. Ausgehend von den Ausführungsformen der vorliegenden Erfindung fallen alle anderen Ausführungsformen, die von einem Fachmann ohne schöpferische Arbeit erreicht werden, in den Schutzbereich der vorliegenden Erfindung.

Ausführungsform

Wie in den Bildern 1-6 gezeigt, stellt eine Ausführungsform der vorliegenden Erfindung ein

Verfahren zur Bewertung der Programmierfähigkeit durch einen Algorithmus der künstlichen

Intelligenz bereit, dadurch gekennzeichnet, dass es die folgenden Schritte umfasst:

S1: Auf der Grundlage des Quellcodes und der natürlichsprachlichen Beschreibung des

Themas, die vom Benutzer übermittelt wurden, wird der Code analysiert, um einen abstrakten

Syntaxbaum zu erzeugen, der semantisch mit der Themenbeschreibung abgeglichen wird, der

Grad der Übereinstimmung mit der Codeabsicht berechnet wird, strukturelle Merkmale und semantische Merkmale extrahiert werden und ein multimodaler semantischer Codevektor erzeugt wird;

Empfang von Python-Code und Themenbeschreibung, Parsen des Codes, um einen abstrakten

Syntaxbaum zu erzeugen, Extrahieren von Klassendefinitionen, Schleifenstrukturen und bedingten Verzweigungen; Abgleichen des Thementextes mit der semantischen Einbettung von

AST-Knoten und Ausgabe von multimodalen semantischen Codevektoren;

S2: Aufrufen des multimodalen semantischen Codevektors, Zuordnung des Code-AST zum

Wissensgraphen für algorithmische Entwurfsmuster, Berechnung der Abweichung des Codes vom

Standardmuster, Identifizierung der Entwurfsmuster, die nicht korrekt angewandt werden, und

Generierung der Bewertung für die Einhaltung der algorithmischen Muster;

Laden des Wissensgraphen des algorithmischen Musters, Abgleich des Code-AST mit den

Knotenbeschriftungen des Standardmusters, Erkennung fehlender Schritte und Berechnung des

Abweichungsgrades sowie Ausgabe der Bewertung der Mustereinhaltung;

S3: Generierung gezielter Testfälle auf der Grundlage multimodaler semantischer

Codevektoren und algorithmischer = Pattern-Compliance-Scores, Ableitung vor/601419

Eingabebeschränkungen, Konstruktion von Testsätzen, die Grenzwerte und anomale Szenarien abdecken, und Generierung fehlerorientierter dynamischer Testfallsätze;

Identifizierung von Defekten, wie z. B. nicht geschlossene Code-Ressourcen, Null-Zeiger usw, und Zuweisung von Testgewichten; symbolische Ausführung leitet Eingabe-

Randbedingungen ab und generiert Testfallsätze für auslösende Anomalien;

S4: Aufruf des dynamischen Testfallsatzes zur Ausführung des Codes, Berechnung der

Zeitkomplexitätsabweichung, des Spitzenwerts der Raumbelegung, der Testdurchführungsrate,

Ausgabe der Fähigkeitslücke und Erstellung des quantitativen Bewertungsberichts der

Programmierfähigkeit.

Ausführen von Testfällen und Überwachen von Speicher- und Ausführungszeit, Berechnen von Zeit-/Space-Effizienzmetriken in Kombination mit modaler Bewertung und Erstellen eines quantitativen Bewertungsberichts.

Die Generierung eines multimodalen semantischen Codevektors auf der Grundlage von S1 umfasst die folgenden Schritte;

S101: Auf der Grundlage des vom Benutzer übermittelten Quellcodes werden Code-

Variablendeklarationen, Kontrollflussstrukturen und Funktionsaufrufbeziehungen extrahiert, um

Code-Struktur-Merkmalsvektoren zu erzeugen;

Parsen des Codes, um den AST zu erzeugen, Extrahieren von Variablenbereichen,

Schleifenbereichen und bedingten Ausdrücken und Kodieren dieser als strukturierte

Merkmalsvektoren.

S102: Aufrufen des Code-Struktur-Merkmalsvektors, Kombinieren der natürlichsprachlichen

Beschreibung des Themas, Abbilden der AST und der Textbeschreibung auf denselben Vektorraum,

Berechnen der Kosinusähnlichkeit und Erzeugen des multimodalen semantischen Code-Vektors.

Abbildung des AST auf den thematischen Text in einem gemeinsamen Vektorraum,

Berechnung der semantischen Übereinstimmung durch crossmodale Aufmerksamkeit und

Ausgabe des Fusionsvektors.

Die Generierung einer algorithmischen Musterübereinstimmungsbewertung auf der

Grundlage des Algorithmus in S2 umfasst die folgenden Schritte;

S201: Auf der Grundlage des semantischen Vektors des multimodalen Codes werden die

AST-Knoten mit dem Wissensgraphen für algorithmische Entwurfsmuster mit

Kategoriebezeichnungen abgeglichen, und es wird eine Tabelle für die Knotenzuordnung erstellt;

Iterieren durch die AST-Erkennungsfunktionsknoten, Erstellen von Label-Mappings mit den

Wissensgraphen-Musterknoten und Aufzeichnen der Anzahl der nicht übereinstimmenden Knoten;

S202: Aufrufen der Knotenzuordnungs-Beziehungstabelle, Berechnen der

Einbettungsdistanz zwischen dem Code-AST und dem Standardschema-Subgraphen,

Quantifizieren der Schemaabweichung und Erzeugen der Algorithmus-

Schemakonformitätsbewertung.

Ein Graph Embedding-Algorithmus wird verwendet, um den strukturellen Abstand zwischen dem AST und dem Standardmodell zu berechnen, und die Konformitätsbewertung wird entsprechend dem Grad der Abweichung abgezogen.

Die Generierung einer fehlerorientierten dynamischen Testfallmenge auf der Grundlage von

S3 umfasst die folgenden Schritte;

S301: Auf der Grundlage der multimodalen semantischen Vektoren des Codes und der

Konformitatsbewertung des algorithmischen Musters werden die Codefehlermerkmale analysiert und eine Tabelle zur Verteilung der Testprioritäten erstellt; LU601419

Erkennen von Risikopunkten wie Speicherlecks, ungeprüfte Eingaben usw. auf der Grundlage einer Fehlerregelbasis und Erzeugen einer Tabelle mit Testprioritätsgewichtungen;

S302: Aufrufen der Tabelle zur Verteilung der Fehlermerkmale, Ableiten der

Randbedingungen der Eingabevariablen, Erzeugen von Testparameterkombinationen, die risikoreiche Pfade abdecken, und Erzeugen dynamischer Testfallsätze.

Generierung von Kombinationen aus Null- und Extremwerten für Pfade mit hohem Risiko, um unbearbeitete anomale Szenarien abzudecken.

Die Erstellung eines quantitativen Bewertungsberichts über die Programmierfähigkeit auf der

Grundlage von S4 umfasst die folgenden Schritte;

S401: Aufrufen des dynamischen Testfallsatzes zur Ausführung des Codes, Aufzeichnen der

Spitzenspeicherbelegung, der Ausführungszeit und der Anzahl der anormalen Auslöser und

Generieren des Indikatorsatzes für den Ressourcenverbrauch;

Ausführen des Tests in einer isolierten Umgebung, Aufzeichnen der Spitzenspeicherbelegung, der CPU-Zeit und der Anzahl der anormalen Auslöser und Erzeugen eines

Ressourcenindikatorsatzes;

S402: Auf der Grundlage des Ressourcenverbrauchs-Indikatorensatzes und der

Algorithmusmuster-Konformitätsbewertung die Zeitkomplexitätsabweichung, die

Raumeffizienzbewertung und die Mustervollständigkeit berechnen und einen quantitativen

Bewertungsbericht erstellen.

Normalisieren Sie die Zeit- und Raumabweichung und die Musterbewertungen und erzeugen

Sie eine umfassende Fähigkeitsbewertung durch gewichtete Fusion.

Das System zur Bewertung der algorithmischen Programmierfähigkeiten einer künstlichen

Intelligenz, dadurch gekennzeichnet, dass das System zur Bewertung der algorithmischen

Programmierfiahigkeiten die folgenden Module umfasst: ein semantisches Analysemodul, ein

Mustervergleichsmodul, ein Testerzeugungsmodul und ein umfassendes Bewertungsmodul;

Das semantische Analysemodul analysiert den Quellcode, um Variablendeklarationen,

Kontrollflussstrukturen und Funktionsaufrufbeziehungen zu extrahieren, gleicht die Code- und

Textsemantik ab und erzeugt multimodale semantische Vektoren für den Code;

Parsing von Code zur Erzeugung von AST-Strukturen, Abgleich von Code und Textsemantik zur Erzeugung gemeinsamer Vektoren;

Das semantische Analysemodul mit Strukturparsing-Untermodul und semantischem

Abgleich-Untermodul;

Das Musterabgleichsmodul, das Code-AST mit dem Wissensgraphen für algorithmische

Muster abgleicht, die Abweichung von Standardmustern berechnet und eine Bewertung der

Übereinstimmung mit algorithmischen Mustern erzeugt;

Abgleich von AST mit Musterabbildungsknoten, Quantifizierung der strukturellen

Abweichungen zur Erzeugung von Punktzahlen;

Das Musterabgleichsmodul umfasst ein Knotenabbildungsuntermodul und ein

Abweichungsquantifizierungsuntermodul;

Das Modul zur Testerzeugung, das die Merkmale von Codefehlern analysiert, um

Testgewichte zu erzeugen, Randbedingungen für die Eingabe ableitet und Sätze von

Hochrisikotestfällen konstruiert;

Analyse von Defekten zur Erzeugung von Testgewichten, Ableitung von Randbedingungen zur Konstruktion von Anwendungsfallsätzen;

Das Modul zur Testerzeugung, das ein Untermodul zur Fehleranalyse und ein UntermodhH691419 zur Ableitung von Randbedingungen enthält;

Das umfassende Bewertungsmodul, das den Ressourcenverbrauch bei der Codeausführung überwacht und Metriken zur Zeitkomplexität, Raumeffizienz und Mustervollständigkeit integriert, um quantitative Bewertungsberichte zu erstellen;

Überwachung von Ausführungsmetriken, Integration von mehrdimensionalen Daten zur

Erstellung von Berichten;

Das umfassende Bewertungsmodul umfasst ein Untermodul zur Ressourcenüberwachung und ein Untermodul zur Fusion von Metriken.

Das Struktur-Parsing-Untermodul, das Quellcode analysiert, um Variablendeklarationen,

Kontrollflussstrukturen und Funktionsaufrufbeziehungen zu extrahieren und Code-Struktur-

Merkmalsvektoren zu erzeugen;

Extrahieren von AST-Knotentypen und Eltern-Kind-Beziehungen, um strukturierte

Metadaten zu erstellen;

Das semantische Alignment-Submodul, das den abstrakten Syntaxbaum und die

Textbeschreibung auf denselben Vektorraum abbildet, die semantische Kosinusähnlichkeit berechnet und multimodale semantische Vektoren für den Code erzeugt.

Trainieren des cross-modalen Alignment-Modells auf der Grundlage massiver Code- und

Textpaare, um den Vektorraum zu optimieren.

Das Untermodul für die Knotenzuordnung, Abgleich der AST-Knoten mit dem

Wissensgraphen für algorithmische Entwurfsmuster anhand von Kategoriebezeichnungen,

Erstellung einer Tabelle mit Knotenzuordnungsbeziehungen;

Kennzeichnung von AST-Knoten mit semantischen Bezeichnungen für den Fuzzy-Abgleich mit Wissensgraphenknoten;

Das Untermodul zur Quantifizierung von Abweichungen, das die Einbettungsdistanz zwischen dem Code-AST und dem Standardmuster-Subgraphen berechnet, die Vollständigkeit der

Musteranwendung quantifiziert und den Algorithmus-Muster-Compliance-Score erzeugt.

Berechnung der Kosten für fehlende Teilbäume und Knotenersatz, um die Vollständigkeit der

Schemaanwendung zu quantifizieren.

Das Untermodul zur Fehleranalyse, das Merkmale wie zyklische Grenzfehler,

Nullzeigerrisiko usw. analysiert, um eine Tabelle zur Verteilung der Testprioritäten zu erstellen;

Matching-Regeln wie nicht initialisierte Variablen, Ressourcenlecks usw., um eine Heatmap der Fehlerverteilung zu erstellen;

Das Untermodul zur Ableitung von Einschränkungen, das Randbedingungen für

Eingabevariablen ableitet, Testparameter erzeugt, die risikoreiche Pfade abdecken, und dynamische Testfallsätze generiert.

Symbolische Ausführung, die Codepfade durchläuft und Eingabeparameter erzeugt, die

Randbedingungen auslösen.

Das Untermodul zur Ressourcenüberwachung, das den maximalen Speicherverbrauch, die

Ausführungszeit und die Anzahl der Ausnahmeauslöser während der Codeausführung aufzeichnet, um eine Reihe von Metriken zum Ressourcenverbrauch zu erstellen;

Injektionssonden zur Erfassung der Heap-Speicherzuweisung und der Systemaufrufe zur

Aufzeichnung von Laufzeitmetriken;

Das Untermodul für die Indikatorfusion, das die Indikatoren für den Ressourcenverbrauch mit den Werten für die Einhaltung von Mustern integriert, Indikatoren für die Zeit- und

Raumeffizienz berechnet und quantitative Bewertungsberichte erstellt. LU601419

Integration von Metriken unter Verwendung eines Algorithmus zur multikriteriellen

Entscheidungsfindung, um einen interpretierbaren Bewertungsbericht zu erstellen.

Obwohl Ausführungsformen der vorliegenden Erfindung gezeigt und beschrieben worden sind, wird der Fachmann erkennen, dass eine Vielzahl von Änderungen, Modifikationen,

Substitutionen und Variationen an diesen Ausführungsformen vorgenommen werden können, ohne von dem Prinzip und dem Geist der vorliegenden Erfindung abzuweichen, deren Umfang durch die beigefügten Ansprüche und deren Äquivalente begrenzt ist.

Claims (10)

Ansprüche LU601419

1. Ein Verfahren zur Bewertung der Programmierfähigkeit eines Algorithmus der künstlichen Intelligenz, dadurch gekennzeichnet, dass es die folgenden Schritte umfasst: S1: Auf der Grundlage des vom Benutzer übermittelten Quellcodes und der natürlichsprachlichen Beschreibung des Themas, Parsen des Codes, um einen abstrakten Syntaxbaum zu erzeugen, semantischer Abgleich mit der Beschreibung des Themas, Berechnung des Grades der Übereinstimmung der Code-Intention, Extraktion struktureller Merkmale und semantischer Merkmale und Erzeugung eines multimodalen semantischen Code-Vektors; S2: Aufruf des multimodalen semantischen Codevektors, Knotenabbildung des Code-AST auf den Wissensgraphen für algorithmische Entwurfsmuster, Berechnung der Abweichung des Codes vom Standardmuster, Identifizierung der Entwurfsmuster, die nicht korrekt angewandt werden, und Generierung der Bewertung für die Einhaltung algorithmischer Muster; S3: Auf der Grundlage der semantischen Vektoren des multimodalen Codes und der Bewertung der Konformität mit algorithmischen Mustern gezielte Testfälle generieren, Eingabebeschränkungen ableiten, Testsätze konstruieren, die Grenzwerte und abnormale Szenarien abdecken, und fehlerorientierte dynamische Testfallsätze generieren; S4: Aufruf des dynamischen Testfallsets zur Ausführung des Codes, Berechnung der Zeitkomplexitätsabweichung, der Raumbelegungsspitze, der Testdurchführungsrate, Ausgabe der Fähigkeitskurztafel und Erstellung des quantitativen =— Bewertungsberichts der Programmierfähigkeit.

2. Das Verfahren zur Bewertung der Programmierfähigkeit eines Algorithmus der künstlichen Intelligenz nach Anspruch 1, dadurch gekennzeichnet, dass: die Erzeugung eines multimodalen semantischen Codevektors auf der Grundlage des multimodalen Codes in S1 die folgenden Schritte umfasst; S101: Extrahieren der Code-Variablendeklarationen, der Kontrollflussstruktur und der Funktionsaufrufbeziehung auf der Grundlage des vom Benutzer übermittelten Quellcodes, um den Code-Struktur-Merkmalsvektor zu erzeugen; S102: Aufrufen des Code-Struktur-Merkmalsvektors, Kombinieren der natürlichsprachlichen Beschreibung des Themas, Abbilden der AST und der Textbeschreibung auf denselben Vektorraum, Berechnen der Kosinusähnlichkeit und Erzeugen des multimodalen semantischen Code-Vektors.

3. Das Verfahren zur Bewertung der Programmierfähigkeit eines Algorithmus der künstlichen Intelligenz nach Anspruch 1, dadurch gekennzeichnet, dass: das Erzeugen einer Bewertung der Übereinstimmung mit algorithmischen Mustern auf der Grundlage des Algorithmus in S2 die folgenden Schritte umfasst; S201: Auf der Grundlage des semantischen Vektors des multimodalen Codes, Abgleichen der AST-Knoten mit dem Wissensgraphen des algorithmischen Entwurfsmusters mit Kategorielabeln und Erzeugen einer Knotenabbildungsbeziehungstabelle; S202: Aufrufen der Knotenabbildungs-Beziehungstabelle, Berechnen der Einbettungsdistanz zwischen dem Code-AST und dem Standardmuster-Subgraphen, Quantifizieren der Musterabweichung und Erzeugen der algorithmischen Musterübereinstimmungsbewertung.

4. Das Verfahren zur Bewertung der Programmierfähigkeit eines Algorithmus der künstlichen Intelligenz nach Anspruch 1, dadurch gekennzeichnet, dass: das Erzeugen eines fehlerorientierten dynamischen Testfallsatzes auf der Grundlage der Fehler in S3 die folgenden Schritte umfasst; S301: Analysieren von Code-Fehlermerkmalen auf der Basis von multimodalen semantischen

Code-Vektoren und algorithmischen Muster-Konformitätsbewertungen und Erzeugen eine}601419 Testprioritäts-Gewichtungsverteilungstabelle; S302: Aufrufen der Fehlermerkmal-Gewichtungsverteilungstabelle, Ableiten von Randbedingungen für die Eingabevariablen, Erzeugen von Kombinationen von Testparametern, die risikoreiche Pfade abdecken, und Erzeugen eines dynamischen Testfallsatzes.

5. Das Verfahren zur Bewertung der Programmierfähigkeit eines Algorithmus der künstlichen Intelligenz nach Anspruch 1, dadurch gekennzeichnet, dass: die Erzeugung eines quantitativen Bewertungsberichts der Programmierfähigkeit auf der Grundlage der Programmierfähigkeit in S4 die folgenden Schritte umfasst; S401: Aufrufen des Satzes dynamischer Testfälle, um den Code auszuführen, Aufzeichnen der Spitzenspeicherbelegung, der Ausführungszeit und der Anzahl anormaler Auslôser, und Erzeugen des Satzes von Ressourcenverbrauchsindikatoren; S402: Berechnen einer Zeitkomplexitätsabweichung, einer Raumeffizienzbewertung und einer Mustervollständigkeit auf der Grundlage des Ressourcenverbrauchsindikatorsatzes und der algorithmischen = Musterkonformitätsbewertung, und Erzeugen eines quantitativen Bewertungsberichts.

6. Ein System zur Bewertung der Programmierfähigkeit eines Algorithmus der künstlichen Intelligenz, dadurch gekennzeichnet, dass das System zur Bewertung der algorithmischen Programmierfähigkeit die folgenden Module umfasst: ein semantisches Analysemodul, ein Mustervergleichsmodul, ein Testerzeugungsmodul und ein umfassendes Bewertungsmodul; Das semantische Analysemodul analysiert den Quellcode, um Variablendeklarationen, Kontrollflussstrukturen und Funktionsaufrufbeziehungen zu extrahieren, gleicht die Code- und Textsemantik ab und erzeugt einen multimodalen semantischen Codevektor; Das semantische Analysemodul umfasst ein Untermodul für das Struktur-Parsing und ein Untermodul für die semantische Ausrichtung; Das Mustervergleichsmodul, das den Code AST und die Wissenskarte des algorithmischen Musters abgleicht, die Abweichung vom Standardmuster berechnet und eine Bewertung der Übereinstimmung mit dem algorithmischen Muster erzeugt; Das Mustervergleichsmodul umfasst ein Untermodul für die Knotenzuordnung und ein Untermodul für die Quantifizierung der Abweichung; Das Testerzeugungsmodul, das Code-Fehlermerkmale analysiert, um Testgewichte zu erzeugen, Fingabebeschränkungen ableitet und Testfallsätze mit hohem Risiko konstruiert; Das Testerzeugungsmodul, das ein Submodul zur Fehleranalyse und ein Submodul zur Ableitung von Beschränkungen enthält; Das umfassende Bewertungsmodul, das den Ressourcenverbrauch bei der Codeausführung überwacht, Metriken zur Zeitkomplexität, Raumeffizienz und Mustervollständigkeit integriert und quantitative Bewertungsberichte erstellt; Das umfassende Bewertungsmodul umfasst das Submodul zur Ressourcenüberwachung und das Submodul zur Fusion von Metriken.

7. Das System zur Bewertung der Programmierfähigkeit eines Algorithmus der künstlichen Intelligenz nach Anspruch 6, dadurch gekennzeichnet, dass: ein Struktur-Parsing-Submodul den Quellcode analysiert, um Variablendeklarationen, Kontrollflussstrukturen und Funktionsaufrufbeziehungen zu extrahieren, und Code-Struktur-Merkmalsvektoren erzeugt; Das Untermodul für den semantischen Abgleich, das abstrakte Syntaxbäume und Textbeschreibungen auf denselben Vektorraum abbildet, die semantische Kosinusähnlichkeit berechnet und multimodale semantische Vektoren für den Code erzeugt. LU601419

8. Das System zur Bewertung der Programmierfähigkeit eines Algorithmus der künstlichen Intelligenz nach Anspruch 6, dadurch gekennzeichnet, dass: ein Untermodul für die Knotenzuordnung die AST-Knoten mit dem Wissensgraphen für algorithmische Entwurfsmuster mit Kategoriebezeichnungen abgleicht und eine Beziehungstabelle für die Knotenzuordnung erzeugt; Das Submodul zur Quantifizierung von Abweichungen, das die Einbettungsdistanz zwischen dem Code-AST und dem Standardmuster-Subgraphen berechnet, die Vollständigkeit der Musteranwendung quantifiziert und eine Algorithmusmuster-Konformitätsbewertung erzeugt.

9. Das System zur Bewertung der Programmierfähigkeit eines Algorithmus der künstlichen Intelligenz nach Anspruch 6, dadurch gekennzeichnet, dass: ein Untermodul zur Fehleranalyse Merkmale wie zyklische Grenzfehler, Nullzeigerrisiko usw. analysiert und eine Tabelle zur Verteilung der Testprioritätengewichte erzeugt; Das Submodul zur Ableitung von Randbedingungen für Eingangsvariablen, zur Erzeugung von Testparametern, die Pfade mit hohem Risiko abdecken, und zur Erzeugung dynamischer Testfallsätze.

10. Das System zur Bewertung der Programmierfähigkeit von Algorithmen mit künstlicher Intelligenz nach Anspruch 6, dadurch gekennzeichnet, dass: ein Untermodul zur Ressourcenüberwachung die maximale Speicherbelegung, die Ausführungszeit und die Anzahl der Ausnahmeausloser während der Codeausführung aufzeichnet, um einen Satz von Indikatoren für den Ressourcenverbrauch zu erzeugen; Das Indikatorfusions-Submodul, das Ressourcenverbrauchsindikatoren und Mustereinhaltungsbewertungen integriert, Zeit- und Raumeffizienzindikatoren berechnet und einen quantitativen Bewertungsbericht erzeugt.