DE4037332C2 - Verfahren zur Fehlerüberwachung der Datenkonsistenz in einem Datenverarbeitungssystem und Schaltungsanordnung zur Durchführung des Verfahrens - Google Patents

Description

Die Erfindung betrifft ein Verfahren zur Fehlerüberwachung der Daten­ konsistenz in einem Datenverarbeitungssystem gemäß dem Oberbe­ griff des Patentanspruches 1 und eine entsprechende Schaltungsanordnung.

Die Entwicklung der Hard- und Softwaretechnologie in den letzten Jahren hat dazu geführt, daß es einfacher und billiger ist, eine bestimmte Leistung mit einem aus mehreren Verarbeitungs­ einheiten bestehenden Datenverarbeitungssystem zu erzielen, anstatt dieselbe Leistung mit nur einer Verarbeitungseinheit zu erreichen. Derartige Multiprozessorsysteme bedienen sich eines gemeinsamen Leitungssystems, eines sogenannten Bus-Systems, zur Kopplung der Verarbeitungseinheiten untereinander sowie mit einem gemeinsamen Arbeitsspeicher.

Ein hoher Datenverkehr und Koordinierungsaufwand zwischen den Verarbeitungseinheiten und dem Arbeitsspeicher bedingen eine Optimierung der mittleren Datenzugriffszeit im System, die durch die Zugriffszeit des Arbeitsspeichers und die Leistungs­ fähigkeit des Leitungssystems bestimmt wird. Wegen der relativ langen Zugriffszeit des Arbeitsspeichers sind den Verarbei­ tungseinheiten private Cachespeicher zugeordnet, in denen nur ein Teil der im Arbeitsspeicher befindlichen Daten gespeichert ist. Hierfür am besten geeignet sind Copy-Back-Cachespeicher, bei denen im Gegensatz zu Write-Through-Cachespeichern, wo alle Schreibzugriffe grundsätzlich auch zum Arbeitsspeicher gehen und damit den Datenverkehr auf dem Leitungssystem erhöhen, Än­ derungen von Daten im Cachespeicher erlaubt sind, ohne daß der Arbeitsspeicher auf denselben Stand gebracht wird.

Damit ergibt sich aber die Notwendigkeit, die Konsistenz der Daten im System zu gewährleisten, weil Speicherdaten sowohl im Arbeitsspeicher als auch in einem oder mehreren privaten Cachespeichern simultan vorhanden sein können. Dies bedeutet, daß bei jedem Speicherzugriff der aktuelle Wert erhalten werden muß, unabhängig davon, ob die Daten nur im Arbeits­ speicher oder zusätzlich in einem oder mehreren Cachespei­ chern abgelegt oder in einem Cachespeicher verändert worden sind und nur noch dort den aktuellen Wert besitzen.

Aus "A Class of Compatible Cache Consistency Protocols and their Support by the IEEE Futurebus", Paul Sweazey and Alan Jay Smith, 1986, IEEE, sind Protokolle für die Aufrechterhal­ tung der Datenkonsistenz bei Verwendung eines Standardbus­ systems (Futurebus) bekannt. Dabei wird nach erfolgter Zutei­ lung des Bussystems von einer anfordernden Verarbeitungsein­ heit eine Adresse zusammen mit Steuersignalen über das Bus­ system an alle Verarbeitungseinheiten eines Multiprozessor­ systems übertragen und die Verarbeitungseinheiten antworten jeweils mit Antwortsignalen zur Konsistenzsteuerung an die anfordernde Verarbeitungseinheit.

Die Datenkonsistenz im gesamten System wird dabei anhand von Zustandskennzeichen gesteuert, die jedem Cachespeichereintrag zugeordnet sind. So kann beispielsweise festgestellt werden, ob die pro Speicherzugriff adressierten Daten im Cachespei­ cher vorhanden sind, ob gültige Kopien der Daten noch in weiteren Cachespeichern eingetragen sind oder ob die Daten im Cachespeicher verändert wurden.

Beispielsweise müssen bei einer Leseanforderung durch eine der Verarbeitungseinheiten die Daten von einer anderen Verar­ beitungseinheit bereitgestellt werden, weil deren zugehöriger Cachespeicher für die gewünschten Daten gerade zuständig ist. Die anfordernde Verarbeitungseinheit ist daher durch ein entsprechendes Antwortsignal zu informieren, daß die aktuellen Daten von einer anderen Verarbeitungseinheit geliefert werden. Da alle Signalisierungen über Sammelleitungen (Open- Collector) des Bussystems erfolgen, die jeweils von allen Verarbeitungseinheiten gemeinsam benutzt werden, gewährlei­ sten die protokollabhängig aufgrund der Signalisierungen vorgenommenen Änderungen der Zustandskennzeichen keine aus­ reichende Sicherheit.

So wird beispielsweise nicht erkannt, wenn von mehr als einer Verarbeitungseinheit angezeigt wird, daß die adressierten Daten in den zugehörigen Cachespeichern jeweils als geändert gekennzeichnet sind.

Es ist daher Aufgabe der vorliegenden Erfindung, ein Verfah­ ren und eine Schaltungsanordnung zu schaffen, das bzw. die eine Fehlerüberwachung bei der Konsistenz­ steuerung für die in privaten Cachespeichern der verschiede­ nen Verarbeitungseinheiten gespeicherten Daten ohne Mehrauf­ wand an Leitungen für das Leitungssystem gewährleistet.

Diese Aufgabe wird hinsichtlich des Verfahrens durch die kennzeichnenden Merkmale des Patentanspruches 1 gelöst.

Danach werden die einander entsprechenden Antwortsignale der einzelnen Verarbeitungseinheiten nicht über Sammelleitungen mit Open-Collector-Steuerung übertragen, sondern über indivi­ duelle Signalleitungen des Leitungssystems. Als individuelle Signalleitungen werden dabei die zum Zeitpunkt der Antwort­ signale freien Adressenleitungen genutzt, so daß kein Mehrauf­ wand an Leitungen für das Leitungssystem entsteht. Die indi­ viduellen Antwortsignale aller Verarbeitungseinheiten bilden somit Signalkombinationen, die leicht auswertbar sind und sich in zulässige und unzulässige Signalkombinationen unter­ teilen lassen, wobei letztere anzeigen, daß die Konsistenz­ steuerung nicht einwandfrei arbeitet. So darf beispielsweise zur Signalisierung, daß adressierte Daten in mehreren Cache­ speichern gleichzeitig als gültig gespeichert sind, nicht gleichzeitig signalisiert werden, daß in wenigstens einem der Cachespeicher die Daten geändert worden sind.

Gemäß der Erfindung ist somit zu jedem Zeitpunkt die Überwa­ chung der Konsistenzsteuerung des gesamten Systems in einfa­ cher Weise möglich.

Die Auswertung der Antwortsignale kann gemäß den Weiterbil­ dungen der Erfindung in der jeweils den Speicherzugriff auslösenden Verarbeitungseinheit oder aber in einer mit dem Leitungssystem gekoppelten zentralen Überwachungseinheit erfolgen.

Gemäß anderer Weiterbildungen der Erfindung werden gemeinsam mit den individuellen Antwortsignalen der Verarbeitungsein­ heiten jeweils ein Sicherungszeichen und eine Information darüber, ob ein momentaner Zugriffsschutz des im zugehörigen Cachespeicher adressierten Eintrags besteht, über das Lei­ tungssystem übertragen.

Das entsprechend dem Verfahren gemäß Anspruch 1 arbeitende Datenverarbeitungssystem ergibt sich aus Anspruch 6.

Die Erfindung wird anhand eines in den Zeichnungen näher darge­ stellten Ausführungsbeispiels erläutert. Im einzelnen zeigt

Fig. 1 das Blockschaltbild eines Datenverarbeitungssystems zur Überwachung der Datenkonsistenz,

Fig. 2 die einem Cachespeichereintrag zugeordneten Zustands­ kennzeichen mit zugehöriger Wahrheitstabelle,

Fig. 3 eine Einrichtung zur Erzeugung von Antwortsignalen in einer Verarbeitungseinheit des Datenverarbeitungssystems gemäß Fig. 1 und

Fig. 4 eine Überwachungseinheit zur Auswertung der Antwort­ signale aller Verarbeitungseinheiten des Datenverarbeitungs­ systems gemäß Fig. 1.

Fig. 1 zeigt den allgemeinen Aufbau eines Datenverarbeitungssystems in schematischer Darstellung, beispielsweise bestehend aus einem gemeinsamen Arbeitsspeicher ASP, mehreren Verarbeitungseinheiten CPU0 . . . CPU3 mit zugehörigen privaten Cachespeichern CAM0 . . . CAM3, sowie einem Leitungssystem CBUS zur Kopplung der angeschlossenen Einheiten miteinander. Durch die Verwendung von individuell zugeordneten Copy-Back-Cachespeichern besteht die Notwendigkeit, die Konsistenz der im Arbeitsspeicher ASP sowie in den Cachespeichern CAM0 . . . CAM3 simultan gespeicherten Daten aufrechtzuerhalten bzw. zu überwachen.

Der prinzipielle Ablauf eines aus mindestens einer Adressenoperation bestehenden Speicherzugriffs einer Verarbeitungseinheit kann in eine Bewerbungsphase (request) für die Anfrage um Zuteilung des Leitungssystems, und eine Anforderungsphase gegliedert werden, in der die Parameter einschließlich der Adresse BADR des ausgelösten Speicherzugriffs über das Leitungssystem CBUS an alle angeschlossenen Einheiten übertragen werden. Umfaßt der Speicherzugriff auch eine Datenoperation, beispielsweise bei einem Lese- oder Schreibzugriff, so schließt sich an die Anforderungsphase eine Datenübertragungsphase an, in der die angeforderten Daten von der Verarbeitungseinheit geliefert werden, in dessen zugehörigem Cachespeicher sie aktuell gespeichert sind.

Unmittelbar nach der Adressenoperation mit Aussenden der zugehörigen Parameter einschließlich der Speicherzugriffsadresse BADR durch eine anfordernde Verarbeitungseinheit, z. B. CPU0, an die anderen Verarbeitungseinheiten, z. B. CPU1 . . . CPU3, kann mit der Erzeugung von Antwortsignalen HIT0, WBIT0 . . . HIT3, WBIT3 in den Einrichtungen RSP0 . . . RSP3 der Verarbeitungseinheiten CPU0 . . . CPU3 begonnen werden. Die parallel gebildeten Signale werden beispielsweise zu fest vorgegebenen Zeitpunkten über das Leitungssystem übertragen. Zu diesem Zweck benutzen die Verarbeitungseinheiten CPU0 . . . CPU3 individuell zugeordnete Leitungen des Leitungssystems CBUS, die für die jeweils zuvor ablaufende Adressenoperation ebenfalls verwendet werden.

Anhand der durch die übertragenden Signale mitgeteilten Zustände der Verarbeitungseinheiten läßt sich erkennen, ob alle Verarbeitungseinheiten die Erzeugung ihrer Antwortsignale abgeschlossen haben. Ist dies der Fall, so kann mit deren Auswertung auf das Vorliegen einer Dateninkonsistenz begonnen werden. Zu diesem Zweck weist jede Verarbeitungseinheit CPU0 . . . CPU3 identisch aufgebaute Einrichtungen INK auf, die bei Erkennen inkonsistenter Daten eine Fehlermeldung IER erzeugen.

Gemeinsam mit den Antwortsignalen HIT0, WBIT0 . . . HIT3, WBIT3 können weitere Informationssignale PAR0, LCK0 . . . PAR3, LCK3 vom Leitungssystem CBUS übertragen werden, von denen die Signale PAR0 . . . PAR3 Sicherungszeichen enthalten, während anhand der Signale LCK0 . . . LCK3 ein Zugriffsschutz des im zugehörigen Cachespeicher CAM0 . . . CAM3 adressierten Eintrags mitgeteilt werden kann. Die Auswertung der übertragenen Antwort- und Informationssignale erfolgt in der jeweils anfordernden Verarbeitungseinheit, sie kann aber auch in einer zental angeordneten Einrichtung durchgeführt werden.

In Fig. 2 sind Zustandszeichen VL, WR, SHA dargestellt, die einem Cachespeichereintrag zugeordnet und durch die Adresse TA für das entsprechende Tag-Feld des Cachespeichers ergänzt werden. Sie kennzeichnen dabei, daß die Daten des Cachespeichereintrags vorhanden und gültig sind (VL), daß eine Änderung der Daten stattgefunden hat (WR), oder daß eine Kopie der Daten in einem weiteren Cachespeicher gespeichert ist (SHA).

Der Zustand des adressierten Cachespeichereintrags läßt sich anhand einer Wahrheitstabelle aus den Zustandskennzeichen VL, WR, SHA feststellen. So sind die eingetragenen Daten in mehr als einem Cachespeicher (shared) oder nur in einem Cachespeicher (exclusive) abgelegt oder weisen nur in einem Cachespeicher den aktuellen veränderten Wert (modified) auf.

Eine Dateninkonsistenz im System ist beispielsweise dann gegeben, wenn mehr als eine Verarbeitungseinheit anhand ihrer Antwortsignale anzeigen, daß die eingetragenen Daten als nur in ihrem zugehörigen Cachespeicher geänderte Daten (modified) gekennzeichnet sind. Gleiches gilt für den Fall, daß die eingetragenen Daten als geändert gelten, während sie in einem weiteren Cachespeicher einen der beiden anderen Zustände einnehmen.

Fig. 3 und Fig. 4 enthalten Einrichtungen zur Erzeugung und Auswertung der Antwortsignale für das Vorliegen inkonsistenter Daten im System.

Am Beispiel der in der Verarbeitungseinheit CPU0 angeordneten Einrichtung RSP0 gemäß Fig. 3 soll die Bildung der Antwortsignale in den einzelnen Verarbeitungseinheiten gezeigt werden. Das von der Einrichtung RSP0 erzeugte Antwortsignal HIT0 gibt an, ob in irgendeiner Speicherbank des Cachespeichers CAM0, z. B. der Bank x, ein Treffer, z. B. HITBx, für den durch die Adressen BADR und TABx (Tag-Feld der Bank x) ausgewählten Eintrag ermittelt wird. Es resultiert daher aus der Verknüpfung der individuellen Treffersignale HITBx . . . HITBz entsprechend der vorhandenen Speicherbänke (Bank x . . . Bank z) durch das ODER-Glied OR1.

Das speicherbankbezogene Treffersignal, z. B. HITBx, ergibt sich jeweils aus der Reihenschaltung zweier UND-Glieder, z. B. U1 und U2. Das erste Eingangssignal des UND-Gliedes U2 wird durch Verknüpfung der Adressen BADR und TABx im vorgeschalteten UND-Glied U1 gewonnen, während das zweite Eingangssignal von dem aus dem Zustandskennzeichen VL des adressierten Speicherbankeintrags gemäß Fig. 2 abgeleiteten Signal VLBx gebildet wird.

Für die Erzeugung des Antwortsignals WBIT0, das angibt, ob in irgendeiner Speicherbank des Cachespeichers CAM0 eine Veränderung des adressierten Eintrags stattgefunden hat, werden die speicherbankbezogenen Signale WBx . . . WBz durch das ODER-Glied OR2 miteinander verknüpft. Die individuellen Signale WBx . . . WBz ergeben sich jeweils aus einer UND-Verknüpfung eines Treffersignals mit dem entsprechenden vom Zustandskennzeichen WR des adressierten Speicherbankeintrags gemäß Fig. 2 abgeleiteten Signal. Beispielsweise führt die Verknüpfung der Signale HITBx und WRBx durch das UND-Glied U3 zum individuellen Ausgangssignal WBx. Die Erzeugung aller speicherbankindividuellen Signale ist zur Beibehaltung einer übersichtlichen Schaltungsanordnung nicht näher dargestellt.

Fig. 4 zeigt eine mögliche Ausführungsform der Auswerteeinrichtung INK, die gemäß Fig. 1 in jeder Verarbeitungseinheit angeordnet ist. Sie ist aufgebaut aus mehreren UND-Gliedern U4 . . . U7 zur Verknüpfung der über das Leitungssystem übertragenen Antwortsignale, wobei jeweils das Ausgangssignal eines UND- Gliedes, z. B. U4, aus den Antwortsignalen einer Verarbeitungseinheit, z. B. HIT0, WBIT0, gebildet wird. Der Ausgang jedes UND-Gliedes ist mit einem Eingang eines nachgeschalteten ODER-Gliedes OR5 verbunden, dessen Ausgangssignal AWHIT anzeigt, ob überhaupt in einem der Cachespeicher CAM0 . . . CAM3 gemäß Fig. 1 die adressierten Daten als geändert (modified) gekennzeichnet sind.

Demgegenüber gibt das Signal MHIT an, ob die adressierten Daten in mehr als einem Cachespeicher eingetragen sind. Zur Erzeugung des Signals MHIT werden jeweils zwei der Antwortsignale HIT0 . . . HIT3 sowohl durch die ODER-Glieder OR3, OR4 als auch durch die UND-Glieder U8, U9 verknüpft. Die Ausgänge der ODER-Glieder OR3, OR4 sind an die Eingänge eines nachgeschalteten UND-Gliedes U10 angeschlossen, dessen Ausgang gemeinsam mit den Ausgängen der UND-Glieder U8, U9 die Eingänge des ODER-Gliedes OR6 bilden. Für den Fall, daß durch die Signale AWHIT, MHIT angezeigt wird, daß die adressierten Daten in mindestens einem Cachespeicher als geändert (modified) gekennzeichnet und in mehr als einem Cachespeicher als gültig eingetragen sind, so erfolgt eine Fehlermeldung IER am Ausgang des UND-Gliedes U11.

Für andere Fälle auftretender Dateninkonsistenz sowie für die Bildung und Auswertung der gemeinsam mit den Antwortsignalen übertragbaren Informationssignale lassen sich die Einrichtungen gemäß Fig. 3 und Fig. 4 durch entsprechende Verknüpfungsschaltungen in einfacher Weise ergänzen.

Claims (8)

1. Verfahren zur Fehlerüberwachung bei der Konsistenzsteuerung für die in privaten Cachespeichern (CAM0 . . . CAM3) verschiedener Verarbeitungseinheiten (CPU0 . . . CPU3) und in einem gemeinsamen Arbeitsspeicher (ASP) eines Datenverarbei­ tungssystems gespeicherten Daten, bei dem jedem Cachespei­ chereintrag Zustandskennzeichen (VL, WR, SHA) zugeordnet werden und bei dem eine aus mindestens einer Adressenopera­ tion bestehende und einen Speicherzugriff auslösende An­ forderung einer Verarbeitungseinheit über ein Leitungssystem (CBUS) an alle Einheiten des Datenverarbeitungssystems über­ tragen wird, wobei den einzelnen Verarbeitungseinheiten (CPU0 . . . CPU3) zugeordnete Einrichtungen (RSP0 . . . RSP3) die Anforderungen überwachen und entsprechend dem jeweils gül­ tigen Konsistenzsteuerungsprotokoll abhängig von den jeweili­ gen Zustandskennzeichen (VL, WR, SHA) wirksam werden, indem die Zustands­ kennzeichen und gegebenenfalls die zugehörigen Daten geändert und entsprechende Antwortsignale (HIT0, WBIT0 . . . HIT3, WBIT3) an die Einrichtung (z. B. RSP1) der anfordernden Verarbeitungseinheit (z. B. CPU1) über das Lei­ tungssystem (CBUS) übertragen werden, dadurch gekennzeichnet, daß die einzelnen Antwortsignale (HIT0, WBIT0 . . . HIT3, WBIT3) aller Verarbeitungseinheiten (CPU0 . . . CPU3) jeweils über individuelle Signalleitungen übertragen und als Signalleitun­ gen die Adressenleitungen des Leitungssystems (CBUS) verwen­ det werden und
daß alle Antwortsignale (HIT0, WBIT0 . . . HIT3, WBIT3) zusätz­ lich auf das Vorliegen unzulässiger Signalkombinationen überwacht werden und bei Vorliegen einer unzulässigen Signal­ kombination eine Fehlermeldung (IER) ausgelöst wird.

2. Verfahren nach Anspruch 1, dadurch gekenn­ zeichnet, daß jeweils gemeinsam mit den Antwort­ signalen (z. B. HIT0, WBIT0) einer Verarbeitungseinheit (z. B. CPU0) eine weitere Information (z. B. LCK0) über das Leitungs­ system (CBUS) übertragen wird, anhand der ein Zugriffsschutz des im zugehörigen Cachespeicher (z. B. CAM0) adressierten Eintrags mitteilbar ist.

3. Verfahren nach Anspruch 1 oder 2, dadurch ge­ kennzeichnet, daß jeweils gemeinsam mit den Antwortsignalen (z. B. HIT0, WBIT0) einer Verarbeitungseinheit (z. B. CPU0) ein Sicherungszeichen (z. B. PAR0) über das Lei­ tungssystem (CBUS) übertragen wird.

4. Verfahren nach einem der Ansprüche 1 bis 3, da­ durch gekennzeichnet, daß die zusätzli­ che Überwachung der Antwortsignale (HIT0, WBIT0 . . . HIT3, WBIT3) aller Verarbeitungseinheiten (CPU0 . . . CPU3) in der jeweils anfordernden Verarbeitungseinheit (z. B. CPU0) durch­ geführt wird.

5. Verfahren nach einem der Ansprüche 1 bis 3, da­ durch gekennzeichnet, daß die zusätz­ liche Überwachung der Antwortsignale (HIT0, WBIT0 . . . HIT3, WBIT3) aller Verarbeitungseinheiten (CPU0 . . . CPU3) in einer mit dem Leitungssystem (CBUS) gekop­ pelten zentralen Überwachungseinheit (INK) durchgeführt wird.

6. Schaltungsanordnung zur Fehlerüberwachung der Daten­ konsistenz in einem Datenverarbeitungssystem mit einem gemeinsamen Arbeits­ speicher (ASP) zur Speicherung der Daten, mehreren Verar­ beitungseinheiten (CPU0 . . . CPU3) mit zugehörigen privaten Cachespeichern (CAM0 . . . CAM3) zur Speicherung eines Teiles der im Arbeitsspeicher (ASP) enthaltenen Daten und ihrer Zu­ standskennzeichen (VL, WR, SHA), sowie einem Leitungssystem (CBUS) zur Kopplung der Verarbeitungseinheiten (CPU0 . . . CPU3) untereinander und mit dem Arbeitsspeicher (ASP), wobei jede Verarbeitungseinheit (z. B. CPU0) Einrichtungen (z. B. RSP0) zur Überwachung von über das Leitungssystem (CBUS) eintref­ fenden Anforderungen und zur Erzeugung von Antwortsignalen (z. B. HIT0, WBIT0) abhängig von den Zustandskennzeichen (z. B. VL, WR) des im zugehörigen Cachespeicher (CAM0) adres­ sierten Eintrags aufweist, dadurch gekenn­ zeichnet, daß die Anschlüsse für die Antwortsignale der einzelnen Verarbeitungseinheiten (CPU0 . . . CPU3) mit jeweils einer der Adressenleitungen des Leitungssystems (CBUS) als individueller Signalleitung verbindbar sind und
daß mit dem Leitungssystem (CBUS) wenigstens eine gesonderte Überwachungseinheit (INK) zur Auswertung aller über das Lei­ tungssystem (CBUS) übertragenen Antwortsignale (HIT0, WBIT0 . . . HIT3, WBIT3) auf das Vorliegen einer unzulässigen Signalkombination gekoppelt ist.

7. Datenverarbeitungssystem nach Anspruch 6, dadurch gekennzeichnet, daß jede Verarbeitungsein­ heit (z. B. CPU0) Einrichtungen (z B. RSP0) zur Erzeugung von gemeinsam mit den Antwortsignalen (z. B. HIT0, WBIT0) über­ tragbaren Informationssignalen (z. B. LCK0, PAR0) aufweist.

8. Datenverarbeitungssystem nach Anspruch 6 oder 7, da­ durch gekennzeichnet, daß jede Verar­ beitungseinheit (z. B. CPU0) eine gesonderte Überwachungsein­ heit (INK) zur Auswertung der übertragenen Antwortsignale (HIT0, WBIT0 . . . HIT3, WBIT3) bzw. Informationssignale (LCK0, PAR0, . . . LCK3, PAR3) aufweist.