CH720078B1 - Golfregelerkennungsverfahren, System und Verwendung - Google Patents

Abstract

Ebenfalls beansprucht wird ein System aus einem elektronischen mobilen Endgerät mit einer auf Erkennung von Golfregeln spezialisierten Anwendungssoftware und einem mit dem mobilen Endgerät verbundenen externen Server, geeignet zum Einsatz im Golfregelerkennungsverfahren. Beansprucht wird auch die Verwendung eines elektronischen mobilen Endgeräts mit einer auf Erkennung von Golfregeln spezialisierten Anwendungssoftware im Golfregelerkennungsverfahren, wobei das in der Anwendungssoftware verwendete mindestens eine künstliche neuronale Netzwerk mindestens drei Schichten miteinander verbundener Input-, Hidden- und Output-Neuronen umfasst.

Description

Technisches Gebiet

[0001] Die vorliegende Erfindung beschreibt ein Golfregelerkennungsverfahren, ein System aus einem elektronischen mobilen Endgerät mit einer auf Erkennung von Golfregeln spezialisierten Anwendungssoftware und einem mit dem elektronischen mobilen Endgerät verbundenen externen Server und eine Verwendung eines elektronischen mobilen Endgeräts mit einer auf Erkennung von Golfregeln spezialisierten Anwendungssoftware.

Stand der Technik

[0002] Auf einem Golfplatz kommt es während des Golfspiels zu unterschiedlichen Golfspielsituationen. Entsprechend gibt es ein umfangreiches Regelwerk für den Golfsport, welches jeder Golfspieler und jede Golfspielerin kennen muss. Uns ist bewusst, dass gerade die Anzahl von Golfspielerinnen in den letzten Jahren erfreulicherweise stark zugenommen hat, zur besseren Lesbarkeit von Personenbezeichnungen und personenbezogenen Wörtern wird aber in diesem Text nur die männliche Form genutzt.

[0003] Von den Golfregeln gibt es neben einer Spieleredition auch die offiziellen Golfregeln, welche sich an diejenigen richten, die das Spiel organisieren und die auch die Vielzahl von Fragen beantworten müssen, die bei Turnieren auftreten können. Die Golfregeln gelten international in identischer Version, was vor allem bei internationalen Turnieren wichtig ist. Aber auch beim privaten Spiel, sollten die beteiligten Golfspieler die Golfspielsituation erkennen können und die entsprechende anzuwendende Golfregel wissen.

[0004] Auch, wenn Golfspieler alle Regeln zur Erlangung der Platzreife kennen müssen oder sollten, kommt es immer wieder zu Golfspielsituationen, in welchen die geltende Regel nicht gewusst wird. Dazu haben Golfspieler das Regelwerk in der Regel während des Golfspiels in gedruckter Form mitgeführt. Das Regelwerk erlaubt aber nur eine fehlerfreie Eruierung der gerade geltenden Golfregel, wenn der Golfspieler weiss wonach er sucht. Mit dem Regelwerk ist keine Interaktion möglich, denn der Golfspieler kann nur das geschriebene Regelwerk durchgehen und aufgeführte Beispiele mit seiner Golfspielsituation vergleichen.

[0005] Elektronische Assistenten sind zwar in den letzten Jahren entwickelt worden, wie beispielsweise in KR20220099919 und WO03062950 beschrieben, liefern aber nur örtliche Positionsinformationen, Informationen zum Golfplatz oder geben Tipps zur Wahl des richtigen Golfschlägers. Ein solcher elektronischer Assistent zeigt auf einem Bildschirm nur die aktuelle Position des Golfspielers bzw. des elektronischen Assistenten auf dem Goldplatz an und leistet keine Dienste zur Eruierung von Golfregeln. Der Golfspieler muss entsprechend regelfest sein oder muss die Golfregeln mit sich führen.

Darstellung der Erfindung

[0006] Die vorliegende Erfindung hat sich zur Aufgabe gestellt, einem Golfspieler die Eruierung der in allen möglichen Golfspielsituationen zur Anwendung kommende Golfspielregel einfach und zu jeder Zeit an Ort und Stelle des Golfspiels zu ermöglichen.

[0007] Gelöst wird diese Aufgabe mit dem Golfregelerkennungsverfahren nach Anspruch 1, einem System aus einem elektronischen mobilen Endgerät mit einer auf Erkennung von Golfregeln spezialisierten Anwendungssoftware und einem mit dem elektronischen mobilen Endgerät verbundenen externen Server und mittels Verwendung eines elektronischen mobilen Endgeräts mit einer auf Erkennung von Golfregeln spezialisierten Anwendungssoftware.

Kurze Beschreibung der Zeichnungen

[0008] Der Erfindungsgegenstand wird nachstehend im Zusammenhang mit den anliegenden Zeichnungen beschrieben.

[0009] Weitere Merkmale, Einzelheiten und Vorzüge der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsformen der Erfindung sowie der Zeichnungen.

Figur 1 zeigt eine schematische perspektivische Ansicht von Golfspielsituationen auf einem Golfplatz.

Figur 2a zeigt eine schematische Ansicht der Erfassung von visuellen Daten mittels mobilem Endgerät einer Golfspielsituation vor Ort während des Golfspiels,

Figur 2b zeigt auf einem Berührbildschirm des mobilen Endgerätes ein Photo einer erfassten Golfspielsituation mit Verweis auf die anwendbare Golfregel, während

Figur 2c eine schematische Detaildarstellung der identifizierten Golfregel nach Bilderkennung und Regelzuweisung.

Figur 3 zeigt eine vereinfachte Darstellung eines künstlichen neuronalen Netzwerks zur Erläuterung der Funktionsweise der Bilderkennung.

Beschreibung

[0010] In Figur 1 ist eine typische Golfplatzszene gezeigt, wobei Golfspieler in verschiedenen Platzbereichen, wie Abschlag, Grüns, Penalty Areas und Bunker an verschiedenen Löchern unterwegs sind. Die Golfspieler bewegen sich den Golfball schlagend durch das Gelände und versuchen mit möglichst wenig Schlägen ihre Golfbälle auf das Grün und in das Loch des Grüns zu befördern. Je nach auftretender Golfspielsituation kann der Spielfluss aber unterbrochen sein, beispielweise, wenn sich der Golfball unmittelbar in der Nähe eines Gegenstands befindet, andere Hindernisse auftauchen oder nicht klar ist, wie weitergespielt und vor allem -gezählt wird. In Figur 1 ist ein Masten in einem Bereich dargestellt, an welchem der Golfball berührend anliegt. Nun muss der Golfspieler die anwendbare Golfregel kennen oder möglicherweise eine Ausnahmeregel kennen, um das Golfspiel bei richtiger Reaktion auf die Golfspielsituation und bei korrekter Schlagzählung fortsetzen zu können.

[0011] Wir schlagen hier darum ein teilweise automatisches Golfregelerkennungsverfahren vor, welches mittels eines mobilen digitalen Endgerätes durchführbar ist, welches vom Golfspieler während des Golfspielens mitgeführt wird. Als mobiles Endgerät ist ein Smartphone, ein Mobiltelefon oder eine sogenannte Smart-Watch mit umfangreichen Computer-Funktionalität und Konnektivität oder ein Tabletcomputer, als tragbarer flacher Computer gemeint. Das mobile Endgerät weist ein Betriebssystem, einen Datenspeicher und eine installierte auf die Erfassung von Golfregeln spezialisierte Anwendungssoftware oder App, mindestens eine Kamera, ein Funkdatenmodul und einen Berührbildschirm, als kombiniertes Ein- und Ausgabegerät, auf. Der Golfspieler soll das Golfregelerkennungsverfahren direkt auf dem Golfplatz, während des Golfspiels durchführen.

[0012] Zur Bestimmung der anzuwendenden Golfregel während eines Golfspiels, kann der Golfspieler mittels mobilem Endgerät ein Photo oder ein Video der Situation anfertigen. Nach Aufstarten der spezialisierten Anwendungssoftware oder App mittels mobilem Endgerät loggt sich der Golfspieler bevorzugt in ein in der App hinterlegtes Benutzerkonto ein und wählt dann die Aufnahme einer Golfspielsituation mittels der mindestens einen Kamera am elektronischen mobilen Endgerät an. Dies ist beispielhaft in Figur 2a gezeigt und als manuelles Auslösen einer Bildaufnahme durch den Golfspieler definiert. Mittels der Kamera erfasst die App auf dem mobilen Endgerät visuelle Daten, in Form von Videos oder Standbildern, der momentanen Golfspielsituation und speichert diese im Datenspeicher ab. Hier ist beispielhaft eine Szene mit in einem Bunker liegenden Rechen dargestellt und photographiert worden.

[0013] Anschliessend werden die aufgenommenen visuellen Daten automatisch mittels technischer Mittel des mobilen Endgerätes, beispielsweise des Funkdatenmoduls an eine künstliche Intelligenz transferiert, welche im mobilen Endgerät oder auf einem entfernten externen Server mittels Softwaremodulen der Anwendungssoftware gelöst ist. Wenn eine Datenauswertung auf dem entfernten externen Server stattfindet, kann die Anwendungssoftware oder Teile davon nur auf dem mobilen Endgerät und/oder auf dem Server installiert sein.

[0014] Die künstliche Intelligenz umfasst mindestens ein künstliches neuronales Netzwerk, insbesondere mit deep learning Funktion, welches auf die Bilderkennung visueller Daten angepasst wurde. Die aufgenommenen visuellen Daten werden in Form ihrer einzelnen Pixel, als Input in das mindestens eine neuronale Netzwerk eingespiesen.

[0015] Das mindestens eine neuronale Netzwerk ist durch Softwaremittel der Anwendungssoftware gelöst und sorgt für die Bilderkennung der eingespeisten visuellen Daten. Dazu wurde das mindestens eine künstliche neuronale Netzwerk vorgängig mit einer Vielzahl von Bildern verschiedener Golfspielsituationen trainiert, damit eine Bilderkennung stattfinden kann. Vorgängig hat dieses maschinelle Lernen dazu geführt, dass zu einer Vielzahl von Bildern die jeweilige Golfspielsituation zugeordnet wurde und die Bilder auf einer nächsten Ebene mit Golfregeln verknüpft wurden. Dieses Golfregelwissen ist aus Erfahrung, also aufgenommenen Bildern generiert worden.

[0016] Die Bilderkennung ist ein digitaler Vergleich von Bildern trainierter gespeicherter Golfspielsituationen mit dem aktuell aufgenommenen visuellen Daten, mittels mindestens einem neuronalen Netzwerk. Diese Bilderkennung kann wahlweise direkt in der Anwendungssoftware auf dem mobilen Endgerät oder nach Versendung der aufgenommenen visuellen Daten mittels Funkdatenmodul an einen entfernten Server, auf dem Server erfolgen.

[0017] Das Training der Bilderkennung ist während der Entwicklung der Anwendungssoftware auf dem mobilen Endgerät bzw. auf dem externen entfernten Server erfolgt. Das Training kann aber durch weiteren Gebrauch der Anwendungssoftware weiter trainiert werden, wobei die Golfspieler diese Funktion in ihrer App erlauben müssen.

[0018] Den bei der Bilderkennung benutzten trainierten ähnlichen Bildern wurden vorgängig zugehörige Golfregeln zugeordnet, sodass im nächsten Schritt die aufgenommenen visuellen Daten nach der Bilderkennung, der zugeordneten Golfregel zugewiesen werden können.

[0019] Im Beispiel gemäss Figur 2b hat die Bilderkennung und die ihr zugeordneten trainierten Golfspielsituationen die Golfspielsituation „Rechen im Bunker“ erkannt. Dies wird automatisch durch die App auf dem Berührbildschirm angezeigt, wobei erstmal nur die Definition der hier anwendbaren Golfregel dargestellt wird. Jedem Trainingsbild ist eine grobe Definition der anwendbaren Golfregel und eine weitere Detailinformation zugeordnet worden, was damit ebenfalls jedem erkannten Bild auch zugeordnet werden kann.

[0020] Möchte der Golfspieler den genauen Wortlaut der Golfregel erhalten und z.B. die Anweisung, wie es im Golfspiel weitergehen sollte, dann muss der Golfspieler dies am Berührbildschirm quittieren. Dies geschieht über die Betätigung einer Schaltfläche auf dem Berührbildschirm, wie in Figur 2b angedeutet.

[0021] Dann gelangt der Golfspieler auf eine Detaildarstellung der identifizierten Golfregel, welche in Figur 2c gezeigt ist. Die Detailinformation und -darstellung umfasst eine Anweisung für das Weiterspielen aus der zugrundeliegenden identifizierten Golfregel, bestimmt durch das teilweise automatisch ablaufende Golfregelerkennungsverfahren mittels der Anwendungssoftware. Auch die Detailinformationen sind während des Trainings des neuronalen Netzwerkes zugeordnet worden.

[0022] Das künstliche neuronale Netzwerk zur Bilderkennung, welches in der Anwendungssoftware programmiert ist, besteht aus mehreren hintereinander liegenden Schichten von Neuronen, wie schematisch in Figur 3 gezeigt. Die erste Schicht bilden die Input-Neuronen. Die Neuronen jeder weiteren Schicht sind dabei verbunden mit den Neuronen der vorausgehenden Schicht und werden je nach Gewichtung der Verbindung von den vorhergehenden Neuronen aktiviert, bis die Aktivierung der Neuronen der letzten Schicht, Output-Neuronen, über die Kategorisierung, also die Zuordnung bzw. Definition der erkannten visuellen Daten zur Golfspielsituation und zur anwendbaren Golfregel, des Inputs bestimmt.

[0023] Die Architektur des künstlichen neuronalen Netzwerks ist fix und wurde gemäss gängiger Best-Practices gewählt. Die einmal gewählte Anzahl von drei Schichten miteinander verbundener Input-, Hidden- und Output-Neuronen wird entsprechend nach dem Training, im Gebrauch der App nicht mehr verändert.

[0024] Die Gewichtungen der Verbindungen zwischen den Neuronen sind nicht fix, sondern werden während des Deep Learning Prozesses durch wiederholtes Training optimiert, bis die als Trainingsmaterial gewählten Bilder die bestimmten Kategorien genügend gut erkennen. Da das Training auch im Gebrauch der Anwendungssoftware weitergeführt werden kann, kann auch die Gewichtung der Verbindungen zwischen den Neuronen weiter optimiert werden.

[0025] Die aktuell verwendete Architektur des mindestens einen neuronalen Netzwerks entspricht der des bekannten MobileNetV2, ohne die letzte Schicht. Diese wird ersetzt durch drei zusätzliche Schichten und eine Schicht auf die Anzahl Kategorien angepasste Schicht Output-Neuronen. Während 100 Iterationen wurden die Verbindungen dieser letzten vier hinzugefügten Schichten trainiert, während für die übrigen Schichten die anhand einer öffentlichen Datenbank mit Bildern vortrainierten Gewichtungen verwendet wurden. Das Netzwerk wurde mit einer Python-basierten Deep Learning API (keras.io), der Deep Learning Plattform (tensorflow.org) und mit Hilfe anderer Applikationen trainiert.

[0026] Welche Kamera des mobilen Endgerätes benutzt wird, kann in der Anwendungssoftware gewählt werden. Wahlweise können auch bereits aufgenommene visuelle Daten zur Bilderkennung ausgewählt werden.

[0027] Wenn weiterführende Informationen zu identifizierten Golfregeln gewünscht sind, kann in der Anwendungssoftware einem Link gefolgt werden, um gespeicherte Daten oder Zusatzdaten über das Internet abzurufen. Dazu müsste dann ebenfalls das Funkdatenmodul des mobilen Endgerätes mit dem Internet verbunden sein.

[0028] Besteht eine Verbindung mit dem Internet, könnten durch die Anwendungssoftware lokal aufgenommene visuelle Bilddaten über das Internet an den Hersteller der Anwendungssoftware versandt werden, für weitere deep learning Schritte des bilderkennenden neuronalen Netzwerks. Der Golfspieler müsste diesen Datentransfer vom mobilen Endgerät an den Hersteller der Anwendungssoftware gesondert erlauben.

[0029] Mittels der Anwendungssoftware und der Verbindung zum Internet ist eine Chat-Verbindung des Golfspielers vor Ort mit dem Hersteller der Anwendungssoftware oder weiteren Benutzern der Anwendungssoftware möglich, sodass bei fehlerhafter Bilderkennung bzw. Regelbestimmung, die korrekte Regelauslegung per Chat geklärt werden könnte. Oder entdeckte Fehler können vom Golfspieler vor Ort über die Anwendungssoftware per Textnachricht weitergeleitet werden.

[0030] Aus Gründen des Kopierschutzes können mindestens Teile der Anwendungssoftware auf dem externen Server ausgelagert installiert sein, weil somit nicht das komplette Wissen im Quelltext der Software steckt. Über das Funkdatenmodul am mobilen Endgerät und eine entsprechende digitale Datenverbindung ist das mobile Endgerät mit dem externen Server verbunden. Für den Datenaustausch sind dem Fachmann mehrere mögliche Protokolle bekannt.

[0031] Auch, weil die Rechenleistung bzw. der Datenspeicher der trainierten Beispielbilder auf einem Server in der Regel höher ist, als auf mobilen Endgeräten, bietet sich eine mindestens teilweise Auslagerung der Anwendungssoftware auf einen externen Server an. Natürlich befindet sich der Server nicht unter der Kontrolle des Golfspielers, der die Anwendungssoftware installiert, sondern beispielsweise dem Hersteller der App.

Claims (5)

1. Golfregelerkennungsverfahren,gekennzeichnet durch die Schritte: – Starten einer auf Erkennung von Golfregeln spezialisierten Anwendungssoftware, welche auf einem mobilen Endgerät mit einem Betriebssystem, einem Datenspeicher, mindestens einer Kamera, einem Funkdatenmodul und einem Berührbildschirm, als kombiniertes Ein- und Ausgabegerät installiert ist, durch Manipulation des Berührbildschirms, – manuelles Auslösen einer Bildaufnahme einer Golfspielsituation über die Anwendungssoftware durch eine der mindestens einen Kamera in Form von visuellen Daten am Berührbildschirm, – automatischer Datentransfer der visuellen Daten der Bildaufnahme ausgelöst durch die Anwendungssoftware in mindestens ein künstliches neuronales Netzwerk der Anwendungssoftware auf dem mobilen Endgerät oder einem externen Server zur Bilderkennung durch die Anwendungssoftware mittels Funkdatenmodul gesteuert, durch die Anwendungssoftware, – Bilderkennung der Bildaufnahme durch Bewertung der Golfspielsituation mittels des mindestens einen, vorgängig mit Bildern von Golfspielsituationen trainierten künstlichen neuronalen Netzwerks durch die Anwendungssoftware oder den externen Server und anschliessende – Zuordnung von zu der Bildaufnahme passender Golfregel nach der Bilderkennung mittels künstlichen neuronalen Netzwerks und – Anzeige der aus der Bildaufnahme erkannten passenden Golfregel auf dem Berührbildschirm des mobilen Endgerätes.

2. Golfregelerkennungsverfahren nach Anspruch 1, wobei nach Anzeige der aus der Bildaufnahme erkannten passenden Golfregel, eine Detailinformation und - darstellung der passenden Golfregel auf dem Berührbildschirm mittels Anwendungssoftware angefordert wird, in dem eine Schaltfläche auf dem Berührbildschirm aktiviert wird, wonach diese Detaildarstellung zur passenden Golfregel auf dem Berührbildschirm angezeigt wird.

3. Golfregelerkennungsverfahren nach einem der vorhergehenden Ansprüche, wobei das verwendete mindestens eine neuronale Netzwerk mindestens drei Schichten miteinander verbundener Input-, Hidden- und Output-Neuronen umfasst.

4. System aus einem elektronischen mobilen Endgerät mit einer auf Erkennung von Golfregeln spezialisierten Anwendungssoftware und einem mit dem elektronischen mobilen Endgerät verbundenen externen Server, geeignet zum Einsatz im Verfahren nach einem der Ansprüche 1 bis 3, wobei die Anwendungssoftware mit mindestens einer am mobilen Endgerät installierten Kamera und einem Funkdatenmodul des mobilen Endgeräts wirkverbunden ist und das System mindestens ein künstliches neuronales Netzwerk aufweist, welches zur Bilderkennung vorgängig trainiert wurde.

5. Verwendung eines elektronischen mobilen Endgeräts mit einer auf Erkennung von Golfregeln spezialisierten Anwendungssoftware im Verfahren nach einem der Ansprüche 1 bis 3, wobei das in der Anwendungssoftware verwendete mindestens eine künstliche neuronale Netzwerk mindestens drei Schichten miteinander verbundener Input-, Hidden- und Output-Neuronen umfasst.