CH720078A2 - Golfregelerkennungsverfahren mittels mobilem Endgerät und App. - Google Patents

Abstract

Es wird ein Golfregelerkennungsverfahren zur Durchführung durch einen Golfspieler während des Golfspiels auf einem Golfplatz eingeführt, welches teilweise automatisch abläuft und durch digitale Mittel durchgeführt wird, sodass jeder Golfspieler die jeweils geltende Golfregel erfahren kann. Dies wird erreicht durch: – Starten einer auf die Erfassung von Golfregeln spezialisierte Anwendungssoftware, – manuelles Auslösen einer Bildaufnahme einer Golfspielsituation auf einem Golfplatz in Form von visuellen Daten – automatischen Datentransfer der Pixeldaten der visuellen Daten in mindestens ein künstliches neuronales Netzwerk der Anwendungssoftware, – anschliessende Bilderkennung der visuellen Daten mittels künstlichem neuronalen Netzwerk, – Zuordnung von zu den visuellen Daten passenden Golfregel durch die Anwendungssoftware und – Anzeige der Definition der erkannten geltenden Golfregel auf dem Berührbildschirm des mobilen Endgerätes.

Description

Technisches Gebiet

[0001] Die vorliegende Erfindung beschreibt ein Golfregelerkennungsverfahren zur Durchführung durch einen Golfspieler während des Golfspiels auf einem Golfplatz, unter Verwendung einer auf die Erfassung von Golfregeln spezialisierte Anwendungssoftware und eines mobilen Endgerätes mit einem Betriebssystem, einem Datenspeicher, mindestens einer Kamera, eines Funkdatenmoduls und eines Berührbildschirms, als kombiniertes Ein- und Ausgabegerät, sowie eine auf Golfregeln spezialisierte Anwendungssoftware.

Stand der Technik

[0002] Auf einem Golfplatz kommt es während des Golfspiels zu unterschiedlichen Golfspielsituationen. Entsprechend gibt es ein umfangreiches Regelwerk für den Golfsport, welches jeder Golfspieler und jede Golfspielerin kennen muss. Uns ist bewusst, dass gerade die Anzahl von Golfspielerinnen in den letzten Jahren erfreulicherweise stark zugenommen hat, zur besseren Lesbarkeit von Personenbezeichnungen und personenbezogenen Wörtern wird aber in diesem Text nur die männliche Form genutzt.

[0003] Von den Golfregeln gibt es neben einer Spieleredition auch die offiziellen Golfregeln, welche sich an diejenigen richten, die das Spiel organisieren und die auch die Vielzahl von Fragen beantworten müssen, die bei Turnieren auftreten können. Die Golfregeln gelten international in identischer Version, was vor allem bei internationalen Turnieren wichtig ist. Aber auch beim privaten Spiel, sollten die beteiligten Golfspieler die Golfspielsituation erkennen können und die entsprechende anzuwendende Golfregel wissen.

[0004] Auch, wenn Golfspieler alle Regeln zur Erlangung der Platzreife kennen müssen oder sollten, kommt es immer wieder zu Golfspielsituationen, in welchen die geltende Regel nicht gewusst wird. Dazu haben Golfspieler das Regelwerk in der Regel während des Golfspiels in gedruckter Form mitgeführt. Das Regelwerk erlaubt aber nur eine fehlerfreie Eruierung der gerade geltenden Golfregel, wenn der Golfspieler weiss wonach er sucht. Mit dem Regelwerk ist keine Interaktion möglich, denn der Golfspieler kann nur das geschriebene Regelwerk durchgehen und aufgeführte Beispiele mit seiner Golfspielsituation vergleichen.

[0005] Elektronische Assistenten sind zwar in den letzten Jahren entwickelt worden, wie beispielsweise in KR20220099919 und WO03062950 beschrieben, liefern aber nur örtliche Positionsinformationen, Informationen zum Golfplatz oder geben Tipps zur Wahl des richtigen Golfschlägers. Ein solcher elektronischer Assistent zeigt auf einem Bildschirm nur die aktuelle Position des Golfspielers bzw. des elektronischen Assistenten auf dem Goldplatz an und leistet keine Dienste zur Eruierung von Golfregeln. Der Golfspieler muss entsprechend regelfest sein oder muss die Golfregeln mit sich führen.

Darstellung der Erfindung

[0006] Die vorliegende Erfindung hat sich zur Aufgabe gestellt, einem Golfspieler die Eruierung der in allen möglichen Golfspielsituationen zur Anwendung kommende Golfspielregel einfach und zu jeder Zeit an Ort und Stelle des Golfspiels zu ermöglichen.

[0007] Gelöst wird diese Aufgabe mit dem beanspruchten Golfregelerkennungsverfahren, welches in einzelnen Schritten auf dem Golfplatz, während des Golfspiels und bei in Frage kommenden unbekannten Golfspielsituationen durchgeführt wird. Die dafür technisch notwendigen Mittel sind ein elektronisches mobiles Endgerät mit mindestens einer Kamera und eine Anwendungssoftware, welche auf dem mobilen Endgerät oder teilweise auf einem externen Sever installiert ist.

Kurze Beschreibung der Zeichnungen

[0008] Der Erfindungsgegenstand wird nachstehend im Zusammenhang mit den anliegenden Zeichnungen beschrieben.

[0009] Weitere Merkmale, Einzelheiten und Vorzüge der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsformen der Erfindung sowie der Zeichnungen. Figur 1 zeigt eine schematische perspektivische Ansicht von Golfspielsituationen auf einem Golfplatz. Figur 2a zeigt eine schematische Ansicht der Erfassung von visuellen Daten mittels mobilem Endgerät einer Golfspielsituation vor Ort während des Golfspiels, Figur 2b zeigt auf einem Berührbildschirm des mobilen Endgerätes ein Photo einer erfassten Golfspielsituation mit Verweis auf die anwendbare Golfregel, während Figur 2c eine schematische Detaildarstellung der identifizierten Golfregel nach Bilderkennung und Regelzuweisung. Figur 3 zeigt eine vereinfachte Darstellung eines künstlichen neuronalen Netzwerks zur Erläuterung der Funktionsweise der Bilderkennung.

Beschreibung

[0010] In Figur 1 ist eine typische Golfplatzszene gezeigt, wobei Golfspieler in verschiedenen Platzbereichen, wie Abschlag, Grüns, Penalty Areas und Bunker an verschiedenen Löchern unterwegs sind. Die Golfspieler bewegen sich den Golfball schlagend durch das Gelände und versuchen mit möglichst wenig Schlägen ihre Golfbälle auf das Grün und in das Loch des Grüns zu befördern. Je nach auftretender Golfspielsituation kann der Spielfluss aber unterbrochen sein, beispielweise, wenn sich der Golfball unmittelbar in der Nähe eines Gegenstands befindet, andere Hindernisse auftauchen oder nicht klar ist, wie weitergespielt und vor allem -gezählt wird. In Figur 1 ist ein Masten in einem Bereich dargestellt, an welchem der Golfball berührend anliegt. Nun muss der Golfspieler die anwendbare Golfregel kennen oder möglicherweise eine Ausnahmeregel kennen, um das Golfspiel bei richtiger Reaktion auf die Golfspielsituation und bei korrekter Schlagzählung fortsetzen zu können.

[0011] Wir schlagen hier darum ein teilweise automatisches Golfregelerkennungsverfahren vor, welches mittels eines mobilen digitalen Endgerätes durchführbar ist, welches vom Golfspieler während des Golfspielens mitgeführt wird. Als mobiles Endgerät ist ein Smartphone, ein Mobiltelefon oder eine sogenannte Smart-Watch mit umfangreichen Computer-Funktionalität und Konnektivität oder ein Tabletcomputer, als tragbarer flacher Computer gemeint. Das mobile Endgerät weist ein Betriebssystem, einen Datenspeicher und eine installierte auf die Erfassung von Golfregeln spezialisierte Anwendungssoftware oder App, mindestens eine Kamera, ein Funkdatenmodul und einen Berührbildschirm, als kombiniertes Ein- und Ausgabegerät, auf. Der Golfspieler soll das Golfregelerkennungsverfahren direkt auf dem Golfplatz, während des Golfspiels durchführen.

[0012] Zur Bestimmung der anzuwendenden Golfregel während eines Golfspiels, kann der Golfspieler mittels mobilem Endgerät ein Photo oder ein Video der Situation anfertigen. Nach Aufstarten der spezialisierten Anwendungssoftware oder App mittels mobilem Endgerät loggt sich der Golfspieler bevorzugt in ein in der App hinterlegtes Benutzerkonto ein und wählt dann die Aufnahme einer Golfspielsituation mittels der mindestens einen Kamera am elektronischen mobilen Endgerät an. Dies ist beispielhaft in Figur 2a gezeigt und als manuelles Auslösen einer Bildaufnahme durch den Golfspieler definiert. Mittels der Kamera erfasst die App auf dem mobilen Endgerät visuelle Daten, in Form von Videos oder Standbildern, der momentanen Golfspielsituation und speichert diese im Datenspeicher ab. Hier ist beispielhaft eine Szene mit in einem Bunker liegenden Rechen dargestellt und photographiert worden.

[0013] Anschliessend werden die aufgenommenen visuellen Daten automatisch mittels technischer Mittel des mobilen Endgerätes, beispielsweise des Funkdatenmoduls an eine künstliche Intelligenz transferiert, welche im mobilen Endgerät oder auf einem entfernten externen Server mittels Softwaremodulen der Anwendungssoftware gelöst ist. Wenn eine Datenauswertung auf dem entfernten externen Server stattfindet, kann die Anwendungssoftware oder Teile davon nur auf dem mobilen Endgerät und/oder auf dem Server installiert sein.

[0014] Die künstliche Intelligenz umfasst mindestens ein künstliches neuronalen Netzwerk, insbesondere mit deep learning Funktion, welches auf die Bilderkennung visueller Daten angepasst wurde. Die aufgenommenen visuellen Daten werden in Form ihrer einzelnen Pixel, als Input in das mindestens eine neuronale Netzwerk eingespiesen.

[0015] Das mindestens eine neuronale Netzwerk ist durch Softwaremittel der Anwendungssoftware gelöst und sorgt für die Bilderkennung der eingespeisten visuellen Daten. Dazu wurde das mindestens eine künstliche neuronale Netzwerk vorgängig mit einer Vielzahl von Bildern verschiedener Golfspielsituationen trainiert, damit eine Bilderkennung stattfinden kann. Vorgängig hat dieses maschinelle Lernen dazu geführt, dass zu einer Vielzahl von Bildern die jeweilige Golfspielsituation zugeordnet wurde und die Bilder auf einer nächsten Ebene mit Golfregeln verknüpft wurden. Dieses Golfregelwissen ist aus Erfahrung, also aufgenommenen Bildern generiert worden. Die Bilderkennung ist ein digitaler Vergleich von Bildern trainierter gespeicherter Golfspielsituationen mit dem aktuell aufgenommenen visuellen Daten, mittels mindestens einem neuronalen Netzwerk. Diese Bilderkennung kann wahlweise direkt in der Anwendungssoftware auf dem mobilen Endgerät oder nach Versendung der aufgenommenen visuellen Daten mittels Funkdatenmodul an einen entfernten Server, auf dem Server erfolgen.

[0016] Das Training der Bilderkennung ist während der Entwicklung der Anwendungssoftware auf dem mobilen Endgerät bzw. auf dem externen entfernten Server erfolgt. Das Training kann aber durch weiteren Gebrauch der Anwendungssoftware weiter trainiert werden, wobei die Golfspieler diese Funktion in ihrer App erlauben müssen.

[0017] Den bei der Bilderkennung benutzten trainierten ähnlichen Bildern wurden vorgängig zugehörige Golfregeln zugeordnet, sodass im nächsten Schritt die aufgenommenen visuellen Daten nach der Bilderkennung, der zugeordneten Golfregel zugewiesen werden können.

[0018] Im Beispiel gemäss Figur 2b hat die Bilderkennung und die ihr zugeordneten trainierten Golfspielsituationen die Golfspielsituation „Rechen im Bunker“ erkannt. Dies wird automatisch durch die App auf dem Berührbildschirm angezeigt, wobei erstmal nur die Definition der hier anwendbaren Golfregel dargestellt wird. Jedem Trainingsbild ist eine grobe Definition der anwendbaren Golfregel und eine weitere Detailinformation zugeordnet worden, was damit ebenfalls jedem erkannten Bild auch zugeordnet werden kann.

[0019] Möchte der Golfspieler den genauen Wortlaut der Golfregel erhalten und z.B. die Anweisung, wie es im Golfspiel weitergehen sollte, dann muss der Golfspieler dies am Berührbildschirm quittieren. Dies geschieht über die Betätigung einer Schaltfläche auf dem Berührbildschirm, wie in Figur 2b angedeutet. Dann gelangt der Golfspieler auf eine Detaildarstellung der identifizierten Golfregel, welche in Figur 2c gezeigt ist. Die Detailinformation und -darstellung umfasst eine Anweisung für das Weiterspielen aus der zugrundeliegenden identifizierten Golfregel, bestimmt durch das teilweise automatisch ablaufende Golfregelerkennungsverfahren mittels der Anwendungssoftware. Auch die Detailinformationen sind während des Trainings des neuronalen Netzwerkes zugeordnet worden.

[0020] Das künstliche neuronale Netzwerk zur Bilderkennung, welches in der Anwendungssoftware programmiert ist, besteht aus mehreren hintereinander liegenden Schichten von Neuronen, wie schematisch in Figur 3 gezeigt. Die erste Schicht bilden die Input-Neuronen. Die Neuronen jeder weiteren Schicht sind dabei verbunden mit den Neuronen der vorausgehenden Schicht und werden je nach Gewichtung der Verbindung von den vorhergehenden Neuronen aktiviert, bis die Aktivierung der Neuronen der letzten Schicht, Output-Neuronen, über die Kategorisierung, also die Zuordnung bzw. Definition der erkannten visuellen Daten zur Golfspielsituation und zur anwendbaren Golfregel, des Inputs bestimmt.

[0021] Die Architektur des künstlichen neuronalen Netzwerks ist fix und wurde gemäss gängiger Best-Practices gewählt. Die einmal gewählte Anzahl von drei Schichten miteinander verbundener Input-, Hidden- und Output-Neuronen wird entsprechend nach dem Training, im Gebrauch der App nicht mehr verändert.

[0022] Die Gewichtungen der Verbindungen zwischen den Neuronen sind nicht fix, sondern werden während des Deep Learning Prozesses durch wiederholtes Training optimiert, bis die als Trainingsmaterial gewählten Bilder die bestimmten Kategorien genügend gut erkennen. Da das Training auch im Gebrauch der Anwendungssoftware weitergeführt werden kann, kann auch die Gewichtung der Verbindungen zwischen den Neuronen weiter optimiert werden.

[0023] Die aktuell verwendete Architektur des mindestens einen neuronalen Netzwerks entspricht der des bekannten MobileNetV2, ohne die letzte Schicht. Diese wird ersetzt durch drei zusätzliche Schichten und eine Schicht auf die Anzahl Kategorien angepasste Schicht Output-Neuronen. Während 100 Iterationen wurden die Verbindungen dieser letzten vier hinzugefügten Schichten trainiert, während für die übrigen Schichten die anhand einer öffentlichen Datenbank mit Bildern vortrainierten Gewichtungen verwendet wurden. Das Netzwerk wurde mit einer Python-basierten Deep Learning API (keras.io), der Deep Learning Plattform (tensorflow.org) und mit Hilfe anderer Applikationen trainiert.

[0024] Welche Kamera des mobilen Endgerätes benutzt wird, kann in der Anwendungssoftware gewählt werden. Wahlweise können auch bereits aufgenommene visuelle Daten zur Bilderkennung ausgewählt werden.

[0025] Wenn weiterführende Informationen zu identifizierten Golfregeln gewünscht sind, kann in der Anwendungssoftware einem Link gefolgt werden, um gespeicherte Daten oder Zusatzdaten über das Internet abzurufen. Dazu müsste dann ebenfalls das Funkdatenmodul des mobilen Endgerätes mit dem Internet verbunden sein.

[0026] Besteht eine Verbindung mit dem Internet, könnten durch die Anwendungssoftware lokal aufgenommene visuelle Bilddaten über das Internet an den Hersteller der Anwendungssoftware versandt werden, für weitere deep learning Schritte des bilderkennenden neuronalen Netzwerks. Der Golfspieler müsste diesen Datentransfer vom mobilen Endgerät an den Hersteller der Anwendungssoftware gesondert erlauben.

[0027] Mittels der Anwendungssoftware und der Verbindung zum Internet ist eine Chat-Verbindung des Golfspielers vor Ort mit dem Hersteller der Anwendungssoftware oder weiteren Benutzern der Anwendungssoftware möglich, sodass bei fehlerhafter Bilderkennung bzw. Regelbestimmung, die korrekte Regelauslegung per Chat geklärt werden könnte. Oder entdeckte Fehler können vom Golfspieler vor Ort über die Anwendungssoftware per Textnachricht weitergeleitet werden.

[0028] Aus Gründen des Kopierschutzes können mindestens Teile der Anwendungssoftware auf dem externen Server ausgelagert installiert sein, weil somit nicht das komplette Wissen im Quelltext der Software steckt. Über das Funkdatenmodul am mobilen Endgerät und eine entsprechende digitale Datenverbindung ist das mobile Endgerät mit dem externen Server verbunden. Für den Datenaustausch sind dem Fachmann mehrere mögliche Protokolle bekannt.

[0029] Auch, weil die Rechenleistung bzw. der Datenspeicher der trainierten Beispielbilder auf einem Server in der Regel höher ist, als auf mobilen Endgeräten, bietet sich eine mindestens teilweise Auslagerung der Anwendungssoftware auf einen externen Server an. Natürlich befindet sich der Server nicht unter der Kontrolle des Golfspielers, der die Anwendungssoftware installiert, sondern beispielsweise dem Hersteller der App.

Claims (13)

1. Golfregelerkennungsverfahren zur Durchführung durch einen Golfspieler während des Golfspiels auf einem Golfplatz, gekennzeichnet durch die Schritte: – Starten einer auf die Erfassung von Golfregeln spezialisierten Anwendungssoftware, welche auf einem mobilen Endgerät mit einem Betriebssystem, einem Datenspeicher, mindestens einer Kamera, einem Funkdatenmodul und einem Berührbildschirm, als kombiniertes Ein- und Ausgabegerät installiert ist, durch Manipulation des Berührbildschirms, – manuelles Auslösen einer Bildaufnahme einer Golfspielsituation auf einem Golfplatz in Form von visuellen Daten am Berührbildschirm, – automatischer Datentransfer der visuellen Daten in mindestens ein künstliches neuronales Netzwerk der Anwendungssoftware auf dem mobilen Endgerät oder einem externen entfernten Server zur Bilderkennung durch die Anwendungssoftware gesteuert, – Bilderkennung der visuellen Daten durch Vergleich mit vorgängig trainierten Bildern von Golfspielsituationen mittels des mindestens einen künstlichen neuronalen Netzwerks durch die Anwendungssoftware und anschliessende – Zuordnung von zu den visuellen Daten passenden Golfregeln durch die Anwendungssoftware und – Anzeige der Definition der aus der aufgenommenen Golfspielsituation erkannten geltenden Golfregel auf dem Berührbildschirm des mobilen Endgerätes.

2. Golfregelerkennungsverfahren nach Anspruch 1, wobei der Golfspieler nach der Ansicht der Definition der geltenden Golfregel, eine Detaildarstellung auf dem Berührbildschirm mittels Anwendungssoftware anfordert, in dem eine Schaltfläche auf dem Berührbildschirm aktiviert wird, wonach die Detaildarstellung zur eruierten Golfregel automatisch auf dem Berührbildschirm angezeigt wird.

3. Golfregelerkennungsverfahren nach einem der vorhergehenden Ansprüche, wobei das verwendete mindestens eine neuronale Netzwerk mindestens drei Schichten miteinander verbundener Input-, Hidden- und Output-Neuronen umfasst.

4. Golfregelerkennungsverfahren nach Anspruch 3, wobei die Architektur des künstlichen neuronalen Netzwerks fix ist.

5. Golfregelerkennungsverfahren nach Anspruch 3 oder 4, wobei die Gewichtungen der Verbindungen zwischen den Neuronen nicht fix sind, sondern während des Deep Learning Prozesses durch wiederholtes Training optimiert sind.

6. Golfregelerkennungsverfahren nach einem der vorhergehenden Ansprüche, wobei das Training des mindestens einen neuronalen Netzwerks zur Bilderkennung während der Entwicklung der Anwendungssoftware stattgefunden hat.

7. Golfregelerkennungsverfahren nach einem der vorhergehenden Ansprüche, wobei das Training des mindestens einen neuronalen Netzwerks der Anwendungssoftware zur Bilderkennung, während des Gebrauchs der Anwendungssoftware durch Golfspieler weiter trainiert wird mittels bekannten Deep Learning Prozessen.

8. Golfregelerkennungsverfahren nach einem der vorhergehenden Ansprüche, wobei durch Golfspieler aufgenommene visuelle Daten, automatisch im Datenspeicher des mobilen Endgeräts gespeichert werden und nach Quittierung der Erlaubnis mittels Funkdatenmodul und Anwendungssoftware vom mobilen Endgerät an den Hersteller der Anwendungssoftware versandt werden, sodass auch auf dem Sever weitere Deep Learning Prozesse durchgeführt werden können.

9. Golfregelerkennungsverfahren nach einem der vorhergehenden Ansprüche, wobei durch Golfspieler in der Bilderkennung oder der Regelbestimmung entdeckte Fehler über das Funkdatenmodul und die Anwendungssoftware per Textnachricht vom Golfplatz direkt an den Hersteller der Anwendungssoftware gesendet werden können.

10. Auf Golfregeln spezialisierte Anwendungssoftware, installiert auf einem elektronischen mobilen Endgerät und/oder einem mit dem elektronischen mobilen Endgerät verbundenen Server, wobei die Anwendungssoftware mit mindestens einer am mobilen Endgerät installierten Kamera wirkverbunden ist und mindestens ein neuronales Netzwerk aufweist, welches zur Bilderkennung vorgängig mittels deep learning trainiert wurde, zur Durchführung eines Golfregelerkennungsverfahrens nach einem der vorhergehenden Ansprüche.

11. Auf Golfregeln spezialisierte Anwendungssoftware nach Anspruch 10, wobei das deep learning mit einer Python-basierten Deep Learning API durchgeführt wurde.

12. Auf Golfregeln spezialisierte Anwendungssoftware nach einem der Ansprüche 10 oder 11, wobei das in der Anwendungssoftware verwendete mindestens eine neuronale Netzwerk mindestens drei Schichten miteinander verbundener Input-, Hidden- und Output-Neuronen umfasst.

13. Verwendung eines mobilen Endgerätes mit einem Betriebssystem, einem Datenspeicher, mindestens einer Kamera, eines Funkdatenmoduls und eines Berührbildschirms, als kombiniertes Ein- und Ausgabegerät und darauf installierter Anwendungssoftware, mit mindestens einem künstliches neuronales Netzwerk, zur Bilderfassung visueller Daten und anschliessender automatischer Zuordnung der zu den visuellen Daten passenden Golfregel, mittels vorgängig trainierter Bilder von Golfspielsituationen mittels Deep Learning Prozess.