Masterarbeit: Entwicklung und Evaluation eines intelligenten Tischkickers mit Ball- und Spielerverfolgung sowie Torerkennung

Mein Weg zu basecom
Ich habe bereits meine Bachelorarbeit bei basecom durchgeführt und dabei positive Erfahrungen in der Betreuung gemacht. Als ich mein Masterstudium begonnen habe, setzte ich meine Zusammenarbeit mit basecom fort, indem ich als Werkstudent tätig wurde. Dies eröffnete mir die Möglichkeit, meine ersten praktischen Erfahrungen zu sammeln und gleichzeitig mein im Studium erworbenes theoretisches Wissen in der realen Arbeitswelt anzuwenden und zu vertiefen. Durch die bereits vertraute und enge Betreuung während meiner Bachelorarbeit war es für mich naheliegend, auch mein wissenschaftliches Projekt sowie die anschließende Masterarbeit ebenfalls bei basecom durchzuführen.
Idee und Umsetzung
In dem vorangegangenen wissenschaftlichen Projekt wurden Umsetzungsmöglichkeiten mittels verschiedener Sensoren evaluiert. Für die Objektverfolgung wird eine Kamera verwendet, die über dem Spielfeld angebracht wird. Um gefallene Tore zu erkennen, wird zum einen die Objektverfolgung eingesetzt und zum anderen eine Lichtschranke innerhalb der Tore montiert. Diese Ansätze werden dann auf ihre Zuverlässigkeit geprüft.

Um die Positionen der Objekte in den aufgenommenen Bildern zu bestimmen, gibt es verschiedene Ansätze. In dieser Arbeit wurden zwei Methoden, die auf neuronalen Netzen basieren, sowie zwei Methoden, die nicht auf neuronalen Netzen basieren, untersucht.
Im Bereich der Bildverarbeitung ohne neuronale Netze wurden Farbfilterung und Hintergrundsubtraktion betrachtet.
Eine Farbfilterung basiert auf der Segmentierung von Bildern anhand von definierten Farbintervallen. Die Spielfiguren und der Ball können so auf Basis ihrer Farbgebung herausgefiltert werden. Eine Hintergrundsubtraktion erfolgt durch den Vergleich aufeinanderfolgender Bilder, um ein Modell für den Hintergrund zu erstellen. Anhand dieses Modells können bewegte Objekte identifiziert werden.
Im Bereich der neuronalen Netze wurden Faster R-CNN und YOLO betrachtet. Faster R-CNN ist ein zweistufiges Verfahren, bei dem zunächst Regionen, in denen sich ein gesuchtes Objekt befinden könnte, generiert werden. Anschließend erfolgt die Klassifizierung und Lokalisierung der erkannten Objekte in diesen Regionen. YOLO hingegen führt die Lokalisierung und Klassifizierung der Objekte in einem Schritt aus. Das YOLO-Modell kann in ein TensorRT überführt werden, welches es im Hinblick auf Performance weiter optimiert. Für das Training der Modelle müssen jedoch zunächst Trainingsdaten erhoben und aufbereitet werden. Dazu wurden Bilder unter realen Bedingungen und unter Berücksichtigung verschiedener Lichtverhältnisse aufgenommen und annotiert.
Alle diese Verfahren werden auf Kriterien wie Genauigkeit, Verarbeitungsgeschwindigkeit und Empfindlichkeit für Veränderungen der Lichtbedingungen geprüft.
Die entwickelte Anwendung stellt eine Art Replay-System dar. Dabei werden die letzten bestimmten Positionen von den Spielern und dem Ball kontinuierlich aufgezeichnet. Im Falle eines erkannten Tores wird ein Replay in reduzierter Geschwindigkeit abgespielt. In diesem werden alle erkannten Positionen markiert und der Weg des Balls bis zum Tor dargestellt.

Ergebnis/ Fazit
Die Verfahren ohne die Verwendung von neuronalen Netzen zeigten zwar geringe Verarbeitungszeiten, boten jedoch begrenzte Genauigkeit bei Spieler- und Ballerkennung.
Das Faster R-CNN wies eine hohe Verarbeitungszeit im Bereich von 1,5 bis 3 Sekunden auf. YOLO hingegen erreichte schnellere Verarbeitungszeiten von etwa 85 bis 120 ms. Das YOLO-Modell konnte zusätzlich mittels TensorRT weiter optimiert werden, was zu einer Halbierung der Verarbeitungszeit bei einer vergleichbaren Genauigkeit führte. Somit erwies sich das TensorRT-Modell als optimales Modell für das entwickelte System.
In Bezug auf die Torerkennung wurden beide Verfahren während eines Spiels parallel eingesetzt und alle Erkennungen aufgezeichnet. Dabei hat sich gezeigt, dass der Ansatz mit der Lichtschranke alle gefallenen Tore ohne Fehlauslösungen erkannt hat. Bei dem Ansatz der Ballverfolgung trat hingegen der Fall auf, dass Tore erkannt wurden, obwohl keine gefallen sind. Weiterhin besitzt die Lichtschranke eine geringere Latenzzeit. Aufgrund dieser Ergebnisse stellt die Lichtschranke die zuverlässigere Methode für die Torerkennung dar.
Wie geht es jetzt weiter?
In meiner Zeit bei basecom während meiner Masterarbeit habe ich nicht nur fachlich profitiert, sondern wurde auch von einer engen Betreuung und einer transparenten Unternehmenskultur begleitet. Daher habe ich mich dazu entschieden, nach meinem Abschluss den Berufseinstieg bei basecom zu wählen. Aktuell befinde ich mich in der Business Unit Shopware als Junior Software Developer.
Wenn auch du Interesse daran hast, deine Bachelorarbeit bei basecom zu schreiben, dann informiere dich auf unserer Karriere Seite www.wirsprecheninter.net . Wir freuen uns auf deine Bewerbung!