Kamerabasierte Gamesteuerung
Skelett-Tracking für bis zu 8 Personen gleichzeitig, in Echtzeit und ausschliesslich auf der CPU.
- Human Interfaces
Anforderungen
Als Einstieg in Fitnessgames mit mehreren Personen sollte eine innovative Game-Steuerung entwickelt werden - mit möglichst wenig zusätzlicher Hardware. Das Zielpublikum sind Schulklassen.
Per Skelett-Tracking (Pose Estimation) sollten alle Gelenke sowie Hände, Füsse und der Kopf für mehrere Personen gleichzeitig erkannt werden.
Die Latenz musste möglichst klein sein, und es durfte nur die CPU verwendet werden, da die GPU für die Games benötigt wurde.
Unser Vorgehen
Windows-Bibliothek (DLL), geschrieben in C++, mit einem AI-Modell, das auf ein CPU-optimiertes Framework portiert wurde.
Die Bibliothek benötigt als Input nur den Kamera-Port und gibt die Gelenkpositionen im 3D-Raum zurück, wobei die Tiefe per AI-Modell geschätzt wird.
Die Bilder der Kamera werden in Echtzeit mit bis zu 60 fps verarbeitet; 8 Personen können gleichzeitig getrackt werden.
Was dabei herauskam
Sphery konnte die Bibliothek in ihre Gameentwicklung einbinden, ohne dafür spezielles Know-how aufbauen zu müssen.
Die Entwicklungszeit war nur 2 Monate - zum Schulbeginn konnte das neue Setup der ersten Klasse übergeben werden.
Sphery AG
Sphery entwickelt motivierende Games und Hardware für ganzheitliche Trainingserlebnisse: physische, kognitive und mentale Fitness durch immersive Spielszenarien. Maximaler Trainingseffekt trifft auf ultimativen Motivationsbooster.
Weitere Projekte
Erzähl uns, was du vorhast.
Eine Idee im Kopf? Oder noch unsicher, welcher technische Weg der richtige ist? Gemeinsam prüfen wir, welche Architektur, welche Komponenten und welcher Zeitplan zu deinem Vorhaben passen und wie der nächste Schritt aussieht.
Online per Videomeeting oder live in Zürich
Sparring-Termin anfragen