← Alle ReferenzenComputer Vision & Software

Kamerabasierte Gamesteuerung

Skelett-Tracking für bis zu 8 Personen gleichzeitig, in Echtzeit und ausschliesslich auf der CPU.

KundeSphery AG

LeistungenC++ Bibliothek · Pose Estimation · CPU-Optimierung · Echtzeitverarbeitung

Themen

Human Interfaces

Ausgangslage

Challenges

Als Einstieg in Fitnessgames mit mehreren Personen sollte eine innovative Game-Steuerung entwickelt werden - mit möglichst wenig zusätzlicher Hardware. Das Zielpublikum sind Schulklassen.

Per Skelett-Tracking (Pose Estimation) sollten alle Gelenke sowie Hände, Füsse und der Kopf für mehrere Personen gleichzeitig erkannt werden.

Die Latenz musste möglichst klein sein, und es durfte nur die CPU verwendet werden, da die GPU für die Games benötigt wurde.

Lösung

Unser Vorgehen

Windows-Bibliothek (DLL), geschrieben in C++, mit einem AI-Modell, das auf ein CPU-optimiertes Framework portiert wurde.
Die Bibliothek benötigt als Input nur den Kamera-Port und gibt die Gelenkpositionen im 3D-Raum zurück, wobei die Tiefe per AI-Modell geschätzt wird.
Die Bilder der Kamera werden in Echtzeit mit bis zu 60 fps verarbeitet; 8 Personen können gleichzeitig getrackt werden.

Ergebnis

Was dabei herauskam

Sphery konnte die Bibliothek in ihre Gameentwicklung einbinden, ohne dafür spezielles Know-how aufbauen zu müssen.
Die Entwicklungszeit war nur 2 Monate - zum Schulbeginn konnte das neue Setup der ersten Klasse übergeben werden.

Kunde

Sphery AG

Sphery entwickelt motivierende Games und Hardware für ganzheitliche Trainingserlebnisse: physische, kognitive und mentale Fitness durch immersive Spielszenarien. Maximaler Trainingseffekt trifft auf ultimativen Motivationsbooster.

Weitere Projekte

Elektrische Antriebe & RegelungssoftwareElektrische FitnessgeräteElektrische Gewichte, die die applizierte Kraft in jedem Winkel präzise anpassen - statt Stahlplatten gegen die Gravitation.Fehleranalyse & RetrofitMobiler ServiceliftZufällige Ausfälle der Motorsteuerungen auf ihre Kernursache zurückgeführt - rückgespeiste Energie beim Notablass - und mit einem Bremschopper-Retrofit im Feld behoben.MedizinelektronikVitalscannerKompaktes EKG-Gerät mit zwei statt drei Elektroden, 1'067 Hz Abtastrate und 0.7 µA Stromaufnahme im Standby.Antriebstechnik & Maschinenbau4-Achsen-Linearsystem mit 15'000 NKomplette Neuentwicklung einer bestehenden Maschine auf Basis der X1-Steuerung - Maschinenbau und Elektrotechnik aus einer Hand.Antriebstechnik & AutomationUntergrundinspektionAutomatisiertes Windensystem, das den Schlupf des Seils misst und herausrechnet - für Sonden bis 300 m tief im Kanal.Zutrittssystem & PaymentAkrodyn SunControlAlterskontrolle, Ausweisprüfung und Bezahlung für unbediente Solarien - als Retrofit für bis zu 30 Jahre alte Anlagen.Antriebstechnik & LeistungselektronikEtherCAT Motor ControllerMassgeschneiderte Motorsteuerung auf Akrodyn-Basis mit EtherCAT, Safety PLe und Zertifizierung nach CE, UL und CSA für den globalen Einsatz in Industriemaschinen.Antriebstechnik & Embedded-FirmwareMotorcontroller für RobotikaktuatorenKompakte, kreisrunde Motorcontroller-PCBs mit Field Oriented Control und CAN-FD für eine Reihe dynamischer Robotikaktuatoren in drei Bauformen, inkl. vollständiger CAN-Protokolldokumentation und End-of-Line-Testplan.

Technik-Sparring

Du hast eine Idee oder ein Projekt? Lass uns loslegen.

Eine Stunde, kostenlos, per Video oder bei uns in Zürich. Wir schauen uns an, wo die technischen Risiken liegen, was sich abkürzen lässt und was der nächste sinnvolle Schritt wäre. Kein Pitch, keine Präsentation. Du gehst mit mehr Klarheit raus, als du reingekommen bist — auch wenn wir danach nicht zusammenarbeiten.

Technik-Sparring buchen

Oder direkt: info@akrodyn.com · +41 44 599 20 60

Du sprichst direkt mit dem Ingenieur, der danach an deinem Projekt arbeitet.