Die naheliegende Architektur für KI-Funktionen ist die Cloud: Bild hochladen, auf einem großen Server rechnen, Ergebnis zurückschicken. Wir machen es meistens anders. Unsere Modelle laufen auf dem Gerät, auf dem die Kamera sitzt: im Launch Monitor und im Coach von DeepSwing genauso wie im Babyphone Pevu. Hier ist, warum, was es dafür braucht und wann wir trotzdem in die Cloud gehen.

Latenz: Physik schlägt Bandbreite

Ein Launch Monitor muss den Ball in den Hundertstelsekunden nach dem Treffer vermessen. Ein Video mit 240 Bildern pro Sekunde in die Cloud zu schicken, dort zu rechnen und auf die Antwort zu warten, dauert länger als der ganze Schlag. Auf der Neural Engine eines iPhones rechnet das Modell dort, wo die Bilder entstehen. Das Ergebnis steht, bevor der Ball gelandet ist. Wie die Messkette im Detail funktioniert, steht in Launch Monitor ohne Radar.

Kosten: keine Rechnung pro Anfrage

Jeder Cloud-Aufruf kostet Geld. Bei einer App, die jeden Schlag, jeden Schwung oder jede Sekunde Video analysiert, wächst die Serverrechnung mit jedem Nutzer. Auf dem Gerät bezahlt der Nutzer die Rechenleistung bereits mit seinem Smartphone. Für uns heißt das: Das Produkt skaliert ohne steigende Infrastrukturkosten.

Datenschutz: Daten, die nie gesendet werden, können nicht verloren gehen

Bei Pevu, unserem Babyphone, war das die zentrale Entscheidung. Bild und Ton gehen direkt von Gerät zu Gerät, verschlüsselt mit DTLS und SRTP, ohne STUN- oder TURN-Server. Geräusch- und Bewegungserkennung laufen auf dem Babygerät. Es gibt keinen Server, der etwas sehen könnte, und kein Konto, das gehackt werden könnte.

Pevu Elterngerät: verbunden, beim Baby ist es ruhig, mit Geräuschverlauf der letzten 30 Sekunden und Geräuschalarm
Pevu: Bild und Ton bleiben im eigenen WLAN, die Erkennung läuft auf dem Babygerät.

Bei DeepSwing gilt dasselbe für die Analyse: Schwungvideos verlassen das Smartphone dafür nicht. Hochgeladen wird nur, was jemand bewusst in der Community teilt. Wie die Schwunganalyse auf dem Gerät funktioniert, steht in Golfschwung mit dem Handy analysieren.

Ausfallsicherheit: funktioniert auch im Keller

Golf-Ranges haben oft schlechten Empfang, Simulatoren stehen im Keller, Babyphones laufen im Hotel. On-Device-KI braucht dafür kein Netz. Pevu funktioniert sogar ganz ohne Internet: Ein Router ohne Internetzugang reicht, unterwegs baut eines der Geräte ein eigenes Netz auf. Und die Platzkarte im Golfplatz-GPS wird aus einem Kurspaket auf dem Handy gezeichnet, sie läuft also auch dort, wo auf dem Platz kein Empfang ist.

Was es dafür braucht

On-Device ist kein Schalter, den man umlegt. Es braucht Modelle, die klein genug sind und trotzdem genau. Unser Weg:

  1. Die richtige Architektur wählen. Für Echtzeit-Detektion nutzen wir kompakte Detektoren aus der YOLO-Familie, für Bewegung Pose-Modelle, für Flächen Segmentierung.
  2. Für die Zielhardware optimieren. Core ML und die Neural Engine auf Apple-Geräten, LiteRT und die NPU auf Android, Quantisierung, wo sie keine Genauigkeit kostet.
  3. Gegen eine Referenz messen. Unser Launch Monitor wurde gegen ein Radargerät verglichen, mit 0 bis 2 Prozent Carry-Abweichung. Die Platz-KI wurde auf Plätzen gemessen, die sie nie gesehen hat.
  4. Testen wie Infrastruktur. Pevu hat über 900 automatisierte Tests und einen manuellen Plan über zwölf Gerätekombinationen.
On-Device Cloud
Latenz Millisekunden, ohne Netz abhängig von Verbindung und Server
Kosten pro Analyse keine laufenden Serverkosten wächst mit jeder Anfrage
Datenschutz Daten bleiben auf dem Gerät Daten verlassen das Gerät
Modellgröße muss aufs Gerät passen fast unbegrenzt
Updates mit dem App-Update sofort auf dem Server

Und wann ist die Cloud richtig?

Wenn die Datenmenge riesig ist und das Ergebnis klein. Unsere Platz-KI rechnet nicht auf dem Handy: Die Segmentierung von Luftbildern für zehntausende Golfplätze läuft als Batch auf unseren Rechnern. Auf dem Gerät landet nur das Ergebnis, ein Kurspaket von rund 30 bis 210 Kilobyte. Wie das funktioniert, steht in Platz-KI: Wie wir Golfplätze aus Luftbildern kartieren. Training gehört ohnehin auf große Hardware.

Die Regel, nach der wir entscheiden: Gerechnet wird dort, wo die Daten entstehen, außer es gibt einen sehr guten Grund dagegen. Mehr dazu auf unserer Seite zu Edge AI und On-Device-KI.

Häufige Fragen

Was ist On-Device-KI?

KI, die direkt auf dem Gerät rechnet, auf dem die Daten entstehen, etwa auf dem Smartphone mit Kamera. Bilder und Töne müssen dafür nicht an einen Server geschickt werden.

Ist On-Device-KI so genau wie Cloud-KI?

Für klar umrissene Aufgaben wie Objekterkennung, Pose-Erkennung oder Segmentierung ja, wenn die Modelle für die Hardware optimiert und gegen eine Referenz gemessen werden. Unser Launch Monitor liegt beim Carry 0 bis 2 Prozent neben einem Radargerät.

Welche Hardware nutzt ihr?

Core ML und die Neural Engine auf iPhone, iPad und Apple Watch, LiteRT und die NPU auf Android, dazu Edge-Boards mit eigener Beschleunigung.

Braucht Pevu Internet?

Nein. Ein WLAN-Router ohne Internetzugang reicht, unterwegs baut eines der Geräte ein eigenes Netz auf.

Wenn Sie eine Kamera, einen Sensor oder ein Gerät haben, das in Echtzeit etwas erkennen soll, lassen Sie uns reden.