Die Erklärung ohne Werbesprache
KI auf dem Gerät heißt, dass das Modell lokal läuft. Die Datei, die die Arbeit macht, liegt im Speicher deines Handys, wird in seinen Arbeitsspeicher geladen und erzeugt ihr Ergebnis dort. Es wird nichts verschickt und auf nichts gewartet.
Die Alternative, und so läuft das meiste immer noch, sitzt auf der Serverseite. Dein Gerät packt die Eingabe zusammen, schickt sie über das Netz und zeigt an, was zurückkommt. Das Modell mag riesig sein und sich ständig verbessern, und du wirst es nie zu sehen bekommen.
Dieselbe Sorte Software, zwei Orte, an die man sie legen kann. Das ist der ganze Unterschied, und man sollte nüchtern darüber reden, denn das Wort KI trägt in den meisten Sätzen, in denen es vorkommt, sehr schwer.
Wo du sie längst benutzt hast
Vieles davon ist alt und wird gar nicht KI genannt.
Deine Kamera entscheidet, wo die Gesichter sind, bevor du auslöst. Deine Galerie gruppiert Bilder danach, wer darauf ist. Deine Tastatur sagt das nächste Wort aus den letzten paar voraus. Manche Handys schreiben Sprache ohne Verbindung mit, und manche übersetzen Text mit einem geladenen Sprachpaket.
Nichts davon fragt um Erlaubnis, etwas zu verschicken, und die meisten Leute haben sich nie gefragt, wo es läuft. Gebaut wurde es lokal, weil die Wartezeit zählte, oder weil es albern gewesen wäre, jedes Kamerabild hochzuladen.
Was dir das Laufen vor Ort bringt
Es funktioniert ohne Verbindung. Kein Empfang, Flugmodus, ein Keller, ein Land, in dem dein Datentarif nicht gilt. Wenn nichts angefragt wird, ist nichts davon ein Ereignis.
Es wird nichts übertragen. Bei allem Heiklen ist das die Eigenschaft, auf die es ankommt, und sie ist eine Tatsache über die Software statt ein Versprechen in einem Dokument. Es gibt keinen Upload abzufangen, keinen Server, der eine Kopie hält, und keine Aufbewahrungsfrist zum Nachlesen.
Die Wartezeit ist vorhersehbar. Ein Ergebnis vor Ort hängt an deiner Hardware. Ein Ergebnis aus der Ferne hängt an deiner Verbindung, an der Strecke zum Server und daran, wie beschäftigt der ist. Lokal ist nicht immer schneller, aber es ist gleichmäßig, und es scheitert nicht leise, wenn das Netz schlecht ist.
Oft kein Konto. Verarbeitung auf der Serverseite setzt meistens voraus, dass bekannt ist, wer da fragt. Verarbeitung vor Ort muss das nicht.
Was es kostet
Der Preis ist echt und verschwindet nicht mit einer besseren App.
Arbeitsspeicher und Speicherplatz. Das Modell muss aufs Gerät passen und während der Arbeit im Arbeitsspeicher gehalten werden. Auf einem Handy steht es dabei in Konkurrenz zu allem anderen, was du offen hast.
Leistungsfähigkeit. Ein Modell, das auf ein Gerät in der Hand passt, ist kleiner als eines auf einem Server mit besonderer Hardware, und das heißt meistens etwas weniger Genauigkeit, besonders bei schwierigen Eingaben wie starkem Dialekt oder lauten Aufnahmen.
Akku und Wärme. Echte Arbeit erzeugt Wärme, und ein Handy hat keinen Lüfter. Was länger läuft, muss sorgfältig entworfen sein, sonst wird das Gerät unangenehm in der Hand.
Aktualisieren. Ein Modell auf der Serverseite wird für alle auf einmal besser. Ein lokales wird besser, wenn du eine neue Fassung lädst.
Unterschiede zwischen Geräten. Ein Modell, das auf einem neueren Spitzengerät bequem läuft, kann sich auf einem fünf Jahre alten Handy quälen. Verarbeitung auf der Serverseite versteckt diesen Unterschied, Verarbeitung vor Ort legt ihn offen.
Warum es praktikabel wurde
An der Idee ist nichts neu. Software vor Ort laufen zu lassen war jahrzehntelang die Art, wie Rechnen funktionierte. Geändert hat sich, dass die nützlichen Modelle klein genug wurden, um zu passen.
Ungefähr gleichzeitig wurden die Bauformen der Modelle sparsamer, ein bestimmtes Maß an Können brauchte also weniger Zahlen, um ausgedrückt zu werden. Verfahren, ein trainiertes Modell zu verdichten, unter dem Sammelbegriff Quantisierung, erlaubten es, diese Zahlen mit weniger Genauigkeit und damit weniger Platz abzulegen, meistens gegen einen überschaubaren Verlust an Treffsicherheit. Und die Prozessoren in Handys bekamen eigene Bauteile für genau diese Art von Rechnerei.
Daneben wurden einige nützliche Modelle mit verfügbaren Gewichten veröffentlicht, und das hieß, dass Entwickler eine leistungsfähige Erkennung in eine App legen konnten, statt einen Kunden für fremde Dienste zu bauen.
Nichts davon hat Verarbeitung vor Ort in reiner Leistungsfähigkeit besser gemacht als die auf der Serverseite. Es hat sie gut genug gemacht für eine große Klasse alltäglicher Aufgaben, und das ist etwas anderes und Nützlicheres.
Wo es keinen Sinn ergibt
Das Muster wird auf Stellen angewandt, an die es nicht passt.
Alles, was Wissen über die Welt jenseits deines Geräts braucht, aktuelle Angaben, Daten anderer Leute, den Inhalt eines Dienstes, lässt sich vor Ort nicht beantworten, egal wie gut das Modell ist. Alles, was ein sehr großes Modell verlangt, wird auf einem Gerät in der Hand nicht in vertretbarer Zeit laufen. Und alles, was zwischen Menschen geteilt wird, ist eine Frage der Abstimmung und keine der Verarbeitung.
Der günstige Bereich für die Verarbeitung vor Ort ist eng und genau umrissen: eine begrenzte Aufgabe, auf Eingaben, die du ohnehin hast, wo die Wartezeit zählt oder die Eingabe heikel ist. Fotografie. Wortvorhersage. Übersetzung einer Seite, die vor dir liegt.
Und Diktieren, das zufällig alle drei zugleich ist.
Der eine Vorbehalt zum Datenschutz
Vor Ort heißt nicht automatisch privat.
Eine App kann ihr Modell lokal laufen lassen und trotzdem Nutzungsdaten verschicken, trotzdem ein Konto verlangen, ihre Daten trotzdem in eine Cloud sichern und das Ergebnis trotzdem hochladen, auch wenn die Verarbeitung auf dem Gerät passiert ist. "Das Modell läuft auf deinem Gerät" und "nichts über dich verlässt dein Gerät" sind zwei verschiedene Aussagen, und nur die zweite ist das, was die Leute üblicherweise meinen.
Die nützlichen Prüfungen betreffen deshalb das Verhalten und nicht die Bauweise. Fragt sie überhaupt nach Netzzugang? Läuft sie im Flugmodus? Überleben ihre Daten den Umzug auf ein neues Handy, und wenn ja, wo lagen sie dann?
Wie du prüfst, ob eine App es wirklich macht
Zwei Minuten, kein Fachwissen nötig.
Installier sie, lass alles laden, was sie beim ersten Start will, schalte dann mobile Daten und WLAN aus und benutze die Funktion. Läuft sie, läuft sie vor Ort. Bleibt sie hängen oder zeigt sie einen Verbindungsfehler, dann nicht.
Der Download beim ersten Start ist selbst ein gutes Zeichen: Ein Modell vor Ort muss irgendwie ankommen, eine App, die ein paar Hundert Megabyte holt und danach still wird, verhält sich also genau so, wie man es erwarten würde. Eine App, die nie etwas lädt und sofort antwortet, benutzt fremde Hardware.
Sprache ist das klarste Beispiel
Beim Diktieren spürt man den Kompromiss am leichtesten, und deshalb wird es meistens als Erstes aufs Gerät geholt.
Die Eingabe ist ihrer Natur nach privat, denn du sprichst Sätze, die du nicht unbedingt veröffentlichen würdest. Die Arbeit ist kurz und begrenzt, sie passt also zu einem Handy. Und wie die Fassung auf der Serverseite scheitert, ist offensichtlich: kein Empfang, kein Diktat.
LocalType ist dieses Beispiel in Produktform. Es ist eine Android-Tastatur, bei der das Sprachmodell auf dem Handy sitzt und dort erkennt, ohne einen Weg in die Cloud. Es bringt drei Modellgrößen mit, 60, 190 und 539 MB, die Abwägung zwischen Arbeitsspeicher und Genauigkeit liegt also bei dir und nicht bei uns. Die mittlere setzte auf einem Testgerät mit 4 GB Arbeitsspeicher 6,9 Sekunden Sprache in 4,1 Sekunden um, und nach so einer Zahl solltest du jede App, die vor Ort rechnet, nach ihrer eigenen fragen. Achtzehn Sprachen kommen aus einem einzigen mehrsprachigen Modell, und nach dem Netz fragt die App genau einmal, um das Modell zu holen, das du gewählt hast.
Jeder oben genannte Kostenpunkt gilt auch für sie. Sie belegt Speicherplatz, ihre Modelle sind kleiner als das, was ein Server laufen ließe, die Genauigkeit schwankt je nach Sprache, und ältere Handys wollen das kleinere Modell. Das sind keine Einschränkungen, die man ans Verkaufsargument geschraubt hat. Das ist, was Verarbeitung vor Ort bedeutet.