Ein Modell, kein Dienst
Whisper ist ein Modell: eine große Datei, trainiert auf sehr viel aufgenommener Sprache, die aus Ton Text macht. Es kann viele Sprachen, und es wurde so veröffentlicht, dass seine Gewichte verfügbar sind, statt hinter einem Dienst eingeschlossen zu bleiben.
Diese letzte Einzelheit ist der Grund, warum es zählt. Vor Modellen dieser Art war ordentliche Spracherkennung etwas, das man mietete. Du hast Ton an eine Firma geschickt, die hat ihr Modell auf ihrer Hardware laufen lassen, und du hast Text zurückbekommen. Das Modell selbst gehörte dir nie.
Whisper hat es möglich gemacht, das Ding herunterzuladen, das die Arbeit macht, und es auf der eigenen Maschine laufen zu lassen.
Warum "du kannst es selbst laufen lassen" die große Änderung war
Daraus folgen zwei Dinge, und beide sind am Ende in der Tastatur auf deinem Telefon gelandet.
Dein Ton muss nicht mehr reisen. Liegt das Modell auf deinem Gerät, gibt es keinen Upload, keinen Server, der deine Stimme empfängt, und keine Kopie davon anderswo. Das ist keine Richtlinie und kein Versprechen. Es ist eine Beschreibung dessen, was die Software macht.
Es läuft ohne Verbindung weiter. Es wird nirgendwo etwas angefragt, ein Flug, ein Tunnel oder eine fremde SIM-Karte hören also auf, ein Problem zu sein.
Keines von beidem hat mit Genauigkeit zu tun. Es geht darum, wo gerechnet wird, und das stellte sich als die Eigenschaft heraus, die den Leuten wichtig war, sobald sie die Wahl hatten.
Es gibt Größen, und darin steckt der ganze Kompromiss
Whisper ist nicht eine Datei. Es existiert in mehreren Größen, von kleinen, die fast überall laufen, bis zu großen, die ernsthafte Hardware erwarten.
Größere Modelle kommen in der Regel besser mit Dialekt, Hintergrundgeräuschen, schnellem Sprechen und ungewöhnlichen Namen zurecht. Sie brauchen auch mehr Arbeitsspeicher, brauchen länger bis zum Ergebnis und belegen mehr Platz.
Dieser eine Kompromiss erklärt fast jeden Unterschied zwischen den Apps, die darauf aufbauen. Ein Werkzeug für den Rechner mit einer Grafikkarte kann etwas Großes laufen lassen. Eine Handy-App kann das nicht, sie nimmt also etwas Kleineres und nimmt die Folgen in Kauf. Wer Genauigkeitszahlen vom Rechner für ein Handy zitiert, vergleicht zwei verschiedene Modelle.
Whisper auf einem Handy
Es auf einem Gerät in der Hand laufen zu lassen ist nicht einfach eine Frage des Kopierens.
Ein Handy hat ein paar Gigabyte Arbeitsspeicher, geteilt mit jeder App, die du offen hast, keine aktive Kühlung und einen Akku, den es schützen will. Arbeit, die ein Laptop erledigt, ohne es zu merken, macht ein Handy warm und langsam.
Die meisten Umsetzungen fürs Handy bauen deshalb auf optimierten Neuimplementierungen auf statt auf dem ursprünglichen Forschungscode. Die bekannteste ist whisper.cpp, eine Fassung, die auf gewöhnlichen Prozessoren sparsam laufen soll, und genau das macht Mitschrift auf Hardware ohne nennenswerte Grafikkarte überhaupt praktikabel.
Das praktische Ergebnis auf einem Handy: ein kleineres Modell als das, das im Netz gelobt wird, eine kurze Wartezeit, nachdem du aufgehört hast zu reden, höchstens ein paar Hundert Megabyte Speicherplatz, und weniger Sprachen gut abgedeckt als bei einem Dienst auf Serverseite.
Was "offene Gewichte" wirklich heißt
Der Ausdruck wird locker benutzt, dabei ist er der ganze Grund, warum all das möglich ist.
Ein trainiertes Modell ist am Ende eine sehr große Sammlung von Zahlen. Diese Zahlen sind das Ergebnis des Trainings, und sie sind es, die erkennen. Sie freizugeben heißt, dass jeder diese Sammlung herunterladen und selbst laufen lassen kann.
Das ist etwas anderes als quelloffen im strengen Sinn. Quelloffen heißt üblicherweise, dass du den Code lesen kannst, aus dem eine Sache gebaut wird. Offene Gewichte heißt, dass du das fertige Werkstück bekommst. Du kannst es laufen lassen, vermessen, Produkte darauf bauen und es auf ein Handy legen, aber du kannst nicht ohne Weiteres sehen, wie es zu den Meinungen gekommen ist, die es hat, denn die sind aus dem Training entstanden und nicht aus Zeilen, die jemand geschrieben hat.
Für Benutzer ist die praktische Folge einfach. Ein Modell mit verfügbaren Gewichten lässt sich in eine App einbetten, die nie einen Server kontaktiert, und das ist es, was Diktieren ohne Verbindung auf einem Gerät in der Hand überhaupt erst möglich macht. Ohne das wäre jede Diktier-App zwangsläufig ein Kunde für irgendjemandes Dienst.
Warum es Satzzeichen anders löst, als du erwartest
Wer von älterer Diktiersoftware kommt, wird hiervon überrascht.
Herkömmliche Systeme erwarteten, dass du die Satzzeichen mitsprichst. "Komma". "Neuer Absatz". Neuere Modelle erschließen sie stattdessen meistens, aus dem Rhythmus deiner Sprache und der Form des Satzes, was sich viel natürlicher anfühlt und gelegentlich auf eine Weise falsch ist, wie es beim Mitsprechen nie vorkam.
Keiner der beiden Wege ist in jeder Lage besser. Erschlossene Satzzeichen passen zu Nachrichten und schnellen Antworten, wo es mehr Aufwand ist, "Punkt" zu sagen, als das Satzzeichen wert ist. Gesprochene Befehle passen zu langen gegliederten Dokumenten, wo du Kontrolle willst und ohnehin absichtlich diktierst.
Welchen Weg eine App geht, solltest du wissen, bevor du sie für ein falsches Komma verurteilst.
Was es nicht macht
Der Name wird an Dinge gehängt, die er nicht ist.
Es ist kein Assistent. Es beantwortet keine Fragen, fasst nichts zusammen und schreibt keinen Text für dich. Es schreibt mit: Klang hinein, Wörter heraus.
Es ist kein Aufnahmegerät und kein Transkriptionsdienst. Das sind Produkte, die um ein Modell herum gebaut werden und obendrauf Speicherung, Konten, Suche und Weitergabe legen.
Und es ist nicht automatisch privat. Ein Modell mit herunterladbaren Gewichten lässt sich auf einem Server genauso leicht laufen lassen wie auf deinem Gerät. Reichlich Cloud-Dienste benutzen offene Modelle. Die Eigenschaft, um die es beim Datenschutz geht, kommt daher, wo es läuft, und nicht daher, welches Modell es ist. Deshalb sagt "läuft mit Whisper" auf einer Produktseite für sich genommen gar nichts.
Wie sich das in den Apps zeigt, die du installieren kannst
Weil die Gewichte verfügbar sind, haben viele kleine Projekte darauf aufgebaut, und dadurch gibt es mehrere wirklich gute Android-Apps, die auf dem Gerät arbeiten. Manche sind quelloffen und kostenlos, mehrere können nur Englisch, und jede sucht sich ihren eigenen Punkt auf der Linie zwischen Größe und Tempo.
LocalType steht auf demselben Prinzip: Das Modell ist eine Datei auf deinem Handy, und dort passiert die Erkennung, ohne einen Weg in die Cloud. Es bringt drei Größen mit, damit du den Kompromiss selbst wählst, mit 60, 190 und 539 MB, deckt achtzehn Sprachen aus einem mehrsprachigen Modell ab und erschließt aus der Aufnahme, welche davon gerade gesprochen wird, statt es aus einem Menü zu erfahren. Um dem Ganzen eine Zahl zu geben: Auf einem Testgerät mit 4 GB Arbeitsspeicher machte die mittlere Größe aus 6,9 Sekunden Sprache in 4,1 Sekunden Text.
Die Grenzen von weiter oben gelten dafür vollständig. Seine Modelle sind kleiner als alles, was ein Server laufen ließe, die Genauigkeit ist über diese achtzehn Sprachen ungleich, weil das Trainingsmaterial ungleich ist, und ein lauter Raum bleibt ein lauter Raum.
Wenn du eine Sache mitnimmst
Die interessante Frage zu einer Diktier-App ist nicht, welches Modell sie benutzt. Sie lautet, wo dieses Modell läuft.
Dasselbe Modell auf einem Server: Dein Ton wird übertragen, es braucht eine Verbindung, und was möglich ist, hängt an fremder Hardware statt an deiner. Dasselbe Modell auf deinem Handy: Es wird nichts übertragen, es läuft im Flugmodus, und was möglich ist, hängt daran, was dein Gerät tragen kann.
Alles andere ist Beiwerk.