La definizione, senza il marketing
Sul dispositivo vuol dire che il modello gira in locale. Il file che fa il lavoro sta nella memoria di archiviazione del telefono, viene caricato nella sua memoria di lavoro, e lì produce il suo risultato. Non si manda niente e non si aspetta niente.
L’alternativa, che è ancora il modo in cui la maggior parte delle cose funziona, è il lato server. Il tuo apparecchio impacchetta l’ingresso, lo manda attraverso la rete, e mostra quello che torna indietro. Il modello può essere enorme e in costante miglioramento, e tu non lo vedrai mai.
Stessa categoria di software, due posti in cui metterlo. La distinzione è tutta qui. La sigla «IA» regge da sola il peso di quasi tutte le frasi in cui compare.
Dove l’hai già usata
Buona parte di questa roba è vecchia notizia e non viene nemmeno chiamata intelligenza artificiale.
La fotocamera decide dove sono le facce prima che tu prema il pulsante. La galleria raggruppa le foto in base a chi c’è dentro. La tastiera prevede la parola dopo a partire dalle ultime. Certi telefoni trascrivono il parlato senza connessione, e certi traducono il testo con un pacchetto linguistico scaricato.
Nessuna di queste cose chiede il permesso di mandare qualcosa, e quasi nessuno si è mai chiesto dove girino. Sono state costruite in locale perché la latenza contava, oppure perché caricare ogni fotogramma della fotocamera sarebbe stato assurdo.
Cosa ti compra il girare in locale
La connessione smette di essere una condizione. Zero tacche, l’aereo in volo, un garage interrato, un paese dove il tuo piano dati non copre niente: se non si chiede niente a nessuno, nessuna di quelle situazioni è un evento.
Non viene trasmesso niente. Per qualunque cosa delicata è questa la proprietà che conta, ed è un fatto che riguarda il software, non una promessa in un documento. Non c’è nessun caricamento da intercettare, nessun server che tiene una copia e nessuna politica di conservazione da leggere.
La latenza è prevedibile. Un risultato locale dipende dal tuo hardware. Uno remoto dipende dalla tua connessione, dalla distanza dal server e da quanto è occupato. Il locale non è sempre più veloce, ma è costante, e non fallisce in silenzio quando la rete è scarsa.
Spesso nessun account. Far fare il lavoro a un server porta quasi sempre con sé la necessità di identificare chi lo ha chiesto. Farlo in casa propria, no.
Cosa costa
Il prezzo è reale e non sparisce con un’app migliore.
Memoria e spazio. Il modello deve entrare nell’apparecchio ed essere tenuto in memoria mentre gira. Su un telefono, tutto questo se la vede con qualunque altra cosa tu abbia aperto.
Capacità. Un modello che sta dentro un apparecchio tascabile è più piccolo di uno che gira su un server con hardware specializzato, e in genere la differenza si vede come qualche errore in più, soprattutto sugli ingressi difficili: un accento marcato, una registrazione piena di rumore.
Batteria e calore. Il lavoro vero genera calore, e un telefono non ha ventole. Qualunque cosa duri a lungo va progettata con attenzione, altrimenti diventa sgradevole da tenere in mano.
Aggiornamenti. Un modello lato server migliora per tutti nello stesso momento. Uno locale migliora quando scarichi una versione nuova.
Differenze fra apparecchi. Un modello che gira comodo su un telefono di punta recente può arrancare su uno di cinque anni fa. L’elaborazione lato server nasconde quella differenza; quella in locale la mette in mostra.
Perché è diventata praticabile
Nell’idea non c’è niente di nuovo. Far girare i programmi in locale è il modo in cui l’informatica ha funzionato per decenni. Quello che è cambiato è che i modelli utili sono diventati abbastanza piccoli da starci dentro.
Più o meno insieme, le architetture dei modelli sono diventate più efficienti, quindi un certo livello di capacità ha avuto bisogno di meno numeri per essere espresso. Le tecniche per comprimere un modello addestrato, note in generale come quantizzazione, hanno permesso di conservare quei numeri con meno precisione e quindi meno spazio, di solito a un costo modesto in accuratezza. E i processori dei telefoni hanno guadagnato hardware dedicato esattamente a questo tipo di aritmetica.
Accanto a tutto questo, alcuni modelli utili sono stati pubblicati con i pesi disponibili, il che ha permesso agli sviluppatori di mettere dentro un’app un sistema di riconoscimento capace, invece di costruire il cliente del servizio di qualcun altro.
Niente di tutto ciò ha reso l’elaborazione locale migliore di quella lato server sulla capacità pura. L’ha resa abbastanza buona per una classe ampia di compiti quotidiani, che è una cosa diversa e più utile.
Dove non ha senso
Lo schema viene applicato a posti in cui non ci sta.
Qualunque cosa richieda una conoscenza del mondo fuori dal tuo apparecchio, informazioni aggiornate, i dati di altre persone, il contenuto di un servizio, non può ricevere risposta in locale per quanto buono sia il modello. Qualunque cosa richieda un modello molto grande non girerà su un apparecchio tascabile in un tempo ragionevole. E qualunque cosa sia condivisa fra persone è un problema di coordinamento, non di elaborazione.
Il punto giusto per il locale è stretto e preciso: un compito delimitato, su ingressi che hai già, dove la latenza conta oppure l’ingresso è delicato. La fotografia. La previsione del testo. La traduzione di una pagina che hai davanti.
E la dettatura, che per caso è tutte e tre le cose insieme.
L’unica avvertenza sulla riservatezza
Sul dispositivo non vuol dire automaticamente riservato.
Un’app può far girare il suo modello in locale e comunque mandare statistiche d’uso, comunque richiedere un account, comunque copiare i suoi dati in un cloud, e comunque caricare il risultato anche se l’elaborazione è avvenuta sull’apparecchio. «Il modello gira sul tuo dispositivo» e «niente che ti riguardi lascia il tuo dispositivo» sono due affermazioni diverse, e solo la seconda è quella che la gente intende di solito.
Quindi le verifiche utili riguardano il comportamento, non l’architettura. Chiede l’accesso alla rete, in qualunque momento? Funziona in modalità aereo? I suoi dati sopravvivono a un trasloco su un telefono nuovo, e se sì, dove erano tenuti?
Come capire se un’app lo fa davvero
Due minuti, senza bisogno di competenze.
Installala. Lasciale scaricare quello che vuole scaricare al primo avvio. Poi taglia la rete, sia i dati sia il Wi-Fi, e prova la funzione. Se risponde, sta lavorando in casa. Se si inchioda o parla di connessione, no.
Lo scaricamento del primo avvio è già di per sé un buon segno: un modello locale in qualche modo deve arrivare, quindi un’app che va a prendere qualche centinaio di megabyte e poi tace si sta comportando esattamente come ti aspetteresti. Se invece non scarica mai niente e risponde di colpo, il lavoro lo sta facendo la macchina di qualcun altro.
Il parlato è l’esempio più chiaro
La dettatura è il posto in cui il compromesso si sente meglio, ed è per questo che tende a essere la prima cosa che la gente sposta sul dispositivo.
L’ingresso è riservato per sua natura, visto che stai pronunciando frasi che non pubblicheresti per forza. Il lavoro è breve e delimitato, quindi si addice a un telefono. E il modo in cui fallisce la versione lato server è evidente: niente segnale, niente dettatura.
LocalType è quell’esempio in forma di prodotto. È una tastiera Android in cui il modello vocale sta sul telefono e il riconoscimento avviene lì, senza nessuna strada verso il cloud dentro l’app. I modelli disponibili sono tre: 60 MB, 190 MB e 539 MB, e sei tu a decidere dove metterti fra la memoria e la precisione. Il numero da chiedere a qualsiasi app che dica di girare sul dispositivo è quello del tempo: su un telefono di prova con 4 GB di memoria, il modello intermedio ha messo per iscritto in 4,1 secondi i 6,9 secondi che aveva ascoltato. Riconosce diciotto lingue, tutte dentro un modello multilingue unico. Non chiede nessun account, e la rete viene interpellata una volta e basta, per andare a prendere il modello che hai scelto.
Ogni costo elencato sopra vale per lui. Occupa spazio, i suoi modelli sono più piccoli di quelli che farebbe girare un server, la precisione varia da lingua a lingua, e i telefoni più vecchi vogliono il modello piccolo. Non sono avvertenze imbullonate al discorso di vendita. Sono il significato di girare sul dispositivo.