Il materiale di addestramento è tutta la prima risposta
Un modello vocale impara guardando parlato registrato accanto al testo corretto. Più ne ha visto di una lingua, meglio la gestisce.
Quel materiale è distribuito in modo selvaggiamente disuguale. Per l’inglese esiste una quantità colossale di audio trascritto: trasmissioni, lezioni, sottotitoli, audiolibri, archivi pubblici. Una lingua con dieci milioni di parlanti e meno media digitalizzati ne ha una piccola frazione, e una lingua regionale può non averne quasi niente.
Il modello non sta dando un giudizio. Sta rispecchiando quello che gli è stato dato, e quello che gli è stato dato rispecchia quali lingue producano più audio trascritto, che è in gran parte una questione di popolazione e di quanta parte di internet avvenga in quella lingua.
È questa la ragione dello schema che la gente nota. Ed è anche il motivo per cui il divario si stringe lentamente invece di essere risolto da una versione nuova.
Non tutti i parlanti di una lingua sono rappresentati allo stesso modo
Dentro una singola lingua lo stesso problema si ripete su scala più piccola.
Il materiale di addestramento pende verso il parlato televisivo e radiofonico, che pende verso gli accenti standard, il parlato preparato e i registri colti. Gli accenti regionali, i dialetti, il parlato dei giovani, quello degli anziani e quello di chi parla una seconda lingua sono tutti presenti in quantità minori.
Quindi due persone che parlano la stessa lingua possono ottenere risultati sensibilmente diversi, e la differenza non ha niente a che vedere con quanto chiaramente ciascuna delle due parli. Riguarda quanto parlato somigliante al loro ci fosse nel mucchio.
Meglio saperlo prima di dare la colpa a sé stessi o al microfono.
Certe lingue sono più difficili per come sono fatte
Oltre alla quantità di dati, alcune proprietà rendono davvero più difficile il riconoscimento.
Le parole composte. Le lingue che incollano insieme le parole producono forme lunghissime che in qualunque insieme di addestramento compaiono di rado. Il tedesco e il neerlandese lo fanno di continuo, e un composto che il modello non ha mai visto va assemblato invece che riconosciuto.
La flessione ricca. Se un sostantivo ha quindici forme e un verbo quaranta, ogni singola forma compare meno spesso di quanto farebbe l’equivalente inglese. La stessa quantità di materiale si spalma più sottile.
Il tono. Nelle lingue tonali l’altezza cambia il significato invece dell’enfasi, e questo aggiunge una dimensione che il modello acustico deve azzeccare.
I sistemi di scrittura. Le lingue scritte senza spazi fra le parole costringono il sistema a decidere dove le parole comincino, che è un problema distinto dal sentirle. Le lingue con più alfabeti ne aggiungono un altro.
I prestiti e il passaggio da una lingua all’altra. In molte lingue il parlato di tutti i giorni è pieno di termini tecnici inglesi. Quel miscuglio è comune nella vita e raro nei dati di addestramento puliti.
Nessuna di queste cose è insormontabile, e tutte quante vogliono dire che una certa quantità di materiale compra meno precisione di quanta ne comprerebbe in una lingua più semplice.
Perché un modello multilingue è un compromesso
Quasi tutta la dettatura sul dispositivo usa ormai un modello solo che copre molte lingue invece di uno per lingua. Quella scelta ha conseguenze che conviene capire.
Il vantaggio è reale: un download solo, nessun pacchetto da gestire, e la capacità di ricavare dalla registrazione quale lingua stai parlando invece che da un menu. Per chi vive in due lingue è la differenza fra usare la dettatura e non usarla.
Il costo è che la capacità è condivisa. Un modello di una certa dimensione che copre diciotto lingue ne dedica a ciascuna meno di quanto faccia un modello della stessa dimensione che ne copre una. È lo scambio dietro all’osservazione che uno strumento dedicato a una lingua sola a volte faccia meglio sulla sua unica lingua.
C’è anche un beneficio che nessuno si aspetta. Le lingue imparentate possono aiutarsi a vicenda, perché gli schemi imparati da una si trasferiscono in parte all’altra. Una lingua più piccola che sta vicino a una parente ben servita spesso se la cava, dentro un modello multilingue, meglio di quanto il suo volume di dati farebbe pensare.
Cosa migliora davvero i tuoi risultati
Tre cose, in ordine di effetto, e tutte e tre sono tue e non nostre.
Parla in frasi complete. In una lingua servita male il contesto lavora di più, non di meno, perché le prove acustiche sono più deboli e le parole intorno devono reggere un peso maggiore.
Aggiungi il tuo vocabolario. I nomi propri sono il caso peggiore in ogni lingua e il caso migliore per un dizionario personale. LocalType tiene quelle aggiunte sull’apparecchio e le passa al modello vocale come contesto.
Usa un modello più grande, se il telefono lo regge. La capacità aiuta di più proprio dove la lingua è rappresentata poco, ed è il motivo per cui la differenza fra le taglie di modello si nota in certe lingue più che in inglese.
Ridurre il rumore di fondo aiuta anche lui, e aiuta più di quanto farebbe in una lingua che il modello conosce bene, visto che c’è meno ridondanza su cui ripiegare.
Cosa cambierà e cosa no
Cambierà: la quantità di materiale di addestramento disponibile, lentamente, man mano che si accumula audio trascritto in più lingue. Anche le architetture dei modelli continuano a diventare più efficienti, il che vuol dire che un modello di dimensioni da telefono rappresenta più di quanto rappresentasse.
Non cambierà: le proprietà strutturali. Una lingua con una flessione pesante spalmerà sempre il suo materiale più sottile di una senza. Le distinzioni tonali saranno sempre una dimensione in più.
Non cambierà in fretta: l’ordine. L’inglese non sta per smettere di essere la lingua meglio servita, e qualunque prodotto sostenga una precisione uniforme su cento lingue sta descrivendo un’intenzione.
Cosa vuol dire quando confronti i prodotti
I confronti scritti in inglese ti dicono pochissimo sulla tua lingua. Una recensione che loda la precisione sta descrivendo il caso meglio servito, e la classifica fra i prodotti può essere del tutto diversa in una lingua con meno materiale alle spalle.
Quindi provali nella lingua che userai davvero, sul tipo di frasi che scrivi davvero, invece di fidarti di un verdetto. Dieci minuti con il tuo parlato valgono più di qualunque confronto pubblicato, ed è l’unico modo per scoprire se un certo prodotto copra il tuo caso.
Lo stesso vale per il numero di lingue supportate su una pagina di prodotto. Supportare una lingua ed essere bravi in quella lingua sono due affermazioni diverse, e nel marketing compare soltanto la prima. Uno strumento che elenca cento lingue e uno che ne elenca diciotto possono essere ugualmente bravi con la tua, oppure no, e l’elenco non te lo dirà.
Come lo gestisce LocalType
Diciotto lingue con un modello multilingue solo, individuate dalla registrazione invece che da un menu, e tre taglie di modello, così puoi spendere la capacità dove ti serve.
La pagina delle lingue dice lo stesso: la precisione non è identica su quelle diciotto, perché non lo è il materiale di addestramento. Le lingue molto parlate ne escono meglio, e te ne accorgeresti comunque al terzo messaggio.
Tutto il resto dell’app non risente della lingua che parli. Il riconoscimento avviene sull’apparecchio a partire da un file di modello che nessun’altra app può aprire, la rete viene contattata una volta sola, per prendere il modello, non c’è nessun account, nessuna pubblicità, niente che registri il tuo uso, e nessun audio conservato.
Se la tua lingua è una delle diciotto e i risultati ti deludono, l’ordine in cui provare è quello qui sopra: frasi intere, il tuo vocabolario, poi un modello più grande. In una lingua servita poco quelle tre cose contano parecchio più di quanto contino in inglese.