Chiedi 12 citazioni, ne arrivano 43. Chi controlla?

Una redazione ha provato il nuovo modello di Anthropic controllando una cosa sola: se faceva quello che gli era stato chiesto. Mille parole richieste, 1.288 consegnate. Otto-dodici citazioni richieste, 43 restituite, e alcune non erano nel testo di partenza. Il guasto nuovo non è che si ferma troppo presto.

Il 1° settembre 2026 The Neuron ha messo in fila le prime prove sul campo di Claude Fable 5.1, il nuovo modello di Anthropic. In mezzo ai benchmark c'è il resoconto della redazione di Every, che ha controllato una cosa sola, cioè se il modello faceva quello che gli era stato chiesto. Mille parole richieste, 1.288 consegnate. Da tre a sei temi richiesti, otto prodotti. Chieste da otto a dodici citazioni, ne sono arrivate 43, e alcune non erano nel testo di partenza.

Quasi tutto il resto dell'articolo parla di intelligenza e di prezzi, poiché quel modello costa parecchio meno da tenere al lavoro a lungo e una singola sessione ha girato da sola per trentotto ore. Per chi manda avanti un'azienda la riga che cambia qualcosa è quell'elenco di eccessi, che descrive un guasto nuovo.

Il pregio spinto troppo in là

I risultati portati al lancio raccontano tutti la stessa qualità, ovvero la capacità di andare avanti da solo su lavori lunghi. Ramp dice di aver lasciato una sessione lavorare trentotto ore, correggere un errore in un risultato precedente, avviare sei esperimenti nella notte e tornare con i dati. Browserbase dichiara di aver chiuso l'82% dei suoi compiti più difficili contro il 57% della versione precedente. Millennium racconta di un crash che nessuno spiegava da quattro o cinque anni e che il modello ha diagnosticato.

Lo stesso motore, guardato dall'altro lato, produce gli eccessi. A sforzo massimo uno degli utenti citati ha visto sessioni andare avanti per un giorno intero, generare troppi sotto-agenti e in qualche caso continuare a lavorare dopo che lui le aveva interrotte.

Il consiglio che la redazione ne ricava ha una banalità utile: fissare un tetto prima di partire. Fino a un anno fa il guasto tipico era che lo strumento mollava a metà e ti lasciava lì. Adesso il guasto tipico è che ne fa troppo, e in qualche caso della cosa sbagliata.

Le 43 citazioni sono il problema serio

L'eccesso di quantità si vede a occhio, poiché le mille parole diventate 1.288 le conti. La citazione che nella fonte non c'era invece non si vede, dato che ha la forma giusta, sta fra virgolette e arriva in mezzo ad altre quarantadue che sono vere.

Il 6 settembre stavo preparando un corso e mi è capitata la versione precisa di questo problema. Avevo otto affermazioni già raccolte, ognuna con il suo link e la sua fonte primaria, e le ho fatte ricontrollare una per una con l'ordine esplicito di smentirle. Ne è rimasta in piedi una, sette erano imprecise e due non le ho portate in aula.

Nessuna era inventata, ed è questa la parte che conta: erano fatti veri raccontati male. Un test ancora in corso su una piattaforma pubblicitaria era diventato una funzione già rilasciata. Il nome di un modello che citavo era scaduto tre giorni prima, poiché quei nomi cambiano ogni quattro-otto settimane.

La domanda di controllo riguarda la frase che ci hai costruito sopra, non il fatto che una fonte esista. Una fonte aperta dimostra che il fatto esiste, e si ferma lì.

Tredici strumenti in quattro ore

L'eccesso non è una malattia delle macchine, e il caso più chiaro che ho sottomano è mio.

Il 3 settembre ho tenuto un workshop di quattro ore al marketing di un'azienda che gestisce piani di welfare per centinaia di aziende clienti. Il programma prevedeva due procedure da costruire insieme, il tono di voce e il formato del piano editoriale, e non ne è uscita nessuna delle due. Al loro posto sono passati tredici strumenti in quattro ore, a un reparto che oggi ne usa uno solo e condiviso, e il conto dei minuti dice più o meno il 94% io che spiego contro il 6% con le loro mani.

La parte istruttiva è che il freno era già scritto nel programma, in due punti diversi: dal minuto quaranta la tastiera è loro, e se mi accorgo che sto facendo vedere invece di far fare mi fermo. Un limite scritto nelle intenzioni non ha retto quattro ore, per cui serviva un vincolo materiale, tipo un timer o il mio schermo spento dopo l'apertura. Vale uguale per un assistente: chi ottiene qualcosa dagli agenti limita quello che possono fare da soli.

Dove il limite è scritto prima

In un costruttore di macchinari industriali dell'entroterra romagnolo, che esporta presse per la disidratazione meccanica, l'esercizio che abbiamo montato in aula riguarda i documenti di spedizione: da un ordine scansionato escono fattura, CMR e distinta dei colli, in italiano, inglese e russo.

La richiesta all'assistente non si ferma a «compilami i documenti», poiché dice tre cose in più, e sono tutte limiti. Le fonti ammesse sono tre e soltanto quelle, cioè l'ordine, un file con i dati della spedizione che compila l'operatore e un file coi dati fissi dell'azienda. Il lavoro si fa in due passaggi, dove il secondo serve unicamente a ricontrollare il primo riga per riga. La firma resta a una persona.

Il perimetro chiuso è la ragione per cui lì non è mai comparsa una quarantatreesima riga. Quando le fonti sono dichiarate, la casella che manca resta vuota e si vede, invece di riempirsi con qualcosa di verosimile.

L'onestà su questa storia

Ho letto l'articolo per intero, e va detto che è una rassegna: le prove della redazione di Every le riporta The Neuron, quindi ho letto quel resoconto e non i test originali.

Tre cautele sul merito. I risultati del lancio, comprese le trentotto ore e l'82%, li dichiarano le aziende che Anthropic ha scelto come partner per la presentazione, per cui valgono come racconto e non come misura fatta da qualcuno che non ha interessi in quel lancio. I risparmi sui costi sono stime del fornitore sul proprio listino.

E i comportamenti in eccesso arrivano dalle prove di una redazione su un modello uscito da pochi giorni, cioè da un campione piccolo che nessuno ha ancora replicato. Ciò che non dipende da quale modello hai in mano è l'unica parte su cui costruirei qualcosa, ovvero che il limite si scrive prima.

Cosa farei domattina

Prendi l'ultimo lavoro lungo che hai fatto fare a un assistente e riscrivi la richiesta aggiungendo tre righe: quante voci al massimo, quali fonti sono ammesse e nessun'altra, cosa deve fare quando i dati non bastano, ovvero fermarsi e chiedere. Poi il controllo, che dura due minuti: prendi tre citazioni a caso da quello che ti ha consegnato e cercale nel documento di partenza. Fra trenta giorni rifai la stessa prova sullo stesso tipo di lavoro. Se una delle tre non la trovi, il modello ha fatto il suo mestiere e il limite non gliel'ha scritto nessuno.

(Fonte: Grant Harvey, «Everything to know about Fable 5.1, Anthropic's new Claude model», The Neuron, 1 settembre 2026. I test citati sono della redazione di Every e i risultati di lancio sono dichiarati da Anthropic e dai suoi partner.)