Come un motore generativo costruisce una risposta

La distinzione da fare prima di tutte le altre è se il sistema, per quella domanda, è andato a leggere qualcosa o no. Un modello può rispondere solo con quello che ha assorbito in addestramento: in quel caso non c'è nessun documento coinvolto nel momento della risposta, e quindi non c'è niente da citare. Oppure può recuperare pagine dal web e costruire la risposta su quelle: solo in questo secondo caso esiste una fonte, e solo qui puoi comparire come fonte.

È una differenza che cambia completamente cosa puoi fare. Nel primo caso il tuo brand compare o non compare in base a quanto è presente nei dati di addestramento, che è un insieme chiuso e vecchio di mesi o anni. Nel secondo caso compare in base a cosa era recuperabile e sceglibile in quel momento, che è un insieme su cui puoi lavorare adesso.

Nella pratica i motori decidono da soli quale delle due strade prendere, domanda per domanda. Una richiesta su un concetto generale spesso non attiva il recupero; una richiesta su un fornitore, un prezzo, una novità o un confronto quasi sempre sì. Questo spiega un'osservazione che confonde molti: la stessa azienda compare per certe domande e sparisce per altre senza una logica apparente. La logica c'è, e sta a monte della visibilità.

Quando il recupero si attiva, la catena è composta da passaggi distinti che filtrano su criteri diversi. Vale conoscerli separatamente, perché fallire al secondo è un problema diverso da fallire al quarto, e si correggono con lavori che non hanno niente in comune.

Perché una risposta deve stare in poche righe, e un sistema che deve produrla non ha bisogno della tua pagina intera: ha bisogno del pezzo che risponde. Quindi i documenti vengono spezzati in porzioni e sono le porzioni a essere valutate e usate.

La conseguenza è la più controintuitiva di tutto l'argomento: non competi con la tua pagina, competi con i tuoi paragrafi. Una pagina eccellente nel complesso, in cui la risposta a una domanda specifica è distribuita su tre sezioni distanti, ha meno probabilità di essere usata di una pagina mediocre in cui quella risposta sta compatta in cinque righe.

Da qui una regola di scrittura che sembra stilistica e invece è strutturale: ogni passaggio che contiene un'informazione utile deve poter essere letto da solo. Se per capirlo serve il paragrafo precedente, la porzione estratta arriverà mutilata, e un sistema che verifica se il testo sostiene l'affermazione tenderà a scartarla.

Vale anche al contrario, come diagnosi. Se ti accorgi di essere citato spesso su un tema e mai su un altro che tratti nella stessa pagina, molto probabilmente il secondo tema è scritto in modo che non sopravvive al taglio.

Perché la citazione è una decisione separata, presa dopo. Il sistema può avere letto la tua pagina, averla usata per formarsi la risposta, e poi nominare qualcun altro. Non è un malfunzionamento: la scelta di chi citare premia criteri diversi da quelli del recupero, e tende verso le fonti più specifiche, più attribuibili e più corroborate da altre.

Questa è la ragione per cui la misurazione va fatta su due colonne separate. Registrare solo se il brand compare nella risposta lascia indistinguibili due situazioni opposte: non essere stato letto, e essere stato letto e scartato in fase di citazione. La prima è un problema di accessibilità o di esistenza del contenuto; la seconda è un problema di specificità e autorevolezza. Trattarle nello stesso modo porta a spendere sul lato sbagliato.

Il segnale operativo più utile che ho trovato è questo: se una tua pagina compare tra le fonti recuperate ma il tuo nome non compare nel testo della risposta, il contenuto c'è e non è abbastanza attribuibile. Spesso significa che dice cose vere e generiche, che il sistema può prendere senza dover dire da chi le ha prese. Un dato che solo tu hai, o un'affermazione che ha senso solo se attribuita, cambia quel comportamento.

Alto, e in un modo che penalizza chi è solo. Quando più documenti indipendenti dicono la stessa cosa, la verifica passa più facilmente e l'affermazione entra nella risposta con più confidenza. Quando una cosa la dice solo il sito dell'azienda interessata, il sistema ha davanti un'affermazione non corroborata fatta da una parte in causa.

Non significa che venga scartata. Significa che pesa meno, e che nei casi in cui il sistema deve scegliere poche fonti tende a preferire quelle che si confermano a vicenda. È il motivo per cui la presenza in fonti terze produce effetti che nessuna quantità di lavoro sul proprio sito replica: non è una questione di link, è che la stessa affermazione esiste in due posti che non si controllano tra loro.

C'è anche il rovescio scomodo. Se una tua informazione superata è ripetuta su più fonti esterne e quella corretta esiste solo sul tuo sito, la versione sbagliata è la più corroborata delle due, e vincerà. Sistemare le fonti esterne non è una cortesia, è manutenzione.

Su tre delle cinque fasi in modo diretto, sulle altre due solo indirettamente. Sapere quale è quale è ciò che distingue un piano da una lista di buoni propositi.

Va detto, perché su questo argomento circola molta sicurezza non guadagnata. L'esistenza delle fasi e il fatto che alcuni sistemi ancorino la risposta a documenti recuperati e restituiscano riferimenti sono documentati dai fornitori. Il modo esatto in cui ciascuno seleziona, pesa e ordina le fonti non lo è: sono sistemi proprietari, e nessuno pubblica il criterio.

Quindi il livello di certezza è diverso per affermazione. Che il recupero avvenga a livello di porzioni e non di documenti interi è coerente con tutto il comportamento osservabile e con il modo in cui questi sistemi sono costruiti, ma non è un numero pubblicato. Che la citazione sia una decisione distinta dal recupero si osserva direttamente, perché capita di vedere una fonte usata e non nominata.

La regola che seguo è di trattare il meccanismo come un modello utile, non come una specifica. Serve a scegliere dove intervenire e a non confondere due problemi diversi. Non serve a promettere un risultato, e chi lo usa per promettere sta descrivendo un sistema di cui non ha la documentazione.