Come si misura la visibilità su un motore generativo

Perché un modello generativo campiona. A parità di input la formulazione cambia, e quando il sistema recupera documenti dal web anche l'insieme dei documenti recuperati può cambiare: dipende dall'indice in quel momento, dalla riscrittura interna della query, dal mercato da cui arriva la richiesta. Aggiungi la personalizzazione, la cronologia dell'account e la memoria, e due persone che scrivono la stessa frase possono leggere due risposte diverse.

Questa è la ragione per cui uno screenshot non è una misurazione. Uno screenshot dimostra che una risposta è esistita una volta, per qualcuno, in condizioni non dichiarate. Non dice quanto sia probabile che si ripeta, e non è confrontabile con niente.

La variabilità non rende però la misurazione impossibile. Rende impossibile la misurazione puntuale. Quello che resta misurabile è la frequenza: su venti esecuzioni della stessa domanda, quante volte il brand compare. È un numero che si può ripetere, confrontare e discutere.

Quattro cose, e conviene tenerle separate perché rispondono a domande diverse e si correggono con lavori diversi.

Non con le keyword. Le keyword sono frammenti; qui servono domande complete, scritte come le scriverebbe una persona che sta decidendo. La differenza pratica è che una keyword produce una risposta generica, mentre una domanda con contesto produce la risposta che il cliente vedrà davvero.

Il set va costruito per intento, coprendo l'intero percorso decisionale. Scoperta: chi risolve questo problema. Confronto: quale tra questi due. Selezione fornitore: a chi mi rivolgo se ho questo vincolo. Obiezione: quali sono i limiti di questo approccio. Verifica: questa azienda è affidabile. Ogni intento produce risposte strutturalmente diverse, e un set che copre solo la scoperta racconta un quinto della storia.

Poi vanno dichiarati mercato e lingua, perché sono variabili che cambiano il risultato più di quasi tutto il resto. La stessa domanda in italiano e in inglese non recupera le stesse fonti. Misurare in inglese un business che vende in Italia produce un numero elegante e inutile.

La dimensione ragionevole per una prima baseline sta tra le quaranta e le sessanta domande. Sotto le venti il campione è troppo piccolo per distinguere un segnale da un caso. Sopra il centinaio il costo di ri-misurazione diventa il motivo per cui la baseline non verrà mai ripetuta, ed è l'errore più costoso di tutti.

Più di una, e sempre lo stesso numero per tutte. Un'esecuzione singola registra un campione di un processo stocastico e lo tratta come un fatto. Ripetendo la stessa domanda si ottiene invece una frequenza, che è l'unico numero che regge un confronto nel tempo.

Con cinque esecuzioni per domanda si distingue già un comportamento stabile (compare cinque volte su cinque, o zero volte su cinque) da uno instabile. Con dieci si iniziano a leggere le fasce intermedie con qualche fiducia. La scelta non è una legge statistica, è un compromesso dichiarato tra costo e risoluzione, e va scritta nel report insieme al numero.

Le esecuzioni vanno fatte in sessioni pulite: nessuna cronologia, nessuna memoria attiva, nessun profilo collegato, nessuna domanda precedente nello stesso thread. Non perché sia la condizione dell'utente reale, che è personalizzata, ma perché è l'unica condizione riproducibile. Una misurazione dentro un account con tre anni di cronologia misura l'account, non il brand.

Il minimo per rendere la riga ricostruibile da un'altra persona sei mesi dopo. Se un campo manca, quella riga non è confrontabile e va scartata invece che interpretata.

Tenendo fisse tutte le variabili tranne il tempo. Stesse domande parola per parola, stesso numero di esecuzioni, stessi motori, stesso mercato, stessa lingua, stesse condizioni di sessione. Se cambi anche solo la formulazione di una domanda, quella riga esce dal confronto: non è un dato peggiore, è un dato diverso.

Il confronto restituisce tre categorie, e conviene comunicarle separatamente invece di comprimerle in un indice unico. Guadagni: domande dove prima non comparivi e ora compari. Perdite: il contrario, e vanno guardate per prime perché spesso segnalano un problema tecnico più che competitivo. Nuovi ingressi: competitor che prima non c'erano e ora occupano lo spazio.

Sul rapporto tra intervento e risultato serve onestà. Tra una baseline e una ri-misurazione cambiano molte cose che non controlli: i modelli vengono aggiornati, gli indici si muovono, i competitor pubblicano. Il confronto mostra che la posizione osservata si è spostata, nella direzione attesa o no. Non dimostra che si è spostata a causa tua. Chi presenta il secondo come dimostrato sta esagerando, e prima o poi qualcuno lo verifica.

Questa è la domanda che manca in quasi tutti i report, incluso il modo in cui l'avevo scritta io fin qui. Dire di confrontare guadagni e perdite serve a poco se non si dichiara quale ampiezza si considera un segnale, perché senza quella soglia ogni oscillazione diventa una storia.

Il punto di partenza è aritmetico. Con cinque esecuzioni per domanda la risoluzione è di un quinto: il cambiamento più piccolo osservabile su quella domanda è di venti punti. Quindi passare da due su cinque a tre su cinque è una singola esecuzione andata diversamente, cioè esattamente l'ampiezza del rumore che il metodo dà per assunta. Trattarlo come un miglioramento è leggere l'errore di misura.

Da qui due regole che uso, e che vanno fissate prima di guardare i dati e non dopo. A livello di singola domanda leggo solo i movimenti che toccano gli estremi: da zero su cinque a tre o più, o il contrario. Sono i soli abbastanza ampi da non essere spiegabili con una esecuzione. A livello di set guardo invece l'aggregato, dove il rumore delle singole domande si compensa in parte, e dove un movimento di pochi punti percentuali su quaranta domande è più affidabile di un movimento vistoso su una.

La ragione per cui la soglia va dichiarata prima è meno tecnica e più scomoda: decidere cosa conta dopo aver visto i numeri è il modo in cui si trova sempre quello che si spera di trovare. Scriverla nel protocollo prima del primo ciclo costa niente e rende il secondo ciclo discutibile da chiunque.

Una domanda che oscilla tra due su cinque e tre su cinque a ogni rilevazione, infine, non è un fallimento della misurazione. È un'informazione: su quella domanda la tua presenza è instabile, e un'instabilità documentata è un risultato diverso da un'assenza.

Novanta giorni è l'intervallo che regge meglio. Sotto quella soglia gli effetti di una pubblicazione sono raramente leggibili: il contenuto deve essere indicizzato, recuperato e scelto, e quella catena non si chiude in due settimane. Ri-misurare ogni mese produce quasi sempre rumore che verrà interpretato come segnale, ed è il modo più efficace per prendere decisioni sbagliate con dati veri.

Il costo della ri-misurazione è prevedibile e vale conoscerlo prima di dimensionare il set: cresce come domande per esecuzioni per motori. Sessanta domande, cinque esecuzioni, quattro motori fanno milleduecento interrogazioni. Duplica una qualsiasi delle tre variabili e raddoppi il costo di ogni ciclo futuro, non solo del primo.

Da qui la conseguenza controintuitiva: un set troppo grande non è più accurato, è meno utile. Diventa la ragione per cui la seconda misurazione non verrà mai fatta, e una baseline senza confronto è un documento, non un sistema di misura. Meglio quaranta domande ripetute quattro volte l'anno che centocinquanta misurate una volta sola.

Questa è la domanda che distingue un'analisi da un'affermazione, e vale la pena farla a chiunque ti venda una misurazione. Se la risposta è che il dato non si può verificare, quello che hai comprato non è una misurazione.

Un risultato contestabile ha bisogno di poche cose, tutte nel report: la domanda scritta parola per parola, il motore, la data, il mercato, la lingua e il numero di esecuzioni. Con quei campi chiunque può rieseguire la stessa domanda in una sessione pulita, alle stesse condizioni, e confrontare.

Il criterio per giudicare la contestazione è la sistematicità, non la singola esecuzione. Se rifai la domanda una volta e ottieni un risultato diverso, non hai smentito niente: hai osservato la variabilità che il metodo dà per assunta. Se la ottieni in modo ripetuto e nella stessa direzione, allora una condizione è cambiata o era mal dichiarata, e in entrambi i casi la riga va corretta.

Chi produce l'analisi dovrebbe volere quelle contestazioni. Sono il modo in cui una baseline resta affidabile nel tempo invece di diventare un documento che nessuno controlla più.

Non dimostra il fatturato. Misura una presenza in una risposta, che sta molto a monte di una vendita. Collegare i due punti richiede altri dati, e presentare la presenza come ricavo è il modo più rapido per perdere credibilità al primo controllo.

Non dimostra causalità, per la ragione detta sopra. Mostra un movimento su condizioni dichiarate.

Non dimostra che l'utente reale vede la stessa cosa. Le sessioni pulite servono alla riproducibilità, non a simulare l'esperienza personalizzata. È una scelta consapevole: si preferisce un numero confrontabile a un numero realistico ma irripetibile.

Non è un campione statisticamente rappresentativo. Il set di domande è scelto intenzionalmente, per coprire gli intenti che contano commercialmente, non estratto a caso da una popolazione. Questo lo rende utile per decidere e inadatto a essere presentato come stima di un universo.

Non dimostra la copertura totale. Misura le domande che hai scelto. Se il set è costruito male, il risultato è coerente e inutile allo stesso tempo. La qualità del set di domande è il punto più fragile di tutto il processo, ed è il primo che chiederei di vedere se stessi comprando un'analisi.