#4 ~ Quando una metrica smette di misurare
Disclaimer: due parole prima di iniziare.
Questa newsletter la scriviamo noi di Green Software Italia: non siamo una redazione, abbiamo tante voci e vogliamo che si sentano. Ogni articolo ha un suo tono, a volte anche un’idea che cozza con quella che leggerai nel pezzo dopo e per noi va bene così.
Quello che leggi qui è il pensiero di chi l’ha scritto, non la posizione ufficiale di nessuno. Qualcuno di noi, quando scrive, usa l’AI come strumento compensativo e lo diciamo perché ci sembra onesto: cerchiamo di farlo con la testa, sapendo che anche questi strumenti hanno un costo e che la cosa più preziosa, alla fine, resta avere qualcosa di vero da dire.
Buona lettura. 📖
Negli ultimi mesi si è iniziato a parlare di tokenmaxxing, un termine nato per descrivere la tendenza a massimizzare il consumo di token nell’utilizzo dei modelli linguistici. Il dibattito è esploso dopo alcune indiscrezioni secondo cui, all’interno di Meta, esisteva una dashboard che mostrava gli sviluppatori con il maggior consumo di token, arrivando ad assegnare titoli come Token Legend. Dopo la diffusione della notizia, quella dashboard è stata rimossa.
La notizia ha fatto sorridere molti, ma il punto interessante non è tanto la classifica in sé. È il fatto che, leggendola, in molti abbiamo pensato: sì, potrebbe davvero succedere. E, se siamo onesti, questa non è nemmeno una storia nuova.
Chi sviluppa software da qualche anno probabilmente ci è già passato. Abbiamo misurato la produttività con le righe di codice, con gli story point, con il numero di ticket chiusi, con la code coverage. Ogni volta abbiamo cercato una metrica semplice per descrivere qualcosa di molto più complesso. E ogni volta è successo qualcosa di prevedibile: le persone hanno iniziato a ottimizzare quella metrica.
L’economista Charles Goodhart lo aveva sintetizzato già nel 1975 con una frase diventata famosa:
“When a measure becomes a target, it ceases to be a good measure.”
Quando una misura diventa un obiettivo, smette di essere una buona misura.
Forse il tokenmaxxing è semplicemente l’ultima versione di una storia che conosciamo da decenni.
Anche noi usiamo l’intelligenza artificiale ogni giorno. Per programmare, documentare, studiare e fare ricerca. È diventata uno strumento di lavoro a tutti gli effetti e sarebbe difficile immaginare di tornare indietro. Proprio per questo ci siamo accorti di una cosa: è facile iniziare ad aprirla quasi per automatismo, anche quando forse non è davvero necessaria. Non è necessariamente un problema, ma vale la pena chiedersi se quell’utilizzo stia creando valore oppure sia diventato semplicemente un’abitudine.
Il tema, infatti, non è quanti token consumiamo. Il tema è cosa stiamo cercando di misurare. I token sono una metrica comoda: ogni provider li restituisce automaticamente, possono essere trasformati in dashboard, budget e KPI senza alcuno sforzo. Ma una metrica facile da raccogliere non è necessariamente una metrica utile. Più token non significano automaticamente decisioni migliori, così come più righe di codice non hanno mai significato automaticamente software migliore.
Quando parliamo di token è facile immaginare qualcosa di astratto, quasi fosse soltanto un’unità di testo. In realtà ogni token rappresenta computazione. Dietro ogni richiesta ci sono GPU, memoria, reti, sistemi di raffreddamento, energia elettrica e data center. Il software non è immateriale. Non lo è mai stato. L’intelligenza artificiale ce lo sta semplicemente ricordando. Per questo ogni token che non produce valore continua comunque a richiedere risorse fisiche.
Negli ultimi mesi è cambiato anche il modo in cui l’industria guarda a questi consumi. Le API dei principali provider utilizzano i token come unità di pricing.
Sempre più aziende stanno iniziando a monitorare il consumo di token e a discuterne come indicatore dell’adozione dell’AI. In alcuni casi questo si traduce in dashboard interne, budget o altri strumenti di monitoraggio.
Parallelamente sta emergendo anche un’altra domanda, fino a poco tempo fa quasi assente: l’AI è davvero sostenibile dal punto di vista economico? Non è un caso che siano nati progetti come Is AI Profitable?, che provano a raccontare proprio questo dibattito.
📊 Uno spunto
Forse, allora, la domanda non dovrebbe essere quanti token abbiamo consumato questo mese, ma quale valore hanno prodotto. Quanto tempo ci hanno fatto risparmiare? Hanno migliorato la qualità del software? Ci hanno aiutato a prendere decisioni migliori? Sono domande più difficili da trasformare in una dashboard, ma probabilmente raccontano molto meglio l’impatto reale dell’AI sul nostro lavoro.
Quando parliamo di Green Software pensiamo spesso a codice più efficiente, infrastrutture ottimizzate o data center alimentati da energia rinnovabile. Sono tutti aspetti fondamentali. Ma esiste anche una sostenibilità delle metriche. Ogni KPI racconta alle persone cosa conta davvero e, inevitabilmente, finisce per influenzare il loro comportamento. Se premiamo il consumo, otterremo più consumo. Se premiamo il valore, probabilmente otterremo decisioni migliori.
Prima ancora di chiederci come rendere l’intelligenza artificiale più efficiente, forse dovremmo chiederci se stiamo misurando la cosa giusta.
E voi?
Nella vostra organizzazione si sta già misurando l’utilizzo dell’AI?
Se sì, state osservando solo il numero di token consumati o avete trovato metriche che raccontano davvero il valore prodotto?
Ci piacerebbe raccogliere esperienze, dubbi e approcci diversi. Perché questa è una domanda a cui, probabilmente, nessuno ha ancora una risposta definitiva.
Se questo pensiero ti ha smosso qualcosa, scrivilo nei commenti: le voci servono, anche quelle in disaccordo.
Grazie di aver letto sin qui.
Il futuro digitale non arriva da solo. In buona parte lo programmiamo noi.
Chiara Corrado, co-founder di Green Software Italia
Fonti
- The Information – Meta employees vie for “Token Legend” status
- The Pragmatic Engineer – The Pulse: Tokenmaxxing as a weird new trend
- Charles Goodhart – Problems of Monetary Management (1975)
- Green Software Foundation - Green Software Principles
- Is AI Profitable? – https://isaiprofitable.com