Come funziona la classifica di BoardGameGeek

L'avvicendamento al vertice della classifica di BGG, dopo ben sei anni, tra Gloomhaven e Brass Birmingham, ha riaperto la discussione non solo sulla classifica e la sua validità, ma anche sui metodi usati per ottenerla.

Le cose che tutti sanno sono due: 

1. c'è una media matematica, che è l'AVG Rating (l'average rating);
2. poi c'è il Geek Rating, ovvero una media pesata su una serie di altri fattori, che va a modificare l'AVG Rating; è quest'ultimo numero – il Geek Rating – che va a determinare la classifica finale.

Com'è però calcolato il Geek Rating? 
L'unica cosa certa è che il sistema utilizza prima di tutto una media bayesiana che tiene conto del numero di voti affibbiati a un gioco. Ovvero, per evitare che un gioco votato con un singolo 10 vada immediatamente in cima alla classifica, ogni gioco, all'inserimento nel database, viene zavorrato con una quantità fissa di voti fittizi di valore 5,5. In questo modo, la sua media viene tarata verso il centro della curva e solo un numero congruo di nuovi voti sarà in grado di spostare effettivamente la media verso l'alto o verso il basso.
C'è anche chi si è dato la briga di calcolare l'entità di questi 5,5 e pare che attualmente siamo tra i 1450 e i 1500. 
È anche plausibile che la quantità di 5,5 sia aumentata nel tempo, a fronte del sempre maggiore numero di votanti e che questo, assieme ai sempre minori nuovi voti per i giochi più vecchi, porti a un loro maggiore affossamento. Il pubblico nuovo tende infatti a prediligere la novità, a votare quella, alzando la media delle nuove pubblicazioni, invece di recuperare le vecchie.

Al di là di questo sistema noto, però, i conti non sempre tornano. Al momento dello storico sorpasso, Gloomhaven ha più voti (55mila vs 34mila) e una media matematica più alta rispetto a Brass Birmingham (8,67 vs 8,66). 
Non solo, ma nel corso del tempo, ci sono casi più o meno noti di fattori correttivi inseriti ad hoc nell'algoritmo, per modificare situazioni contingenti.
Due di cui sono a conoscenza: 

• Anni fa, un gioco di un autore italiano venne improvvisamente spinto molto in alto in classifica da nuovi iscritti, che erano palesemente lì apposta per quel gioco, se non profili fake. La cosa non passò inosservata, il Geek Rating del gioco venne “corretto” e non solo: i voti degli italiani, in generale, vennero penalizzati. Non si sa ovviamente in che modo, non si sa se valeva per tutti quelli con la bandiera italiana nel profilo, non si sa per quanto tempo o se la cosa sia stata poi revocata, passati gli anni.
• Un altro episodio riguarda La Guerra dell'Anello, che nel 2004 scala rapidamente la classifica di BGG, arrivando fino alla Top-10, per poi crollare al diciottesimo, affossato dai voti sospetti dati dai nuovi iscritti che nulla avevano nel profilo, se non l'intento comune di votare con “0” tondo questo gioco e un altro paio, con ottime probabilità particolarmente invisi. I moderatori sono allertati ed eliminano i fake.

E questi sono solo i due episodi che conosco io, solamente sul versante italiano, ma possiamo immaginare quanti altri ce ne siano a livello mondiale.
I correttivi ad hoc, dunque, ci sono sempre stati e ci sono anche ora, inseriti per vari fattori e in vari modi, che purtroppo non ci è dato conoscere. 
La politica di BGG è infatti sempre stata quella di non rivelare l'algoritmo. I motivi possono essere tanti:

• evitare che, conoscendo come funziona il tutto, possano esserci maggiori manipolazioni dall'esterno;
• evitare che le manipolazioni interne vengano in qualche modo contestate e facciano perdere di credibilità al sistema (personalmente non sarei felice nel sapere che il correttivo al ribasso dei voti italiani viene ancora applicato, ad esempio);
• avere la libertà di modificare segretamente e in modo mirato l'algoritmo o parte di esso, in base alle esigenze di mercato e altro.

Non dimentichiamo infatti che BGG è un sito a scopo di lucro, per cui è suo preciso interesse che il buzz e il traffico sia continuo: avvicendamenti al vertice della classifica e, in generale nelle prime posizioni, soprattutto per quel che riguarda le novità ludiche, sono un vantaggio quasi per tutti: il sito, gli autori, gli editori.
Per cui le ipotesi sugli ulteriori correttivi applicati sono solo, appunto, ipotesi.
Tra le quali troviamo:

• il numero di partite registrate mensilmente, che favorirebbe i giochi più “vivi”;
• la permanenza nella hotness di BGG (ovvero l'elenco dei giochi più cliccati);
• una zavorra automatica di ulteriori 5,5 data ai giochi man mano che passano gli anni, in modo tale che la loro posizione sia sempre più difficile da mantenere;
• speculare alla precedente, una minore quantità di 5,5 affibbiati ai giochi di più recente pubblicazione.

  

Sono però tutte ipotesi, che a volte collimano, a volte meno, con i numeri effettivi che poi vediamo, dato che nessun insider ha mai fornito informazioni precise di questo tipo (né probabilmente possono o vogliono farlo). L'unica certezza è che i voti del Geek Rating non dipendono solo dalla media correttiva ottenuta con la quota fissa di 5,5.

L'unica altra cosa che, da esterni, sappiamo sono i criteri suggeriti da BGG per votare, in pratica riassumibili in un “vota come ti pare”, senza nessuna considerazione tecnica (solo per l'1, c'è in teoria il requisito che il gioco sia rotto):
“Every registered user can rate any game in the BGG database. Although these ratings are entirely subjective, here are the suggested guidelines:
10 - Outstanding. Always want to play and expect this will never change.
9 - Excellent game. Always want to play it.
8 - Very good game. I like to play. Probably I'll suggest it and will never turn down a game.
7 - Good game, usually willing to play.
6 - Ok game, some fun or challenge at least, will play sporadically if in the right mood.
5 - Average game, slightly boring, take it or leave it.
4 - Not so good, it doesn't get me but could be talked into it on occasion.
3 - Likely won't play this again although could be convinced. Bad.
2 - Extremely annoying game, won't play this ever again.
1 - Defies description of a game. You won't catch me dead playing this. Clearly broken.”

Con questi pochi dati a nostra disposizione e col criterio fornito, la classifica di BGG assume, a mio parere, più un valore utile a monitorare il polso del mercato internazionale, le mode, l'hype, il buzz, che non la qualità dei giochi.
Il che non è sminuente, ma è una constatazione: quando si apre una valutazione al pubblico, che può essere impreparato, che può usare utenti fake, che può essere spinto da interessi personali o commerciali, da simpatie e antipatie, che viene spronato dal sistema stesso a votare in modo istintivo, ciò che ne esce rispecchia criteri che risultano divergenti rispetto alla mera valutazione qualitativa del prodotto.

Storicamente, le prime posizioni della classifica di BGG sono state le seguenti:

• Paths of Glory (2001-2002)
• Tigris & Euphrates (2002)
• Puerto Rico (2002-2008)
• Agricola (2008-2010, con una parentesi di qualche mese ancora per Puerto Rico)
• Twilight Struggle (2011-2015)
• Pandemic Legacy: Season 1 (2016-2017)
• Gloomhaven (2017-2023)
• Brass Brimingham (2023-?)

Anche se, purtroppo, posso fornirvi ben pochi dati certi sul funzionamento finale dell'algoritmo, spero con questo articolo di avervi dato qualche strumento critico in più per capire la classifica di BGG e le basi su cui si fonda.
Per altre considerazioni potete anche dare un'occhiata a un altro articolo scritto qualche anno fa: “Classifiche liquide e facili entusiasmi”
Infine, di tutti questi argomenti e di molti altri inerenti alle classifiche, perleremo stasera, alle 21:30 sul canale YouTube de La Tana dei Goblin: