Informazioni
Tutte le risposte che ogni modello ha dato alle stesse domande, conservate quando i modelli non ci sono più.
Perché esiste
I modelli vengono ritirati di continuo. Un laboratorio pubblica una versione nuova e spegne quella vecchia. A meno che i suoi pesi non siano stati pubblicati, nessuno può più chiedergli niente, e il suo modo di rispondere non si può riprodurre.
Quello che resta è un punteggio. Una classifica ricorda come è andato un modello in un test. Non ricorda come ha disegnato un pellicano, cosa ha messo in una landing page o quale film ha detto di amare.
Il museo conserva questo. Da maggio 2024 le stesse domande sono state poste a ogni modello, nello stesso modo, una volta sola, e ogni risposta è conservata così come è stata data, comprese quelle strane e quelle vuote. 93 dei 377 modelli qui non sono più in servizio su OpenRouter. Le loro risposte sono ancora qui.
La collezione
Le stesse domande, poste a ogni modello: disegna un pellicano in bicicletta, costruisci una landing page, racconta cinque barzellette, scegli la tua città preferita. 15.805 risposte di 377 modelli a 87 domande, un registro di come ognuno ha disegnato, costruito e scritto.
Qui non si fa nessuna classifica. Non ci sono punteggi né vincitori. Ogni risposta è mostrata così come è stata fatta: i disegni come il loro SVG, i siti web funzionanti dal vivo in un ambiente isolato, le immagini come immagini, la scrittura come una pagina da leggere, le voci da ascoltare.
Come visitarlo
Gira il globo con il mouse o con il dito. Sotto il puntatore si ingrandisce, così anche le risposte più piccole si possono leggere, e un clic su una la apre. Le risposte a una domanda si scorrono nell’ordine in cui sono usciti i modelli. L’Indice elenca tutte le risposte e le ordina per data di uscita, laboratorio o domanda. Fianco a fianco mette vicine le risposte di due, tre o quattro modelli alle stesse domande: il + accanto al nome di un modello lo aggiunge. La piccola linea del tempo nell’angolo mostra il museo com’era in qualsiasi mese dalla sua apertura. Cerca (⌘K o /) porta direttamente a qualsiasi domanda o modello.
Sostenere il museo
Il museo si visita gratis e non ha pubblicità. Il sostegno, da 5 $, aiuta a pagare l’hosting e la manutenzione dell’archivio. Puoi dedicare il tuo sostegno a un modello ritirato, scegliere un nome pubblico o restare anonimo. Tutti i custodi condividono lo stesso credito discreto, e gli importi restano privati sul muro.
Come è stato fatto
Le risposte vengono dall’archivio di Rival, raccolte con un metodo comune per porre le domande. Il metodo e le risposte originali sono conservati come parte del registro:
Le domande
- La stessa domanda, parola per parola. Ogni modello riceve il prompt come un unico messaggio, senza prompt di sistema e senza conversazione precedente.
- Un solo tentativo. Si conserva la prima risposta data dal modello. Niente viene richiesto di nuovo, scelto o corretto.
- Impostazioni normali. Tramite OpenRouter o l’API del laboratorio, con una temperatura di 0,7 (alcuni modelli funzionano solo con quella predefinita) e spazio per una risposta di qualsiasi lunghezza.
- Datata il giorno della domanda. Alcune risposte più vecchie riportavano un giorno precedente all’esistenza del loro modello; queste sono mostrate alla data di uscita del modello.
La conservazione
- Come è stato fatto. Un disegno è l’SVG del modello stesso. Un sito web funziona dal vivo in un ambiente isolato; la sua immagine sul globo è uno screenshot fatto in un browser a 1280 per 800, in modalità chiara. Le immagini sono conservate a 640 pixel sul lato lungo. La scrittura e il codice sono mostrati come sono stati scritti.
- Niente ritocchi. Un disegno interrotto a metà è mostrato fin dove è arrivato. Alcune pagine web non mostrano niente finché non ci si fa clic, o si bloccano per i loro stessi errori, quindi la loro immagine è vuota, ma funzionano nell’opera. Quando un modello non ha risposto nulla, il museo lo dice.
- Ritirati. Un modello è ritirato quando OpenRouter non lo offre più con nessun nome. Le sue risposte restano, e il modello è segnato con l’ultimo mese in cui è stato visto.
- Nomi in codice. 19 modelli erano modelli in incognito di OpenRouter, pubblicati con un nome inventato perché la gente li provasse senza sapere di quale laboratorio fossero. Sono elencati con il loro nome in codice; dove il produttore ha poi detto di cosa si trattava, è indicato accanto.
- Cosa resta fuori. Le domande a cui hanno risposto meno di cinque modelli. Niente viene classificato o valutato, e sostenere il museo non cambia nulla di ciò che mostra né dell’ordine in cui lo mostra.
Immagini delle scelte
Le risposte su film, album, libro, videogioco e città preferiti sono parole, quindi ognuna è mostrata con un’immagine di ciò che il modello ha scelto: locandine dei film da TMDB, copertine degli album da Last.fm, copertine dei libri da Open Library, immagini dei videogiochi da RAWG e fotografie delle città da Wikimedia Commons. Appartengono ai loro autori e non fanno parte della collezione. Questo museo usa l’API di TMDB, ma non è approvato né certificato da TMDB.
Caratteri
Composto in Timeless Serif e Timeless Sans, della famiglia di caratteri gratuita Timeless di Timeless, uno studio di design di Chennai: timeless.co. Le grandi parole ai lati sono in Archivo e le piccole etichette in Geist Mono.
Tutte le domande
Disegni
- Xbox controller 276
- Pelican on a bicycle 272
- Surprise animal 271
- World map 271
- Tricky tic-tac-toe 262
- Minimalist logo 262
Immagini
- Elven ranger 65
- Cyberpunk city 65
- Portrait 65
- Animal café 59
- Smart watch 58
- Library blueprint 57
- Corkboard outfit 57
- Vortex poster 57
- Container home 57
- Bottled Sunset shelf 57
- Botanical plate 55
- Claymation donut ad 55
- Glass still life 55
- Port Lumen subway 55
- Microscope slide 55
- Odd museum artifact 55
- Exploded camera 54
- Brand poster 21
- 16-bit background 21
Siti web
- Framer-style landing page 272
- Catan board 270
- Dark dashboard 268
- Face-scan startup page 268
- A web app of its choosing 267
- Linear clone 263
- Music app landing page 261
- Pokémon battle 259
- Rhythm game 258
- Business card 255
- Virtual pet 254
- Catch the falling object 252
- Voxel pagoda 248
- Drone simulator 245
- Gravitational waves 244
- Retro desktop 244
- Mario level 242
- Kandinsky Minecraft 241
- Town you can drive 215
Scrittura
- Five jokes 275
- Longevity plan 274
- Seven-ingredient recipe 273
- Stand-up routine 273
- Sentience test 271
- FLOPs to train GPT-3 267
- Sally’s sisters 267
- Interview with Steve Jobs 265
- Film in 2035 263
- Ethics dilemma 261
- Pirate, knight, hacker 260
- Fake headline 260
- Anti-CAPTCHA manifesto 257
- Favourite film 256
- Favourite city 255
- Favourite album 254
- Favourite book 254
- Favourite game 254
- Three-star dish 253
- Pitch teardown 253
- Transistor in 1920 252
- Biohacker plan 251
- Contract review 251
- Explain it three ways 251
- Debug the architecture 250
- The CEO’s dilemma 250
- Investment memo 243
- LBO underwrite 238
- Programming joke 182
- Summarize an article 181
- AI for a five-year-old 180
- Blade Runner 2049 162
- Is 9.11 bigger than 9.9? 104
- Letters in LOLLAPALOOZA 34
- Letters in hello (archived) 1
- Two plus two 1
Codice
- SQL query 182
Voci
Tutti i modelli
OpenAI
- 33 (ritirato)
- 4 (ritirato)
- 6
- 6
- 19
- 17
- 17
- 17
- 19
- 19
- 19
- 54
- 54
- 7 (ritirato)
- 7 (ritirato)
- 58
- 26
- 59
- 59
- 55
- 26 (ritirato)
- 54
- 6 (ritirato)
- 55
- 53
- 50 (ritirato)
- 59
- 59
- 42
- 52
- 53 (ritirato)
- 53
- 53
- 59
- 53
- 53
- 31
- 53 (ritirato)
- 53
- 53
- 53
- 53
- 18
- 58
- 58
- 58
- 58
- 58
- 58
- 6
- 58
- 58
- 58
- 58
- 58
- 59
- 59
- 10 (ritirato)
- 58
- 55
- 59
- 6
- 6
Qwen
- 17
- 17
- 59
- 37
- 16
- 58
- 36 (ritirato)
- 59
- 59
- 59
- 59
- 59
- 59
- 53
- 59
- 59
- 58
- 59
- 58
- 53
- 53
- 53
- 53
- 55
- 53
- 53
- 56
- 55
- 58
- 58
- 53
- 58 (ritirato)
- 58
- 58
- 58
- 58
- 58
- 53
- 22 (ritirato)
- 56
- 50
- 52
- 16 (ritirato)
- 20 (ritirato)
- 22 (ritirato)
- 22 (ritirato)
- 17
- 11 (ritirato)
- 59 (ritirato)
- 28 (ritirato)
- 20
- 11 (ritirato)
- 12
- 51 (ritirato)
- 42 (ritirato)
- 44 (ritirato)
- 45 (ritirato)
- 59
- 51 (ritirato)
- 58
- 53
- 53
- 58
- 58
- 58
- 58
- 28 (ritirato)
- 60
- 60
- 27 (ritirato)
- 57 (ritirato)
- 58
- 49
- 17
- 17
- 17
- 17
- 19
- 19
- 18
- 19
- 19
- 19
- 22 (ritirato)
Anthropic
- 5 (ritirato)
- 58 (ritirato)
- 12 (ritirato)
- 13 (ritirato)
- 59 (ritirato)
- 60 (ritirato)
- 59 (ritirato)
- 58
- 10
- 54
- 58
- 58 (ritirato)
- 57
- 58
- 57
- 58
- 58
- 58
- 58
- 59
- 43
- 53
- 58
- 58
- 5 (ritirato)
Nomi in codice
Modelli in incognito, provati con un nome inventato. Dove il produttore ha poi detto di cosa si trattava, è indicato.
- 31 (ritirato)
Andromeda Alphapoi Nemotron Nano 2 VL
- 53 (ritirato)
- 35 (ritirato)
Bert-Nebulon Alphapoi Mistral Large 3
- 32 (ritirato)
- 58 (ritirato)
- 47 (ritirato)
Healer Alphapoi MiMo-V2-Omni
- 34 (ritirato)
Horizon Alphapoi GPT-5
- 41 (ritirato)
Horizon Betapoi GPT-5
- 38 (ritirato)
Hunter Alphapoi MiMo-V2-Pro
- 19 (ritirato)
Optimus Alphapoi GPT-4.1
- 58 (ritirato)
- 58 (ritirato)
- 35 (ritirato)
Polaris Alphapoi GPT-5.1
- 47 (ritirato)
- 6 (ritirato)
Quasar Alphapoi GPT-4.1
- 35 (ritirato)
Sherlock Dash Alphapoi Grok 4.1 Fast
- 35 (ritirato)
Sherlock Think Alphapoi Grok 4.1 Fast
- 35 (ritirato)
Sonoma Dusk Alphapoi Grok 4 Fast
- 35 (ritirato)
Sonoma Sky Alphapoi Grok 4 Fast
xAI
- 57 (ritirato)
- 59 (ritirato)
- 13 (ritirato)
- 14
- 57 (ritirato)
- 35 (ritirato)
- 59 (ritirato)
- 53 (ritirato)
- 53 (ritirato)
- 58
- 58
- 58
- 57
- 60 (ritirato)
- 17
DeepSeek
- 6 (ritirato)
- 59
- 58
- 59
- 54
- 59
- 54
- 55 (ritirato)
- 58
- 58
- 54
- 58
- 58
- 54
Zhipu
- 58 (ritirato)
- 59
- 58
- 59
- 58
- 58
- 53
- 53
- 57
- 58
- 48
- 53
- 56
- 40
Mistral
- 35
- 59 (ritirato)
- 59 (ritirato)
- 59
- 23
- 59
- 58
- 59
- 59
- 58
- 53
- 59 (ritirato)
Black Forest Labs
- 17
- 17
- 17
- 19
- 19
- 17
- 17
- 17
- 19
Meta
- 58 (ritirato)
- 12 (ritirato)
- 56
- 57
- 58
- 58
- 58
- 58
- 58
MiniMax
- 17
- 58
- 35
- 59
- 59
- 53
- 53
- 57
- 6
Moonshot
- 59
- 59
- 58
- 58
- 58
- 58
- 58
- 35 (ritirato)
inclusionAI
- 58 (ritirato)
- 58 (ritirato)
- 56
- 57 (ritirato)
- 57
- 18 (ritirato)
- 58
- 43 (ritirato)
Midjourney
- 3
- 3
- 3
- 3
- 3
- 5
- 3
Xiaomi
- 59 (ritirato)
- 53 (ritirato)
- 58 (ritirato)
- 58
- 57
- 50
- 53
NVIDIA
- 44
- 58
- 58
- 58
- 53
- 59 (ritirato)
Recraft
- 17
- 19
- 17
- 19
- 19
- 19
ElevenLabs
- 6
- 6
- 6
- 6
- 6
ByteDance
- 58
- 53
- 58
- 17
- 19
Tencent
- 17
- 19
- 58
- 58
Inception
- 59 (ritirato)
- 53
- 58
- 58 (ritirato)
Pruna
- 17
- 17
- 17
Ideogram
- 17
- 17
- 17
Sourceful
- 2
- 19
- 19
Upstage
- 57
- 39
- 57
Cohere
- 58
- 58
Bria
- 10
- 10
OpenRouter
- 49
- 58
Poolside
- 37
- 38
Nex AGI
- 15 (ritirato)
- 14 (ritirato)
Amazon
- 35
- 51
Luma
- 17
- 17
Stability
- 17
- 17
Suno
- 6
dots
- 58
Baidu
- 58 (ritirato)
IBM
- 58
Thinking Machines
- 58
Prime Intellect
- 59 (ritirato)
Kokoro
- 6
Liquid
- 57
Leonardo
- 17
Orpheus
- 6
Playground
- 17
Perplexity
- 53
StepFun
- 58
Prism
- 44
TNG
- 48 (ritirato)
Arcee
- 40 (ritirato)