À propos

Chaque réponse donnée par chaque modèle aux mêmes questions, conservée après le départ des modèles.

Pourquoi il existe

Des modèles sont retirés en permanence. Un laboratoire publie une nouvelle version et éteint l’ancienne. Sauf si ses poids ont été publiés, plus personne ne peut lui poser de question, et sa façon de répondre ne peut pas être reproduite.

Ce qui reste, c’est un score. Un classement se souvient de la performance d’un modèle à un test. Il ne se souvient pas de la façon dont le modèle a dessiné un pélican, de ce qu’il a mis sur une page d’accueil ni du film qu’il disait adorer.

Le musée conserve tout cela. Depuis mai 2024, les mêmes questions sont posées à chaque modèle, de la même manière, une seule fois, et chaque réponse est conservée telle qu’elle a été donnée, y compris les étranges et les vides. 93 des 377 modèles présentés ici ne sont plus proposés sur OpenRouter. Leurs réponses sont toujours là.

La collection

Les mêmes questions, posées à chaque modèle : dessiner un pélican à vélo, construire une page d’accueil, raconter cinq blagues, choisir une ville préférée. 15 805 réponses de 377 modèles à 87 questions, une trace de la façon dont chacun a dessiné, construit et écrit.

Rien n’est classé ici. Il n’y a ni scores ni gagnants. Chaque réponse est montrée telle qu’elle a été faite : les dessins comme leur SVG, les sites web en fonctionnement dans un bac à sable, les images comme des images, les textes comme une page à lire, les voix à écouter.

Parcourir le musée

Faites tourner le globe avec la souris ou le doigt. Sous le pointeur, il grossit, si bien que même les plus petites réponses se lisent, et un clic sur l’une d’elles l’ouvre. Les réponses à une question défilent dans l’ordre de sortie des modèles. L’Index liste toutes les réponses et les trie par date de sortie, par laboratoire ou par question. Côte à côte place les réponses de deux à quatre modèles aux mêmes questions l’une à côté de l’autre : le + à côté du nom d’un modèle l’ajoute. La petite frise dans le coin montre le musée tel qu’il était n’importe quel mois depuis son ouverture. Rechercher (⌘K ou /) mène directement à n’importe quelle question ou n’importe quel modèle.

Soutenir le musée

Le musée est gratuit et sans publicité. Un soutien à partir de 5 USD aide à payer l’hébergement et l’entretien de l’archive. Vous pouvez dédier votre soutien à un modèle retiré, choisir un nom public ou rester anonyme. Tous les gardiens reçoivent la même mention discrète, et les montants restent privés sur le mur.

Comment il a été fait

Les réponses viennent de l’archive de Rival, recueillies selon une méthode commune pour poser les questions. La méthode et les réponses d’origine sont conservées avec le reste :

Poser les questions

La même question, mot pour mot. Chaque modèle reçoit le prompt en un seul message, sans prompt système ni conversation préalable.
Un seul essai. La première réponse donnée par un modèle est celle qui est conservée. Rien n’est redemandé, choisi ni corrigé.
Des réglages ordinaires. Via OpenRouter ou l’API du laboratoire, avec une température de 0,7 (quelques modèles ne fonctionnent qu’avec leur réglage par défaut), et assez de place pour une réponse de n’importe quelle longueur.
Datée du jour où la question a été posée. Quelques réponses anciennes portaient une date antérieure à l’existence de leur modèle ; elles sont affichées à la date de sortie du modèle.

Conserver

Montrée telle qu’elle a été faite. Un dessin est le SVG du modèle lui-même. Un site web fonctionne en direct dans un bac à sable ; son image sur le globe est une capture faite dans un navigateur en 1280 sur 800, en mode clair. Les images sont conservées à 640 pixels sur le grand côté. Les textes et le code sont montrés tels qu’ils ont été écrits.
Rien d’arrangé. Un dessin interrompu en cours de route est montré jusqu’où il est allé. Certaines pages web n’affichent rien tant qu’on ne clique pas dessus, ou plantent à cause de leurs propres bugs, si bien que leur image est vide, mais elles fonctionnent dans la pièce. Quand un modèle n’a rien répondu, le musée le dit.
Retiré. Un modèle est retiré quand OpenRouter ne le propose plus sous aucun nom. Ses réponses restent, et le modèle est marqué du dernier mois où il a été vu.
Noms de code. 19 modèles étaient des modèles furtifs d’OpenRouter, publiés sous un nom inventé pour qu’on les essaie sans connaître le laboratoire. Ils sont listés sous leur nom de code ; quand le fabricant a ensuite dit de quoi il s’agissait, c’est indiqué à côté.
Ce qui est laissé de côté. Les questions auxquelles moins de cinq modèles ont répondu. Rien n’est classé ni noté, et soutenir le musée ne change rien à ce qu’il montre ni à l’ordre dans lequel il le montre.

Les images des choix

Les réponses sur le film, l’album, le livre, le jeu et la ville préférés sont des mots, alors chacune est accompagnée d’une image de ce que le modèle a choisi : affiches de films de TMDB, pochettes d’albums de Last.fm, couvertures de livres d’Open Library, illustrations de jeux de RAWG et photographies de villes de Wikimedia Commons. Elles appartiennent à leurs auteurs et ne font pas partie de la collection. Ce musée utilise l’API de TMDB mais n’est ni approuvé ni certifié par TMDB.

Typographie

Composé en Timeless Serif et Timeless Sans, de la famille de caractères gratuite Timeless, par Timeless, un studio de design de Chennai : timeless.co. Les grands mots de chaque côté sont en Archivo et les petites étiquettes en Geist Mono.