О музее

Все ответы всех моделей на одни и те же вопросы, сохранённые и после отставки моделей.

Зачем он нужен

Модели отправляют в отставку постоянно. Лаборатория выпускает новую версию и отключает старую. Если веса модели не были опубликованы, ей больше никто ничего не сможет задать, и то, как она отвечала, уже не воспроизвести.

Остаётся только оценка. Рейтинг помнит, как модель прошла тест. Он не помнит, как она нарисовала пеликана, что поместила на главную страницу сайта или какой фильм назвала любимым.

Музей хранит именно это. С май 2024 г. всем моделям задают одни и те же вопросы, одинаково и по одному разу, и каждый ответ хранится таким, каким был дан, включая странные и пустые. 93 из 377 моделей здесь больше не обслуживаются на OpenRouter. Их ответы по-прежнему здесь.

Коллекция

Одни и те же вопросы каждой модели: нарисовать пеликана на велосипеде, сделать главную страницу сайта, рассказать пять шуток, выбрать любимый город. 15 805 ответов от 377 моделей на 87 вопросов: запись того, как каждая из них рисовала, строила и писала.

Здесь ничего не ранжируется. Нет ни оценок, ни победителей. Каждый ответ показан таким, каким был сделан: рисунки в виде их SVG, сайты работают вживую в песочнице, изображения показаны как картинки, тексты как страницы, которые можно прочитать, голоса можно послушать.

Как осматривать

Вращайте глобус мышью или пальцем. Под указателем он увеличивается, так что можно прочитать даже самые маленькие ответы, а щелчок по ответу открывает его. Ответы на вопрос идут в том порядке, в каком выходили модели. Указатель перечисляет все ответы и сортирует их по дате выхода, лаборатории или вопросу. «Бок о бок» ставит рядом ответы двух, трёх или четырёх моделей на одни и те же вопросы: + рядом с названием любой модели добавляет её. Небольшая шкала времени в углу показывает музей таким, каким он был в любой месяц с момента открытия. Поиск (⌘K или /) сразу ведёт к любому вопросу или модели.

Поддержка музея

Смотреть музей можно бесплатно, рекламы в нём нет. Поддержка от $5 помогает оплачивать хостинг и содержать архив. Можно посвятить поддержку модели в отставке, указать публичное имя или остаться анонимом. Все хранители получают одинаковую скромную благодарность, а суммы не раскрываются на стене.

Как это сделано

Ответы взяты из архива Rival и собраны по общему методу опроса. Метод и исходные ответы хранятся как часть записи:

Как задают вопросы

Один и тот же вопрос, слово в слово. Каждая модель получает промпт одним сообщением, без системного промпта и без предшествующего разговора.
Одна попытка. Хранится первый ответ, который дала модель. Ничего не переспрашивают, не отбирают и не исправляют.
Обычные настройки. Через OpenRouter или собственный API лаборатории, с температурой 0,7 (несколько моделей работают только со своей температурой по умолчанию) и с запасом для ответа любой длины.
Дата по дню вопроса. Несколько старых ответов были помечены днём, когда их модели ещё не существовало; они показаны на дату выхода модели.

Как хранят

Такими, какими сделаны. Рисунок показан как собственный SVG модели. Сайт работает вживую в песочнице; картинкой на глобусе для него служит снимок экрана, сделанный в браузере при размере 1280 на 800, в светлой теме. Изображения хранятся с длинной стороной 640 пикселей. Тексты и код показаны так, как написаны.
Ничего не приглажено. Рисунок, оборванный на середине, показан до того места, где остановился. Некоторые веб-страницы ничего не показывают, пока по ним не щёлкнуть, или ломаются из-за собственных ошибок, поэтому их картинка пустая, но в экспонате они работают. Если модель ничего не ответила, музей так и пишет.
Отставка. Модель уходит в отставку, когда OpenRouter больше не обслуживает её ни под каким названием. Её ответы остаются, а модель помечается последним месяцем, когда её видели.
Кодовые имена. 19 моделей были скрытыми моделями OpenRouter, выпущенными под выдуманным названием, чтобы их пробовали, не зная лаборатории. Они перечислены под кодовым именем; если создатель потом сообщил, что это было, это указано рядом.
Что не вошло. Вопросы, на которые ответили меньше пяти моделей. Ничего не ранжируется и не оценивается, а поддержка музея никак не меняет того, что он показывает и в каком порядке.

Картинки к выбору моделей

Ответы про любимый фильм, альбом, книгу, игру и город даны словами, поэтому каждый показан с картинкой того, что выбрала модель: постеры фильмов из TMDB, обложки альбомов из Last.fm, обложки книг из Open Library, обложки игр из RAWG и фотографии городов из Wikimedia Commons. Они принадлежат своим авторам и не входят в коллекцию. Этот музей использует API TMDB, но не одобрен и не сертифицирован TMDB.

Шрифт

Набрано шрифтами Timeless Serif и Timeless Sans из бесплатного семейства Timeless от Timeless, дизайн-студии из Ченнаи (Chennai): timeless.co. Большие слова по краям набраны Archivo, мелкие подписи Geist Mono.