Tentang

Setiap jawaban yang diberikan setiap model untuk pertanyaan yang sama, disimpan setelah modelnya tiada.

Mengapa museum ini ada

Model pensiun setiap saat. Sebuah lab merilis versi baru dan mematikan versi lama. Kecuali bobotnya dipublikasikan, tidak ada yang bisa menanyainya lagi, dan cara ia menjawab tidak bisa diulang.

Yang tersisa hanyalah skor. Papan peringkat mengingat seberapa baik sebuah model dalam sebuah tes. Papan itu tidak mengingat bagaimana model menggambar seekor pelikan, apa yang ditaruhnya di halaman muka, atau film apa yang katanya ia sukai.

Museum menyimpan hal-hal itu. Sejak Mei 2024, pertanyaan yang sama diajukan kepada setiap model, dengan cara yang sama, satu kali, dan setiap jawaban disimpan apa adanya, termasuk yang aneh dan yang kosong. 93 dari 377 model di sini tidak lagi tersedia di OpenRouter. Jawaban mereka masih ada di sini.

Koleksi

Pertanyaan yang sama, diajukan kepada setiap model: gambar seekor pelikan naik sepeda, buat sebuah halaman muka, ceritakan lima lelucon, pilih kota favorit. 15.805 jawaban dari 377 model untuk 87 pertanyaan, catatan tentang cara masing-masing menggambar, membangun dan menulis.

Tidak ada yang diperingkat di sini. Tidak ada skor dan tidak ada pemenang. Setiap jawaban ditampilkan sebagaimana dibuat: gambar sebagai SVG-nya, situs web berjalan langsung di dalam sandbox, citra sebagai gambar, tulisan sebagai halaman yang bisa dibaca, suara yang bisa diputar.

Menjelajah

Putar bola dengan tetikus atau jari Anda. Bagian di bawah penunjuk akan membesar, sehingga jawaban terkecil pun bisa dibaca, dan mengeklik satu jawaban akan membukanya. Menelusuri jawaban sebuah pertanyaan mengikuti urutan rilis model. Indeks mencantumkan semua jawaban dan mengurutkannya menurut tanggal rilis, lab atau pertanyaan. Berdampingan menempatkan jawaban dua sampai empat model untuk pertanyaan yang sama bersebelahan: tanda + di samping nama model mana pun akan menambahkannya. Garis waktu kecil di pojok menampilkan museum seperti pada bulan mana pun sejak dibuka. Cari (⌘K atau /) langsung menuju pertanyaan atau model mana pun.

Mendukung museum

Museum ini gratis untuk dilihat dan tanpa iklan. Dukungan mulai $5 membantu biaya hosting dan perawatan arsip. Anda bisa mempersembahkan dukungan untuk model yang sudah pensiun, memilih nama publik atau tetap anonim. Semua penjaga mendapat penghargaan sederhana yang sama, dan jumlahnya dirahasiakan di dinding.

Bagaimana museum ini dibuat

Jawaban-jawaban ini berasal dari arsip Rival, dikumpulkan dengan metode bertanya yang sama. Metode dan jawaban aslinya disimpan sebagai bagian dari catatan:

Bertanya

Pertanyaan yang sama, kata demi kata. Setiap model menerima prompt sebagai satu pesan, tanpa prompt sistem dan tanpa percakapan sebelumnya.
Satu kali percobaan. Jawaban pertama yang diberikan model adalah yang disimpan. Tidak ada yang ditanyakan ulang, dipilih atau diperbaiki.
Pengaturan biasa. Melalui OpenRouter atau API milik lab itu sendiri, pada temperatur 0,7 (beberapa model hanya berjalan pada nilai bawaannya), dengan ruang untuk jawaban sepanjang apa pun.
Bertanggal hari ditanyakan. Beberapa jawaban lama tercap dengan tanggal sebelum modelnya ada; jawaban itu ditampilkan pada tanggal rilis modelnya.

Menyimpan

Ditampilkan sebagaimana dibuat. Sebuah gambar adalah SVG milik model itu sendiri. Sebuah situs web berjalan langsung di dalam sandbox; gambarnya di bola adalah tangkapan layar dari peramban pada 1280 kali 800, dalam mode terang. Citra disimpan pada 640 piksel di sisi panjangnya. Tulisan dan kode ditampilkan sebagaimana ditulis.
Tidak ada yang dipoles. Gambar yang terpotong di tengah jalan ditampilkan sejauh yang sempat tergambar. Beberapa halaman web tidak menampilkan apa pun sampai diklik, atau rusak karena galatnya sendiri, sehingga gambarnya kosong, tetapi halaman itu tetap berjalan di pajangan. Ketika sebuah model tidak menjawab apa pun, museum mengatakannya.
Pensiun. Sebuah model pensiun ketika OpenRouter tidak lagi menyediakannya dengan nama apa pun. Jawabannya tetap disimpan, dan model itu ditandai dengan bulan terakhir ia terlihat.
Nama sandi. 19 model adalah model siluman OpenRouter, dirilis dengan nama karangan agar orang mencobanya tanpa tahu labnya. Model-model ini dicantumkan dengan nama sandinya; bila pembuatnya kemudian mengungkap model apa itu, hal itu dicatat di sampingnya.
Yang tidak dimasukkan. Pertanyaan yang dijawab kurang dari lima model. Tidak ada yang diperingkat atau dinilai, dan mendukung museum tidak mengubah apa pun tentang apa yang ditampilkannya atau urutannya.

Gambar dari pilihan

Jawaban tentang film, album, buku, gim dan kota favorit berupa kata-kata, jadi masing-masing ditampilkan dengan gambar dari apa yang dipilih model: poster film dari TMDB, sampul album dari Last.fm, sampul buku dari Open Library, gambar gim dari RAWG dan foto kota dari Wikimedia Commons. Gambar-gambar ini milik pembuatnya dan bukan bagian dari koleksi. Museum ini menggunakan API TMDB tetapi tidak didukung atau disertifikasi oleh TMDB.

Huruf

Disusun dengan Timeless Serif dan Timeless Sans, dari keluarga huruf gratis Timeless karya Timeless, sebuah studio desain di Chennai: timeless.co. Kata-kata besar di kedua sisi memakai Archivo dan label kecil memakai Geist Mono.