Задачи по программированию со скрытыми тестами. Все модели получают одно и то же задание одним сообщением, без возможности запустить код; их ответ проверяется автоматически по эталону.
Справа у каждого бенчмарка показана полоса тестов, где тёмное значит пройдено, а красное провалено, и пять лучших прогонов.
Модели пишут на Python функцию `fmt(value, spec)`, которая для целых и дробных чисел символ в символ повторяет встроенную `format()`, но без неё самой, без f-строк, `%` и `repr`. Задание короткое, а ловушек много: округление по точному двоичному значению, заполнение нулями вместе с разделителями разрядов, флаг `z`, NaN, бесконечности и разбор строки формата. Ответ сравнивается с настоящим CPython на 502 случаях и двумя замерами скорости.
Модели пишут на JavaScript модуль для three.js, который превращает JSON-описание в 3D-сцену: иерархию объектов с поворотами и масштабом, примитивы, выдавленные контуры, тысячи экземпляров, свет и камеру. Каждую сцену сравнивают с эталоном по мировым матрицам, габаритам, цветам и попаданиям лучей из камеры.
Модели пишут на чистом Python растеризатор: он превращает описание сцены из прямоугольников, кругов, эллипсов, многоугольников и линий в пиксели. В сцене есть прозрачность, градиенты и аффинные преобразования. Картинку каждой модели сравнивают попиксельно с эталоном на 202 сценах и проверяют двумя замерами скорости.
Модели пишут SQL-движок на чистом Python. Он должен отвечать так же, как SQLite: с теми же значениями, теми же типами и в том же порядке строк. Ответ каждой модели проверяют 464 скрытых теста и 5 замеров скорости, а эталоном служит настоящий SQLite.