Разработчики сервиса Chatbot Arena представили режим тестов RepoChat. С его помощью пользователи могут задавать вопросы языковым моделям по содержимому определённого публичного репозитория и выбирать лучшие ответы.

Для начала надо перейти во вкладку RepoChat и вставить ссылку на репозиторий. После этого можно ввести запрос, который относится к содержимому репозитория. Например, можно узнать, как развернуть проект или как настроить локальное окружение для разработки.

После этого всё проходит в привычном режиме: две нейросети генерируют ответ, а пользователю надо выбрать лучший вариант. При этом названия языковых моделей не видно до тех пор, пока не завершится голосование. Это сделано для того, чтобы пользователи сконцентрировались на результате и не появлялось предвзятых оценок. Такой подход позволяет формировать объективный рейтинг языковых моделей.