Основной проблемой большинства бенчмарков для LLM и агентов является их воспроизводимость. Агент, показавший высокий результат в одном испытании, может провалиться в другом из-за нестабильной среды исполнения и субъективной оценки. BitGN решает эту проблему с помощью детерминированного контракта: агент подключается к платформе через API и работает в строго контролируемой среде с заданными инструментами, файлами и условиями задачи.
Этот подход позволяет оценивать агентные системы на основе воспроизводимых результатов, что важно для их применения в бизнесе, разработке и информационной безопасности.
Соревнование проводится в два этапа: тренировочный стенд открыт в постоянном режиме с 25 февраля, а финал состоится 11 апреля в гибридном формате. Участие бесплатное. Чемпионат проводится с 2024 года, в прошлом году в нем участвовали более 500 команд, выполнивших свыше 360 000 оценок агентов.
Источник: пресс-служба компании Positive Technologies
