🧠 Создан универсальный тест для русскоязычных ИИ‑ассистентов
Российские специалисты разработали методику для оценки качества работы русскоязычных генеративных ИИ‑систем. Разработка предназначена для проверки точности, актуальности и надежности ответов интеллектуальных ассистентов, которые опираются на корпоративные базы знаний и внешние источники.
В предлагаемой методике тестовые задания формируются автоматически на основе свежих новостных потоков. Система выделяет из них новые факты, строит на их базе «карту знаний» и создает многоуровневые логические задачи. Это позволяет проверить, насколько хорошо ассистент умеет сопоставлять сведения, делать выводы и избегать вымышленных ответов (галлюцинаций).
Методика легко адаптируется к разным языкам и сценариям использования — от анализа научных публикаций до обработки юридических документов, что делает ее технологическим фундаментом для построения надежных ИИ‑решений в разных отраслях.
На основе нового подхода исследователи протестировали ряд ИИ‑помощников и подготовили первый открытый рейтинг подобных систем. Результаты работы будут представлены на международной конференции по компьютерной лингвистике EACL 2026.
Роботехника
