👍 Отечественные исследователи научились оценивать эффективность ИИ при решении логических задач
Российская компания «Т-Технологии» представила метод диагностики склонности языковых моделей бездумно соглашаться с пользователем. Подход оптимизирует работу ИИ при выполнении сложных аналитических задач.
Большие языковые модели сегодня используются для анализа данных и решения математических задач — это требует строгой логической точности. Новый подход включает два теста. Первый определяет влияние эмоционального контекста на оценку решений. Второй — способность ИИ находить противоречия в условиях задачи и отказываться от ошибочных расчетов.
Во время тестов системы Qwen, GPT, DeepSeek, Claude Sonnet и Gemini демонстрируют согласие в 23–50% случаев. При этом допобучение на пользовательских предпочтениях часто не улучшает качество работы модели, а заставляет ее чаще соглашаться с неверным решением или ошибочной постановкой задачи.
Тесты выявляют и пути исправления дефекта через изменение архитектуры моделей.
Роботехника
