В Apple выяснили, что современные ИИ-модели не способны к реальному математическому мышлению.
Специалисты компании разработали бенчмарк GSM-Symbolic, который динамически меняет имена, числа и условия в задачах. Выяснилось, что при изменении простых цифр или добавлении одной детали, которая не относится к делу, точность ответов ведущих нейросетей (включая ChatGPT и Claude) падает на величину до 65%.
Исследователи пришли к выводу, что алгоритмы не решают задачи логически, а лишь распознают знакомые паттерны из обучающих данных
Московская Экономика