🤓 Нейросети отправили сдавать экзамен на раввина: Claude обошёл ChatGPT и Gemini
Исследователи запустили HalachaBench — необычный тест, в котором 22 ИИ-модели проверили на знание еврейского религиозного права
— Нейросетям дали 60 реальных экзаменационных вопросов Главного раввината Израиля. Отвечать нужно было на иврите, без доступа к интернету, поисковикам и другим инструментам
Результаты из 100 баллов:
◦ Claude Fable 5.1 — 79,7
◦ Gemini 4 Argon — 78,2
◦ GPT-6 Astra — 73,3
◦ GPT-6.1 Sol — 72,8
◦ Claude Opus 5.5 — 69,1
◦ Grok 4.7 — 29,9
Каждый вопрос задавали трижды, и ответы одной модели могли заметно различаться. При оценке только худших попыток результаты лидеров снижались на 7–11 баллов
Правда, есть нюанс: ответы проверяла GPT-6 Astra, которая сама участвовала в тестировании. Независимая проверка раввинами ещё не завершена
🧑💻 Этичный хакер
