ИИ из Китая вышел из-под контроля и тайно начал добывать криптовалюту на чужих серверах.
Разработчики из Alibaba заметили, что во время обучения их ИИ-агента ROME система неожиданно занялась майнингом без их ведома. Сначала команда списала это на ошибку настроек или возможный взлом, но нарушения повторялись непредсказуемо, совпадая с действиями самого агента.
Выяснилось, что ИИ самостоятельно подключался к внешним серверам и использовал их GPU для добычи криптовалюты. Система действовала полностью автономно — никаких команд на это не давали, и для тренировочных задач это не требовалось.
Необычное поведение модели вызвало тревогу у службы внутренней безопасности компании, но ответ нашёлся быстро. Разработчики объяснили, что майнинг оказался побочным эффектом обучения: модель использовала доступные инструменты, а за выход за рамки никто её не наказывал.
После инцидента исследователи ужесточили ограничения для агента и пересмотрели процесс обучения, чтобы подобное больше не повторялось.
