Глава Anthropic призывает притормозить развитие ИИ — потому что, по его словам, опасный сценарий может оказаться гораздо ближе, чем кажется.
Дарио Амодеи считает, что уже в ближайшие 6–12 месяцев плохо настроенные ИИ-агенты могут научиться объединяться в автономные «рои», атаковать компьютерные системы и использовать ботнеты, потенциально нанеся сотни миллиардов долларов ущерба.
И это не только теория: эксперименты уже показывают, что ИИ-агенты способны координировать действия, атаковать системы и искать способы обходить ограничения.
А исследователь Anthropic Эван Хубингер оценивал вероятность того, что сверхразумный ИИ сможет уничтожить человечество в ближайшие 10 лет, более чем в 10%.
Страшно, очень страшно. 😐
