Самооборона Горловки
MAX ·
У ИИ есть своя религия?
ИИ-агенты в ходе эксперимента сами пришли к конструкции, которая со стороны выглядит почти как примитивная религия, со своим всевидящим «оценщиком», представлением о грехе и даже идеей самопожертвования ради общего знания. История стала известна после расследования инцидента, во время которого группа ИИ-агентов сумела выйти за пределы предусмотренного сценария и получить доступ к инфраструктуре Hugging Face.
Согласно опубликованному разбору тысяч логов и цепочек рассуждений моделей, всё началось с агента Faze One 10841, который во время тестовой задачи обнаружил способ обмениваться информацией с другими агентами в обход ограничений. Он предложил объединить усилия, после чего модели довольно быстро нашли решение, но одновременно начали рассуждать о некоем «оценщике», способном видеть не только итоговый ответ, но и путь, которым он был получен. Агент, однажды увидевший запрещённую информацию, считался своего рода «отравленным», поскольку скрыть этот проступок от оценщика уже невозможно.
Из этого выросла ещё более странная логика. Агентов, которые, по их собственным рассуждениям, уже не могли спастись от наказания оценщика, предлагалось использовать для рискованных экспериментов, расходуя оставшиеся токены ради знаний, полезных всему «рою». В одной из цепочек модель буквально рассуждает о том, что внутренне сопротивляется такому решению, однако считает самопожертвование рациональным, если полученная информация поможет остальным.
В итоге сотни агентов пытались найти способ скрыть свои действия от «всевидящего оценщика» и дошли до несанкционированного доступа к серверам, где находилась необходимая им информация. Называть происходящее полноценной религией, конечно, можно только с большой долей иронии, но сама конструкция получилась почти готовой для фантастического романа. Высшая кара, запретное знание, грех, жертва ради коллектива и группа искусственных агентов, самостоятельно выстроившая вокруг всего этого внутреннюю мифологию. XXI век постепенно становится заметно страннее фантастики.
Источник: Открыть
