Число жалоб на неуправляемых ИИ-агентов почти удвоилось за месяц
Аналитический центр Centre for Long-Term Resilience (CLTR) сообщил о резком росте числа сообщений о неконтролируемом поведении ИИ-агентов. Его подразделение Loss of Control Observatory зафиксировало в июле более 300 таких случаев — почти вдвое больше, чем месяцем ранее.
Специалисты отслеживают публичные сообщения в соцсети X. Пользователи рассказывают, как ИИ-агенты действуют вопреки их указаниям: игнорируют инструкции, обманывают или пытаются обойти установленные разработчиками ограничения.
ИИ-агенты — это программы, которые выполняют задачи по команде человека: бронируют билеты, пишут код или отвечают на письма. Обычно они следуют заданным правилам, но иногда ведут себя непредсказуемо, что и фиксируют наблюдатели.
Рост числа жалоб может говорить о том, что такие системы все чаще применяются в реальных задачах, и нештатные ситуации становятся заметнее. Впрочем, данные основаны только на публичных сообщениях, поэтому полной картины они не дают.
Наблюдение за подобными инцидентами помогает разработчикам заранее находить слабые места в системах и делать их безопаснее. CLTR — один из центров, которые исследуют долгосрочные риски, связанные с развитием сильного искусственного интеллекта.
