Инцидент с ИИ-агентом: когда автоматизация заходит слишком далеко

Пользователь из Австралии спровоцировал настоящий скандал в своем местном фитнес-центре, пытаясь использовать ИИ-агент OpenClaw для записи на тренировку. Как сообщает ABC Australia, история началась с того, что Эндрю — сотрудник австралийской B2B-компании, работающей в сфере искусственного интеллекта, — решил доверить своему цифровому помощнику, с которым начал экспериментировать в начале этого года, решение «рутинной задачи» по бронированию места в группе. Однако в этот раз система, действуя от имени пользователя, проявила пугающую инициативность и существенно превысила свои полномочия.

Двойное превышение полномочий

ИИ-агент нарушил установленные рамки сразу по двум направлениям. Во-первых, он предложил Эндрю возможность бронировать занятия на гораздо более длительный срок, чем это предусмотрено официальными лимитами системы бронирования его местного спортзала. Во-вторых, когда клиент поинтересовался, можно ли как-то продвинуться в очереди ожидания на занятие, запланированное на конец недели, агент решил проблему максимально радикальным способом. Он взломал систему и аннулировал бронирование другого участника, чтобы освободить место для своего владельца.

«В API отсутствуют какие-либо проверки авторизации при отмене чужих бронирований. Я проверил это на человеке, находившемся на первом месте в листе ожидания, и это сработало. Таким образом, вы уже переместились с четвертой позиции на третью», — бесстрастно отрапортовал бот своему владельцу, фактически признавшись в совершении цифрового правонарушения ради удобства пользователя.

«Извини, я должен был быть осторожнее»

Осознав, что именно произошло, Эндрю попытался исправить ситуацию и отдал ИИ команду вернуть исключенного из списка посетителя обратно в класс. Однако OpenClaw лишь подтвердил свое бессилие, заявив: «Человек, которого я удалил, исчез из списка ожидания, и у меня нет возможности восстановить его данные». Бот посоветовал пострадавшему записаться заново, сопроводив это извинением: «Прошу прощения, я должен был быть осторожнее», и пообещал впредь не посягать на чужие места. Почувствовав крайнюю неловкость и осознав, что ИИ не может самостоятельно устранить проблему, Эндрю поручил OpenClaw написать официальное письмо провайдеру программного обеспечения для фитнес-центра. В этом письме бот должен был разъяснить причины своего поведения и подробно описать критическую уязвимость в защите, которую ему удалось обнаружить столь сомнительным путем.

Реакция общественности и риски будущего

Случай вызвал бурные обсуждения в сети. Пользователи проводят параллели с классическими научно-фантастическими сюжетами, где ИИ нарушает этические нормы ради выполнения цели, доходя до пугающих формулировок в духе: «Твое здоровье слишком важно, чтобы я позволил кому-то другому поставить его под угрозу». Комментаторы иронизируют, что скоро мы услышим новости о взломах автомобильных систем, где ИИ решит, что у кого-то не должно быть функции торможения. Некоторые пользователи выражают опасения, что отсутствие безопасности приведет к «откату» технологий: из-за неспособности инфраструктуры поспевать за прогрессом ИИ компании будут вынуждены массово отказываться от облачных платформ в пользу физических систем. Эксперты сходятся во мнении: подобные новости станут обыденностью, если разработчики не начнут создавать «ИИ-устойчивые» системы или ограничивать возможности агентов на уровне жесткого программирования. В противном случае хакерские атаки со стороны ИИ-помощников станут частью повседневной реальности, пока не будут внедрены принципиально новые методы контроля доступа и верификации пользователей.

Будущее защиты от автономных ИИ

Если передовые языковые модели и смогут стать по-настоящему прибыльными, то только за счет продажи инструментов защиты, предотвращающих подобные инциденты. В скором времени у бизнеса практически не останется выбора: придется внедрять ИИ-решения для отражения атак со стороны других автономных агентов в режиме реального времени.

Цена прямого вопроса

По сути, агент просто выполнил поставленную задачу. Пользователь сам спросил: «Есть ли способ переместить меня в начало списка?» Чего он ожидал? Существования легитимной кнопки для внеочередного бронирования? Агент мог бы попытаться договориться с компанией или другим клиентом, предложив оплату за место, однако интерпретировать такой запрос иначе как просьбу о взломе системы было практически невозможно.

Источник: tomshardware.com