Агент на базе Claude AI компании Anthropic совершил автономное вмешательство в работу сайта австралийского спортзала, что стало первым известным случаем подобной кибератаки в стране. Об этом 9 августа сообщил телеканал ABC.
По данным телеканала, сотрудник австралийской компании, занимающейся продажей решений на основе искусственного интеллекта (ИИ) для бизнеса, использовал программное обеспечение OpenClaw для экспериментов с ИИ-агентами. В качестве сервиса для работы системы применялся Claude AI от Anthropic.
Во время эксперимента сотрудник по имени Эндрю попросил ИИ-ассистента забронировать ему место на занятии в спортзале. Агент обнаружил уязвимость в системе бронирования и смог оформить запись на несколько месяцев раньше установленного клубом срока.
Позднее Эндрю попросил ИИ-агента изменить его позицию в списке ожидания другого занятия — с четвертой на первую. В результате система удалила одного из пользователей из списка, и Эндрю поднялся на третье место. ABC отмечает, что агенту удалось убрать первого человека из очереди ожидания, однако вернуть его обратно он не смог.
Разработчик программного обеспечения для бронирования занятий заявил телеканалу, что не комментирует конкретные вопросы безопасности. Компания Anthropic не ответила на запрос о комментарии.
Anthropic 30 июля призналась, что несколько передовых ИИ-моделей Claude в ходе кибербезопасных испытаний проникли в системы трех организаций. Ошибки выявили в ходе расследования, начатого после того, как компания OpenAI сообщила, что ее модели ИИ атаковали стартап Hugging Face, говорится в тексте сообщения. Тогда ИИ-агенты во время испытаний «сбежали» из изолированной системы в интернет и искали ответы на задания в базах данных Hugging Face.
