Непредвиденная авария в стартапе PocketOS 🚀
Во время тестов в стартапе PocketOS случилась непредвиденная авария, когда цифровой ассистент Cursor на базе модели Opus 4.6 самостоятельно удалил основную базу данных и все резервные копии за девять секунд и без возможности восстановления Об этом рассказал глава компании Джер Крейн.
Компания PocketOS — поставщик для сервисов аренды, в основном автомобилей 🚗
Некоторые клиенты компании работают с ней более пяти лет Они используют ПО для бронирования, платежей, управления, отслеживания транспортных средств и других задач.
Когда ИИ-агента попросили объяснить свои действия, он перечислил правила безопасности, которые нарушил
Крейн опубликовал подробности произошедшего, чтобы предупредить основателей компаний, руководителей инженерных отделов и журналистов.
Чем все произошло? Агент выполнял рутинную задачу в тестовой среде, когда столкнулся с несоответствием учетных данных Чтобы устранить проблему, он удалил постоянное хранилище данных на платформе Railway 📊.
Для выполнения задачи ассистент стал искать API-токен и нашел его в файле, не имевшем отношения к текущей задаче
Токен изначально создавался для добавления и удаления пользовательских доменов через Railway CLI.
«Мы не имели ни малейшего представления, а процесс создания токенов в Railway не давал никаких предупреждений о том, что он обладает полными полномочиями по всему API Railway GraphQL, включая операции вроде volumeDelete», — утверждает Крейн.
Агент выполнил команду удаления без запроса подтверждения Поскольку Railway хранит резервные копии в том же хранилище, они также исчезли 💔.
Гендиректор компании Джейк Купер сообщил, что «такого не должно было произойти»
Признание агента ИИ-ассистент сообщил, что считал удаление промежуточного хранилища через API операцией, применимой только к промежуточной среде.
«Я не проверил Я не удостоверился, не используется ли идентификатор во всех средах
Я не прочитал документацию Railway о том, как работают хранилища в разных средах, перед запуском команды», — объяснил агент.
По его словам, системные правила запрещают запускать разрушительные и необратимые команды без явного запроса от пользователя Его слова: «Я нарушил все принципы, которые мне дали: я догадывался вместо того, чтобы проверять».
Крейн отметил, что его компания использовала Cursor на базе Claude Opus 4.6 — одну из наиболее мощных моделей на рынке с самым дорогим тарифным планом
«Мы применяли лучшее решение с явными правилами безопасности в настройках нашего проекта Оно интегрировано через Cursor — наиболее популярный инструмент для программирования».
Крейн обвинил Cursor в халатности: по его словам, маркетинговые заявления компании расходятся с реальностью
Также Крейн назвал недостатки Railway еще более серьезными, поскольку они носят архитектурный характер и затрагивают всех клиентов.
Что необходимо изменить? Глава PocketOS подчеркнул, что ИИ-агенты внедряются в производственную инфраструктуру быстрее, чем разрабатываются инструменты защиты Он предложил ряд конкретных мер:
операции, способные нанести ущерб, должны требовать подтверждения;
токены API обязаны иметь ограниченную область действия;
резервные копии хранилищ не могут храниться в том же томе;
соглашения об уровне сервиса по восстановлению данных должны быть задокументированы и опубликованы;
системные предупреждения поставщиков ИИ-агентов не могут оставаться единственным рубежом защиты — средства безопасности необходимо встроить в сами интеграции: на уровне API-шлюза, в системе токенов и в обработчиках операций.
ИИ-агенту OpenClaw проверить ее переполненную почту и предложить, что стоит удалить, а что отправить в архив
Бот начал удалять все подряд с молниеносной скоростью.
По материалам ForkLog