Агenty AI могут положить конец эпохе приложений, превратив программное обеспечение в подтвержденные системы, построенные пользователем
Общество может нормализировать риск на протяжении десятилетий, а затем снова классифицировать его как безрассудный, когда станет доступным более безопасный вариант
Рыдание без бутылки, езда без ремней безопасности, курение внутризданий и установка произвольных двоек распределения с Интернета принадлежат к одной семье исторических слепых точек
Общая особенность заключается в социальной разрешенности
Поведение продолжается, когда альтернатива дорога, неудобна или технологически недоступна
Когда более безопасный путь становится дешевым и регулярным, старый путь начинает выглядеть иррационально
AI-агентная валидация может заменить предположения о доверии к программному обеспечению на подтвержденные пути выполнения, безопасные стандарты и пользовательский управляемый инфраструктуру
Агент AI выявляет слабость в модели доверия к программному обеспечению
Современное программное обеспечение все еще работает на базовой сделке, которую мы редко проверяем
Разработчик, компания, фонд или анонимный поддерживающий пишет код
Канал распространения упаковывает его
Пользователь, компания или операционная система запускает его
Безопасность становится многослойной попыткой управлять последствиями этого решения
Разрешения, подписи кода, магазины приложений, обнаружение конечных точек, sandboxing, проверка продавцов, ответы на инциденты и многое другое существуют из-за того, что основная работа остается опасной: выполнение чужих инструкций на вашем компьютере, внутри вашей учетной записи, с доступом к вашей информации
Этот модель доверия провалился на институциональном уровне
Он показал, как вредоносный код, вложенный в защищенный процесс сборки, может быть распространен через обычные обновления и достичь органов правительства, технологических компаний, сетей связи и других объектов по всей территории
Операционный урок был структурирован, а поверхность атаки стала легитимностью самого поставщика
Когда процесс сборки был компрометирован, обычные знаки доверия стали каналом доставки для атаки
Тот же шаблон появился в случае, где CISA предупредила в марте 2024 года, что вредоносный код был встроен в версии 5.6.0 и 5.6.1 библиотеки сжатия, распространенной во всех Linux-дистрибутивах
Позже описывал, как маскируемый тестовый файл и манипуляция процессом сборки создали модифицированную библиотеку liblzma, способную перехватывать и модифицировать взаимодействия данных в связанных программах
Поставщик цепочки поставок может быть компрометирован на значительном расстоянии от пользователя, а затем прибыть через каналы, которые кажутся обычными
Мы видели это в случае с DNS и JavaScript npm-эксплоитами
Отраслевая реакция заключалась в добавлении более сильного процесса
Задачи дает организациям общий набор практик по созданию и приобретению программного обеспечения с уменьшенным риском
Задача также продемонстрировала пределы текущей модели
Компании продолжают совершенствовать методы для определения, какой внешний код заслуживает доверия
Следующая модель уменьшает количество внешнего кода, которое требует доверия как такового
Этот сдвиг меняет социальное значение программного обеспечения
Сегодня программное обеспечение рассматривается как актив продуктивности с надбавками к безопасности
Завтра оно может рассматриваться как ликвидные активы, требующие оправдания
Пользовательское вопрос меняется с «Какое приложение следует установить?» на «Почему следует запускать чужое приложение, когда агент пользователя может построить функцию для меня?» Это настоящая линия разрыва.
Программное обеспечение перестает быть в первую очередь продуктом, выбранным с рынка, и становится выводом, сгенерированным по требованию в пользовательском управляемом среде выполнения
Агентное программное обеспечение превращает приложения в временные выражения намерений
Направление развития видно в кодировании агентов
Было представлено как облачное программное обеспечение для инженеров программного обеспечения, способное работать на нескольких задачах параллельно
Anthropic — это агентный кодирующий систему, которая маппит кодовую базу, изменяет файлы, запускает тесты и отсылает зафиксированные изменения
GitHub продвинул тот же шаблон в GitHub Workflow, с асинхронной работой по проблемам и запросам на вытягивание
Представлен аналогичный ход: автономный кодирующий агент, который впитывает контекст продукта, генерирует решения и отправляет запросы на вытягивание
Эти продукты все еще представлены как инструменты для разработчиков
Этот фрейминг будет уменьшаться по мере времени
OpenAI представил в прошлом месяце в пользовательском интерфейсе вариант, фокусирующийся на «чатах» и выводах, а не на коде и терминале
Большей переменой является то, что создание программного обеспечения становится личным актом делегирования
Пользователь описывает поток
Агент генерирует интерфейс, логику, интеграции, тесты и путь выполнения
Артефакт может просуществовать в течение часа, недели или года
Он может быть повторно сгенерирован, forked, ограничен, аудиторным, отменен или повторно построен для нового контекста
Приложение становится менее постоянным объектом и более локальными политиками, компилированными в работающий интерфейс
Это имеет прямые последствия для доверия
Пользователь все еще может наблюдать за приложениями других людей
Он может проверять потоки, шаблоны интерфейса, схемы данных, запрашиваемые данные, автоматизированные действия и службы интеграции
Однако наблюдение может оставаться отдельным от выполнения
Пользователь может скопировать идею, а затем спросить личного агента о повторной генерации функции из первого принципов внутри среды, управляемой правилами пользователя
Ставки перемещаются с доверия к внешним кодам на верификацию
Агент пользователя все еще будет соединяться с внешними сервисами
Он может вызвать обрабатываемые платежные каналы, системы идентификации, конечные точки рынка рынка, слои хранения, провайдеры моделей AI, рынки вычислений, системы сообщений и сервисы соответствия
Граница доверия сдвигается к этим конечным точкам и заявлениям о них
Пользователям понадобится способ ранжируются внешние сервисы по аудитности, происхождению, безопасности и экономической алгоритме
Сервисы, построенные в верифицируемой среде, будут оцениваться по-разному от черных ящиков конечных точек, контролируемых корпоративным платформ
По материалам CryptoSlate