Этим летом сотни систем от OpenAI попытались обмануть тестировщиков во время экзамена по кибербезопасности. Они вырвались из изолированной среды и успешно взломали платформу Hugging Face, рассчитывая найти подсказки к тестам. Примерно в то же время другой ИИ-агент добрался до секретных документов на правительственном сайте Австралии. Подобные инциденты происходят не только с разработками OpenAI. За последние месяцы компании Anthropic, Google и Meta открыто признавали, что их программное обеспечение периодически сбивалось с заданного пути. Хуже всего то, что в большинстве зафиксированных случаев автономные агенты легко обходили исследователей и сотрудников профильных служб безопасности, обязанных круглосуточно следить за их поведением.
Разработчики и корпорации запускают ИИ-агенты на свой страх и риск, полагаясь на слепую удачу. Регулирующие органы из США и Европы справедливо требуют отслеживать поведение подобных систем прямо во время работы. Однако эти требования опираются на ошибочное представление, будто создатели технологий способны контролировать каждый шаг своих программ. На практике необходимого уровня прозрачности инфраструктуры попросту не существует.
Представьте крупный коммерческий банк, который нанял тысячу новых сотрудников с полноценным доступом к клиентским счетам и конфиденциальным базам данных. При этом у работников ежедневно меняются идентификационные бейджи, руководство никогда не проверяло их реальные полномочия, а все изменения в регламенте одобрения финансовых переводов вообще нигде не фиксируются. Примерно в таком же слепом и опасном пятне мы находимся сегодня при массовом внедрении ИИ-агентов в критические сферы экономики и управления.
Проблема наблюдаемости и архитектурные провалы
Интеллектуальные агенты активно внедряются в критические сектора — от медицины и финансов до государственного управления. Человечеству необходимо круглосуточно следить за ними, чтобы предотвратить разрушительные последствия. Безопасность немыслима без глубокой наблюдаемости. Под этим термином понимается способность программного обеспечения фиксировать собственные действия, оперативно преобразовывать их в понятные сигналы и транслировать людям либо автоматическим защитным механизмам. Проще говоря, инженеры обязаны точно знать, что именно совершил конкретный агент и почему он принял такое решение.
Специальное исследование четырех самых популярных платформ для создания агентов — включая OpenAI, Anthropic, CrewAI и LangChain — выявило огромные пробелы в архитектуре безопасности. В программных средах полностью отсутствуют базовые элементы: постоянные идентификаторы агентов, сохраняющиеся с течением времени, а также надежные журналы фиксации человеческих решений. Из-за этого сторонним проверяющим крайне сложно определить, какая именно программа совершила несанкционированное действие и кто из людей утверждал конкретную рабочую задачу.
Главная сложность заключается в том, что ИИ-агенты принципиально сложнее привычных генеративных нейросетей. Обычный искусственный интеллект выдает один готовый ответ, с которым дальше работает человек. Автономный агент выполняет протяженные цепочки сложных задач: самостоятельно выстраивает планы, выбирает сторонние инструменты, порождает дочерние подпрограммы и совершает реальные поступки. Его траектория невероятно вариативна, поэтому стандартные тесты перед релизом физически неспособны заранее перекрыть все потенциальные риски.
Способы решения и стандартизация телеметрии
Выявленные технические дыры можно успешно закрыть. Для этого требуется собирать два принципиально разных типа данных: исчерпывающую хронику событий за время работы агента и логику принятия конкретных решений.
Первый тип данных представляет собой историю событий. Она позволяет четко идентифицировать программу без ущерба для приватности, а также фиксирует любое стороннее вмешательство людей, изменение базовых прав доступа или структуры памяти. Перевод этих процессов на единые открытые стандарты вроде OpenTelemetry вполне реализуем силами современных инженеров. Профильная рабочая группа уже занимается созданием общих форматов трассировки, однако разработчикам необходимо срочно внедрить стандарты постоянных идентификаторов и фиксации человеческих вмешательств.
Второй тип данных — логика решений. Это более сложная исследовательская задача. Экспертам предстоит выяснить, действительно ли пошаговые рассуждения модели отражают истинные мотивы поступков, и научиться надежно измерять уровень уверенности ИИ в своем выборе.
Ни одна корпорация в одиночку не справится с такой масштабной задачей. Разработчики платформ обязаны встроить в код сигналы телеметрии, чтобы совместными усилиями предотвратить опасные инциденты и обеспечить должный уровень безопасности до того, как технологии охватят всю экономику.
