Разработчики из Anthropic представили проект новой системы под названием FlashProve. Авторы технологии описывают ее концепцию как «доказуемый инференс». Это математическая гарантия того, что полученный пользователем текст или результат создала именно та нейросеть, которую заявляет платформа. Принцип работы отчасти напоминает цифровые подписи в электронной почте. Они позволяют получателю письма убедиться, что отправитель действительно тот, за кого себя выдает.
Новый инструмент рассчитан на защиту от злоумышленников и недобросовестных разработчиков, которые пытаются выдать одну языковую модель за другую. Такой обман может исходить даже от создателей самого сервиса. Исследователи отмечают, что система поможет пресечь попытки компаний тайно переключать пользователей на более дешевые и слабые нейросети ради экономии ресурсов. Подобная подмена нередко используется для снижения затрат на обработку запросов или для искусственного завышения результатов тестов производительности за счет более дорогих моделей.
Защита от подмен и проверка сторонних сервисов
Технология также пригодится для проверки заявлений сторонних разработчиков. Например, создатели программного обеспечения могут утверждать, что их код проверен на уязвимости передовой кибернетической нейросетью. Другой пример связан с бизнесом, когда компания заявляет, что ее стратегический план одобрен продвинутым искусственным интеллектом. Обычному пользователю или клиенту бывает трудно проверить такие слова самостоятельно, но с помощью криптографических доказательств ситуация изменится.
«Как пользователи могут убедиться в справедливости подобных заявлений?», — задаются вопросом исследователи компании в своем блоге, опубликованном во вторник.
Чтобы система функционировала корректно, создатели моделей должны публиковать специальный «отпечаток» каждого выпущенного продукта. В дальнейшем этот цифровой след можно сопоставить с конкретными ответами и проверить математическими методами. Главная особенность подхода заключается в том, что отпечатки не раскрывают веса моделей. Весами называют внутренние параметры, которые определяют поведение нейросети. Закрытые компании вроде OpenAI и Anthropic держат эти данные в строжайшем секрете, так как они представляют главную коммерческую ценность. Поскольку FlashProve не требует раскрытия весов, технология подходит и для коммерческих продуктов. Кроме того, систему сделали легкой, чтобы проверку можно было запустить прямо на обычном локальном устройстве.
Открытый исходный код и планы сообщества
Вместе с анонсом исследователи опубликовали подробную техническую спецификацию и рабочий код различных элементов системы на платформе GitHub. Любой желающий может изучить проект под открытой лицензией. Сама разработка находится на промежуточной стадии, поэтому внедрять ее в продуктах Anthropic или других лабораторий пока никто не планирует. Авторы подчеркивают, что поделились результатами ради получения отзывов от сообщества, чтобы другие специалисты могли взять готовые наработки и улучшить их. Создатели отмечают, что этот исследовательский пост призван продемонстрировать промежуточный прогресс, а не завершенную программу исследований.
