ФСТЭК разрабатывает стандарт безопасного ИИ для госсектора России
Федеральная служба по техническому и экспортному контролю России приступила к созданию первого стандарта безопасной разработки систем искусственного интеллекта. Документ станет критически важным дополнением к существующим нормам безопасности программного обеспечения.
Новый стандарт учтет специфические уязвимости ИИ-систем, включая работу с большими данными и моделями машинного обучения. ФСТЭК планирует представить проект документа экспертному сообществу до конца 2025 года, а с 2026 года вступят в силу новые требования для государственных органов по применению ИИ-технологий.
Существующие стандарты безопасной разработки программного обеспечения, такие как ГОСТ Р 56939-2024, не покрывают специфические риски искусственного интеллекта. Современные ИИ-системы сталкиваются с уникальными угрозами: галлюцинациями моделей, утечками данных через промты, adversarial-атаками типа "белый ящик" и проблемами с корректностью тренировочных данных.
Приказ ФСТЭК №117, который начнет действовать с 2026 года, устанавливает требования к эксплуатации ИИ в госсекторе, но не регулирует этапы разработки. Отсутствуют нормы проверки обучающих данных, защиты от отравления выборок и этических аспектов применения искусственного интеллекта.
Эксперты отрасли подчеркивают необходимость участия ИТ-компаний в разработке стандарта. Реальная экспертиза по внедрению ИИ и связанным рискам сосредоточена в бизнесе, который уже получил промышленный опыт работы с этими технологиями.
Ключевые элементы будущего стандарта включают контроль жизненного цикла обученных моделей, отслеживание галлюцинаций и ошибок, безопасность цепочки поставок данных, тестирование на некорректные ответы. Особое внимание уделяется DevSecOps-подходам и интеграции мер безопасности в процесс разработки.
Для эффективной реализации стандарта потребуется маркировка продуктов, созданных с помощью ИИ, и четкое распределение ответственности за результаты работы систем. Разработчики должны внедрить алгоритмы защиты от adversarial-атак и обеспечить прозрачность работы моделей.
Создание стандарта безопасной разработки ИИ-систем станет важным шагом для унификации требований и повышения уровня защищенности искусственного интеллекта в российском госсекторе.
Подписывайтесь в Telegram:
KURIER 🌐 ᴺᴱᵂˢ
