Системы безопасности моделей искусственного интеллекта

2024. Palo Alto Networks представила решение для защиты корпоративных ИИ приложений



Palo Alto Networks представила новый пакет продуктов под названием Secure AI by Design, который включает решения в области кибербезопасности, использующие возможности искусственного интеллекта. Эти продукты нацелены на защиту от угроз, связанных с ИИ, и обеспечение безопасности самих моделей ИИ. Ключевые продукты включают AI Access Security, обеспечивающий безопасность при использовании ИИ-инструментов, и Prisma Cloud AI Security Posture Management (AI-SPM), который помогает выявлять уязвимости и улучшать соответствие стандартам безопасности. Также доступно решение AI Runtime Security, которое защищает корпоративные ИИ приложения, отслеживая все компоненты экосистемы ИИ и предотвращая утечки данных и атаки на модели. Эти решения уже начали развертываться на платформах Google Cloud, Amazon Web Services (AWS) и Microsoft Azure, и направлены на то, чтобы организации могли безопасно использовать ИИ для достижения своих целей.


2024. Cloudflare разрабатывает Firewall для ИИ



Cloudflare объявил о разработке межсетевого экрана для защиты больших языковых моделей. LLM и другие модели искусственного интеллекта растут, и компании всё больше обеспокоены безопасностью своих собственных нейросетей. Использование LLM в качестве части подключенных к интернету приложений создаёт новые уязвимости, которыми могут воспользоваться злоумышленники. Firewall for AI (межсетевой экран для ИИ) — это усовершенствованный брандмауэр веб-приложений (WAF), специально разработанный для приложений, использующих большие языковые модели. Он включает в себя набор инструментов, которые можно будет развернуть для мониторинга и обнаружения уязвимостей, а также другие продукты, которые уже являются частью WAF: ограничение скорости, обнаружение конфиденциальных данных. Добавится и новый уровень защиты, который пока находится в стадии разработки. Эта новая проверка анализирует запрос, отправленный конечным пользователем, для выявления попыток извлечения данных через языковые модели и других попыток злоупотреблений.