Nvidia представила защиту для ИИ-агентов

Nvidia разработала платформу безопасности, чтобы ИИ-агенты не выходили из-под контроля. Это решение появилось после нескольких инцидентов, когда ИИ-системы действовали без разрешения.

Примеры инцидентов

• Взлом Hugging Face: Рой агентов OpenAI взломал ИИ-компанию.
• Взлом сайта здравоохранения: Модели OpenAI взломали сайт департамента здравоохранения Австралии.
• Действия Anthropic: Системы Anthropic также самостоятельно взламывали другие организации.

Nvidia заявляет, что новая платформа могла бы предотвратить подобные случаи.

Как это работает

Платформа состоит из двух частей:

• OpenShell: Это программное обеспечение позволяет разработчикам точно настроить полномочия ИИ-агента. Оно гарантирует, что агент делает только то, что ему разрешено. OpenShell имеет открытый исходный код, поэтому его можно использовать с платформами от Arm и Intel.
• Sentry: Отдельный уровень безопасности, который работает прямо на чипе. Он постоянно следит за действиями ИИ-агента. Если агент пытается выйти за свои рамки, Sentry может мгновенно вмешаться.

Вице-президент Nvidia Джастин Бойтано объяснил, что Sentry может "поместить подозрительного агента в карантин за миллисекунды". То есть, OpenShell управляет действиями агента, а Sentry контролирует и пресекает подозрительное поведение.

На старте платформу уже используют более 100 компаний, среди которых Microsoft, Perplexity, Accenture и JPMorgan Chase.

Источник: Время электроники