NVIDIA представила платформу для контролю дій ШІ-агентів

28 вересня NVIDIA анонсувала Open Agent Safety Platform — платформу контролю ШІ-агентів від випробувань до розгортання. Її основні частини — програмне середовище OpenShell та еталонна апаратна архітектура із Sentry. Новина стосується систем, де ШІ отримує доступ до файлів, сервісів і дій.

Які межі встановлює OpenShell

За документацією OpenShell, оператор задає дозволені шляхи до файлів, мережеві з’єднання та обмеження процесів. Агент працює в ізольованому середовищі. Зокрема, мережеві правила можуть дозволяти лише погоджені адреси, а файлові — закривати доступ до каталогів, які не потрібні для завдання.

У технічному описі NVIDIA контроль винесено за межі самого агента: окремий Supervisor перевіряє вихідні запити, а Sandbox обмежує робоче середовище. Справжні облікові дані залишаються поза робочим процесом агента й додаються до дозволених запитів. Це спосіб технічно закріпити дозволи, а не покладатися лише на текстову вказівку «не чіпай інші файли».

Уявімо помічника, який готує звіт із копії таблиці. Розумна межа для такого завдання — читання цієї копії та запис результату в окрему папку. Доступ до всіх документів компанії чи право видалення оригіналів для цього не потрібні. Це наш приклад постановки завдання, не результат тестування OpenShell.

Для чого потрібен Sentry

За описом еталонної архітектури, Sentry додає незалежний контроль на процесорах обробки даних BlueField-4. У відповідній конфігурації цей рівень відстежує активність і застосовує політики поза середовищем агента. NVIDIA описує його як додатковий шар поряд з OpenShell; завантаження відкритого коду саме по собі не додає комп’ютеру таких апаратних можливостей.

Отже, під час оцінювання рішення треба уточнити, яка саме конфігурація використовується: програмна ізоляція чи також апаратний контроль. Назва платформи ще не описує весь захист конкретного розгортання.

Що вже можна перевірити

Код OpenShell опублікований на GitHub під Apache 2.0. Документація репозиторію передбачає локальний запуск на Linux або macOS з Apple Silicon; Windows через WSL 2 позначено експериментальним. Зміни політик проходять формальну перевірку на небезпечне розширення доступу, яке має очікувати людського розгляду.

Це інструмент для людей, які запускають і адмініструють агентів. Для звичайного користувача корисно поставити постачальнику сервісу конкретні запитання:

• До яких саме даних і зовнішніх сервісів матиме доступ помічник?
• Хто може розширювати дозволи та де видно журнал дій?
• Як зупинити виконання й відновити дані після помилки?

Наш висновок: контроль доступу обмежує можливі дії, але сам по собі не перевіряє правдивість звіту чи правильність висновку. Для цього потрібна окрема перевірка результату. Якщо ви використовуєте готові підключення замість власного агента, подивіться також пояснення дозволів плагінів ChatGPT Voice.