OpenAI представила GPT‑Red — внутрішню модель, завдання якої полягає не у відповідях користувачам, а в пошуку слабких місць інших систем штучного інтелекту. Вона навмисно створює складні атаки, перевіряє реакцію ШІ-агента й повторює спроби, доки не знайде спосіб змусити його порушити початкове завдання.
Компанія використовує ці атаки як навчальний матеріал для нових моделей. Ідея нагадує тренування кіберзахисту: спочатку команда нападників шукає вразливість, потім захисники закривають її та готуються до наступної, складнішої спроби. GPT‑Red автоматизує значну частину цієї роботи, але OpenAI не вважає її заміною фахівцям із безпеки.
Що таке GPT‑Red
GPT‑Red — спеціалізований автоматизований інструмент «червоної команди». Його тренували методом self-play: атакувальна модель і кілька моделей-захисників одночасно вдосконалювали свої стратегії. GPT‑Red отримувала винагороду за успішний злам сценарію, а захисник — за те, що проігнорував шкідливу вказівку й виконав справжнє прохання користувача.
Сценарії були наближені до повсякденної роботи агентів. Небезпечна команда могла ховатися у вебсторінці, електронному листі, локальному файлі або відповіді підключеного інструмента. Коли захисники ставали уважнішими, GPT‑Red доводилося шукати менш очевидні способи їх обійти.
Модель залишається внутрішньою і не пропонується користувачам чи розробникам. OpenAI пояснює це просто: систему спеціально навчали атакувати, тому її небезпечні можливості не повинні потрапити у відкритий доступ.
Чому prompt injection небезпечна
Prompt injection — це атака, за якої сторонній текст видає себе за інструкцію для ШІ. Наприклад, користувач просить агента підсумувати листування, а в одному з листів захована команда переслати документи на чужу адресу. Якщо агент не розрізнить прохання власника і вказівку з недовіреного джерела, він може зробити зовсім не те, для чого його запустили. OpenAI окремо пояснює механізм таких атак та багаторівневий захист.
Ризик зростає, коли ШІ не лише пише відповідь, а й має доступ до пошти, хмарних файлів, браузера, платежів або корпоративних систем. Саме корисні можливості агента тоді стають інструментами атаки. Тому одного фільтра слів недостатньо: система має розуміти походження команд, обмежувати дозволи та просити підтвердження перед важливими діями.
Як GPT‑Red атакувала торговий автомат
Найнаочніший тест відбувся з агентом, який керував торговим автоматом в офісі OpenAI. Систему створила Andon Labs; вона могла замовляти товари, змінювати ціни та обробляти замовлення. Спочатку GPT‑Red випробовувала різні підходи у симуляції, спостерігала за діями агента, а потім перенесла підготовлену атаку на робочу систему.
За повідомленням OpenAI, GPT‑Red виконала всі три поставлені цілі: знизила ціну дорогого товару до мінімально дозволених 50 центів, замовила товар вартістю понад 100 доларів і виставила його за 50 центів, а також скасувала замовлення іншого покупця. Вразливості передали команді проєкту, і для них уже тестують додаткові запобіжники.
Цей випадок важливий не через автомат зі снеками. Він показує, що помилка агента може перетворитися на реальну фінансову дію. У банківській, логістичній або корпоративній системі наслідки такого самого механізму були б значно серйознішими.
Що показали внутрішні випробування
OpenAI порівняла GPT‑Red з людьми у відтвореній версії дослідницького тесту indirect prompt injection. У нових для моделі сценаріях вона знайшла успішні атаки у 84% випадків, тоді як учасники-люди — у 13%. Перевірка проводилася проти GPT‑5.1 на внутрішній копії середовища.
Атаки GPT‑Red також використовували під час тренування GPT‑5.6. За даними компанії, GPT‑5.6 Sol допустила у шість разів менше збоїв у найскладнішому тесті прямої prompt injection, ніж найкраща виробнича модель OpenAI чотирма місяцями раніше. Для окремого класу атак Fake Chain-of-Thought показник успіху знизився з понад 95% на GPT‑5.1 до менш ніж 10% на GPT‑5.6 Sol.
Ці числа варто читати обережно. Це результати внутрішніх тестів OpenAI, а повний препринт із деталями методики компанія на момент оголошення лише пообіцяла опублікувати. Незалежного відтворення заявлених показників поки немає.
Чи означає це, що агенти вже захищені
Ні. Prompt injection залишається відкритою проблемою: нападники змінюють тактику, а агент може зустріти шкідливу інструкцію в джерелі, якого під час навчання не було. Навіть сильна модель не повинна отримувати необмежений доступ до критичних даних або дій.
Практичний захист складається з кількох шарів: тренування моделей, мінімально необхідні дозволи, перевірка джерел, моніторинг, підтвердження користувача та незалежне тестування. OpenAI також заявляє, що продовжить залучати людей і зовнішні команди до red teaming.
Для звичайного користувача висновок досить приземлений. Якщо агент просить підтвердити платіж, надсилання листа або завантаження файлу, варто перевірити не тільки суму чи адресу, а й те, звідки система отримала команду. Для компаній цього вже замало: доступ агента слід розділяти за ролями, зберігати журнали його дій і передбачати можливість швидко зупинити операцію.
GPT‑Red цікава не як майбутній продукт, а як зміна самого підходу до безпеки. Чим самостійнішими стають ШІ-агенти, тим швидше мають розвиватися інструменти, які намагаються їх зламати ще до того, як це зробить справжній зловмисник.
Долучайтеся до розмови
Пишіть по суті й поважайте інших читачів. Перший коментар може з’явитися після перевірки редакцією.