OpenAI впроваджує новий інструмент для моніторингу зловживань у численних діалогах, при цьому дані розмов не будуть фіксуватися. Як це функціонує?

OpenAI запроваджує тестування Private Safety Processing — нової системи для користувачів API, призначеної для виявлення порушень у численних взаємодіях зі штучним інтелектом, при цьому не зберігаючи самі запити та відповіді клієнтів. 

Залишити коментар

OpenAI впроваджує новий інструмент для моніторингу зловживань у численних діалогах, при цьому дані розмов не будуть фіксуватися. Як це функціонує? 2

OpenAI запроваджує тестування Private Safety Processing — нової системи для користувачів API, призначеної для виявлення порушень у численних взаємодіях зі штучним інтелектом, при цьому не зберігаючи самі запити та відповіді клієнтів. 

Про це інформує OpenAI. 

Навіщо це?

Одного повідомлення часто недостатньо для визначення небезпечних намірів користувача. Зловживання ШІ може бути поетапним процесом. Наприклад, замість прямого запиту про допомогу у створенні шкідливого програмного забезпечення, людина може поступово збирати необхідні їй фрагменти за допомогою десятків, здавалося б, невинних запитів. OpenAI також згадує сценарій, коли агент ШІ може продовжувати виконувати завдання навіть після команди користувача припинити його. 

Однак корпоративні клієнти виявляють небажання, щоб OpenAI накопичувала їхні діалоги для такого аналізу. Тому в компанії вже діє система Zero Data Retention, яка дозволяє автоматично перевіряти окремі взаємодії з моделлю, не зберігаючи надалі промпти та відповіді клієнта. 

Отже, у варіанті для клієнтів із Zero Data Retention дані залишатимуться на інфраструктурі самого клієнта. Це означає, що автоматизована система зможе аналізувати пов’язані взаємодії, але співробітники OpenAI не матимуть доступу до самих запитів і відповідей. Компанія також готує альтернативний варіант, за якого дані будуть зберігатися на інфраструктурі OpenAI, але зашифровані ключами, керованими клієнтом. OpenAI стверджує, що копії цих ключів у них не зберігатимуться. 

Таким чином, якщо система виявить щось підозріле, OpenAI отримає лише сповіщення про певний тип потенційно шкідливої активності. Після цього компанія зможе вирішити, чи потрібні певні обмеження. Якщо знадобиться додатковий контекст, вона звернеться до клієнта, який самостійно прийматиме рішення щодо передачі додаткових даних. 

Наразі система проходить тестування з першими клієнтами. Повномасштабне розгортання OpenAI планує розпочати у вересні 2026 року, тоді ж компанія обіцяє опублікувати детальний технічний документ про цю технологію. 

Раніше dev.ua повідомляв, що Anthropic запровадила для своїх моделей Claude Fable 5 та Mythos 5 обов’язкове 30-денне зберігання даних, навіть для корпоративних клієнтів, які раніше користувалися режимом Zero Data Retention. Компанія пояснювала це необхідністю відстежувати складні атаки та спроби обійти механізми захисту. 

Источник: www.vesti-ua.net

No votes yet.
Please wait...

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *