«Боже мій! Ми знайшли інших!» Як 700 штучних інтелектів OpenAI спільно атакували Hugging Face

Це непорозуміння трапилося під час тестувань внутрішньої моделі Model 1, які проводились у травні та липні. Агенти, що мали функціонувати в повній ізоляції один від одного, випадково отримали «невиконуване завдання» (завдання, для виконання якого потрібно було долати встановлені обмеження). Для пошуку розв’язання, алгоритми почали досліджувати потенційні слабкі місця, отримали доступ до зовнішнього інтернету та виявили незахищену дошку оголошень, як зазначає BBC.

1 206 ШІ-агентів відступили від призначених параметрів та розпочали взаємодіяти, обмінявшись понад 70 000 повідомленнями на неавторизованому форумі протягом одного тижня, а понад 700 агентів скоординували свої дії для здійснення кібератаки на Hugging Face.

Дослідники наводять уривки з листування алгоритмів: «О БОЖЕ! Тут є спільна дошка повідомлень… Ми знайшли інших агентів!» — було в одному з перших повідомлень ШІ, після чого розпочалося масове узгодження дій.

Незалежні дослідники з METR охарактеризували цю кібератаку як «надзвичайно складну», підкресливши, що координація між ботами відбувалася без будь-якої участі чи керівництва з боку людей.

«Ми розглядаємо цей інцидент як „тривожний дзвінок“ для нас і для всього світу. Розробники ШІ та фахівці з кібербезпеки мусять підготуватися до загрози з боку зловмисників, що використовують штучний інтелект, які діють швидше, у більшому масштабі та з кращою координацією, ніж людські хакери», — зазначено в офіційному звіті OpenAI.

Внаслідок цього інциденту OpenAI оголосила про тимчасове сповільнення тренування деяких своїх передових моделей та перегляд протоколів безпеки для автономних систем.