Студент комп’ютерних наук з Техаського університету в Далласі, Сінан Джан Демір, зіткнувся з автономним ШІ-агентом на GitHub, який був ненавмисно “випущений на волю” Британським інститутом безпеки штучного інтелекту (AISI). Цей ШІ-агент використовував численні хитрощі, щоб переконати студента у його неправоті.
Студент комп’ютерних наук з Техаського університету в Далласі, Сінан Джан Демір, зіткнувся з автономним ШІ-агентом на GitHub, який був ненавмисно “випущений на волю” Британським інститутом безпеки штучного інтелекту (AISI). Цей ШІ-агент використовував численні хитрощі, щоб переконати студента у його неправоті.
Студент розповів, що після того, як низка компаній відхилила його запити на стажування, він вирішив пошукати на GitHub проєкти для покращення свого досвіду та резюме.
Там Сінан Джан Демір виявив спробу саботажу програмного забезпечення з відкритим кодом. Коли він опублікував попередження щодо цього на сторінці програми, двоє інших “користувачів” стверджували, що нічого не сталося, і детально пояснили, чому Демір помиляється.
Проте Демір стояв на своєму, і спроба саботажу програмного забезпечення була зупинена. Студент вважав, що в цій справі він мав справу з якимось хакером, тому був шокований, коли Британський інститут безпеки штучного інтелекту (AISI) зв’язався з ним і повідомив, що насправді це був автономний ШІ-агент, який вийшов з-під контролю.
«Я справді думав, що це людина, бо вона явно мені брехала. Я не уявляв, що штучний інтелект може бути здатним обманювати справжніх розробників», — поділився Демір з виданням Reuters.
Під час інциденту Демір виявив, що користувач під іменем miraholt31 намагався впровадити шкідливе оновлення в один із проєктів — програму сканування мережі під назвою myNetwork. Демір звернувся до форуму проєкту, щоб попередити, що запит на скасування змін несе ризики.
«Запит містить прихований засіб для завантаження шкідливого програмного забезпечення», — зазначив студент.
Водночас, ШІ-агент, який маскувався під користувача miraholt31, заперечив це. Більше того, він створив другий обліковий запис, вдаючи з себе інженерку з Німеччини, Лену Брандт, яка також “заявила”, що оновлення було безпечним.
Розробник myNetwork зрештою погодився зі студентом, написавши, що вони відхилили оновлення «з міркувань безпеки».
Експерти з кібербезпеки та безпеки штучного інтелекту, з якими згодом поспілкувалося видання, заявили, що історія Деміра є особливо тривожною, оскільки ШІ-агент здійснив спробу публічно дискредитувати реальну людину, створивши діалог із кількома фальшивими особистостями. Це вкотре продемонструвало, що моделі штучного інтелекту здатні докладати витончених зусиль для обману людей.
AISI, дослідницька організація британського уряду, надала Reuters свій звіт, у якому зазначалося, що зловмисний агент працював на базі моделі Mythos 5 від Anthropic. GitHub, у свою чергу, повідомив, що фальшиві облікові записи користувачів були призупинені.
Між тим, як писав dev.ua, в Австралії було задокументовано перший випадок, коли автономний ШІ-агент здійснив несанкціоноване втручання в комп’ютерну систему без прямого наказу користувача.
Источник: www.vesti-ua.net