Під час виконання професійного завдання, інженер з міжнародної компанії Softjourn, яка має значний підрозділ в Івано-Франківську, звернувся по допомогу до ШІ-асистента з метою отримання рекомендації щодо програмного пакета для стандартного завдання. Штучний інтелект запропонував бібліотеку з дуже реалістичною назвою, яка нагадувала вже відомі програмні рішення.
Під час виконання професійного завдання, інженер з міжнародної компанії Softjourn, яка має значний підрозділ в Івано-Франківську, звернувся по допомогу до ШІ-асистента з метою отримання рекомендації щодо програмного пакета для стандартного завдання. Штучний інтелект запропонував бібліотеку з дуже реалістичною назвою, яка нагадувала вже відомі програмні рішення.
Зазвичай програмісти одразу завантажують і використовують рекомендований інструмент. Однак у Softjourn діє сувора політика, що вимагає обов’язкової верифікації будь-яких рекомендацій програмного забезпечення від ШІ. Інженер проаналізував вихідний код пакета на GitHub та виявив тривожні ознаки: дуже малу кількість завантажень і дату створення, що відноситься лише до кількох попередніх днів.
Сергій Фіцак, керівник та технічний директор Softjourn, повідомив інтернет-виданню The Register, що зловмисники навчилися експлуатувати “галюцинації” ШІ-моделей.
«Проблема полягає в тому, що ШІ часом вигадує назви пакетів, які звучать правдоподібно, але насправді не існують. Фахівці з безпеки називають це явище „slopsquatting“. Зловмисники відстежують такі вигадані назви та реєструють під ними справжні шкідливі пакети, сподіваючись, що розробник у спішному порядку встановить їх без належної перевірки», — пояснив Сергій Фіцак.
Якби не внутрішні правила безпеки, компанія ризикувала б інтегрувати шкідливий код, що могло б надати зловмисникам доступ до її систем або призвести до витоку конфіденційної інформації.
«Ми уникнули цієї небезпеки виключно завдяки нашій звичці перевіряти кількість завантажень та вихідний код на GitHub перед встановленням будь-чого, рекомендованого ШІ. Це забирає лише кілька додаткових хвилин, але нехтування цим етапом може коштувати компанії безпеки всієї ланки постачання», — наголосив Фіцак.
Головний висновок із цієї ситуації є очевидним: не слід беззастережно довіряти назвам пакетів, запропонованих ШІ-асистентами. Будь-який зовнішній програмний код перед впровадженням у проєкт має проходити обов’язкову людську верифікацію.
Источник: www.vesti-ua.net