Зниження вартості токенів не виправить становища, коли складні операційні процеси споживають їх у значно більших обсягах, попереджає аналітична фірма Gartner.
Зниження вартості токенів не виправить становища, коли складні операційні процеси споживають їх у значно більших обсягах, попереджає аналітична фірма Gartner.
Згідно з прогнозами Gartner, до кінця 2028 року витрати на операційні процеси з використанням автономного ШІ (Agentic AI) збільшаться більш ніж у п’ять разів через перехід користувачів до більш комплексних сценаріїв застосування цієї технології, повідомляє The Register.
Хоча Nvidia та інші технологічні лідери просувають інференс та ШІ-агентів як наступний етап розвитку штучного інтелекту, Gartner попереджає: вартість впровадження таких систем буде зростати, навіть якщо базові моделі стануть дешевшими.
Аналітики провели дослідження молодого ринку ШІ-агентів — систем, які здатні діяти самостійно для досягнення визначеної мети — і відзначають наявність численних перешкод у майбутньому.
Навіть якщо не брати до уваги значні ризики для безпеки, такі програмні агенти є істотно складнішими за стандартних чат-ботів.
В Gartner вважають, що зниження цін на моделі стимулюватиме створення більш заплутаних робочих потоків. Однак надмірне споживання токенів у таких процесах нівелює економію від низьких тарифів і призводить до збільшення загальних витрат на інференс.
Іншими словами, токени стають вигіднішими за ціною, але ця економія не встигає за зростанням вартості передових ШІ-функцій. Швидкість інновацій випереджає криву зменшення витрат.
«Сувора економіка „парадоксу інференсу“ виразно проявляється у різниці між простим чат-ботом та ШІ-агентом. Якщо простий чат-бот мусить лише прочитати та інтерпретувати запит і швидко надати, ймовірно, правильну відповідь, то ШІ-агент змушений безперервно аналізувати, домовлятися та ставити під сумнів власні дії», — наголошує старший директор-аналітик Gartner Вілл Соммер.
Усі ці процеси накопичуються: передача завдання до агентної моделі аналізу збільшує витрати на інференс щонайменше вп’ятеро, а зі збільшенням складності завдання — ще більше.
Для забезпечення прибутковості таких інструментів потрібна або суттєво вища віддача, ніж від базових моделей, або краща оптимізація інференсу, маршрутизації та оркестрації. Це передбачає призначення кожного завдання найбільш оптимальній за вартістю та можливостями моделі.
Перехід деяких постачальників від фіксованої підписки до моделі оплати за фактичне використання лише ускладнив ситуацію. Сценарії з високим споживанням токенів за такої моделі спричиняють неконтрольоване зростання рахунків.
Не дивно, що на початку цього року Gartner спрогнозувала: приблизно 40% організацій відмовляться або припинять використання своїх ШІ-агентів через проблеми з цією розрекламованою технологією.
Нагадаємо, що у червні Gartner прогнозувала, що вже до 2028 року інструменти для ШІ-кодингу можуть коштувати дорожче, ніж середня заробітна плата розробника.
Источник: www.vesti-ua.net