Українська програмістка висловила ідею структурувати запити до моделей штучного інтелекту подібно до програмних систем. Як уникнути надмірного навантаження на великі мовні моделі за допомогою інструкцій?

Олена Кузнєцова, українська розробниця та Data Warehouse Lead, представила свій унікальний метод взаємодії з великими мовними моделями. Замість використання одного комплексного запиту з інструкціями, вона формує своєрідну архітектуру з окремих модулів. У цій структурі правила, контекст, автоматизовані процеси та ролі ШІ-агентів зберігаються ізольовано і активуються за необхідності.

Залишити коментар

Українська програмістка висловила ідею структурувати запити до моделей штучного інтелекту подібно до програмних систем. Як уникнути надмірного навантаження на великі мовні моделі за допомогою інструкцій? 2

Олена Кузнєцова, українська розробниця та Data Warehouse Lead, представила свій унікальний метод взаємодії з великими мовними моделями. Замість використання одного комплексного запиту з інструкціями, вона формує своєрідну архітектуру з окремих модулів. У цій структурі правила, контекст, автоматизовані процеси та ролі ШІ-агентів зберігаються ізольовано і активуються за необхідності.

Про це інформує розробниця на платформі LinkedIn.

За її словами, на початковому етапі вона почала виділяти логічні групи інструкцій. Наприклад, правила формування SQL-запитів можуть бути винесені в окремий файл і підключатися тільки тоді, коли модель працює з SQL. Пізніше розробниця розробила більш складну систему, що складається з кількох категорій блоків.

«Замість того, щоб об’єднувати в агента чи навичку безліч інструкцій для всіх можливих сценаріїв, я спочатку почала розділяти їх за зрозумілими напрямками: «Ось ці правила для написання SQL-запитів, винесемо їх в окремий файл і будемо завантажувати динамічно», — пояснює Кузнєцова.

Її «архітектура запитів» охоплює такі компоненти:

Правила — чіткі вказівки для моделі, що їй дозволено робити, а що заборонено.Контекст проєкту — відомості про структуру проекту, функціонування його компонентів та розташування даних.Контекст завдання — опис мети роботи та її обґрунтування. Як правило, цю функцію виконує детально сформульоване завдання в Jira, але для масштабних завдань розробниця створює окремий запит.Автоматизації — набори функцій для виконання конкретних, повторюваних дій. Наприклад, для створення документації до нової таблиці та її опублікування у внутрішній базі знань.Оркестратори — інструкції, які визначають, які ШІ-агенти мають бути задіяні та як організувати їхню спільну роботу. Зокрема, вона використовує оркестратори для виявлення неякісного коду, згенерованого ШІ, проблему з яким сама модель не завжди може ідентифікувати.Агенти — готові сценарії роботи з правилами прийняття рішень та завантаженням необхідних інструкцій і функцій.Scope (Область застосування) — правила поведінки моделі. Вони визначають, наскільки суворо вона має дотримуватися інструкцій, чи може проявляти ініціативу, чи зобов’язана перевіряти результати своєї роботи та наскільки детально пояснювати свої дії користувачеві.Voices (Голоси) — тон спілкування та «особистість» агента. Помітна зміна стилю відповіді може свідчити про втрату моделлю частини контексту або про відхилення від очікуваної роботи.

Серед власних режимів розробниця згадує scope-beer — буквально «розробник під впливом алкоголю». Вона активує його, коли сумнівається у власних рішеннях і хоче, щоб агент більш ретельно перевіряв її роботу та надавав детальніші вказівки.

За словами Кузнєцової, запити в такій системі все більше нагадують принципи SOLID — основи, згідно з якими програма розбивається на окремі компоненти з чітко визначеними функціями.

«Це надзвичайно захопливо: створювати ідеальний інструмент, який розуміє, що я маю на увазі, коли кажу: «Друже, просто зроби добре», — ділиться розробниця.

У коментарях Кузнєцову запитали про механізм динамічного завантаження додаткових інструкцій, оскільки в Claude немає окремої кнопки чи спеціального інструменту для цього. За її словами, достатньо звичайним текстом вказати умову та повідомити агенту шлях до потрібного файлу: наприклад, «Якщо ти працюєш з модулем X, прочитай claude/shared/prompt.md».

Таким же чином можна пояснити моделі, в яких ситуаціях слід активувати додаткових агентів. Функції Claude іноді виявляються і викликаються самостійно на основі їхніх описів, але це спрацьовує не завжди. Тому розробниця рекомендує за потреби прямо вказувати потрібний інструмент у запиті.

Раніше видання dev.ua повідомляло про дослідження конфігураційних файлів для ШІ-агентів, що займаються кодуванням. Воно показало, що надмірна кількість постійно активних інструкцій може перевантажувати контекст моделі. Дослідники радили виносити рідко використовувані правила та навички в окремі файли, які агент підвантажував би лише за потреби.

Источник: www.vesti-ua.net

No votes yet.
Please wait...

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *