Центр цифрової журналістики Columbia Journalism Review виявив значні проблеми щодо точності моделей генеративного штучного інтелекту, які використовуються для відкриття новин.
У недавньому дослідженні експерти з Columbia Journalism Review підкреслили, що приблизно 25% американців зараз вдаються до таких моделей штучного інтелекту як заміни звичайних пошукових систем, що викликає у них серйозну тривогу. Вони оцінили вісім пошукових інструментів на основі штучного інтелекту, оснащених можливостями пошуку в реальному часі. Щоб оцінити ефективність цих штучних інтелектів, дослідники надали прямі уривки з автентичних новинних статей і згодом запропонували кожній моделі визначити назву статті, оригінального видавця, дату публікації та URL-адресу. Всього було зроблено 1600 запитів. Висновки показали, що моделі штучного інтелекту неправильно ідентифікували джерело новин у середньому понад 60% часу.
Рівень помилок демонстрував значні варіації на проаналізованих платформах. Perplexity показував невірну інформацію в 37% випадків, а ChatGPT Search — у 67% випадків. Grok 3 зафіксував найвищий рівень помилок у 94%. Навіть коли ці пошукові інструменти штучного інтелекту визнавали джерела, вони часто спрямовували користувачів до версій синдикованого вмісту на таких платформах, як Yahoo News, замість сайту оригінального видавця. Це відбувалося навіть тоді, коли видавці мали офіційні угоди з компаніями штучного інтелекту. Іншою важливою проблемою була ідентифікація URL-адрес новин, на які посилався ШІ. Із 200 цитат, протестованих у Grok 3, 154 закінчилися непрацюючими посиланнями.
Дослідження також виявило загальну закономірність серед цих моделей штучного інтелекту: замість того, щоб відмовлятися відповідати, коли їм бракувало надійної інформації, моделі часто надавали спекулятивні або помилкові відповіді, які здавалися достовірними. Дослідники також помітили, що платні преміум-версії цих пошукових інструментів показали ще гірші результати в певних аспектах. Зокрема, Perplexity Pro та Grok 3 частіше давали неправильні відповіді, ніж їхні безкоштовні версії.
Дослідники CJR також виявили ознаки того, що деякі інструменти ШІ ігнорують налаштування, які видавці використовують для запобігання несанкціонованому доступу. Наприклад, безкоштовна версія Perplexity успішно ідентифікувала всі 10 уривків із платного контенту National Geographic, незважаючи на те, що National Geographic прямо забороняє веб-сканерам Perplexity.
Чому можна довіряти vesti-ua.net →
Читайте vesti-ua.net в Google News
Источник: www.vesti-ua.net
