Поширити Джерело: online.ua
У рамках широкого дослідження Microsoft Research і Salesforce стало відомо, що популярні чат-боти зі штучним інтелектом стають менш кмітливими після тривалої взаємодії з людьми. Важливо усвідомлювати, що загальний рівень неточностей чат-ботів може зрости більше ніж на 100% під час аналізу понад 200 тисяч розмов.
Основні положення:
- Жодна із систем ШІ поки не готова до безперервної природної людської комунікації.
- Не слід розглядати ШІ як джерело абсолютної та надважливої інформації.
Взаємодія ШІ та людей спричинила непередбачувані наслідки
Зараз великі мовні моделі перебувають на вершині своєї затребуваності — їхніми послугами користуються сотні мільйонів людей по всьому світу.
Однак користувачі все частіше зустрічаються з "галюцинаціями" та неправдивими відповідями під час взаємодії з чат-ботами.
Завдяки дослідженню Microsoft та Salesforce нарешті вдалося з’ясувати, що насправді відбувається з популярними ШІ, пише windowscentral.
Як з’ясувалося, навіть провідні нейромережі часто "плутаються" під час бесіди, коли завдання поділяється на природний людський діалог з декількох відповідей.
Експерти вирішили проаналізувати понад 200 000 подібних діалогів за участю GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet та DeepSeek R1.
Отже, стало відомо, що в рамках роботи з поодинокими запитами зазначені моделі демонструють понад 90% успішних відповідей.
Однак під час тривалих розмов з уточненнями та додатковими запитаннями показник знижується до 65%.
Різке погіршення якості у довгих бесідах не означає, що моделі "дурнішають" в прямому сенсі — радше, це вказує на їх обмеженість у збереженні та правильній інтерпретації великого обсягу інформації в процесі діалогу.