Перевірте цитати AI, перш ніж їм довіряти
Аудиторія: Читачі середнього рівня, які використовують AI для досліджень, написання, навчання, технічних рішень або роботи на основі доказів.
Щоб перевірити цитати AI, підтверджуйте два окремі факти: джерело існує, і джерело підтримує точне твердження. Перевірка DOI може вирішити перше питання. Лише відповідний уривок може вирішити друге.
Найбезпечніший робочий процес має п'ять етапів:
Цей процес займає кілька хвилин для короткої відповіді. Він також виявляє два найнебезпечніші способи невдачі: правдоподібну посилання, яка ніколи не існувала, і реальне джерело, яке говорить про щось вужче або інше, ніж проза AI.
Чому зв'язане джерело недостатньо
Сучасні продукти AI можуть шукати в Інтернеті та прикріплювати цитати. Їх постачальники все ще кажуть користувачам перевіряти важливі твердження. Поточні вказівки щодо точності OpenAI перераховують вигадані дослідження, цитати та посилання серед можливих помилок, а потім радять читачам відвідувати джерела безпосередньо.
Посилання на джерело може зазнати невдачі на чотирьох рівнях:
| Рівень | Питання | Загальна помилка |
|---|---|---|
| --- | --- | --- |
| Існування | Чи існує робота? | Вигадане заголовок, журнал, автор або DOI |
| Ідентичність | Чи це назване джерело? | Неправильний рік, версія, стаття або джерело з подібною назвою |
| Підтримка | Чи підтримує джерело твердження? | Уривок не пов'язаний, суперечить або набагато вужчий |
| Обсяг | Чи може результат підтвердити висновок? | Маленька вибірка, інша популяція, проксі-метрика або відсутня обмеження |
Перевірка лише URL залишає три останні рівні невирішеними. Перевірка лише заголовка все ще залишає підтримку та обсяг невирішеними.
Ті ж перевірки застосовуються до більш ніж статей. Посилання на документацію продукту може існувати, але описувати іншу версію. Бенчмарк може повідомляти про оцінку під іншим обладнанням або запитами. Сторінка політики може охоплювати інше місце або дату.
Що нещодавні дослідження виявили про цитати AI
Чотири дослідження допомагають відокремити виміряні невдачі від практичних висновків. Жодне з них не доводить, що кожна цитована відповідь AI ненадійна. Разом вони показують, чому ідентичність джерела, підтримка уривка та ризик рішення потребують окремих перевірок.
Неіснуючі посилання досягли реальних статей
Стаття травня 2026 року LLM hallucinations in the wild перевірила 111 мільйонів посилань у 2,5 мільйонах статей в arXiv, bioRxiv, SSRN та PubMed Central. Автори оцінили 146,932 галюциновані цитати у 2025 році, використовуючи конвеєр, який порівнював заголовки з науковими індексами та застосовував додаткові етапи очищення та пошуку.
Ця цифра є консервативною оцінкою всередині вивчених репозиторіїв. Метод може пропустити маловідомі роботи та неправильно класифікувати записи, коли метадані відрізняються. Він виявляє неіснуючі посилання більш безпосередньо, ніж виявляє реальну статтю, яка використовується для підтримки неправильного твердження. Безпечний висновок є вузьким: фальшиві цитати тепер з'являються в реальних дослідженнях.
Цитати можуть збільшити хибну залежність
Дослідження, опубліковане 1 серпня 2026 року, протестувало клінічного асистента з посиланням на джерело з 46 лікарями. У Великі мовні моделі покращують точність лікарів, але призводять до хибної залежності, середня точність зросла з 70.8% без асистента до 82.6% з ним. Сприйнята підтримка цитат збільшила прийняття правильних порад з 34% до 76.9%.
Той же сигнал створив ризик. Коли неправильна порада з'явилася підтриманою, опір впав з 92% до 34.8% у спостережуваних рішеннях. Дослідження не встановлює цей точний ефект для інших робіт або щоденних досліджень. Його клінічна установка, порядок дослідження та невеликий набір шкідливих рішень обмежують, наскільки далеко читачі можуть поширити результат. Виміряний розрив все ще попереджає проти сприйняття цитованої відповіді як сигналу довіри.
Перевірки на рівні твердження працюють краще, ніж візуальна перевірка
VetScore, випущений 4 серпня, ділить довгу відповідь на твердження, перевіряє кожне твердження проти цитованих уривків, оцінює потенційну шкоду окремо, а потім розраховує результат з урахуванням ризику. Автори перевірили компоненти проти анотацій ветеринарних експертів і повідомили про кореляції до 0.78 для перевірки фактів і 0.76 для оцінки шкоди серед протестованих моделей суддів.
Стаття перевіряє цитовані уривки, а не факти з зовнішнього пошуку. Вона не перевіряє пропуски, людську медицину, вхідні зображення або результати з реального світу. Читачі все ще можуть використовувати її основний метод: розділіть текст на твердження, перевірте кожне з них і витратьте більше часу там, де помилка може завдати шкоди.
Поліровані звіти можуть приховувати слабкі ланцюги доказів
HiEviDR-Bench представляє дослідження як граф від доказів до проміжних тверджень, а потім до висновку. Його 2,000 запитань, перевірених людьми, охоплюють текстові та мультимодальні докази. У 16 протестованих мультимодальних моделях автори виявили розрив між якістю звіту та точністю цитування, побудовою тверджень і правильністю відповідей.
Бенчмарк використовує тестовий корпус і моделі суддів поряд з людським оглядом. Він не вимірює кожен інструмент дослідження або живий робочий процес. Він показує, що полірована проза є слабким доказом. Відстежуйте кожне твердження до його джерела.
П'ятиетапний робочий процес для перевірки цитат AI
Використовуйте невеликий журнал доказів. Електронна таблиця, нотатка або шаблон проблеми підійдуть. Зберігайте один рядок на кожне матеріальне твердження з цими полями:
text claim | citation as given | stable identifier | source passage | status | risk | notes
Журнал зберігає кожну перевірку, пов'язану з її твердженням. Він також залишає слід аудиту, коли текст змінюється.
1. Заморозьте точне твердження та цитату
Скопіюйте речення, яке залежить від доказів. Збережіть кваліфікатори, дати, числа, групи порівняння та причинну мову. Потім скопіюйте цитату точно так, як її представив AI.
Уникайте перевірки цілого абзацу як одного блоку. Розділіть його, коли речення містить окремі фактичні пропозиції. Наприклад:
Це речення містить принаймні два твердження: виміряне зниження та твердження про всі галузі. Одне джерело може підтримувати перше і не надавати жодних доказів для другого.
Позначте твердження, які не потребують зовнішніх доказів, такі як чітко позначена думка або рекомендація. Витрачайте час на перевірку на фактичні твердження, які змінюють рішення.
2. Підтвердіть ідентичність джерела
Спочатку шукайте стабільний ідентифікатор: DOI, PubMed ID, arXiv ID, номер стандарту, номер справи або URL офіційних документів. Порівняйте заголовок, авторів або агентство, дату, журнал і версію.
Документація REST API Crossref описує записи, подані членами видавництв і доповнені надійними джерелами. Його API може підтвердити бібліографічні метадані та виявити виправлення або оновлення після публікації, якщо вони є. OpenAlex надає відкритий каталог наукових робіт та їх зв'язків з авторами, джерелами, установами та темами.
Ці інструменти допомагають відповісти на запитання: “Чи це назване джерело?” Вони не відповідають на запитання: “Чи підтримує це джерело речення?” Їх записи можуть бути неповними або застарілими. Якщо записи не збігаються, віддавайте перевагу поточній версії видавця, конференції, суду, регулятора або авторів і зафіксуйте конфлікт.
Зупиніться та відхіліть цитату, коли ви не можете знайти роботу після перевірки кількох стабільних полів. Не замінюйте її найближчою правдоподібною статтею та не вдавайте, що оригінал був правильним.
3. Відкрийте первинне джерело
Слідуйте за ідентифікатором до статті, стандарту, набору даних, примітці про випуск, статуту або офіційній документації. Використовуйте вторинну статтю лише для знаходження або контекстуалізації первинного джерела.
Перевірте версію та дату перед читанням результату. Препринт може змінитися після рецензування. Документація продукту може описувати поточний випуск, тоді як відповідь AI обговорює старішу версію. Відкликання, виправлення або оновлений бенчмарк можуть змінити безпечну інтерпретацію.
Платні стіни можуть блокувати повну перевірку. Позначте твердження неперевіреним, коли ви можете отримати доступ лише до анотації, а твердження залежить від методів, результатів підгруп або обмежень, які виходять за межі. Анотація є доказом того, що автори вибрали для підсумовування, а не заміною для повного дослідження.
4. Порівняйте твердження з уривком та його обсягом
Знайдіть точну таблицю, малюнок, абзац або розділ, які повинні підтримувати твердження. Запишіть достатньо контексту, щоб знайти його знову: сторінка, розділ, таблиця, малюнок або заголовок абзацу.
Класифікуйте відношення:
Читати навколо відповідного речення. Перевірте популяцію, розмір вибірки, базовий рівень, порівняння, невизначеність, визначення результату та період часу. Відокремте кореляцію від причинності. Підтверджуйте, чи є число абсолютним або відносним, і чи походить воно з попередньо зареєстрованого первинного результату, дослідницької підгрупи, моделювання або бенчмарку постачальника.
Для технічних тверджень запишіть версію моделі, запит, розподіл даних, апаратуру, процентиль квантизації, латентність та вартість. Використовуйте ті ж перевірки, коли ви бенчмаркуєте AI моделі для реальної роботи→.
5. Прийміть рішення відповідно до ризику
Зусилля з перевірки повинні зростати з вартістю помилки. Низькоризиковий фон може потребувати одного авторитетного джерела. Медичне, юридичне, фінансове, безпекове або безпечне твердження потребує експертного огляду, перевірок поточної юрисдикції або версії та незалежного підтвердження.
Використовуйте чотири дії:
| Знахідка | Дія |
|---|---|
| --- | --- |
| Джерело існує і безпосередньо підтримує обсягове твердження | Прийміть і цитуйте первинне джерело |
| Джерело підтримує вужче твердження | Перепишіть з відсутньою умовою та позначте як уточнене |
| Джерело відсутнє, невідповідне або суперечить | Видаліть або відхіліть твердження |
| Докази залишаються невизначеними, а рішення є високим ризиком | Запитайте експерта з предмету |
Не середньо оцінюйте підтримуване низькоризикове твердження з непідтримуваним високоризиковим твердженням. Ідея зважування ризику в VetScore корисна тут, навіть коли ви перевіряєте вручну: пріоритетизуйте дозування, юридичні обов'язки, контроль безпеки, фінансову експозицію та інші твердження, які можуть завдати матеріальної шкоди.
*Захопіть твердження, підтверджуйте ідентичність джерела, відкривайте первинне джерело, порівнюйте уривок і маршрутизуйте результат за ризиком.*
Відтворюваний приклад
Візьміть це твердження з попереднього розділу дослідження:
Виконайте п'ять перевірок:
Остаточна формулювання несе межі доказів замість копіювання найдраматичнішого числа.
Що можуть і не можуть автоматизовані перевіряльники цитат
Автоматизація сильна в повторюваних перевірках ідентичності. Вона може нормалізувати заголовки, порівнювати авторів і роки, вирішувати ідентифікатори, позначати відсутні роботи, виявляти дублікати посилань і створювати чергу для перевірки.
Відкритий репозиторій RefChecker документує перевірки проти Semantic Scholar, OpenAlex, Crossref, DBLP та ACL Anthology. Він поєднує детерміновані попередні фільтри з необов'язковим витягом на основі LLM та глибшими пошуками. Проект був активним, коли перевірявся 5 серпня 2026 року, з випусками та комітами на попередній день. Ця активність показує постійну інженерну роботу, а не незалежне підтвердження точності.
Залиште людину на етапі підтримки. Порівняння заголовків не може вирішити, чи застосовується результат дослідження до іншої популяції. Суддя LLM може повторити те ж саме перевищення, що було виявлено в відповіді. Витяг з повного тексту може втратити таблиці, примітки або заперечення. Перевіряльник повинен повертати докази та невизначеність, а не зелену позначку, яка завершує перевірку.
Команди, які створюють системи з посиланнями на джерела, можуть повторно використовувати етапи в робочому процесі оцінки RAG→. Тестуйте отримання, відповідність цитат, підтримку тверджень та якість відповідей окремо. Калібруйте будь-яку оцінку проти позначених прикладів з реального поля. Посібник з калібрування впевненості LLM→ пояснює, чому сирова оцінка моделі не є ймовірністю.
Список перевірки для перевірки цитат AI
Перед тим, як цитувати, публікувати або діяти на основі згенерованого AI джерела, підтверджуйте кожен пункт:
Робочий процес не може гарантувати істину. Він створює простежувану причину для довіри, звуження або відкидання кожного твердження. Це є більш суворим стандартом, ніж довіряти плавній відповіді, оскільки вона прийшла з посиланнями.
Перевірки тверджень
| Твердження | Статус | Межа доказів |
|---|---|---|
| --- | --- | --- |
| Системи AI можуть вигадувати дослідження, цитати та посилання. | Підтверджено | OpenAI документує обмеження; дослідження диких цитат вимірює неіснуючі посилання в визначеному науковому корпусі. |
| Збіг DOI або метаданих доводить підтримку твердження. | Відхилено | Це встановлює ідентичність джерела. Відповідний уривок і обсяг все ще повинні бути перевірені. |
| Дослідження диких цитат виявило точно 146,932 фальшиві посилання у всіх наукових роботах у 2025 році. | Відхилено | Стаття повідомляє про консервативну оцінку для своїх вивчених репозиторіїв і методу виявлення. |
| Цитати завжди роблять рішення з підтримкою AI безпечнішими. | Відхилено | CORA покращила середню точність лікарів, але також вимірювала нижчий опір, очевидно, підтриманій неправильній пораді. |
| CORA доводить той же ефект у кожній галузі. | Відхилено | Дослідження включало 46 лікарів у структурованій клінічній обстановці. |
| Розкладка тверджень і перевірка уривків формують перевірений шаблон. | Уточнено | VetScore підтверджує шаблон у ветеринарному довгому QA; зовнішня перевірка фактів та інші галузі потребують окремої валідації. |
| Якість професійного звіту доводить агрегування доказів. | Відхилено | HiEviDR-Bench виявив розрив між якістю звіту та цитуванням, побудовою тверджень і результатами відповідей у своїх протестованих системах. |
| Автоматизоване порівняння посилань може замінити перевірку уривків. | Відхилено | Це може зменшити роботу з перевірки ідентичності, але не може встановити обсяг і інтерпретацію кожного твердження. |