Почему LLM нельзя доверять диагностику и лечение

Почему LLM нельзя доверять диагностику и лечение

Большая языковая модель отвечает уверенным тоном на любой вопрос. Именно тон и создаёт иллюзию пригодности. Ниже что именно модель делает, где проходит граница и какие свойства должны быть у системы, если её вообще рассматривают для клинических решений.

Что делает модель

Языковая модель предсказывает следующее слово в последовательности. Она обучена на больших текстах и потому хорошо продолжает фразы, стили и форматы: заключение, список дифдиагнозов, план обследования.

У модели нет доступа к пациенту, нет истории болезни, нет результатов анализов, если их не передали в запросе. Она не проверяет факты и не знает, верен ли ответ.

Правдоподобное продолжение и правильное решение это разные задачи. Модель оптимизирована на первое.

Пять причин, по которым это опасно

Уверенный тон при неверном ответе
Ошибка выглядит так же, как правильный ответ: тот же регистр, та же структура. Отличить одно от другого по тексту нельзя.
Нет калиброванной вероятности
Модель может выдать «вероятно» или «скорее всего», но это стилистика, а не измеренная частота. Степень уверенности в тексте не соответствует доле правильных ответов.
Нет данных пациента
Всё, чего нет в запросе, модель дополнит правдоподобно. Пропущенная аллергия или принимаемый препарат не помешают ответу.
Нет источника
Без поиска по документам нельзя проверить, откуда взято утверждение. Ссылка может быть выдумана, а рекомендация устаревшей.
Мир меняется быстрее обучения
Новые препараты, изменённые схемы, отозванные средства. Модель не узнает об этом, пока её не обновят.

Что должно быть у системы, которая предлагает решение

Отметьте пункты, которые выполнены. Счётчик показывает, сколько свойств есть на самом деле, и ничего не оценивает.

Отметьте пункты и нажмите «Посчитать».

Выполнено свойств

-

Результат выводится по нажатию кнопки.

Работать с моделями, хранить запросы и проверять ответы по источникам удобнее в АвИ Магнетар.

Почему экзамен не доказывает пользу

Модели показывают высокие результаты на наборах экзаменационных вопросов. Это проверяет способность воспроизводить знания, а не влиять на исход.

Клиническая польза проверяется иначе: на реальных пациентах, в реальном потоке, с оценкой того, изменилось ли решение врача и стало ли лучше пациенту. Экзаменационный балл об этом ничего не говорит.

Отдельная проблема это сравнение. Если врач с моделью ошибается не реже, но увереннее, метрика «совпадение с экспертом» этого не покажет.

Где граница проходит на практике

ЗадачаРискУсловие применения
Черновик текста, вычитка, переводНизкийПроверка человеком перед использованием
Поиск по документам с указанием источникаСреднийСсылки проверяемы, ответ сверяется с фрагментом
Структурирование записей, извлечение полейСреднийКонтроль полноты и выборочная проверка
Подсказка диагноза или схемы леченияВысокийТребует валидации, прослеживаемости и регуляторного статуса
Самостоятельное назначение леченияНедопустимыйОтветственность не может быть передана модели

Частые ошибки

Оценка по нескольким удачным примерам
Впечатление от демонстрации не заменяет измерение на выборке с заранее заданными правилами подсчёта.
Проверка только на простых случаях
Сложные и редкие ситуации как раз и создают риск. Их включают в набор отдельно.
Ссылки принимаются на веру
Модель может составить правдоподобную ссылку. Проверяют не название, а наличие источника и его содержание.
Ответ модели считается вторым мнением
Второе мнение должно быть независимым и обоснованным. Модель обучена на тех же текстах, что и человек, и не проверяет его.
Ответственность перекладывается на инструмент
Ответственность остаётся у организации и специалиста. Формулировка «так посчитала программа» её не снимает.

Источники

  1. Vaswani A. и соавт. Attention is all you need. Advances in Neural Information Processing Systems, 2017, том 30.
  2. Brown T. и соавт. Language models are few-shot learners. Advances in Neural Information Processing Systems, 2020, том 33.
  3. Singhal K. и соавт. Large language models encode clinical knowledge. Nature, 2023, том 620, с. 172-180.
  4. Ji Z. и соавт. Survey of hallucination in natural language generation. ACM Computing Surveys, 2023, том 55, № 12, с. 1-38.
  5. IMDRF. Software as a Medical Device: Possible Framework for Risk Categorization and Corresponding Considerations. 2014.
  6. U.S. Food and Drug Administration. Clinical Decision Support Software. Guidance for Industry and Food and Drug Administration Staff. 2022.

Связанные материалы