Большая языковая модель отвечает уверенным тоном на любой вопрос. Именно тон и создаёт иллюзию пригодности. Ниже что именно модель делает, где проходит граница и какие свойства должны быть у системы, если её вообще рассматривают для клинических решений.
Что делает модель
Языковая модель предсказывает следующее слово в последовательности. Она обучена на больших текстах и потому хорошо продолжает фразы, стили и форматы: заключение, список дифдиагнозов, план обследования.
У модели нет доступа к пациенту, нет истории болезни, нет результатов анализов, если их не передали в запросе. Она не проверяет факты и не знает, верен ли ответ.
Правдоподобное продолжение и правильное решение это разные задачи. Модель оптимизирована на первое.
Пять причин, по которым это опасно
Уверенный тон при неверном ответе
Ошибка выглядит так же, как правильный ответ: тот же регистр, та же структура. Отличить одно от другого по тексту нельзя.
Нет калиброванной вероятности
Модель может выдать «вероятно» или «скорее всего», но это стилистика, а не измеренная частота. Степень уверенности в тексте не соответствует доле правильных ответов.
Нет данных пациента
Всё, чего нет в запросе, модель дополнит правдоподобно. Пропущенная аллергия или принимаемый препарат не помешают ответу.
Нет источника
Без поиска по документам нельзя проверить, откуда взято утверждение. Ссылка может быть выдумана, а рекомендация устаревшей.
Мир меняется быстрее обучения
Новые препараты, изменённые схемы, отозванные средства. Модель не узнает об этом, пока её не обновят.
Что должно быть у системы, которая предлагает решение
Отметьте пункты, которые выполнены. Счётчик показывает, сколько свойств есть на самом деле, и ничего не оценивает.
Отметьте пункты и нажмите «Посчитать».
Выполнено свойств
-
Результат выводится по нажатию кнопки.
Работать с моделями, хранить запросы и проверять ответы по источникам удобнее в АвИ Магнетар.
Почему экзамен не доказывает пользу
Модели показывают высокие результаты на наборах экзаменационных вопросов. Это проверяет способность воспроизводить знания, а не влиять на исход.
Клиническая польза проверяется иначе: на реальных пациентах, в реальном потоке, с оценкой того, изменилось ли решение врача и стало ли лучше пациенту. Экзаменационный балл об этом ничего не говорит.
Отдельная проблема это сравнение. Если врач с моделью ошибается не реже, но увереннее, метрика «совпадение с экспертом» этого не покажет.
Где граница проходит на практике
Задача
Риск
Условие применения
Черновик текста, вычитка, перевод
Низкий
Проверка человеком перед использованием
Поиск по документам с указанием источника
Средний
Ссылки проверяемы, ответ сверяется с фрагментом
Структурирование записей, извлечение полей
Средний
Контроль полноты и выборочная проверка
Подсказка диагноза или схемы лечения
Высокий
Требует валидации, прослеживаемости и регуляторного статуса
Самостоятельное назначение лечения
Недопустимый
Ответственность не может быть передана модели
Частые ошибки
Оценка по нескольким удачным примерам
Впечатление от демонстрации не заменяет измерение на выборке с заранее заданными правилами подсчёта.
Проверка только на простых случаях
Сложные и редкие ситуации как раз и создают риск. Их включают в набор отдельно.
Ссылки принимаются на веру
Модель может составить правдоподобную ссылку. Проверяют не название, а наличие источника и его содержание.
Ответ модели считается вторым мнением
Второе мнение должно быть независимым и обоснованным. Модель обучена на тех же текстах, что и человек, и не проверяет его.
Ответственность перекладывается на инструмент
Ответственность остаётся у организации и специалиста. Формулировка «так посчитала программа» её не снимает.
Источники
Vaswani A. и соавт. Attention is all you need. Advances in Neural Information Processing Systems, 2017, том 30.
Brown T. и соавт. Language models are few-shot learners. Advances in Neural Information Processing Systems, 2020, том 33.
Singhal K. и соавт. Large language models encode clinical knowledge. Nature, 2023, том 620, с. 172-180.
Ji Z. и соавт. Survey of hallucination in natural language generation. ACM Computing Surveys, 2023, том 55, № 12, с. 1-38.
IMDRF. Software as a Medical Device: Possible Framework for Risk Categorization and Corresponding Considerations. 2014.
U.S. Food and Drug Administration. Clinical Decision Support Software. Guidance for Industry and Food and Drug Administration Staff. 2022.