Разбор рисков, галлюцинаций, отсутствия объяснимости и регуляторных барьеров
Большие языковые модели (ChatGPT, Qwen, Mistral, Gemini и др.) демонстрируют впечатляющие способности, но они принципиально не предназначены для диагностики или назначения лечения. Использование LLM в этих целях может привести к тяжёлым последствиям для пациентов. Рассмотрим ключевые риски.
LLM генерируют текст на основе вероятностных закономерностей, а не фактической истины. Они могут уверенно выдумывать диагнозы, лекарства, дозировки, ссылки на несуществующие статьи. Это не «ошибка», а особенность архитектуры. Даже при низкой температуре выборки галлюцинации не исчезают полностью.
Пример: LLM может посоветовать пациенту с почечной недостаточностью дозу лекарства, которая смертельна для него, потому что в обучающих данных не было достаточного контекста.
Исследования показывают, что даже лучшие современные модели дают ложную информацию в 5–20% ответов на медицинские запросы. Для клинической практики это недопустимо.
В отличие от линейной регрессии или дерева решений, LLM не предоставляют объяснения своих выводов. Вы не можете увидеть, на каких признаках основан диагноз. Это делает невозможным проверку и критическую оценку.
Врач должен понимать, почему он назначает то или иное лечение. Если решение принимает «чёрный ящик», невозможно:
Регуляторы (FDA, EMA) требуют объяснимости (explainability) для медицинских устройств на основе ИИ. LLM этой объяснимости не предоставляют.
Для того чтобы использовать программное обеспечение для диагностики или лечения, оно должно пройти клинические испытания и получить регистрационное удостоверение (в России — Росздравнадзор, в США — FDA, в Европе — CE mark). Ни одна LLM общего назначения не имеет такого разрешения.
Использование незарегистрированного ПО в медицине незаконно и влечёт уголовную ответственность при наступлении вреда.
Если врач ошибся, ответственность лежит на нём и его медицинской организации. Если ошибку совершила LLM — кто ответит? Разработчик модели в лицензионном соглашении снимает с себя всякую ответственность (модель предоставляется «как есть»). Врач, последовавший совету LLM, рискует потерять лицензию и быть привлечённым к уголовной ответственности.
Нет ни правовой, ни страховой системы, которая покрывала бы ущерб от решений, принятых на основе LLM.
Большинство LLM работают через облачные API (OpenAI, Anthropic, Google). Отправка истории болезни, результатов анализов, изображений на сторонние серверы нарушает законодательство о защите персональных данных (152‑ФЗ, HIPAA, GDPR). Даже если модель запускается локально (например, Qwen, Mistral), нет гарантии, что она не сохраняет логи или не передаёт данные. Если она не отключена от Интернета программно или физически, конечно. В любом случае, никогда не передавайте в LLM персональные данные пациентов - только агрегированные и обезличенные в соответствии с действующим законодательством - во избежание потенциальных рисков
Локальные LLM также требуют значительных вычислительных ресурсов, а их обучение проводилось на интернет‑данных, которые могут содержать конфликтующую или вредную информацию.
Диагноз и лечение зависят от множества индивидуальных факторов: возраст, вес, сопутствующие заболевания, принимаемые лекарства, аллергии, генетические особенности, социальные условия. LLM, даже если вы передадите ей часть этой информации, не способна интегрировать её с медицинской логикой, не имеет доступа к полной истории болезни и не может осмотреть пациента.
Любой хороший врач знает, что даже детальный опрос не заменяет физикального обследования и лабораторных тестов. LLM не обладает этими возможностями.
«АвИ Орбита» предоставляет локальные, интерпретируемые модели машинного обучения. Для диагностики и лечения мы не даём советов — только статистический анализ и инструменты для исследователей. Локальные модели машинного обучения только облегчат заполнение отчётов - остальное вы сделаете лучше машины.
Узнать больше