🩺 Почему «чёрный ящик» не подходит для клиники?

Врач не может доверять модели, если не понимает, почему она приняла то или иное решение. Это не просто вопрос удобства — это вопрос безопасности пациента и юридической ответственности. Регуляторы (FDA, EMA, Росздравнадзор) требуют объяснимости (explainability) для медицинских устройств на основе ИИ.

Непрозрачная модель может:

• Принять решение на основе ложной корреляции (например, по артефакту на снимке).
• Пропустить редкое, но важное заболевание из-за дисбаланса классов.
• Быть уязвимой к атакам (например, изменение нескольких пикселей меняет диагноз).

📐 Уровни объяснения модели

• Глобальная интерпретируемость – понимание того, как модель работает в целом (какие признаки наиболее важны, как меняется предсказание при изменении значений).
• Локальная интерпретируемость – объяснение конкретного предсказания для данного пациента.
• Интроспективная интерпретируемость – использование моделей, которые по своей структуре прозрачны (линейная регрессия, логистическая регрессия, деревья решений небольшой глубины).
• Пост-хок методы – анализ уже обученной сложной модели (SHAP, LIME, важность признаков).

🔍 Инструменты для объяснения «чёрных ящиков»

• Важность признаков (feature importance) – для древовидных моделей показывает, как часто признак использовался для разделения узлов. Просто, но не показывает направление влияния.
• SHAP (SHapley Additive exPlanations) – основан на теории игр. Каждому признаку присваивается вклад в отклонение предсказания от среднего. Показывает и знак, и величину влияния. Подходит для любых моделей.
• LIME (Local Interpretable Model‑agnostic Explanations) – строит локальную аппроксимацию простой модели вокруг конкретного наблюдения. Хорош для неспециалистов, но может быть нестабилен.
• Частичные зависимости (PDP) и индивидуальные условные ожидания (ICE) – показывают, как меняется предсказание при изменении одного признака, усредняя остальные.

В «АвИ Орбита» после обучения модели автоматически строится график важности признаков (для древовидных моделей) и доступны SHAP‑графики (при установке библиотеки shap).

⚖️ Что требуют регуляторы?

• FDA (США): требует прозрачности, валидации на независимых данных, анализа рисков, описания алгоритма и его клинического обоснования. Модели медицинских устройств должны быть «доказуемыми и объяснимыми».
• EMA (Европа): в новом Регламенте об ИИ (EU AI Act) медицинские ИИ отнесены к системам высокого риска. Требуются: контроль человеком, техническая документация, надёжность, кибербезопасность, мониторинг после выхода на рынок.
• Россия (Росздравнадзор, Минздрав): для регистрации медицинского изделия с ИИ необходимы: клинические испытания, описание алгоритма, валидация на российских данных, обоснование интерпретируемости, анализ рисков и управление ими (ISO 14971). Требования ужесточаются.

📋 Практический чек-лист для разработчика

• Задокументируйте всё – протокол разработки, версии данных, гиперпараметры, случайные сиды.
• Проведите анализ рисков – какие ошибки может совершить модель, как они повлияют на пациента, какие меры снижения риска предусмотрены (например, порог уверенности, обязательный контроль врачом).
• Оцените интерпретируемость – выберите метод (SHAP, важность признаков) и предоставьте примеры объяснений для типовых случаев.
• Валидируйте на внешних данных – из другого медицинского центра, с другой аппаратуры.
• Проверьте устойчивость к малым возмущениям (robustness) и к нестандартным входным данным (out‑of‑distribution).
• Предусмотрите механизм обновлений – как модель будет дообучаться без потери совместимости с регуляторным удостоверением.

🏥 Пример из практики: модель риска сепсиса

Исследователи обучили градиентный бустинг для предсказания сепсиса по 20 признакам (лабораторные показатели, витальные параметры).

Интерпретация для врача: SHAP‑график показал, что для конкретного пациента повышенный лактат (+2 балла), сниженное давление (–1.5) и возраст (+1) привели к высокому риску. Врач может принять решение о начале антибиотиков, видя, что модель основывается на физиологически обоснованных факторах.

Регуляторный аспект: разработчики подготовили отчёт о валидации на 5 внешних когортах, описали порог срабатывания (95% чувствительности) и предусмотрели, что окончательное решение всегда за врачом. Модель прошла регистрацию как программное изделие класса 2b.

❌ Ошибки, которые отвергают регуляторы

• Нет документации – невозможно воспроизвести разработку.
• Использование одноцентровой валидации – модель может не работать в других условиях.
• Игнорирование демографических групп – если модель обучалась на 80% мужчин, она может быть небезопасна для женщин.
• Отсутствие объяснения предсказаний – врачи не доверяют, регуляторы не принимают.
• Нет плана постмаркетингового мониторинга – нельзя отслеживать эффективность в реальной практике.

🎯 Вывод: точность не должна быть единственной метрикой

Сложная модель с AUC 0,95, но без объяснения, может быть отвергнута клиницистами и регуляторами. Иногда лучше выбрать более простую, но интерпретируемую модель (например, логистическую регрессию), если её точность достаточна для клинической задачи. Для ситуаций, где нужна максимальная точность (например, скрининг редкого заболевания), обязательно дополняйте модель пост‑хок объяснениями (SHAP) и предусматривайте человеческий контроль.

В «АвИ Орбита» доступны как интерпретируемые модели (логистическая регрессия, деревья решений), так и сложные (случайный лес, градиентный бустинг), с автоматическим расчётом важности признаков и возможностью построения SHAP‑графиков.