Чек-лист качества исследования

Что проверить в исследовании до анализа

Качество исследования определяется до того, как получены данные. Ошибки в протоколе, выборке и плане анализа не исправляются на этапе интерпретации. Ниже разбор по разделам: что проверять, какой ответ считается доказательством и где чаще всего расходятся протокол и отчёт.

Зачем проверять до анализа

Проверка после анализа отвечает на другой вопрос. Она показывает, что написано в отчёте, но не то, было ли сравнение задумано заранее. Если первичный исход выбран после просмотра данных, вероятность ложноположительного результата перестаёт соответствовать заявленному уровню значимости.

Проверка нужна трём сторонам. Автору она нужна до начала работы, рецензенту до публикации, читателю до применения результата. Набор пунктов во всех случаях один, различается только глубина.

Чек-лист не заменяет чтение раздела методов. Он задаёт порядок чтения: сначала дизайн, затем данные, затем анализ. При таком порядке противоречия видны раньше, чем в выводах.

Дизайн, выборка и протокол

Здесь проверяется, существовал ли план до данных. Ответ почти всегда виден по тексту: по формулировке гипотезы, по числу первичных исходов и по тому, как описан расчёт размера выборки.

  • Гипотеза сформулирована до сбора данных и содержит направление сравнения.
  • Первичный исход один. Остальные исходы названы второстепенными.
  • Критерии включения и исключения заданы до набора, а не по факту отказов.
  • Группы формируются способом, который не зависит от значения исхода.
  • Расчёт размера выборки содержит наименьшую важную разницу, разброс и мощность.
  • План анализа описан: какие сравнения выполняются, какая применяется поправка на множественность, что считается пропуском.

Пример расхождения. В статье указано, что размер выборки обеспечивает мощность 0,80 для разницы 5 единиц. В разделе результатов обсуждается разница 2 единицы. Второй вывод расчётом не обеспечен, и мощность для него не указана.

Если протокол зарегистрирован, в отчёте указывается номер регистрации. Номер сверяется с записью в реестре: по нему видно, какие исходы и какой размер выборки были заявлены заранее.

Данные и измерения

Этот раздел проверяется вручную, по таблицам и по описанию сбора. Автоматической сверкой здесь обойтись нельзя: часть сведений есть только в протоколе.

  • Единицы измерения и кодировки совпадают во всех таблицах и на всех рисунках.
  • Пропуски описаны по механизму: полностью случайные, случайные при наблюдаемых признаках, связанные со значением исхода.
  • Повторные измерения у одного участника отмечены, и их кластерный характер учтён в анализе.
  • Выбросы разделены на технические, то есть ошибки ввода, и на реальные значения.
  • Данные обезличены, прямой идентификатор заменён на номер.
  • Версия набора данных, по которой считали, сохранена и указана в отчёте.

Пример. Доля пропусков по основному показателю различается в двух центрах втрое. Если удалить всех с пропусками, меняется состав групп, и сравнение идёт уже по другой выборке.

Статистический анализ

Раздел читается сверху вниз вместе с таблицами. Ниже перечислены признаки, по которым видно несоответствие между заявленным планом и выполненным анализом.

Что видно в отчётеЧто это означает для вывода
Размер выборки рассчитан после сбора данныхМощность неизвестна, отрицательный результат нельзя трактовать как отсутствие различия
Несколько исходов проверены при одном уровне значимостиОдин из них может оказаться ложным, нужна поправка либо явное разделение основного и второстепенных исходов
Наблюдения с пропусками исключены полным спискомОценка смещается, если пропуск связан со значением исхода
Тип распределения не проверялсяВыбор критерия не обоснован, результат чувствителен к выбросам
Приведено только p-значениеВеличина эффекта неизвестна, практическая значимость не определена
Вывод сделан по подгруппе, для которой не было гипотезыРезультат требует подтверждения на новой выборке

Отдельного внимания требует анализ чувствительности. Если он не описан, то непонятно, насколько вывод держится при другом способе обработки пропусков или при исключении выбросов.

Интервал важнее точечной оценки. Широкий доверительный интервал означает, что данных мало для суждения о величине эффекта, даже если p-значение ниже порога.

Модели машинного обучения

Для моделей добавляются пункты, которых нет в классических исследованиях. Главный из них касается утечки данных (data leakage): подготовка признаков не должна видеть проверочную часть выборки.

  • Разбиение на обучение и проверку сделано до отбора признаков и масштабирования.
  • Есть внешняя проверка на данных другого центра или другого периода.
  • Метрики соответствуют задаче: для поиска случаев важна полнота, для оценки вероятности важна калибровка.
  • Порог классификации выбран до просмотра проверочных метрик.
  • Указаны версии библиотек и параметры, которые влияют на результат.

Пример утечки. Масштабирование признаков выполняют на всей выборке, включая проверочную часть. Среднее и разброс попадают в обучение, и метрика на проверке оказывается завышенной.

Модель, отобранная по метрике на той же выборке, на которой её затем оценивают, показывает завышенное качество. Разбор метрик и их ловушек есть в статье о метриках качества модели.

Этика, регуляторика и отчётность

  • Есть решение этического комитета с номером и датой.
  • Форма информированного согласия соответствует характеру вмешательства.
  • Персональные данные обрабатываются в заявленной цели и не выходят за её пределы.
  • Отчётность следует схеме: CONSORT для рандомизированных испытаний, STROBE для наблюдений, TRIPOD для прогностических моделей, PRISMA для систематических обзоров.

Чек-лист не заменяет регистрационную экспертизу. Он показывает, каких сведений в отчёте не хватает для оценки.

Отдельно проверяется согласованность аннотации и раздела результатов. Если в аннотации вывод сформулирован шире, чем позволяет дизайн, отчёт считается несогласованным.

Экспресс-проверка за десять минут

Если времени мало, проверяется восемь пунктов. Они не заменяют полный разбор, но отсекают отчёты, в которых вывод не следует из данных.

  1. Найти первичный исход и убедиться, что он один.
  2. Сверить размер выборки с той разницей, которая обсуждается в результатах.
  3. Проверить, есть ли доверительные интервалы рядом с основными оценками.
  4. Проверить, учтена ли множественность сравнений.
  5. Посмотреть, что сделано с пропусками.
  6. Для модели найти внешнюю проверку и метрику, по которой модель отбирали.
  7. Сверить числа в тексте, в таблицах и на рисунках.
  8. Сопоставить вывод в аннотации с тем, что следует из раздела результатов.

Экспресс-проверка не отвечает на вопрос о переносимости результата на другую популяцию. Для этого нужны сведения о выборке и о внешней проверке, а они требуют полного разбора.

Частые ошибки

Первичный исход выбран после анализа
Из набора измеренных показателей оставляют тот, который дал значимый результат. Уровень значимости в таком отчёте уже не равен заявленному.
Размер выборки считается по полученной разнице
Берут разницу из своих данных и по ней обосновывают объём. Для расчёта нужна наименьшая важная разница, заданная до анализа.
Пропуски удалены списком
Исключают всех, у кого есть хотя бы один пропуск. Если пропуск связан с исходом, оценка смещается.
Порог выбран на проверочной выборке
Порог подбирают по максимуму метрики на тесте и там же его оценивают. Метрика становится завышенной.
Таблицы расходятся с текстом
В тексте указано одно число наблюдений, в таблице другое. Часть выводов относится к разным выборкам.
Источники указаны по памяти
Названия и годы в списке не совпадают с публикациями. Проверяемый источник проходит, остальные приходится искать заново.

Источники

  1. Schulz K. F., Altman D. G., Moher D. CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. BMJ, 2010, том 340, с. c332.
  2. von Elm E., Altman D. G., Egger M. и соавт. The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement. Annals of Internal Medicine, 2007, том 147, с. 573-577.
  3. Collins G. S., Reitsma J. B., Altman D. G., Moons K. G. M. TRIPOD statement: transparent reporting of a multivariable prediction model for individual prognosis or diagnosis. Annals of Internal Medicine, 2015, том 162, с. 55-63.
  4. Wolff R. F., Moons K. G. M., Riley R. D. и соавт. PROBAST: a tool to assess the risk of bias and applicability of prediction model studies. Annals of Internal Medicine, 2019, том 170, с. 51-58.
  5. Page M. J., McKenzie J. E., Bossuyt P. M. и соавт. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 2021, том 372, с. n71.
  6. Mongan J., Moy L., Kahn C. E. Checklist for Artificial Intelligence in Medical Imaging (CLAIM): a guide for authors and reviewers. Radiology: Artificial Intelligence, 2020, том 2, с. e200029.

Связанные материалы