Качество исследования определяется до того, как получены данные. Ошибки в протоколе, выборке и плане анализа не исправляются на этапе интерпретации. Ниже разбор по разделам: что проверять, какой ответ считается доказательством и где чаще всего расходятся протокол и отчёт.
Проверка после анализа отвечает на другой вопрос. Она показывает, что написано в отчёте, но не то, было ли сравнение задумано заранее. Если первичный исход выбран после просмотра данных, вероятность ложноположительного результата перестаёт соответствовать заявленному уровню значимости.
Проверка нужна трём сторонам. Автору она нужна до начала работы, рецензенту до публикации, читателю до применения результата. Набор пунктов во всех случаях один, различается только глубина.
Чек-лист не заменяет чтение раздела методов. Он задаёт порядок чтения: сначала дизайн, затем данные, затем анализ. При таком порядке противоречия видны раньше, чем в выводах.
Здесь проверяется, существовал ли план до данных. Ответ почти всегда виден по тексту: по формулировке гипотезы, по числу первичных исходов и по тому, как описан расчёт размера выборки.
Пример расхождения. В статье указано, что размер выборки обеспечивает мощность 0,80 для разницы 5 единиц. В разделе результатов обсуждается разница 2 единицы. Второй вывод расчётом не обеспечен, и мощность для него не указана.
Если протокол зарегистрирован, в отчёте указывается номер регистрации. Номер сверяется с записью в реестре: по нему видно, какие исходы и какой размер выборки были заявлены заранее.
Этот раздел проверяется вручную, по таблицам и по описанию сбора. Автоматической сверкой здесь обойтись нельзя: часть сведений есть только в протоколе.
Пример. Доля пропусков по основному показателю различается в двух центрах втрое. Если удалить всех с пропусками, меняется состав групп, и сравнение идёт уже по другой выборке.
Раздел читается сверху вниз вместе с таблицами. Ниже перечислены признаки, по которым видно несоответствие между заявленным планом и выполненным анализом.
| Что видно в отчёте | Что это означает для вывода |
|---|---|
| Размер выборки рассчитан после сбора данных | Мощность неизвестна, отрицательный результат нельзя трактовать как отсутствие различия |
| Несколько исходов проверены при одном уровне значимости | Один из них может оказаться ложным, нужна поправка либо явное разделение основного и второстепенных исходов |
| Наблюдения с пропусками исключены полным списком | Оценка смещается, если пропуск связан со значением исхода |
| Тип распределения не проверялся | Выбор критерия не обоснован, результат чувствителен к выбросам |
| Приведено только p-значение | Величина эффекта неизвестна, практическая значимость не определена |
| Вывод сделан по подгруппе, для которой не было гипотезы | Результат требует подтверждения на новой выборке |
Отдельного внимания требует анализ чувствительности. Если он не описан, то непонятно, насколько вывод держится при другом способе обработки пропусков или при исключении выбросов.
Интервал важнее точечной оценки. Широкий доверительный интервал означает, что данных мало для суждения о величине эффекта, даже если p-значение ниже порога.
Для моделей добавляются пункты, которых нет в классических исследованиях. Главный из них касается утечки данных (data leakage): подготовка признаков не должна видеть проверочную часть выборки.
Пример утечки. Масштабирование признаков выполняют на всей выборке, включая проверочную часть. Среднее и разброс попадают в обучение, и метрика на проверке оказывается завышенной.
Модель, отобранная по метрике на той же выборке, на которой её затем оценивают, показывает завышенное качество. Разбор метрик и их ловушек есть в статье о метриках качества модели.
Чек-лист не заменяет регистрационную экспертизу. Он показывает, каких сведений в отчёте не хватает для оценки.
Отдельно проверяется согласованность аннотации и раздела результатов. Если в аннотации вывод сформулирован шире, чем позволяет дизайн, отчёт считается несогласованным.
Если времени мало, проверяется восемь пунктов. Они не заменяют полный разбор, но отсекают отчёты, в которых вывод не следует из данных.
Экспресс-проверка не отвечает на вопрос о переносимости результата на другую популяцию. Для этого нужны сведения о выборке и о внешней проверке, а они требуют полного разбора.