Вот тут-то мне карта и попёрла!

[ak_47]

В одном из дружественных журналов зашла речь о научных исследованиях и мета-анализе.

Я сказал, что не считаю мета-анализ наукой, а скорее чем-то похожим на астрологию. Т.е., у мета-анализа есть многие признаки "научности", но результат это мусор к которому не следует относиться всерьёз. Хозяин журнала ответил что мета-анализ сегодня считается царицей доказательств и даже привёл такую схему (кликабельно):



Ниже моё дилетантское мнение о мета-анализе. Дилетантское потому что сам я не учёный, любой академик легко меня посрамит на своём поле. Поэтому играть на чужом поле мне нет никакого резона. Единственное что я могу сделать это рассуждать со стороны здравого смысла. Так сказать, пошатнуть черепах и слонов на которых покоится научный консенсус.

Собственно, аргументы против мета-анализа можно найти в той же статье из Вики: Мета-анализ | Вызовы. Сами учёные это всё прекрасно знают.

Мой основной аргумент против, которого нет в статье, такой:

- Мета-анализ возник благодаря кризису современной науки. Культура publish or perish, отсутствие прогресса в фундаментальных исследованиях вынуждают учёных выдумывать новые способы добычи статей, пригодных для публикации.
- Если есть настоящий предмет исследования, что-то в самом деле новое, то это исследуют напрямую классическими методами, не прибегая к мета-анализу.
- Подборка исследований для мета-анализа и методов обработки результатов позволяют сделать любой вывод. Подборка исследований опирается на мнение авторов мета-анализа о том, какие исследования качественные, а какие нет. В обработке результатов никак не связанных между собой исследований можно играться с параметрами как угодно. (Этот пункт упоминается и в Вики.)

Всего вышесказанного уже достаточно для того, чтобы не считать мета-анализ наукой. Даже если предположить, как в детских книжках, что учёные это ангелы в белых халатах, занятые поиском истины и ничем другим.

Но если немножко вспомнить как дела обстоят в реальном мире, в какой блядский цирк превратилась современная наука, где даже самые лучшие исследования, в самых престижных журналах, не воспроизводятся на 90%, то что можно сказать о мета-анализе? Когда б вы знали, из какого сора растут кристаллы чистого знания?

На такой прыжок веры у меня лично духу не хватает. Поэтому я не считаю мета-анализ наукой.

Comments

[uhum-buheev.livejournal.com]

Не наука, конечно, но что с того? Статистика тоже не наука, это инструмент. Который сегодня используется разного рода пропагандой.
Надо ли слепо доверять мета-анализу? Нет, конечно. Так же как и прочей около-научной статистике.

[ak_47]

Согласен насчёт статистики. Инструмент, который можно использовать как на пользу, так и во зло. В то же время, статистика хотя бы доказала свою полезность. Про мета-анализ я пока не уверен. То, что я вижу своими глазами это мета-анализ на службе самых отъявленных мошенников. Все шутки про врущую статистику остались далеко позади стремительного локомотива мета-анализа.

Остановите любого школьника, он вам скажет что 98% учёных согласны с тем, что глобальное потепление это вина человечества и ведёт к неминуемой катастрофе. Эти 98% получены мета-анализом. Таких примеров тьма.

С помощью мета-анализа отмываются политические интересы и затем спускаются народу как научный консенсус.

[birdwatcher.livejournal.com]

Всё-то вы ищете не вот эту поддельную, а настоящую, годную науку. Может, где-то в Тибете...

[ak_47]

Академ-городок на холме.

[mtyukanov.livejournal.com]

Ну, про бесполезность масок -- тоже метаанализ, при этом образец бессмысленного метаанализа, даже не пытающегося построить хоть какую-то методологию. Но он был на благо.

[ak_47]

Это пример стоящих часов, которые показали правильное время. Наверное, лет через десять современная наука полностью выродится в игру в бисер мета-анализов. Одна команда будет продвигать свои мета-анализы, оппоненты состряпают мета-анализы с противоположными выводами. Диспут между ними будут решать всенародным голосованием.

[birdwatcher.livejournal.com]

Так ведь не был. Мы и без этого исследования знали, а учёные всё равно ему не поверили. В чём конкретно благо?

[ben-yehoshua.livejournal.com]

>> Мы и без этого исследования знали
:-) :-) ;-p

[ny-quant.livejournal.com]

>Остановите любого школьника, он вам скажет что 98% учёных согласны с тем, что глобальное потепление это вина человечества и ведёт к неминуемой катастрофе.

Главная проблема тут в том, кто именно убедил в этом школьника?

> Эти 98% получены мета-анализом.

Вот же ж. Ну вот кто вам это сказал? Симметрия полная.

[ak_47]

Миф о 97% (я ошибся на 1%) начался с этой статьи: The Scientific Consensus on Climate Change [PDF] by Naomi Oreskes. Там впервые прозвучала идея что все учёные поддерживают идею AGW. В качестве метода у них был мета-анализ сотен статей.

Затем было опубликовано исследование: Quantifying the consensus on anthropogenic global warming in the scientific literature [PDF] by John Cook et al (тоже мета-анализ). Именно это исследование дало пресловутые 97%. Результаты исследования популяризовал Обама. После Обамы все новости это подхватили и в итоге 97% вошли во все учебники.

Почитайте последний документ, он короткий. Если вы считаете это чистоплотной, приемлемой наукой, то я не знаю какие аргументы ещё привести.

[ny-quant.livejournal.com]

Более того, и классические методы, за которые ратует автор, и мета-анализы это все варианты статистического анализа.

[public-animal.livejournal.com]

Как нет науки? Разве не сидят в лабораториях бородатые ученые, и смешивают конскую мочу с редкоземельными элементами? Где Э,ВриКа!

[ak_47]

 אין לנו על מי להישען, אלא על אבינו שבשמיים!

[public-animal.livejournal.com]

Я правильно понимаю, что этот мета- выводит типа причину авиакатастроф из огурцов, потому что 97% погибших ели в своей жизни огурцы?

[ak_47]

То, что ты oписал называется observational study. :)

Дело авторов наблюсти, а за выводы они не отвечают, потому что не могут контролировать confounding factors.

Мета-анализ говорит что давайте просканируем абстракты 100500 статей и на анализе словосочетаний, которые там встречаются, сделаем далекоидущие выводы.

Или, давайте соберём исследования из 20 стран на предмет ношения масок и числа заболевших ковидом. Обобщив эту статистику, узнаем работают маски или нет.

[public-animal.livejournal.com]

"Есть ложь, злостная ложь и статистика".

FD: Я статистег по образованию.

[ploni-aloni.livejournal.com]

Мета-анализ это статистический метод. Это инструмент. Лично я не вижу в нем ничего inherently flawed.

Кризис воспроизводимости это другое. Это действительно проблема. Этот кризис связан с этическими проблемами. Система peer-review предполагает честность исследователя. То есть, если вы знаете, что ваши данные мусор, то вы ищете научную истину, пока не найдете, а не пытаетесь заморочить голову ревьюеру. Однако человек слаб, а политика сильна и слово "Лысенко" появилось раньше слова "мета-анализ".

— פ.א.

[ak_47]

Я считаю так что если некая система раз за разом производит плохой результат, то это заложено в дизайн системы, а не случайные ошибки, которые надо исправить. Иными словами: The purpose of a system is what it does.

[ploni-aloni.livejournal.com]

Автомобили раз за разом сталкиваются на дорогах. Это происходит во всех странах с момента изобретения автомобиля. Я считаю, что это заложено в дизайн автомобиля, а не случайные ошибки водителей, недостатки дорог, или нехватка дорожных полицейских, поскольку цель системы это то, что она делает.

Вы согласны? :)

— פ.א.

[ak_47]

Не согласен по нескольким причинам.

Во-первых, автомобиль сам по себе ещё не система. Можно рассматривать дорожные правила как систему.

Во-вторых, автомобили не только сталкиваются, но и возят людей. Если учитывать сколько километро-часов проезжают автомобили, то они прекрасно справляются с поставленной задачей. При этом безопасность автомобилей с годами только растёт.

Т.е., система правил дорожного движения добивается поставленной цели — организация городского транспорта — при приемлемом уровне побочных эффектов (столкновения, аварии, цена поддержки в рабочем состоянии).

[ploni-aloni.livejournal.com]

Если Вы твердо знаете, что мета-анализ никогда не дает никаких полжительных результатов (хотя это всего-лишь статистический метод), то мне нечего возразить.

— פ.א.

[ny-quant.livejournal.com]

> Мой основной аргумент против, которого нет в статье, такой:- Мета-анализ возник благодаря кризису современной науки.

Это не аргумент, это мнение. Причем не основанное на фактах.

> Если есть настоящий предмет исследования, что-то в самом деле новое, то это исследуют напрямую классическими методами, не прибегая к мета-анализу.

Естественно! Потому что нет материала для мета-анализа. Потом это же самое исследуют другие люди при несколько иных условиях (другая популяция, например) и получают несколько другие результаты. Через 10 лет и сотню разных исследований складывается мутная картина, из которой непонятно какие делать выводы. Мета-анализ служит для объединения материалов разрозненных исследований.

> Подборка исследований для мета-анализа и методов обработки результатов позволяют сделать любой вывод.

Нет, конечное. Это чистая выдумка.

> Подборка исследований опирается на мнение авторов мета-анализа о том, какие исследования качественные, а какие нет.

Это не так. Критерии отбора чаще всего объективные. Например берутся только randomized controlled studies с чиском участников больше N.

> самые лучшие исследования, в самых престижных журналах, не воспроизводятся на 90%

Можно ссылку на источник этого утверждения?

[ak_47]

> Это не аргумент, это мнение. Причем не основанное на фактах.

Дык сами учёные об этом бьют тревогу уже 20 лет. Вот тут проблема развёрнуто описана: Replication crisis - Wikipedia

Что касается подборки исследований для мета-анализа, то вот в самой статье, откуда график, пишут:

A meta-analysis of several small studies does not always predict the results of a single large study.[88] Some have argued that a weakness of the method is that sources of bias are not controlled by the method: a good meta-analysis cannot correct for poor design or bias in the original studies.[89] This would mean that only methodologically sound studies should be included in a meta-analysis, a practice called 'best evidence synthesis'.[89] Other meta-analysts would include weaker studies, and add a study-level predictor variable that reflects the methodological quality of the studies to examine the effect of study quality on the effect size.[90] However, others have argued that a better approach is to preserve information about the variance in the study sample, casting as wide a net as possible, and that methodological selection criteria introduce unwanted subjectivity, defeating the purpose of the approach.[91]

Т.е., проблема с подборкой исследований и контроль за возможным bias очевидны при мета-анализе. Далее в разделе каждая из перечисленных проблем разбирается подробно.

> Можно ссылку на источник этого утверждения?

Вот обзорная статья, где есть ссылки на разных корифеев науки: How Much Scientific Research Is Actually Fraudulent? ("In an email exchange with me, Ioannidis estimated that the nonreplication rates in biomedical observational and preclinical studies could be as high as 90 percent.")

Там ещё можно найти такие сочные цитаты как от редакции The Lancet: "much of the scientific literature, perhaps half, may simply be untrue."

Или вот ещё: [...] former editor of the medical journal The BMJ Richard Smith asks if it's "time to assume that health research is fraudulent until proven otherwise."

Вы думаете я такой умный, что сам решил опровергнуть всю науку? Нет, конечно. Лучше самих учёных никто о проблемах науки не расскажет.

[ny-quant.livejournal.com]

Replication crisis is real but it is has nothing to do with meta-analysis problems. They do exist, as at the article points out. Meta-analysis is not a panacea. Garbage in garbage out is always a problem. Никакого другого решения как выбрасывать исследования основанные на плохих данных нет, но если никаких других и нет (replication problem), то ничего не поможет.

Процитированный вами параграф объясняет, что есть несколько различных подходов к мета-анализу. Но там нигде не говорится, что исходные исследования подбираются субъективно

> Подборка исследований для мета-анализа и методов обработки результатов позволяют сделать любой вывод.

Я по-прежнему не вижу откуда это видно.

ОК, значит 90% это субъективная оценка Иоаннидиса. И хотя он написал "in biomedical observational and preclinical studies", у вас получилось "самые лучшие исследования, в самых престижных журналах, не воспроизводятся на 90%". Вот так и живем. Не то чтобы ~50% ложных результатов в Ланцете это было мало, но это % верных отличается от заявленного вами в 5 раз!

[ak_47]

Я не говорю что replication crisis напрямую связан с мета-анализом. Это был ответ на вопрос почему я считаю, что наука в кризисе. Это не просто моё мнение с потолка, а мнение многих учёных, далеко не последних в своих областях. Факты такие что публикуемые исследования невозможно повторить, а половина просто основана на мусорных данных.

В процитированном параграфе описывают дилемму: или включать выборочно (кто выбирает и как?) или включать всё что есть, но тогда надо что-то делать с низкокачественными исследованиями. Например, присваивать некий фактор качества (кто его определяет? как его считают?), чтобы плохие исследования не влияли с той же степенью, как и хорошие.

По моему мнению это и есть субъективный подбор.

Подбирая таким образом входные исследования и/или присваивая им вес в конечном результате, становится возможным получать заранее заданный результат. 97% учёных, поддерживающих AGW, пример именно такой тенденциозной подборки входных данных.

В статье про replication crisis есть такой пассаж:

A 2016 survey by Nature on 1,576 researchers who took a brief online questionnaire on reproducibility found that more than 70% of researchers have tried and failed to reproduce another scientist's experiment results (including 87% of chemists, 77% of biologists, 69% of physicists and engineers, 67% of medical researchers, 64% of earth and environmental scientists, and 62% of all others), and more than half have failed to reproduce their own experiments.

Для меня уже этих результатов достаточно, чтобы потерять всякое доверие к современным научным публикациям. Будет ли там в точности 90% или 67% никакой принципиальной разницы не играет.

И это мы только-только затронули верхушку айсберга: невозможность воспроизвести результаты. А есть ещё и не менее серьёзные проблемы с конфликтом интересов, влиянием индустрии на исследования, политизацией науки. Проблемы мета-анализа меркнут по сравнением со всем этим.