Czy istnieją jakieś badania/ankiety/…, które próbowały oszacować, ile abstraktów papierów czytają badacze medyczni przygotowujący kliniczne przeglądy systematyczne?
Nawet jeśli będzie to tylko częściowa odpowiedź, może to pomóc “lepiej zrozumieć proces tworzenia przeglądów systematycznych”, jak podano w komentarzach.
Jedną oczywistą odpowiedzią, którą można tu dać, jest: wszystkie abstrakty muszą zostać przeczytane, gdy tylko prace okażą się “pozytywne” w ramach strategii (re)wyszukiwania literatury. W końcu muszą one zostać ocenione pod kątem włączenia lub wykluczenia.
Jeśli pierwotne pytanie miało dotyczyć średniej liczby faktycznie wykorzystanych badań, czyli twardej liczby prac włączonych do przeglądu, to odpowiedź jest zupełnie inna:
Z Terri Pigott: Advances in Meta-Analysis, Springer, 2012:
Innym często zadawanym pytaniem jest: Ile badań potrzebuję do przeprowadzenia metaanalizy? Chociaż moi koledzy i ja często odpowiadaliśmy “dwa” Valentine et al. 2010 ), pełniejsza odpowiedź leży w zrozumieniu mocy testów statystycznych w metaanalizie. W tej książce przyjmuję podejście, że moc testów w metaanalizie, podobnie jak moc każdego testu statystycznego, musi być obliczona a priori, przy użyciu założeń dotyczących wielkości ważnego efektu w danym kontekście oraz typowych wielkości prób stosowanych w danej dziedzinie. Ponownie, głęboka wiedza merytoryczna o literaturze badawczej jest krytyczna dla recenzenta w celu przyjęcia rozsądnych założeń dotyczących parametrów potrzebnych do określenia mocy.
Wybór prac do recenzji zależy zatem od tego, jak dobrze zbadana i przebadana jest dana dziedzina lub pytanie badawcze. Modne tematy z dołączonymi kontrowersjami będą miały setki lub tysiące do wyboru, niszowe zainteresowania, nierentowne miejsca być może tylko kilka. Aby zażądać statystyk we wszystkich tych dziedzinach klinicznych przeglądów systematycznych jest całkowicie możliwe. Ale jednym z problemów związanych z metaanalizami jest tak zwany problem garbage-in-garbage-out: takie przedsięwzięcie - nie tylko “oszacować, ile abstraktów papierowych badacze medyczni czytają podczas przygotowywania klinicznego przeglądu systematycznego?”, ale nawet dokładnie obliczyć tę liczbę - może grozić wyprodukowaniem bezsensownych liczb, przydatnych tylko dla dziennikarzy lub polityków.
Jeden z artykułów przedstawiających taką właśnie meta-meta-analizę podaje taką liczbę, jak wymagano w pytaniu dla poddziedziny psychologii: 51 (zakres 5-81). (doi: 10.1080/0027317100368018 A Meta-Meta-Analysis: Empirical Review of Statistical Power, Type I Error Rates, Effect Sizes, and Model Selection of Meta-Analyses Published in Psychology. ), ale także ładnie podkreśla problemy nieodłącznie związane z takim podejściem:
- Effect Sizes and Heterogeneity in Meta-Analysis
- Model Choice: Modele o stałych efektach były używane ze znacznie większą częstotliwością niż modele o efektach losowych, często bez jawnego zaznaczenia, że taki model jest używany. Z drugiej strony, modele z efektami losowymi były używane z rosnącą częstotliwością w czasie. W przyszłych badaniach należy bardziej rutynowo wdrażać modele efektów losowych, biorąc pod uwagę ich większą ważność z punktu widzenia wnioskowania.
Wreszcie, ważne jest, aby wziąć pod uwagę, że użycie modeli losowych efektów obniży moc dla testów istotności w większości przypadków (tj. gdy wariancja między badaniami jest większa niż zero).
Bardziej ogólnie możemy wystrzegać się ślepego zaufania do przeglądów czy metaanalizy w ogóle. Obecnie medycyna stara się odbudować swoją wiedzę na fundamencie opartym na dowodach, co jest oczywiście bardzo pożądane. Ale dążąc do tego celu z nadmierną pewnością siebie, koncentrując się na danych ilościowych i modelach matematycznych, można zrobić krzywdę dziecku w wannie. Nazywanie, używanie lub po prostu wiara w jakikolwiek rodzaj “złotego standardu” (lub, w różnym stopniu, nawet platyny) będzie zbytnio z jednej skrajnej strony. To jest przedstawione w następujący sposób:
Największym problemem z tym obrazem jest to, iż “filtr” jest dość źle zdefiniowany i regularnie badania o wyższej mocy statystycznej albo większej istotności są wybierane do włączenia. Choć na początku brzmi to logicznie, narusza to zasady filozoficzne, jak np. zasadę Carnapa Zasada Dowodów Całkowitych “. To mechanistyczne rozumowanie wprowadza więc swój własny zestaw systematycznych błędów.
Aby rozwiązać kilka z tych znanych niebezpieczeństw, pułapek i niedociągnięć, oświadczenie PRISMA jest inicjatywą mającą na celu przynajmniej standaryzację podejścia i przejrzyste udokumentowanie procedury wybranej dla tego typu analiz.
Więcej problemów epistemologicznych skondensowanych jest w Stegenga: "Is meta-analysis the platinum standard of evidence?” (2011):
[…] meta-analizy nie są w stanie odpowiednio ograniczyć intersubiektywnych ocen hipotez. Dzieje się tak dlatego, że liczne decyzje, które trzeba podjąć przy projektowaniu i przeprowadzaniu metaanalizy, wymagają osobistego osądu i wiedzy specjalistycznej oraz pozwalają osobistym uprzedzeniom i idiosynkrazjom recenzentów wpływać na wynik metaanalizy. Niepowodzenie Obiektywizm przynajmniej częściowo wyjaśnia porażkę Constraint: to znaczy, subiektywizm wymagany w metaanalizie wyjaśnia, jak wiele metaanaliz tego samego pierwotnego dowodu może dojść do sprzecznych wniosków dotyczących tej samej hipotezy. […] Jednakże moja dyskusja na temat wielu konkretnych decyzji, które muszą być podjęte podczas przeprowadzania metaanalizy, sugeruje, że takie ulepszenia mogą zajść tylko tak daleko.
W przypadku przynajmniej niektórych z tych decyzji wybór między dostępnymi opcjami jest całkowicie arbitralny; różne propozycje zwiększenia przejrzystości raportowania metaanaliz nie są w stanie, co do zasady, rozróżnić tych arbitralnych wyborów. Mówiąc bardziej ogólnie, ta riposta obrońców metaanalizy - że nie powinniśmy całkowicie odrzucać tej techniki - nadmiernie podkreśla siłę wniosku, za którym się opowiadałem, a który nie polega na tym, że metaanaliza jest en- tylko złą metodą łączenia dowodów, ale raczej na tym, że metaanalizy nie należy uważać za najlepszy rodzaj dowodów do oceny hipotez przyczynowych w medycynie i naukach społecznych. Nie twierdziłem, że metaanaliza nie może dostarczyć żadnych przekonujących dowodów, ale raczej, wbrew standardowemu poglądowi, twierdziłem, że metaanaliza nie jest platynowym standardem dowodowym.
