כדי להבין אם טיפול חדש במחלה באמת טוב יותר מטיפולים ישנים, רופאים וחוקרים מחפשים את הראיות הטובות ביותר שיש. אנשי מקצוע בתחום הבריאות רוצים "מילה אחרונה" כראיה ליישוב שאלות לגבי דרכי הטיפול הטובות ביותר.

אך לא כל הראיות הרפואיות נוצרות שוות. ויש היררכיה ברורה של ראיות: חוות דעת של מומחים ודיווחי מקרים על אירועים בודדים נמצאים ברמה הנמוכה ביותר, ומחקרים מבוקרים אקראיים שנערכו היטב נמצאים קרוב לצמרת. בראש ההיררכיה הזו נמצאים מטא-אנליזות-מחקרים המשלבים את התוצאות ממחקרים מרובים ששאלו את אותה שאלה. וזה מאוד, מאוד בראש ההיררכיה הזו נמצאים מטא-אנליזות שבוצעו על ידי קבוצה בשם שיתוף פעולה של קוקרן.

כדי להיות חבר בשיתוף פעולה של קוקרן, חוקרים בודדים או קבוצות מחקר נדרשים להקפיד על הנחיות קפדניות מאוד לגבי אופן הדיווח והביצוע של מטא-אנליזות. לכן ביקורות Cochrane נחשבות בדרך כלל כמטא-אנליזות הטובות ביותר.

עם זאת, איש מעולם לא שאל אם התוצאות במטא-אנליזות שבוצעו על ידי שיתוף פעולה של Cochrane שונות ממטא-אנליזות ממקורות אחרים. בתיאוריה, אם היית משווה בין מטה-אנליזה של קוקרן ובין לא-קוקרהן, שניהם פורסמו במסגרת זמן דומה, אתה נוטה לצפות שהם היו בוחרים את אותם המחקרים לנתח, ושתוצאותיהם ופרשנותם יעלו יותר או פחות להתאים.

הצוות שלנו בבית הספר לבריאות הציבור באוניברסיטת בוסטון החליט לברר זאת. ובאופן מפתיע, זה לא מה שמצאנו.

מהו בכלל מטא-אנליזה?

תארו לעצמכם שיש לכם חמישה ניסויים קליניים קטנים שכולם מצאו יתרון חיובי בדרך כלל עבור נטילת אספירין כדי למנוע התקפי לב. אך מכיוון שלכל אחד מהמחקרים היה מספר מצומצם של נחקרים בלבד, אף אחד לא יכול היה לומר בבטחה כי ההשפעות המועילות אינן נובעות סתם. בדיבורים סטטיסטיים, מחקרים כאלה ייחשבו כ"אין כוח ".

יש דרך טובה להגדיל את העוצמה הסטטיסטית של אותם מחקרים: לשלב את חמשת המחקרים הקטנים יותר לאחד. זה מה שעושה מטא-אנאליזה. שילוב של מספר מחקרים קטנים יותר לניתוח אחד ולקיחת ממוצע המחקרים הללו יכול לפעמים להטות את הכף, וליידע את הקהילה הרפואית בביטחון אם התערבות נתונה עובדת או לא.

מטה-אנליזות הן יעילות וזולות מכיוון שאינן דורשות הפעלת ניסויים חדשים. במקום זאת, מדובר במציאת כל המחקרים הרלוונטיים שכבר פורסמו, וזה עלול להיות קשה להפתיע. חוקרים צריכים להיות עקשניים ומתודדיים בחיפושם. מציאת מחקרים והחלטה אם הם מספיק טובים כדי לסמוך עליהם היא המקום שבו האמנות - והטעות - של המדע הזה הופכים לנושא קריטי.

זו למעשה סיבה מרכזית מדוע נוסד שיתוף הפעולה של קוקרן. ארצ'י קוקרן, חוקר שירותי בריאות, זיהה את כוחם של מטה-אנליזות, אך גם את החשיבות האדירה של ביצוע נכון. מטא-אנליזות Cochrane Collaboration חייבות לעמוד בסטנדרטים גבוהים מאוד של שקיפות וקפדנות מתודולוגית ושחזור.

למרבה הצער, מעטים יכולים להשקיע את הזמן והמאמץ להצטרף לשיתוף פעולה של Cochrane, וזה אומר שרובם המכריע של מטה-אנליזות אינם מבוצעים על ידי שיתוף הפעולה, ואינם מחויבים לעמוד בסטנדרטים שלהם. אבל האם זה באמת משנה?

עד כמה יכולים להיות שני מטא-אנליזות שונים?

כדי לברר זאת, התחלנו בזיהוי 40 זוגות מטא-אנליזות, אחת של קוקרן ואחת לא, שכיסו את אותה התערבות (למשל אספירין) ותוצאה (למשל התקפי לב), ולאחר מכן השוו והעמדו ביניהן.

ראשית, גילינו שכמעט 40 % מהמטא-אנליזה של Cochrane ו- Non-Cochrane חולקים על התשובות הסטטיסטיות בשורה התחתונה. המשמעות היא שקוראים, רופאים או קובעי מדיניות בריאות, למשל, יעלו פרשנות שונה מהותית אם ההתערבות הייתה יעילה או לא, תלוי באילו אנאליזות הם קראו במקרה.

שנית, הבדלים אלה נראו שיטתיים. הביקורות שאינן של Cochrane, בממוצע, נטו לרמז שההתערבויות שבדקו היו חזקות יותר, סביר יותר לרפא את המצב או למנוע סיבוכים רפואיים ממה שהציעו סקירות Cochrane. יחד עם זאת, הביקורות הלא-קוקרניות היו פחות מדויקות בדייקנותן, כלומר קיים סיכוי גבוה יותר שהממצאים נובעים מסיכוי בלבד.

מטא-אנליזה היא לא יותר מאשר רק ממוצע משוקלל מפואר של מחקרי הרכיבים שלה. הופתענו לגלות שכ -63 % מהמחקרים הכלולים היו ייחודיים למערך מטה-אנליזה כזה או אחר. במילים אחרות, למרות ששתי קבוצות המטא-אנליזות יחפשו כנראה את אותם מאמרים, תוך שימוש בקריטריונים דומים לחיפוש, לאורך פרק זמן דומה וממאגרי מידע דומים, רק כשליש מהמאמרים שהיו בשתי המערכות. כלולים היו זהים.

סביר להניח שרוב או כל ההבדלים הללו מסתכמים בכך שקוצרן מתעקש על קריטריונים מחמירים יותר. מטא-אנליזה היא רק טובה כמו המחקרים שהיא כוללת, ולקיחת ממוצע של מחקר גרוע יכולה להוביל לתוצאה גרועה. כמו שאומרים: "זבל פנימה, זבל החוצה".

מעניין לציין שהניתוחים שדיווחו על גדלי אפקטים גבוהים בהרבה נטו לצטט שוב ​​בעיתונים אחרים בקצב גבוה בהרבה מהניתוחים המדווחים על גודל ההשפעה הנמוך יותר. זהו התגלמות סטטיסטית של האמרה העיתונאית הישנה "אם הוא מדמם, הוא מוביל". אפקטים גדולים ונועזים מקבלים יותר תשומת לב מתוצאות המראות תוצאות שוליות או חד משמעיות. הקהילה הרפואית היא בסופו של דבר רק אנושית.

למה זה משנה?

ברמה הבסיסית ביותר, זה מראה שארצ'י קוקרן צדק בהחלט. עקביות מתודולוגית וקפדנות ושקיפות הינם הכרחיים. בלי זה, יש סיכון להסיק שמשהו עובד כשזה לא עובד, או אפילו רק להקצות יתר.

אבל ברמה גבוהה יותר זה מראה לנו, שוב, כמה קשה מאוד ליצור פרשנות אחידה של הספרות הרפואית. מטא-אנליזות משמשות לעתים קרובות כמילה האחרונה בנושא נתון, כבוררי העמימות.

ברור שתפקיד זה מאותגר על ידי העובדה ששני מטא-אנליזות, לכאורה על אותו נושא, יכולים להגיע למסקנות שונות. אם אנו רואים במטא-אנליזה "תקן הזהב" בעידן הנוכחי של "רפואה מבוססת ראיות", כיצד הרופא או קובעי המדיניות או אפילו המטופל הממוצע יגיב כאשר שני תקני זהב סותרים זה את זה? ריק אזהרה.

על המחבר

כריסטופר ג'יי גיל, פרופסור חבר במחלקה לבריאות עולמית; מומחה למחלות זיהומיות, אוניברסיטת בוסטון.

מאמר זה פורסם במקור ב שיחה. קרא את מאמר מקורי.

ספר קשור:

at InnerSelf Market ואמזון