Ο John Carlisle είναι αναισθησιολόγος στο νοσοκομείο Torbay στη νότια Αγγλία. Αλλά είναι και ένας ερευνητής ο οποίος έχει αναπτύξει στατιστικές μεθόδους για να εντοπίσει τις απάτες στην ιατρική έρευνα.
Υπάρχει μια δημόσια εικόνα των ιατρικών ερευνητών ως αξιόπιστοι άνθρωποι που εργάζονται σκληρά για να μας κάνουν όλους πιο υγιείς. Οι γιατροί είναι στην κορυφή αυτής της εικόνας αξιοπιστίας όμως υπάρχουν και περιπτώσεις πολύ αμφισβητήσιμης ερευνητικής πρακτικής ή ακόμη και απάτης. Οι περισσότερες περιπτώσεις απάτης στην ιατρική έρευνα είναι δύσκολο να εντοπιστούν.
Ο Carlisle και άλλοι αναισθησιολόγοι είχαν υποψιαστεί, πριν από μια δεκαετία, ότι κάτι δεν πήγαινε καλά με τις μελέτες του Ιάπωνα ερευνητή, Yoshitaka Fujii ο οποίος δημοσίευσε μια σειρά τυχαιοποιημένων, ελεγχόμενων κλινικών δοκιμών (RCTs) για φάρμακα κατά της ναυτίας και του εμέτου σε ασθενείς μετά από χειρουργική επέμβαση. Ο Carlisle πίστευε ότι τα δεδομένα ήταν πολύ “τακτοποιημένα” για να είναι αληθινά. Έδειξε ότι ήταν εξαιρετικά απίθανο να είχαν συμβεί ορισμένα από τα δεδομένα του Fujii. Λόγω αυτής αλλά και της περαιτέρω διερεύνησης, ο Fujii έχασε την πανεπιστημιακή του θέση. Τουλάχιστον 183 μελέτες του αποσύρθηκαν, περισσότερες από οποιοδήποτε άλλο άτομο.
Από τότε, ο Carlisle έχει αναπτύξει περαιτέρω τις μεθόδους του. Το 2017, προέβη σε μια ανάλυση πάνω από 5.000 κλινικών δοκιμών. Οι περισσότερες είχαν δημοσιευτεί σε περιοδικά με αντικείμενο το δικό του πεδίο, την αναισθησιολογία, αλλά συμπεριέλαβε επίσης δύο κορυφαία αμερικανικά ιατρικά περιοδικά, το Journal of American Medical Association (JAMA) και το New England Journal of Medicine (NEJM). Βρήκε ύποπτα δεδομένα σε περίπου 90 έγγραφα (1 στα 55).
Σε ορισμένες περιπτώσεις, υπήρχαν αθώες εξηγήσεις. Αλλά υπήρξαν και αρκετές ανακλήσεις. Για παράδειγμα, μια μεγάλη ισπανική μελέτη, που διερευνούσε αν η μεσογειακή διατροφή μπορούσε να βοηθήσει στην πρόληψη καρδιακών παθήσεων και εγκεφαλικών επεισοδίων, έπρεπε να αποσυρθεί. Η τυχαία κατανομή των ατόμων σε διαφορετικές δίαιτες είχε, σε ορισμένες περιπτώσεις, πραγματοποιηθεί λανθασμένα. Μια αναθεωρημένη έκθεση της μελέτης, παραλείποντας τους λάθος τυχαίους συμμετέχοντες, εμφανίστηκε αργότερα.
Η μέθοδος του Carlisle λαμβάνεται υπόψη από τουλάχιστον δύο ιατρικά περιοδικά για την ανίχνευση λαθών των RCT που υποβάλλονται για δημοσίευση. Πρόκειται για το Anaesthesia που αφορά στην ειδικότητα του Carlisle και το διάσημο NEJM. Άλλα περιοδικά μπορεί να ακολουθήσουν. Η μέθοδος δεν συμπεραίνει στα σίγουρα αν μια κλινική δοκιμή είναι δόλια. Υποδεικνύει όμως τις μελέτες που πρέπει να εξεταστούν διεξοδικότερα για να εξακριβωθεί αν συμβαίνει κάτι περίεργο. Μερικές φορές θα μπορούσαν να δοθούν αθώες εξηγήσεις για ασυνήθιστα πρότυπα δεδομένων.
Ο Andrew Klein, αναισθησιολόγος με έδρα το Κέμπριτζ, ο οποίος είναι αρχισυντάκτης του περιοδικού Anesthesia, ανέφερε ότι δέχεται περίπου 500 υποβολές μελετών RCT κάθε χρόνο. Όλες αυτές ελέγχονται με τη μέθοδο του Carlisle και περισσότερες από μια στις 40 εντοπίζονται ως δυνητικά δόλιες. Όχι ότι είναι οπωσδήποτε δόλιες, αλλά το περιοδικό ζητά να δει τα αρχικά δεδομένα των ασθενών, να τα ελέγξει και να λάβει τα κατάλληλα μέτρα αν είναι απαραίτητο.
P-values και “πειραγμένα” στοιχεία
Η μέθοδος του Carlisle βασίζεται σε συγκεκριμένα χαρακτηριστικά του τρόπου εκτέλεσης των τυχαιοποιημένων κλινικών δοκιμών. Μια απλή RCT μπορεί να συγκρίνει πόσο καλά δύο φάρμακα, Α και Β, θεραπεύουν μια συγκεκριμένη ασθένεια. Οι ασθενείς με τη νόσο χωρίζονται σε δύο ομάδες. Η μια ομάδα παίρνει το φάρμακο Α και η άλλη το άλλο φάρμακο Β. Στη συνέχεια, όλοι παρακολουθούνται για να βρεθεί ποιο φάρμακο θεραπεύει καλύτερα. Το βασικό χαρακτηριστικό είναι ότι η διαίρεση σε ομάδες γίνεται τυχαία. Αυτό σημαίνει ότι οι δύο ομάδες ασθενών είναι παρόμοιες, κατά μέσο όρο, από κάθε άποψη. Στη συνέχεια, εάν οι ασθενείς με το φάρμακο Α τα πηγαίνουν καλύτερα, μπορεί κανείς να είναι βέβαιος ότι αυτό συμβαίνει επειδή πήραν το φάρμακο Α αντί για το Β, και όχι λόγω κάποιας άλλης διαφοράς.
Κατά τη δημοσίευση των δοκιμαστικών αποτελεσμάτων, οι ερευνητές πρέπει να υποβάλλουν εκθέσεις σχετικά με τις «βασικές» συγκρίσεις μεταξύ των δύο ομάδων πριν ξεκινήσουν τις θεραπείες. Η μέθοδος του Carlisle χρησιμοποιεί μετρήσεις των αποκλίσεων μεταξύ των ομάδων που ονομάζονται p-τιμές και στη συνέχεια συνδυάζει όλες τις τιμές p σε μια. Η μέθοδός του βρίσκει πότε οι δύο ομάδες φαίνονται πολύ παρόμοιες για να είναι αληθινές και πότε είναι πολύ διαφορετικές. Και το ένα και το άλλο υποδεικνύει ότι, ενδεχομένως, τα δεδομένα έχουν εφευρεθεί ή παραποιηθεί.
Η μέθοδος κάνει ορισμένες στατιστικές υποθέσεις που δεν είναι πάντα κατάλληλες. Αλλά είναι μια απλή προσέγγιση που υποδηλώνει ότι ορισμένες κλινικές μελέτες πρέπει να ελεγχθούν περισσότερο. Αποτελεί πολύτιμο μέρος των προσπαθειών για να σταματήσει η απάτη στην ιατρική έρευνα.
Το ερώτημα γιατί κάποιοι ερευνητές διαπράξουν τέτοιου είδους απάτες είναι περίπλοκο. Μπορεί οι απάτες -ως μέρος της ανθρώπινης φύσης- να μην εξαλειφθούν ποτέ από την κλινική έρευνα αλλά αυτό δεν είναι λόγος για να μην υπάρχει επαγρύπνηση.
