Μια μελέτη για τη σοκολάτα ήταν μια καλοστημένη απάτη που σχεδιάστηκε για να ξεμπροστιάσει τα επιστημονικά περιοδικά. Το κόλπο στήθηκε από τον Τζον Μποχάνον, διδάκτορα της Βιολογίας και συνεργάτη του περιοδικού Science. Η μελέτη ήταν αυθεντική αλλά η στατιστική ανάλυση ήταν προβληματική.
Στη μελέτη συμμετείχαν 5 άνδρες και 11 γυναίκες που χωρίστηκαν σε τρεις ομάδες. Η πρώτη ομάδα ακολουθούσε μια δίαιτα χαμηλών υδατανθράκων, η δεύτερη ομάδα ακολούθησε την ίδια δίαιτα αλλά εμπλουτισμένη με 40 γραμμάρια μαύρη σοκολάτα την ημέρα, ενώ τα άτομα της τρίτης ομάδας, αποτέλεσαν την ομάδα ελέγχου, δηλαδή κλήθηκαν να μην αλλάξουν τις διατροφικές συνήθειές τους.
Οι δύο πρώτες ομάδες εμφάνισαν την ίδια απώλεια βάρους, περίπου 2,5 κιλά μέσα σε τρεις εβδομάδες. Η διαφορά ήταν ότι η ομάδα της μαύρης σοκολάτας έχασε βάρος ταχύτερα και εμφάνισε καλύτερα επίπεδα χοληστερίνης στο αίμα.
Στατιστικά σημαντική ή ασήμαντη;
Τα δεδομένα δεν παραποιήθηκαν, η ανάλυση όμως ήταν επίτηδες παραπλανητική, εξηγεί ο Μποχάνον. «Ορίστε το μικρό, βρόμικο μυστικό: Αν μετρήσεις έναν μεγάλο αριθμό παραμέτρων σε έναν μικρό αριθμό ανθρώπων, είναι σχεδόν εγγυημένο ότι θα πάρεις ένα στατιστικά σημαντικό αποτέλεσμα, για κάποιον από αυτούς του παράγοντες».
Η λεγόμενη τιμή p είναι ένας στατιστικός δείκτης που εκφράζει την πιθανότητα ένα οποιοδήποτε αποτέλεσμα να οφείλεται καθαρά στην τύχη. Προκειμένου να θεωρηθεί στατιστικά αξιόπιστος ένας ισχυρισμός, η τιμή του p πρέπει να κάτω από το 0,05, που σημαίνει ότι υπάρχει μικρότερη από 5% πιθανότητα να οφείλεται το αποτέλεσμα στην τύχη.
Οι ερευνητές έχουν την τάση να πειραματίζονται με διάφορες παραμέτρους μέχρι να καταλήξουν στην κατάλληλη τιμή p. Είναι ένα φαινόμενο που ονομάζεται «p-hacking», λέει ο Μποχάνον.
Η ομάδα του Μποχάνον είχε μετρήσει 18 διαφορετικές παραμέτρους για 16 άτομα, από το βάρος μέχρι την ποιότητα του ύπνου και το νάτριο στο αίμα. Αυτό σήμαινε ότι υπήρχε πιθανότητα 60% να είναι η ανάλυση «στατιστικά σημαντική» σε σχέση με έναν τουλάχιστον από αυτούς τους παράγοντες.
Μικρό το δείγμα
Πέραν αυτού όμως, η μελέτη δεν μπορούσε να είναι αξιόπιστη λόγω του υπερβολικά μικρού δείγματος. Ο μικρός αριθμός συμμετεχόντων μεγεθύνει την επίδραση ανεξέλεγκτων παραγόντων. Το πρόβλημα αυτό είναι γνωστό και τα σοβαρά επιστημονικά περιοδικά δεν δημοσιεύουν μελέτες με περιλαμβάνουν λιγότερο από 30 άτομα.
«Υπάρχουν όμως πολλά επιστημονικά περιοδικά που νοιάζονται περισσότερο για το χρήμα παρά για τη φήμη τους» λέει ο Μποχάνον. Η μελέτη εστάλη σε 20 περιοδικά και πολλά από αυτά έκαναν τη μελέτη δεκτή.
Οι ερευνητές προτίμησαν τελικά το International Archives of Medicine, ένα περιοδικό «ανοιχτής πρόσβασης», το οποίο δεν χρεώνει τους αναγνώστες. Το International Archives of Medicine δημοσίευσε το «εξαιρετικό κείμενο» της μελέτης, αν και αργότερα υποστήριξε ότι τη δημοσίευσε κατά λάθος.
Η ομάδα του Μποχάνον είχε και μια άλλη «επιτυχία» το 2013. Τότε είχε δημιουργήσει για λογαριασμό του Science μια ψεύτικη μελέτη για ένα «θαυματουργό» αντικαρκινικό φάρμακο. Τη μελέτη δέχτηκαν να δημοσιεύσουν δεκάδες επιθεωρήσεις ανοιχτής πρόσβασης. Όπως είπε ο Μποχάνον, «οποιοσδήποτε επιμελητής περιοδικού με γνώσεις χημείας επιπέδου Λυκείου και την ικανότητα να καταλαβαίνει μια απλή γραφική παράσταση θα έπρεπε να είχε εντοπίσει τα προβλήματα αμέσως».
