- L’institut
- Activités
- L’IMI et vous
- Évènements
- Ressources
- Les Amis de l’IMI
- Contact
FR
Dans l’article « La méta-analyse en parapsychologie ?… » de H. Broch [1], publié sur le site Internet du Laboratoire de zététique de l’Université de Nice-Sophia Antipolis, les études méta-analytiques sont critiquées, notamment la manière dont est évalué l’effet-tiroir (file-drawer effect). L’auteur propose de « faire travailler nos neurones » sur la manière dont sont menées les études sur l’effet-tiroir en parapsychologieEtude rationnelle et pluridisciplinaire des faits semblant inexplicables dans l'état actuel de nos connaissances, et mettant en jeu directement le psychisme et son interaction avec l'environnement. C'est en 1889 que l'Allemand Max DESSOIR proposa les termes de parapsychologie pour "caractériser toute une région frontière encore inconnue qui sépare les états psychologiques habituels des états pathologiques", et de paraphysique pour désigner des phénomènes objectifs qui paraissent échapper aux lois de la physique classique. On parle plus spécifiquement de parapsychologie expérimentale pour désigner la parapsychologie dans le cadre du laboratoire., afin de mener une réflexion rapide sur la manière dont devrait être abordé le problème. Cette réflexion lui permet de conclure :
« Tant que [les parapsychologues] n’auront pas mené leurs chères études méta-analytiques de [la] seule correcte façon [proposée] – ce qui n’est, pour l’instant, pas le cas – il est tout à fait inutile de discuter ne serait-ce que d’un iota de leurs résultats. »
(Caractères gras et italiques d’origine.)
Nous ferons tout d’abord quelques remarques générales sur l’article du Laboratoire de zététique. Ensuite, après avoir présenté les méta-analyses et le problème du biaisPrésence de patterns ou de défauts particuliers pouvant introduire une modification arbitraire des résultats et faussant ainsi leur validité (ex : un dé non équilibré ayant tendance à faire sortir souvent le même chiffre). de publication, nous montrerons que la critique de H. Broch est extrêmement simpliste et loin d’être objective.
Concernant un sujet aussi technique et pointu que les méta-analyses, on s’attend à ce qu’un article publié sur le site Internet d’une université fasse preuve d’une certaine tenue et d’une certaine rigueur. L’article en question, tant sur le fond que sur la forme, ne montre ni l’une, ni l’autre.
Nous ne nous attarderons pas sur le ton général de l’article et ses innombrables expressions et figures de style ridiculisant les parapsychologues, ni sur la possible confusion du lecteur entre méta-analyseAnalyse statistique prenant en compte de nombreuses expérimentations dun même type. et évaluation de l’effet tiroir, et encore moins sur la première partie de l’article qui est hors sujet et expéditive.
Attardons-nous en revanche sur l’absence totale de référence à la littérature concernée, qui est beaucoup plus problématique. Le Laboratoire de zététique étant « un centre de recherche et d’information », les documents mis à disposition sur son site Internet devraient remplir cette mission informative. Or, l’article sur les méta-analyses ne fonde ses critiques sur aucune source et le lecteur un peu curieux est simplement renvoyé aux ouvrages écrits par l’auteur du texte lui-même. Le développement de l’esprit critique, si cher aux zététiciens, devrait normalement passer par une étape informative où différentes opinions et différents points de vue sont confrontés. Il pourrait ainsi être utile au développement de l’esprit critique du lecteur d’avoir la possibilité de se référer aux études dont il est question, de savoir si l’effet tiroir est évalué autrement dans les autres domaines que la parapsychologieEtude rationnelle et pluridisciplinaire des faits semblant inexplicables dans l'état actuel de nos connaissances, et mettant en jeu directement le psychisme et son interaction avec l'environnement. C'est en 1889 que l'Allemand Max DESSOIR proposa les termes de parapsychologie pour "caractériser toute une région frontière encore inconnue qui sépare les états psychologiques habituels des états pathologiques", et de paraphysique pour désigner des phénomènes objectifs qui paraissent échapper aux lois de la physique classique. On parle plus spécifiquement de parapsychologie expérimentale pour désigner la parapsychologie dans le cadre du laboratoire., ou même s’il y a eu d’autres critiques sur le sujet. Or, comme très souvent chez Henri Broch, l’argumentation est unilatérale, catégorique, expéditive et sans référence.
Une méta-analyseAnalyse statistique prenant en compte de nombreuses expérimentations dun même type. consiste à combiner les résultats de plusieurs expériences sur un même sujet. Le but principal est de mettre en évidence des effets très faibles, noyés dans le bruit. Notons que les méta-analyses ne sont pas une spécificité de la parapsychologieEtude rationnelle et pluridisciplinaire des faits semblant inexplicables dans l'état actuel de nos connaissances, et mettant en jeu directement le psychisme et son interaction avec l'environnement. C'est en 1889 que l'Allemand Max DESSOIR proposa les termes de parapsychologie pour "caractériser toute une région frontière encore inconnue qui sépare les états psychologiques habituels des états pathologiques", et de paraphysique pour désigner des phénomènes objectifs qui paraissent échapper aux lois de la physique classique. On parle plus spécifiquement de parapsychologie expérimentale pour désigner la parapsychologie dans le cadre du laboratoire. et sont couramment utilisées dans les sciences de l’homme (sociologie, psychologie, médecine…).
Le professeur H. Broch mentionne (et expédie) le problème de l’hétérogénéité des études prises en compte pour une analyse combinée :
« En analysant, avec un peu de recul, avec un peu de « hauteur », les données de plusieurs expériences sur les pouvoirs-psi (et, notez-le bien, aussi ahurissant que cela paraisse méthodologiquement parlant : pas forcément sur le même type d’expériences !) des parapsychologues clament qu’ils ont fait la preuve de l’existence desdits pouvoirs. »
(Caractères italiques d’origine.)
A cause de l’absence de références, il est difficile de savoir quelles méta-analyses sont visées ici. Nous aborderons donc le problème de l’hétérogénéité des études de manière générale.
Par la nature même de la méta-analyseAnalyse statistique prenant en compte de nombreuses expérimentations dun même type., les études combinées montreront nécessairement des hétérogénéités, puisque les études prises en compte sont censées être indépendantes. Ces hétérogénéités peuvent se trouver à différents niveaux (voir par exemple [2]) :
Au niveau des populations testées ;
Au niveau des protocoles qui diffèrent selon les études ;
Au niveau de la variable de sortie étudiée ;
Au niveau des conditions annexes aux expériences (lieu d’expérimentation, par exemple).
Le problème n’est donc pas de savoir si les études sélectionnées sont hétérogènes, mais de savoir si ces hétérogénéités sont trop importantes et auront un impact sur les résultats de l’analyse combinée. Notons que l’un des objectifs de la méta-analyseAnalyse statistique prenant en compte de nombreuses expérimentations dun même type., outre le fait de mettre en évidence des effets très faibles, est de voir en quoi certains paramètres influencent les résultats, ce qui n’est possible que grâce à ces différences entre les études prises en compte [3]. Ces variations sont donc aussi une richesse et sont la plupart du temps mises à profit lors des analyses combinées (voir par exemple [4]).
Une question souvent abordée lors des méta-analyses est celle du biaisPrésence de patterns ou de défauts particuliers pouvant introduire une modification arbitraire des résultats et faussant ainsi leur validité (ex : un dé non équilibré ayant tendance à faire sortir souvent le même chiffre). de publication. Il y a biaisPrésence de patterns ou de défauts particuliers pouvant introduire une modification arbitraire des résultats et faussant ainsi leur validité (ex : un dé non équilibré ayant tendance à faire sortir souvent le même chiffre). de publication lorsque la probabilité qu’une étude soit publiée (et donc prise en compte dans une analyse combinée) dépend de la significativité statistique du résultat. Selon l’hypothèse de l’effet tiroir, les expériences aux résultats positifs sont le plus souvent publiées tandis que les autres restent dans les tiroirs des laboratoires.
Afin de vérifier si un ensemble de données soumis à une méta-analyseAnalyse statistique prenant en compte de nombreuses expérimentations dun même type. est sujet à un tel biaisPrésence de patterns ou de défauts particuliers pouvant introduire une modification arbitraire des résultats et faussant ainsi leur validité (ex : un dé non équilibré ayant tendance à faire sortir souvent le même chiffre)., plusieurs méthodes ont été développées. La plus standard et la plus couramment utilisée est celle du calcul du fail-safe N (FSN), proposée par Rosenthal [5]. Elle consiste à évaluer le nombre de travaux non publiés et à résultat nul nécessaire pour annuler la significativité des résultats combinés de l’ensemble des publications étudié. Si ce nombre est faible, il y a probablement biaisPrésence de patterns ou de défauts particuliers pouvant introduire une modification arbitraire des résultats et faussant ainsi leur validité (ex : un dé non équilibré ayant tendance à faire sortir souvent le même chiffre). de publication, et les résultats de la méta-analyseAnalyse statistique prenant en compte de nombreuses expérimentations dun même type. devront être interprétés en conséquence. Si ce nombre est important, le biaisPrésence de patterns ou de défauts particuliers pouvant introduire une modification arbitraire des résultats et faussant ainsi leur validité (ex : un dé non équilibré ayant tendance à faire sortir souvent le même chiffre). de publication est sans doute faible.
Encore une fois, l’article du Laboratoire de zététique ne fournissant aucune référence, il est difficile de savoir de quelle méthode d’évaluation de l’effet tiroir il est question exactement. La définition du FSN correspondant à celle donnée dans l’article, nous considérerons donc que le FSN est la méthode critiquée par l’auteur.
La critique de l’article de H. Broch peut être exprimée de la manière suivante :
Suivant l’hypothèse nulle, si les résultats publiés sont biaisés positivement, les résultats non publiés le seront négativement. Or les parapsychologues considèrent que les études non publiées ont une moyenne nulle (i.e. sont non biaisées). Selon le professeur H. Broch, cette hypothèse n’est pas valide et mène à une sous-évaluation de l’effet tiroir.
Critiquer le FSN n’est pas illégitime en soi. L’évaluation du biaisPrésence de patterns ou de défauts particuliers pouvant introduire une modification arbitraire des résultats et faussant ainsi leur validité (ex : un dé non équilibré ayant tendance à faire sortir souvent le même chiffre). de publication est un calcul très théorique, dans le sens où il faut évaluer un nombre d’études hypothétiques sans pouvoir connaître la distribution réelle de l’ensemble des résultats ni les probabilités de publication. Le nombre d’inconnues est tellement important qu’il est toujours possible de discuter les hypothèses de départ, quelles qu’elles soient. En ce sens, le FSN peut toujours être critiqué. Le lecteur peut se référer aux articles [6] et [7] dans lesquels les auteurs expriment leurs critiques envers le FSN.
Le principal problème de l’article de H. Broch est qu’il est totalement inadéquat à la complexité du sujet abordé. L’auteur fait preuve d’une grande légèreté alors que le sujet est l’objet de nombreuses discussions dans la communauté scientifique, et pas seulement parapsychologique.
La première critique que l’on peut faire est que H. Broch vise exclusivement les parapsychologues. Or le calcul du FSN est une méthode très largement répandue dans de nombreux domaines : on peut la rencontrer en endocrinologie [8], en biologie animale [9], en épidémiologie [10] ou encore en médecine [11, 12]… Une critique du FSN et de son utilisation peut donc être publiée dans n’importe quelle revue de statistiques, sciences humaines ou biologie. H. Broch choisit de s’en prendre uniquement aux parapsychologues…
Par ailleurs, H. Broch nous dit que l’effet tiroir ne doit être calculé que d’une « seule correcte façon ». Commençons par dire que, le plus souvent en parapsychologieEtude rationnelle et pluridisciplinaire des faits semblant inexplicables dans l'état actuel de nos connaissances, et mettant en jeu directement le psychisme et son interaction avec l'environnement. C'est en 1889 que l'Allemand Max DESSOIR proposa les termes de parapsychologie pour "caractériser toute une région frontière encore inconnue qui sépare les états psychologiques habituels des états pathologiques", et de paraphysique pour désigner des phénomènes objectifs qui paraissent échapper aux lois de la physique classique. On parle plus spécifiquement de parapsychologie expérimentale pour désigner la parapsychologie dans le cadre du laboratoire., si le FSN est calculé parce que c’est une mesure standard, le biaisPrésence de patterns ou de défauts particuliers pouvant introduire une modification arbitraire des résultats et faussant ainsi leur validité (ex : un dé non équilibré ayant tendance à faire sortir souvent le même chiffre). de publication est aussi évalué d’autres manières.
Ainsi, dans [13], l’auteur décrit une méthode graphique (funnel plot) couramment utilisée.
Dans [14], suivant l’hypothèse que tous les résultats positivement significatifs (au nombre de N) aient été publiés, le nombre total de travaux est évalué (Ntot = N × 20), permettant ainsi d’avoir une estimation du nombre de d’études non publiées (Nnon-pub = Ntot – Npub).
Dans [15] et [4], est utilisée la méthode proposée dans [16] analysant la distribution des données positivement significatives.
Dans [17], les auteurs tentent d’évaluer la significativité du biaisPrésence de patterns ou de défauts particuliers pouvant introduire une modification arbitraire des résultats et faussant ainsi leur validité (ex : un dé non équilibré ayant tendance à faire sortir souvent le même chiffre). de publication en minimisant le Chi2 d’adaptation entre les données empiriques ayant Z ≥ 1.645 et différentes distributions.
Ces exemples montrent que la critique de H. Broch n’a aucunement lieu d’être. Les parapsychologues n’évaluent pas seulement l’effet tiroir par le calcul du FSN. Il n’y a donc pas « une seule [méthode] correcte », mais un ensemble de méthodes, dont le FSN fait partie, qui se doivent d’être interprétés différemment en fonction de leurs hypothèses de départ.
H. Broch simplifie le problème à l’extrême, ne donnant aucune référence soutenant ses affirmations, ce qui lui permet d’affirmer ce qu’il veut sur le sujet. Les différentes méta-analyses menées en parapsychologieEtude rationnelle et pluridisciplinaire des faits semblant inexplicables dans l'état actuel de nos connaissances, et mettant en jeu directement le psychisme et son interaction avec l'environnement. C'est en 1889 que l'Allemand Max DESSOIR proposa les termes de parapsychologie pour "caractériser toute une région frontière encore inconnue qui sépare les états psychologiques habituels des états pathologiques", et de paraphysique pour désigner des phénomènes objectifs qui paraissent échapper aux lois de la physique classique. On parle plus spécifiquement de parapsychologie expérimentale pour désigner la parapsychologie dans le cadre du laboratoire. sont à prendre au cas par cas, et ne peuvent être rejetées en bloc, puisque les outils statistiques utilisés dépendent des auteurs et des publications.
L’article publié sur le site de l’Université de Nice-Sophia Antipolis faillit à une des principales missions du laboratoire, qui est d’informer le public sur les phénomènes paranormaux. Il ne donne aucune référence, donne des informations floues voire totalement fausses, et est totalement irrespectueux des chercheurs travaillant dans le domaine.
L’argumentation de l’article de H. Broch peut être vue comme un effet petits ruisseaux doublé d’un effet cerceau [18] :
De l’omission de petits détails, naissent une grande théorie : ne se référant ni à la littérature parapsychologique, ni à la littérature méta-analytique, l’auteur dit présenter la méthode utilisée par les parapsychologues. Or, nous l’avons vu, cette méthode n’est pas unique et est aussi largement utilisée dans d’autres domaines. Cet effet petits ruisseaux peut être du à un effet bipède [18].
H. Broch impose ce qu’il veut démontrer : il présente sa propre version simplifiée du raisonnement des parapsychologues et démontre qu’elle est fausse.
Il est vrai que l’article de H. Broch ne prétend qu’être un « billet d’humeur ». Cependant, il paraît étonnant qu’un article sur un sujet technique publié sur le site d’une université montre tant d’approximations, de manque de rigueur, et fasse preuve de désinformation.
1] H. Broch, « [La méta-analyse en parapsychologie ?… », mars 2003.
Publié sur le site du Laboratoire de zététique, Université de Nice-Sophia Antipolis;
Accédé en juin 2007
2] Huw T.O. Davies, Iaine K. Crombie, “[What is meta-analysis?”
Published by Hayward Medical Communications, Volume 1, Number 8, 2003. Accédé en juin 2007
18] H. Broch, « [Enseignements de zététique, Université de Nice-Sophia Antipolis », année inconnue. Publié sur le site du Laboratoire de zététique, Université de Nice-Sophia Antipolis. Accédé en juin 2007
