On fait le point sur l’étude du « Lancet »

Introduction, par Olivier Berruyer

Comme cela nous a été demandé plusieurs fois dans le cadre de la Foire Aux Questions :

« Pourquoi pas un mot sur cette étude du Lancet, critiquée par le Lancet lui-même ainsi que par des dizaines de scientifiques de tout bord aujourd’hui? […] Le site n’en sortirait que grandi et ferai honneur à son slogan « espace d’auto-défense intellectuelle ». Il est important d’être capable d’avouer s’être (pour une fois) trompé. Ce n’est pas retourner sa veste, ni aller dans le sens du vent. C’est de l’honnêteté intellectuelle, qui fait tant défaut à tant de commentateurs qu’elle serait ici bienvenue et salutaire pour la réflexion générale sur cette crise. »

Nous faisons un point sur cette « fameuse » étude. Nous n’avons pas immédiatement parlé de ses problèmes, car :

• contrairement à la presse maintream, nous avons fait le choix de ne pas en parler sur ce site quand elle est sortie, puisqu’elle ne nous est pas apparue conclusive, et donc intéressante à vous partager, les études conclusives allant bientôt arriver ;
• les premiers problèmes soulevés autour de cette étude étaient mineurs et ont été rapidement corrigés. Les questions plus lourdes sont apparues cette semaine ;
• contrairement à ce qui s’est passé avec les études Raoult, le fonctionnement de la communauté scientifique s’est bien déroulé : les questions ont été soulevées, les auteurs et la revue ont essayé d’y répondre, les médias ont diffusé une information correcte sur les problèmes de cette étude, la revue a mis une alerte, et au final les auteurs ont rétracté l’article. Nous n’aurions aucune valeur ajoutée particulière sur ce sujet, car le problème n’est pas méthodologique, comme nous allons vous l’expliquer
• nous ne sommes pas un site d’information continue, nous ne travaillons pas dans l’instantané : nous privilégions la prise de recul nécessaire afin de vous assurer une sélection d’informations pertinentes..

Ce n’est d’ailleurs pas « L’étude DU Lancet » mais « l’étude Mehra parue dans le Lancet« . C’est une étude rétrospective portant sur 96 000 malades, qui montrait un sur-risque de décès pour ceux traités par Chloroquine et Azithromycine, et pas d’efficacité du traitement. Ces conclusions ne faisaient que confirmer ce qu’indiquaient différentes autres études. MAIS comme il s’agit d’une étude rétrospective, il faut être prudent, car il est difficile d’être certains que les patients traités n’étaient pas plus à risque que les autres, ce qui expliquerait de tels résultats. Bref, c’est un signe, mais ce n’est pas conclusif.

Précisons à nouveau que seul un large essai clinique randomisé (RCT) en double aveugle contre placebo pourra conclure : on donne le traitement à des milliers de patients, et un placebo à des milliers d’autres, choisis au hasard parmi les patients, et on regarde à la fin si les traités vont mieux que les non-traités. Il y en a différents en cours.

Mandeep R. Mehra est un cardiologue américain très réputé, directeur médical du centre cardiaque et vasculaire de l’hôpital Brigham and Women’s à Boston qu’il a créé ; il a été président de la Société internationale de transplantation cardiaque et pulmonaire (ISHLT) et rédacteur en chef du journal de la société, et a également été président de la Heart Failure Society of America. Il s’est associé à 2 autres chercheurs, et à un entrepreneur, qui a créé la société Surgisphère, et qui a fourni aux chercheurs les 96 000 dossiers médicaux de patients contaminés, provenant de 671 hôpitaux. Les 3 chercheurs ont alors réalisé leur étude et publié les résultats. Quelques coquilles ont été détectées (du genre quelques hôpitaux classés dans « Australie » alors qu’ils étaient en « Asie ») sans que cela ait changé quoi que ce soit au résultat de l’étude. Les 3 chercheurs semblent à ce stade honnêtes.

MAIS le gros sujet est le suivant : d’où sort cette base de données ? Beaucoup de questions entourent l’entrepreneur, et certains craignent que la base soit frauduleuse. Il avait promis un audit indépendant des données. Mais il vient de refuser arguant d’accords de confidentialité avec les hôpitaux. Donc on n’en sait rien, mais c’est très louche, et cela pourrait donc être une grosse fraude si cela était avéré.

C’est la raison de la rétractation de l’article par les 3 chercheurs, qui ont présenté leurs excuses (mais au moins ont-il eu l’honnêteté de le reconnaître, tous ne le font pas…), car ils « n’ont pas été en mesure d’effectuer un audit indépendant des données qui sous-tendent leur analyse » et « ne peuvent plus garantir la véracité des sources de données primaires« .

C’est évidemment un naufrage total, et on a un nouvel exemple de l’incompétence crasse d’une sommité médicale qui décide de réaliser des études statistiques alors que ce n’est à l’évidence pas son métier – il est cardiologue, pas statisticien, et à l’évidence, il n’a même pas un bon sens minimal pour s’assurer de la qualité de ses données de base, et fait une confiance aveugle à un partenaire. Et aucun relecteur de qualité ne vérifie ce point.

Précisons que le Lancet n’y est pas pour grand chose : le relecteur ne peut que s’assurer qu’il n’y a pas de problèmes méthodologiques, mais n’a jamais accès aux données primaires. Tout comme quand Sanofi fait un essai clinique, il ne communique jamais les données primaires, et on ne peut jamais contrôler. C’est pour moi un des scandales de l’édition scientifique, et j’espère que cette affaire fera bouger les choses. Les données primaires doivent être disponibles.

Un autre scandale est cette mafia de l’édition scientifique, dont nous reparlerons. C’est une pompe à fric privée qui vit de la vente des résultats de la recherche publique, avec un niveau de qualité de plus en plus bas. Comme le rappelle cet article, « The Lancet est en effet l’un des fleurons du plus gros éditeur scientifique Reed Elsevier, connu autant pour la réputation de ses journaux que pour ses fortes marges financières. En 2018, les plus de 2 500 journaux du groupe ont représenté pour la maison mère (qui a aussi des activités dans l’organisation de conférences, l’analyse financière, le droit) un chiffre d’affaires de quelque 2,8 milliards d’euros, pour plus de 1 milliard de bénéfices, soit plus de 35 % de marge. Cette marge, depuis vingt ans, a toujours été au-dessus de 30 %, selon une étude parue en 2015 dans Plos One. »

The Lancet, c’est donc Elsevier, qui est aussi l’éditeur de… Didier Raoult, dans ses revues confidentielles dirigées par ses amis (raison pour laquelle, ses papiers ne sont pas retirés, alors qu’ils devraient, comme nous l’avons expliqué).

Il nous faut aussi signaler et dénoncer l’incroyable emballement médiatique et politique autour de cette étude, dont la dernière phrase était pourtant :

« une confirmation urgente par des essais cliniques randomisés est nécessaire ». Et cela l’est toujours.

Mais entre temps, cela aura généré pour les médias des reportages sur l’article (qui ne pouvait pourtant être conclusif), des reportages sur les critiques, des reportages sur les corrections, des reportages sur les alertes, des reportages sur Surgisphère, des reportages sur la rétractation, des reportages sur les réactions à la rétractation, etc.

Nous ne regrettons donc nullement de ne pas vous avoir parlé de cette étude, nous sommes ici un site de « slow information« , sélectionnée, que nous jugeons utile à connaitre, pour économiser votre temps.

Ainsi, c’est sans doute un nouvel exemple de mauvaise pratique scientifique, celles-ci n’ayant pas de « camp » (pour ou contre le médicament). Incompétence, manipulations, fraudes sont régulières et prouvent l’impérieuse nécessité de ne jamais donner trop de crédit à une « sommité », surtout quand elle sort de son domaine, et à soutenir les chasseurs de « Fake Science » (attaqué honteusement depuis des semaines), qui ont été remarquables dans cette affaire, montrant leur intégrité. Car évidemment aucun n’est « pour » ou contre » la chloroquine, ils sont simplement « pour » la Science.

Et hélas, on attend toujours de larges RCT de qualité…

P.S. Je terminerai mes réponses aux questions sanitaires de la FAQ dans un prochain billet (chloroquine, etc).

P.P.S. : je vous recommande cette vidéo de Mr Sam :

Pourquoi l’étude du «Lancet» sur l’hydroxychloroquine est-elle sous le feu des critiques ?

Source : Check News, Florian Gouthière

Plusieurs observateurs estiment qu’une partie des données sur lesquelles les auteurs ont travaillé sont incohérentes avec des informations issues du terrain. Pour dissiper les doutes, un accès aux données brutes à la base de ces travaux a été demandé aux chercheurs.

Bonjour,

De nombreuses études interrogent, depuis plusieurs mois, l’efficacité et la sécurité de plusieurs protocoles de traitements à base d’hydroxychloroquine pour les malades du Covid-19. Le 22 mai, de nouveaux travaux présentaient, dans la revue scientifique The Lancet, des résultats particulièrement alarmants. Selon les auteurs de l’étude, l’analyse d’un volume conséquent de données médicales (96 032 patients Covid+ pris en charge dans 671 hôpitaux dans le monde) révélait un important surrisque de mortalité chez ceux traités par chloroquine (CQ) ou hydroxychloroquine (HCQ).

Comme nous l’avions expliqué ce 26 mai dans une précédente réponse sur CheckNews, l’augmentation des risques observée par ces chercheurs semblait étonnamment élevée, comparée à celle identifiée dans des travaux antérieurs. Or, une telle discordance dans des résultats de recherche incite toujours à faire preuve de prudence. En effet, ce type d’anomalie peut notamment trahir le fait que les groupes comparés par les chercheurs ne diffèrent pas uniquement par le traitement reçu, mais également par d’autres facteurs de gravité, oubliés dans l’analyse.

D’autres points, saillants à première lecture, justifiaient également d’exprimer des réserves. Ainsi, l’état de santé des patients au début de l’étude était caractérisé de façon imprécise. Les auteurs ne détaillaient pas non plus quels éléments cliniques avaient motivé l’orientation des patients vers tel ou tel traitement.

A ces réserves se sont ajoutées, ces derniers jours, d’autres critiques particulièrement vives. Nous résumons ici les principaux points qui ont alimenté – ou qui nourrissent encore – la controverse.

Le cas des données originaires d’Océanie

L’étude du Lancet publiée le 22 mai présentait un détail des données recueillies «par continent». Pour la zone continentale australienne, les auteurs comptabilisaient 73 patients décédés dans 5 hôpitaux, à la mi-avril. Des observateurs se sont étonnés du fait qu’à la date du 10 mars, le gouvernement australien ne recensait que 68 décès sur son territoire, en hôpital et en maison de retraite. En outre, deux des hôpitaux qui ont enregistré le plus grand nombre de décès liés au Covid-19 en Australie ont affirmé que leurs données n’avaient pas été partagées avec les auteurs de l’étude du Lancet. Interrogés sur cette anomalie, les chercheurs ont objecté que les données recueillies ne concernaient pas exclusivement l’Etat australien, mais également d’autres pays d’Océanie. Ils ont par ailleurs concédé que l’un des hôpitaux étudiés aurait dû, de façon plus pertinente, être rattaché à la zone continentale asiatique.

«Nous avons examiné notre base de données Surgisphere et découvert qu’un nouvel hôpital a rejoint le registre le 1^er avril et s’est autodésigné comme appartenant à la zone continentale d’Australasie», a ainsi déclaré Sapan Desai, l’un des coauteurs des travaux. «En examinant les données de chacun des hôpitaux du registre, nous avons noté que la population de cet hôpital [était à près de 100% d’origine asiatique], ainsi qu’une utilisation relativement élevée de chloroquine en comparaison à l’Australie, [où cette molécule est peu utilisée].»

Selon les chercheurs, la classification des données «par continent» n’influence toutefois pas leurs calculs sur les surrisques associés aux traitements. A l’heure où nous publions cet article, nous ne disposons pas d’éléments complémentaires pour trancher la validité des arguments présentés.

Le poids des données nord-américaines

D’autres critiques formulées concernent les données en provenance d’Amérique du Nord. Dans l’étude du Lancet, les dosages moyens d’HCQ, au niveau mondial, avoisinent les 600 mg quotidiens. Des commentateurs ont noté qu’aux Etats-Unis, d’où proviendraient les deux tiers des dossiers médicaux analysés, les doses moyennes d’HCQ préconisées par les autorités sanitaires sont légèrement inférieures à 500 mg. En conséquence, la «moyenne internationale» présentée dans l’étude serait excessivement élevée.

Toutefois, les doses réellement employées sur le terrain semblent supérieures aux préconisations officielles. Dans une étude publiée début mai, cette moyenne était de 530 mg sur six jours, avec un protocole consistant à administrer 1 200 mg d’HCQ le premier jour, puis 400 mg les cinq jours suivants. Or, dans l’étude du Lancet, la période moyenne de traitement était de 4,2 jours – ce qui, avec le protocole détaillé ci-dessus, renverrait bien à un dosage moyen voisin de 600 mg.

Sans disposer du détail des protocoles de soin employés dans les hôpitaux étudiés, il reste difficile de conclure quant à la validité de la critique exprimée. Là encore, pour trancher cette question, il conviendrait que les chercheurs donnent accès au détail de leur base de données.

Des données brutes inaccessibles

Fondées ou non, ces deux premières critiques renvoient à une lacune réelle de l’étude, à savoir l’absence d’information sur l’origine des données compilées. Se retranchant derrière le strict respect de la confidentialité des données, les auteurs n’ont en effet rendu public aucun élément permettant d’identifier les 671 hôpitaux qui auraient partagé leurs ressources avec Surgisphere, la société derrière la collecte et le traitement des informations médicales utilisées.

De même, la nature des outils d’analyses statistiques employés par Surgisphere reste très peu détaillée.

A noter que les méthodes statistiques utilisées par Surgisphere posent d’autant plus question que nous retrouvons, dans d’autres articles récents signés par certains membres de l’équipe, la même anomalie décrite dans notre premier article – à savoir des valeurs de surrisques anormalement élevées entre des groupes traités et non-traités.

A défaut d’être rendues publiques, les données brutes sur lesquelles les chercheurs ont travaillé pourraient être partagées avec des équipes indépendantes qui, tout en s’engageant à en respecter la confidentialité, pourraient en garantir l’authenticité et l’intégrité.

Dans un communiqué diffusé ce 29 mai, Surgisphere a annoncé qu’elle «s’engageait à démontrer […] la robustesse du travail accompli», au travers d’un «audit indépendant» destiné à valider «la provenance des données, la base de données et l’analyse statistique» de leurs récentes publications. Dans le même document, l’entreprise affirme gérer «240 millions de dossiers anonymisés de patients, provenant de plus de 1 200 établissements de santé dans 45 pays».

Toutefois, le fait qu’un si grand nombre d’établissements hospitaliers, sur tous les continents, aient noué un partenariat avec une société très peu connue étonne plusieurs observateurs. En outre, la base de données exploitée par Surgisphere semble n’avoir jamais été utilisée par aucun chercheur – y compris les auteurs des travaux du Lancet – avant mai 2020.

Entorses aux règles éthiques ?

D’autres auteurs se sont interrogés sur le respect des règles éthiques par l’équipe de Surgisphere. Les auteurs de l’étude du Lancet affirment en effet, dans le corps de leur article, que «la collecte et l’analyse des données sont considérées comme ne justifiant pas d’examen éthique» («are deemed exempt from ethics review»). Toutefois, dans la plupart des législations (notamment française), l’analyse rétrospective de données qui n’ont pas été collectées à des fins de recherche ne nécessite pas l’aval d’un comité d’éthique. En revanche, la collecte et le traitement de données de santé individuelles peuvent être sujets à d’autres réglementations, parfois très contraignantes.

Quid des critiques sur « la trop grande homogénéité des données » ?

Plusieurs commentateurs se sont étonnés du fait qu’un tableau de données dans The Lancet présentait une forte homogénéité entre patients des différents continents. Or, une certaine disparité est attendue entre des groupes de patients originaires de pays aux systèmes de santé très différents. Cette anomalie relèverait plutôt, de l’avis des auteurs de l’étude, d’un malentendu.

Le tableau incriminé présentait, selon eux, non pas des données brutes, mais les données ajustées pour l’analyse (autrement dit, les résultats obtenus une fois pondérés des variables telles que l’âge, le sexe, ou les pathologies préexistantes des patients). «Bien que les données soient exactes, nous fournissons au Lancet le tableau mis à jour des données non ajustées pour aider à dissiper le malentendu», ont-ils déclaré. «Il n’y a pas eu d’erreur dans l’analyse et aucun des résultats de l’article n’est affecté.»

D’importantes conséquences pour des études à faible niveau de preuve

Force est de constater, donc, que l’article publié dans The Lancet présente plusieurs zones d’ombre. Usuellement, l’éditeur d’une revue scientifique exige, par l’intermédiaire de relecteurs scientifiques, que les imprécisions d’une étude soient dissipées avant d’autoriser sa publication. Ce processus de «peer-reviewing» a été, ici, indiscutablement insuffisant. Reste à savoir si les anomalies identifiées a posteriori relèvent d’erreurs méthodologiques, ou d’une manipulation intentionnelle des données.

Cette étude, en dépit de son importante médiatisation (et politisation), n’est toutefois que l’une des pièces du dossier scientifique sur l’intérêt et la sécurité de la chloroquine et de l’hydroxychloroquine. La pertinence du recours à ces molécules dans le cadre du Covid-19 reste controversée, même en excluant les données de cette publication spécifique.

Notons, enfin, qu’à cette controverse scientifique s’ajoute une controverse d’ordre politique. Or comme nous le rappelons régulièrement dans nos colonnes, considérée isolément, une étude de biomédecine ne suffit pas à «démontrer» une hypothèse. Des erreurs involontaires, des aléas statistiques, parfois même des fraudes, peuvent en effet être à l’origine de résultats anormaux. En outre, des études de natures très différentes fournissent des éléments de preuves de «poids» très différents. Des études observationnelles rétrospectives, même très bien menées, ne peuvent donner que des informations partielles, qu’il convient d’interpréter à l’aune d’autres travaux existants.

Or, ici, le signal très alarmant donné par cette publication a entraîné une réaction politique aussi vive qu’immédiate, à savoir la suspension provisoire de plusieurs essais cliniques à travers le monde. Certains considéreront que prendre immédiatement en compte ce signal issu de la littérature scientifique relève d’une juste application du «principe de précaution», et que ne pas réagir aurait été une faute. D’autres reprocheront aux décideurs leur empressement, en arguant du manque de vraisemblance des données présentées.

Florian Gouthière

Source : Check News, Florian Gouthière

«Je suis vraiment désolé» : le mea culpa du coordinateur de l’étude de The Lancet sur l’hydroxychloroquine

Le docteur Mandeep R. Mehra a demandé ce jeudi le retrait de l’étude controversée qu’il a menée et publiée dans la revue The Lancet. Un camouflet pour ce chercheur qui n’a plus «confiance» dans le jeu de données fourni par la mystérieuse société Surgisphere.

Par Cyril Simon, Le Parisien, le 5 juin 2020

Au moment de publier ce billet, nous découvrons ce très intéressant article du chasseur de fraudeurs Leonid Schneider (en anglais) sur lequel nous vous renvoyons :

Would Lancet and NEJM retractions happen if not for COVID-19 and chloroquine?

Nous vous proposons cet article afin d'élargir votre champ de réflexion. Cela ne signifie pas forcément que nous approuvions la vision développée ici. Dans tous les cas, notre responsabilité s'arrête aux propos que nous reportons ici. [Lire plus]Nous ne sommes nullement engagés par les propos que l'auteur aurait pu tenir par ailleurs - et encore moins par ceux qu'il pourrait tenir dans le futur. Merci cependant de nous signaler par le formulaire de contact toute information concernant l'auteur qui pourrait nuire à sa réputation.