Les énormes failles éthiques et méthodologiques dans l’essai Raoult : analyse, par Olivier Berruyer

Aujourd’hui nous vous proposons une analyse scientifique de l’essai conduit par Raoult, Gautret & al. sur la chloroquine, qui a été largement repris par la presse il y a 2 semaines, et qui a déclenché la polémique actuelle.

Consternés comme beaucoup par la lecture de cet essai clinique, nous avions décidé d’enquêter. Notre enquête nous a ainsi amené à rédiger trois premiers billets sur Didier Raoult :

1. Didier Raoult : Rebelle Anti-Système ou Mégalomane sans éthique ?
2. Ne vous laissez pas avoir par le compteur trompeur de Didier Raoult
3. Les mensonges de Didier Raoult pour promouvoir la chloroquine et faire oublier le reste

Cette série de billets porte à votre connaissance un certain nombre d’éléments qui méritent d’être connus du grand public. Et surtout, elle pose le contexte de ce que vous allez découvrir à présent.

Nous ne sommes pas là pour dire que tous les travaux du professeur Raoult sont des mensonges, loin de là. Didier Raoult dit des choses intéressantes sur plusieurs points, par exemple sur le suivi radiologique des asymptomatiques. Mais force est de constater que dans sa communication et ses récents travaux, ce professeur a su se montrer bien éloigné de l’éthique et de la rigueur scientifique qui font son métier.

Si très peu de médias ont décidé d’enquêter sérieusement, plusieurs médecins et scientifiques ont lancé l’alerte au sujet du caractère « anti-scientifique » de l’essai du professeur Raoult, conseiller du Gouvernement et d’Emmanuel Macron.

Nous allons donc tout vous expliquer sur cet essai, pour que vous compreniez quels sont les problèmes (les nombreux biais) et en quoi ils méritent d’être soulevés. Notre but ici n’est pas de vous convaincre ou vous faire changer d’avis, mais simplement de vous donner les moyens et outils pour vous faire votre propre opinion.

Petite parenthèse ; j’ai remarqué qu’un argument revenait souvent : « vous êtes à la solde de Big Pharma ». Je me permets de rappeler ici quelques propositions qui nous semblent intéressantes, en ce qui concerne le secteur pharmaceutique :

• Nationalisation de Sanofi, rachetée au prix de l’actif net, et interdiction de dividendes. Le secteur public doit avoir un laboratoire non guidé par le profit. Il serait également intéressant d’augmenter la taxation des autres laboratoires sur leurs activités en France (tels Gilead et Abbvie) ;
• Obligation de réaliser un essai clinique de phase III par le secteur public pour les plus importantes molécules (financement par le laboratoire), afin de s’assurer qu’aucun biais n’en modifie la conclusion. Obligation de rendre publics les résultats détaillés des essais privés des autres médicaments ;
• Interdiction des visiteurs médicaux payés par les laboratoires. Ils devraient être transférés au secteur public, financés grâce à une taxe sur les laboratoires, et assurer la mission de service public de formation des médecins, de façon transparente (cela en diminuerait aussi le coût) ;
• Interdiction de toute rémunération de médecins par des laboratoires. Ceux-ci doivent être taxés, et ces sommes redistribuées par l’État aux médecins en fonction des besoins. Comme dit l’adage romain « La femme de César ne doit pas être soupçonnée« , il en est de même du corps médical. Le statu quo sera de toute façon intenable après le « flash délirant » que nous connaissons actuellement ;

Comme vous le voyez, ce site n’est pas très apprécié par Big Pharma… 🙂

Olivier Berruyer

P.S. N’oubliez pas de vous abonner ici pour recevoir par email notre Newsletter avec nos prochains articles, et à nous soutenir en vous abonnant à notre page Facebook ou comptes Twitter (ici et là)

P.P.S. This article will soon be translated into English (in progress)

Bref rappel

Cet article ne présume en rien de l’efficacité de la chloroquine, sujet indépendant de Didier Raoult, qui n’en est ni l’inventeur, ni le premier préconisateur. Des essais cliniques sont en cours et détermineront son efficacité ou son inefficacité. Ainsi, restons prudents et gardons à l’esprit les recommandations du Professeur Jun Chen :

1/ ce n’est pas médicament « magique » ;
2/ attendons les résultats des essais cliniques.

Et n’oublions pas les nombreuses autres pistes de traitement qui doivent elles aussi être testées !

I. Plan de l’article

Nous allons montrer dans cet article que les failles éthiques et méthodologiques de l’essai Raoult/Gautret ont rendu celui-ci impossible à interpréter.

Plan :

1. Résumé et Plan de l’article
2. C’est quoi un essai clinique ?
3. Les essais dans le cadre du Covid-19
4. L’essai Philippe Gautret/ Didier Raoult de mars 2020
5. Résultat de l’essai et discussion
6. Les conclusions que l’on peut tirer de l’essai
7. Réactions et analyses de scientifiques
8. Résumé des problèmes rencontrés
9. Vers une rétractation

II. C’est quoi un essai clinique ?

Un essai clinique, ou essai thérapeutique, est une étude scientifique réalisée en thérapeutique médicale humaine pour évaluer l’efficacité et la tolérance d’un traitement.

Ce sont donc des sortes de tests, qui permettent de savoir si un médicament marche, pour déterminer sa dose, et mesurer ses effets secondaires, afin de définir un rapport entre les bénéfices thérapeutiques et les inconvénients.

Il existe un processus rigide pour valider un nouveau médicament dans une procédure classique. Pour garantir la sécurité des malades et la rigueur scientifique, les essais cliniques comprennent plusieurs étapes (dites phases), qui sont chacune destinées à recueillir des informations spécifiques sur le nouveau traitement (source).

• Les essais de phase I ont pour objectif d’évaluer la tolérance de l’organisme et la toxicité d’un tout nouveau traitement (c’est-à-dire l’ensemble des effets indésirables liés à son administration). Le but est de déterminer la dose recommandée pour l’administration de ce nouveau traitement. Le traitement évalué est donné à un petit nombre de malades (10 à 40).
• Les essais de phase II, ou « études pilotes », précisent l’activité clinique ou pharmacologique d’un traitement à la dose recommandée à l’issue de la phase I. Ils nécessitent en général l’inclusion de 40 à 80 malades.

Les essais de phase I et de phase II permettent au patient d’avoir accès le plus tôt possible à des molécules innovantes issues de la recherche préclinique. Dans certains cas, un même essai clinique peut couvrir ces deux phases.

• Les essais de phase III, ou « études pivots », sont des essais comparatifs. Ils permettent de comparer le nouveau traitement avec 1/ soit le traitement utilisé habituellement, dit « traitement de référence » ou « traitement standard » 2/ soir un placebo, afin de déterminer son efficacité. Deux groupes de patients sont constitués par tirage au sort (randomisation), de manière à constituer des groupes homogènes et comparables (âge, sexe, caractéristiques de la maladie…) : l’un recevra le traitement de référence, l’autre le nouveau traitement. Dans certains cas, les patients ne sauront pas quel est le traitement reçu (traitement de référence ou nouveau traitement). On parle d’essai en aveugle. Il est dit « en double aveugle » lorsque ni le patient ni le personnel soignant ne savent quel traitement est donné. Ce n’est donc pas le médecin qui décide de l’attribution de l’un ou l’autre des traitements à son patient. Un essai clinique en double aveugle contre un placebo sur une très large population est donc la Rolls des essais. Ces essais de phase III nécessitent l’inclusion d’un grand nombre de malades (plusieurs centaines ou milliers de malades) pour établir une différence entre les traitements. Ces essais sont donc extrêmement onéreux – et certaines dérives éthiques ont été dénoncées.

Si les données et résultats de ces essais sont en faveur du nouveau traitement, cela permet de constituer un dossier d’enregistrement qui sera soumis aux autorités de santé afin qu’elles délivrent une autorisation de mise sur le marché (AMM). Celle-ci rend possible la commercialisation du nouveau traitement.

• Les essais de phase IV interviennent après l’autorisation de mise sur le marché. Quand le médicament est commercialisé, il fait encore l’objet d’une surveillance étroite appelée pharmacovigilance. L’objectif peut être d’identifier tout effet secondaire grave, rare, exceptionnel et/ou inattendu dû à l’administration du médicament. Il peut s’agir également de préciser les conditions d’utilisation de ce médicament sur certains groupes de patients.

Tout signe anormal inattendu dû à l’administration d’un médicament peut être déclaré par les patients ou les associations à l’Agence nationale de sécurité du médicament et des produits de santé (ANSM).

La structure qui décide de lancer l’essai est appelée le « promoteur » (cela peut être un laboratoire pharmaceutique, un CHU, etc.). Là où les personnes physiques qui dirigent et surveillent la réalisation de la recherche lancée par le promoteur sur un lieu donné sont dénommées « investigateurs« .

III. Les essais dans le cadre du Covid-19

Bien sûr, au vu de l’urgence, il n’a pas été question au début de l’épidémie (en janvier / février) de mener de vastes essais. Des petits essais sur quelques dizaines de malades ont été menés en Chine principalement, pour tenter de préciser les traitements prometteurs.

Ils donnent donc des pistes de recherche, mais ne permettent pas, vu leur taille, de se prononcer définitivement. Il faudra mener des tests dans de meilleures conditions sur des populations plus nombreuses, ce qui commence à être fait (avec Discovery par exemple).

Mais nous allons donc nous intéresser à ces petits essais, en commençant par celui mené par Philippe Gautret et Didier Raoult.

Premier point : vous allez voir, comprendre un essai clinique est assez simple. Ce sont bien plus des problématiques statistiques élémentaires que médicales. Songez : vous avez à gauche des malades, à droite un médicament, et il faut savoir s’il marche. Et vous verrez que ce n’est pas très compliqué, c’est à la portée d’un enfant de 15 ans, surtout si on vous montre les pièges à éviter.

J’en viens d’ailleurs à un point. Suite aux papiers précédents, j’ai reçu de nombreux mots doux (merci aux fans de Raoult) :

=>Navrée de vous contredire, mais si. Je suis actuaire, spécialisé en mortalité, et j’ai étudié dans le cadre de mon activité une jolie masse d’essais cliniques, pour déconstruire les biais favorables à l’industrie pharmaceutique…

=> Nous allons donc analyser la « compétence » du travail de la « sommité scientifique » française… et chacun jugera sur pièce.

IV. L’essai Philippe Gautret/ Didier Raoult de mars 2020

4-1 « L’hydroxychloroquine et l’azithromycine comme traitement du covid-19 : résultats d’un essai clinique ouvert non randomisé »
4-2 Les caractéristiques de l’essai
4-3 Les critères de jugement du résultat
4-4 La démographie
4-5 Pas de conflits d’intérêts ?
4-6 De drôles de dates

4-1 « L’hydroxychloroquine et l’azithromycine comme traitement du covid-19 : résultats d’un essai clinique ouvert non randomisé » :

Cet essai a été publié par l’IHU de Marseille sur son site le 17 mars (source, archive, archive pdf) et dans la Revue International Journal of Antimicrobial Agents le 20 (source, archive, archive pdf) :

Classiquement à l’IHU (mais pas que là, certes), on retrouve une brouette de 18 signataires : Philippe Gautret, Jean-Christophe Lagier, Philippe Parola, Van Thuan Hoang, Line Meddeb, Morgane Mailhe, Barbara Doudier, Johan Courjon, Valérie Giordanengo, Vera Esteves Vieira, Hervé Tissot Dupont, Stéphane Honoré, Philippe Colson, Éric Chabrière, Bernard La Scola, Jean-Marc Rolain, Philippe Brouqui, Didier Raoult.

Avec autant de cerveaux à l’œuvre, on se dit donc que l’on va avoir affaire à une étude sacrément bien ficelée…

Rajoutons que Raoult a présenté ces résultats à ses étudiants le 16 mars sur Youtube (source, à 14’31) :

4-2 Les caractéristiques de l’essai

Cet essai est ouvert et non randomisé : les malades savent ce qu’ils prennent, et la distribution n’a pas été aléatoire ; tout cela en diminue fortement la robustesse – mais cela reste potentiellement intéressant – si on n’en tire pas de conclusion hâtive.

Il va donc y avoir 2 groupes : un avec chloroquine et un sans chloroquine.

Celui avec chloroquine est à l’IHU, celui sans est réparti entre l’IHU, Nice Avignon et Briançon.

Premier problème : des patients du groupe contrôle sont éparpillés dans 3 autres centres, probablement débordés. Le gros problème est que cette distribution multi-centres est réalisée sans répartition des malades au sein de chaque centre. Marseille est pratiquement le seul centre de traitement à la chloroquine, où près de 100 % des patients sont traités, et tous les autres centres n’ont que des patients contrôles.

Ils ne peuvent donc s’assurer facilement du bon suivi du protocole : ils pourraient par exemple avoir de moins bons soins, ou simplement d’autres soins que ceux prévus.

Alors qui sont ces patients, quels sont les critères pour rejoindre l’étude ?

Les investigateurs ont donc décidé qu’il fallait remplir 2 critères :

• avoir plus de 12 ans
• avoir du virus au fond du nez.

L’état de santé n’est pas un critère :

On a donc 3 groupes de patients :

1. 1. des asymptomatiques : sans signe clinique ;
   2. des « URTI »: qui ont une rhinite, une pharyngite, ou une fièvre modérée et des douleurs musculaires ;
   3. des « LRTI » : qui ont une pneumonie ou une bronchite.

Il y a donc une gradation de gravité, même si, apparemment, des URTI peuvent être hospitalisés et des LRTI non.

Certains patients ont été exclus : ceux ayant des pathologies particulières (problèmes de vue ou cardiaques) ou les femmes enceintes :

Mais en revanche, ces exclus, et ceux ayant refusé le traitement ont été mis dans le groupe contrôle :

Nouveau problème : le groupe contrôle comprend des caractéristiques particulières, qui peuvent faire varier l’efficacité du traitement sur eux.

Une lecture rapide de l’article laisse à penser que l’essai est fini – il n’y a qu’à voir son titre :

Mais en fait, ce sont des résultats préliminaires à 6 jours de traitement :

On comprend que l’essai doit durer 14 jours :

4-3 Les critères de jugement du résultat

Lorsque le promoteur prépare un essai clinique, il doit en définir clairement l’objectif, le but.

Pour cela, il définit un critère de jugement principal (« Primary endpoint ») correspondant au résultat principal de l’étude sur lequel on pourra conclure de l’efficacité du traitement sur ce critère.

Généralement, les promoteurs de l’essai ajoutent aussi des critères secondaires. Mais on ne pourra conclure que sur le critère principal, si celui-ci est statistiquement significatif, et jamais sur les critères secondaires pris isolément. Ainsi, le piège parfois proposé par certains auteurs est de conclure sur les critères secondaires alors que le résultat du critère principal n’est pas significatif. Cela n’est pas correct et correspond à une faute d’analyse importante, car lorsque le critère principal est négatif, on ne devrait plus rien pouvoir conclure de l’étude sur les critères secondaires réalisés. Ainsi, le rôle des critères secondaires dans une étude sera simplement de compléter le message du critère principal.

Voici celui de l’essai Raoult & Gautret :

L’objectif principal de cet essai est donc de mesurer l’élimination du virus (dans le fond du nez) au 6^e jour après inclusion.

Les critères secondaires seront donc :

• l’élimination du virus (dans le fond du nez) au 14^e jour ;
• l’amélioration du suivi clinique : température corporelle, fréquence respiratoire, durée d’hospitalisation et la mortalité ;
• la survenue d’effets secondaires.

4-4 La démographie

Tous les paramètres ayant été définis, il reste à constituer les groupes de malades. Pour cela, on utilise les statistiques pour définir leur taille :

L’équipe a donc indiqué que son analyse statistique avait indiqué qu’il lui faudrait rassembler 48 malades, pour en traiter 24 et en garder 24 en groupe contrôle.

Problème : Dominique Costagliola, Membre de l’Académie des sciences, Vice-Doyenne Déléguée Recherche de la Faculté de Médecine, Sorbonne Université, Directrice adjointe de l’Institut Pierre Louis d’Épidémiologie et de Santé Publique, à la Sorbonne Université, et spécialiste des essais a refait les calculs et n’arrive pas à trouver la même chose qu’eux. (source)

L’IHU a donc intégré 42 patients « qui remplissaient les conditions d’inclusion » dans cette étude et en a fait 2 groupes :

• 26 traités avec hydroxy-chloroquine ;
• 16 en contrôle, non traités avec hydroxy-chloroquine.

Problème : le groupe contrôle est notablement plus petit (d’un tiers) que les 24 issus de la propre analyse statistique de l’équipe.

Autre problème : l’essai n’est pas « randomisé ». Les patients ne sont pas tirés au sort entre le groupe contrôle et le groupe traité. Les investigateurs ont choisi qui ils allaient traiter avec l’hydroxy-chloroquine (HCQ) (là, la répartition est en fait géographique, et dépend du centre de traitement), mais, surtout, avec l’antibiotique, ce qui représente là un très fort biais.

Vous noterez enfin qu’ils disent qu’ils ont intégré « 36 des 42 patients sélectionnés ». Mais c’est faux ; ils ont bien intégré les 42 patients ! Regardons ce qu’il s’est passé.

4-5 Pas de conflits d’intérêts ?

A priori, les auteurs n’ont pas communiqué sur leurs conflits d’intérêts (source) :

N/A = Non available, non disponible

C’est dommage car il s’agit d’une étude de l’IHU de Marseille.

Portant sur l’Hydroxychloroquine, produite par le laboratoire Sanofi.

Et Sanofi est un des partenaires de l’IHU de Marseille… (sources ici et là)

Les partenaires de l’IHU-IM.

Notez bien que Sanofi Aventis finance l’Institut, donc Raoult est forcément régulièrement en contact avec eux (c’est le 3e plus gros laboratoire pharmaceutique du monde ; il faut simplement connaitre ces liens

4-6 De drôles de dates

Nous souhaitons attirer l’attention sur un problème au niveau des dates de cet essai.

L’article publié indique ceci (source, archive) :

Les patients ont donc été inclus dans « un protocole à un seul bras de début mars au 16 mars. »

On appréciera tout d’abord la précision caractéristique de l’IHU de Marseille sur le « début mars ». Ils ne semblent donc pas vouloir indiquer quel est le premier jour calendaire de l’essai.

Ceci étant, ils indiquent une date de fin : le 16 mars.

Or, l’essai est un essai de 14 jours, avec un critère primaire d’évaluation au 6^e jour (ou 7^e, cela dépend comment on compte le jour d’inclusion, l’équipe parle de D0 comme on l’a vu, D pour day = jour).

Il n’y a donc que 2 possibilités : soit le 16 mars est le D6, soit c’est le D14.

4-6-1 Hypothèse D14

Cette hypothèse est appuyée par la phrase parlant d’un protocole à un seul bras de début mars au 16 mars. » Il n’est pas censé y avoir 2 protocoles à cet essai.

Si le 16 mars est le D14, cela signifierait que le jour d’inclusion D0 serait le 2 mars, et que les patients auraient été traités du 3 mars au 16 mars, et donc que D6 était le 8 mars et que l’essai était terminé le 17 mars.

De plus, Didier Raoult ayant présenté les résultats à D6 le 16 mars, cela aurait laissé une semaine à l’équipe pour analyser les résultats et rédiger l’article.

Mais en réalité, ceci ne semble pas possible. D’abord, si l’essai se terminait ce jour-là, pourquoi publier une évaluation à D6 « en urgence » ce même 16 mars ?

Et surtout, on apprend que l’essai n’a été approuvé par les autorités que le 5 et 6 mars :

Or, il est évidemment illégal de procéder à un essai clinique sans accord des autorités, c’est pénalement réprimé :

Article L.1126-5 du code de la Santé publique

Ainsi, le D0 ne peut être, au mieux que le 6 ou 7 mars, et donc le D6 ne peut être que le jeudi 12 ou le vendredi 13 mars.

Comme l’hypothèse D14 semble invalidée, c’est donc que la suivante est la bonne.

4-6-2 Hypothèse D6

La rédaction du protocole est donc malheureuse, et le 16 mars est donc le D6, cela signifierait que le jour d’inclusion D0 serait le 10 mars, et que les patients auraient été traités du 11 mars au 24 mars, et donc que l’essai s’est terminé le 25 mars.

Mais quand on regarde la publication :

On voit donc que, le lundi 16 mars, il aurait fallu :

• recueillir les tests des 30 patients ;
• réaliser les 30 tests ;
• remonter et synthétiser les résultats à Marseille ;
• réaliser l’étude complète et les graphiques ;
• la faire relire et signer par les 18 personnes ;
• préparer les diapositives de la présentation faite le 16 mars par Didier Raoult ;
  
• envoyer l’article à l’International Journal of Antimicrobial Agents (IJAA) pour relecture.

Le 17 mars, l’IJAA a donc trouvé un relecteur (voire deux), qui a relu cet article et l’a validé dans la journée – c’est vraiment rapide. Trop, semble-t-il…

Comme on le voit, cette hypothèse, qui est légale, pose de lourds problèmes de plausibilité.

Problème : il est très difficile de déterminer les dates calendaires D0, D6 et D14 de cet essai clinique.

V. Résultat de l’essai et discussion

5-1 De drôles de perdus de vue !
5-2 Les 36 malades (restants)
5-3 Résultats de l’hydroxy-chloroquine
5-4 Données détaillées sur les malades
5-5 Le problème de la fiabilité des tests
5-6 Analyse des résultats de l’hydroxy-chloroquine
5-7 Résultats de l’hydroxy-chloroquine et de l’azithromycine
5-8 Du portage viral
5-9 Mettons un peu de sérieux dans cet essai…
5-10 Mais quel était l’objectif de Raoult le 9 mars ?
5-11 Un dernier gros problème

Comme nous vous l’avions dit, comprendre un essai clinique n’est pas très compliqué… Passons maintenant à l’analyse des résultats.

5-1 De drôles de perdus de vue !

Fréquemment, des essais cliniques de développement de médicaments sont réalisés sur des milliers de patients, pendant des trimestres voire années. Il arrive donc que certains quittent l’essai sans en informer qui que ce soit (déménagement, lassitude, etc). c’est ce qu’on appelle des « perdus de vue » : ils étaient là au début, mais plus à la fin, sans forcement en connaître la raison.

Et, vous n’allez pas le croire, mais sur les 26 traités à la chloroquine, les auteurs indiquent qu’il y a eu… 6 perdus de vue en 6 jours !

Ils appellent donc « perdus de vue » tous ceux qui ont donc « cessé le traitement précocement« . Et les raisons sont très intéressantes :

Le premier a décidé de quitter l’hôpital le 3^e jour, et il n’avait plus de virus dans ses prélèvements dès les jours 1 et 2. C’est ce qu’on appelle un guéri. D’un côté, on peut dire que c’est un succès, mais de l’autre le traitement n’y est à l’évidence pour rien. On peut même se demander s’il était même bien malade le jour du début de l’essai.

Le deuxième a décidé de volontairement stopper le traitement à cause de nausées le 3^e jour, alors qu’il portait toujours le virus. On imagine donc qu’il devait avoir de très grosses nausées pour préférer arrêter le traitement… Il n’est donc pas du tout « perdu de vue »: c’est un cas classique d’échec du traitement, lié à des effets secondaires trop difficiles à supporter.

Mais poursuivons l’analyse de nos perdus de vue :

Voilà autre chose : 3 sont tout simplement partis d’urgence en réanimation ! Aux jours 2, 3 et 4. Ce sont donc de graves échecs de traitement.

Pour le 6^e patient « perdu de vue », c’est encore pire :

Il est mort le 3^e jour.

Il n’était plus porteur du virus dans le nez.

Il est donc mort sans virus dans le nez… (ce qui est fréquent, le décès est souvent causé par un emballement des défenses immunitaires en réalité. Mais le virus pourrait aussi être ailleurs)

On a donc un nouveau grave échec du traitement à la chloroquine.

Et l’équipe Raoult a balayé ces 5 échecs de l’étude, et les a tranquillement fait passer pour des perdus de vue !

Ils ont donc donné un nouveau traitement à un malade, il est mort 3 jours après, ils ont simplement levé les épaules et l’ont rayé de l’étude comme s’il avait décidé de rentrer chez lui. Idem pour les 3 envoyés en réanimation et celui aux effets secondaires insupportables.

Je n’avais encore jamais vu ça dans un compte rendu d’essai ! Cela se rapproche du seuil de la fraude scientifique.

Bien entendu, rien ne dit que la chloroquine ait un lien dans ces 5 échecs. Mais rien ne dit non plus qu’elle n’en ait pas.

Car dans le groupe contrôle (sans chloroquine) : aucun décès, ni aucun passage en réa :

Cela est peut-être du hasard, cela est peut-être normal. Ou pas…

Pour ceux que ça intéresse voici la synthèse de ce qui est désormais une pépite des essais cliniques :

Mais poursuivons, car l’étude, ayant camouflé ses échecs, continue – sur une base de seulement 20 traités à la chloroquine et toujours 16 en contrôle :

Problème : 20 et 16 sont donc assez éloignés du besoin statistique de 24 et 24.

Et il est étonnant que, alors que les patients traités à la chloroquine étaient 26 au début et 20 à la fin, Raoult parle publiquement de « 24 patients traités » (sources : ici, là et là) :

5-2 Les 36 malades (restants)

Découvrons alors ces 36 malades toujours présents dans l’essai le 6^e jour :

Ce tableau difficilement lisible présente principalement : leur âge, leur sexe, leur statut clinique, leur avancement dans la maladie, leur traitement ou non par hydroxy-chloroquine et sa concentration dans le sang, et leur concentration en virus chacun des 6 jours.

Une chose saute aux yeux. Rappelons ceci :

Ce sont 36 patients qui « remplissent les critères d’inclusion ». Qui sont simples :

Il n’y en a que 2 :

1. Avoir plus de 12 ans ;
2. Avoir du virus dans le nez.

Bien.

Et donc, que remarque-t-on ?

Les patients 1 et 4 ont 10 ans : ils ne respectent pas le critère d’admission dans l’essai (même s’ils n’ont pas reçu de chloroquine).

Voilà, fin de la plaisanterie. Bravo « au chercheur en microbiologie le plus cité de France ».

Mais continuons.

Mais signalons un autre problème : il y a de sérieuses différences dans les données du groupe contrôle entre la pré-publication du 20 mars sur medRxiv (source) et celle, finale, faisant foi sur la revue IJAA sur ScienceDirect (le 20 mars également – source) (ce point a été signalé par Leonid Schneider, à partir d’une alerte PubPeer) :

Problème : le recueil des données des tests des centres des groupes contrôles a-t-il vraiment été fiable ?

5-3 Résultats de l’hydroxy-chloroquine

Les investigateurs s’appuient plusieurs fois sur l’argument de l’efficacité potentielle de la chloroquine in vitro, quand on la verse dans des éprouvettes sur des cultures de cellules :

Or, l’efficacité in vitro ne dit rien de l’efficacité chez l’Homme. Et l’équipe le sait bien, vu que cela fait 10 ans qu’ils l’essaient contre de nombreux virus, sans efficacité démontrée chez l’Homme pour réduire la charge virale – voir avec une efficacité démontrée pour augmenter la charge virale d’infections telles que le Sida, le Chikungunya et la Grippe, comme démontré dans ce billet.

Voici le résultat tel que présenté :

Au bout de 6 jours, « 70 % des patients traités sous chloroquine » sont « guéris du virus » , contre « 12,5 % dans le groupe contrôle ».

C’est impressionnant, dit comme ça, cela semble très convaincant. Quand on ne vérifie pas, bien sûr.

Alors, vérifions.

5-4 Données détaillées sur les malades

Mais avant, regardons mieux les malades.

Le tableau donné dans l’article étant tout mélangé et peu lisible, nous l’avons refait, plus proprement, en classant mieux les malades :

C’est mieux, mais on va encore l’améliorer, n’ayez crainte.

La barre noire sépare en haut, le groupe contrôle, et en bas, le groupe avec chloroquine. Nous avons simplement trié les asymptomatiques, les URTI qui toussent et les LRTI avec une pneumonie.

Première remarque : les groupes ne sont pas homogènes :

A/ ni en âge :

37 ans contre 51 ans – sans qu’on sache d’évidence quel groupe est avantagé en termes de rapidité de baisse de la charge virale) (source)

Répartition par âge et par sexe des groupes

B/ ni en statut clinique :

Notons bien qu’il y a 25 % d’asymptomatiques dans le groupe contrôle.

Deuxième remarque : de nombreuses données sont manquantes (les cases en noir). En effet, dans les centres qui ne sont pas à Marseille, et qui comprennent la majorité du groupe contrôle, les tests ne sont pas faits quotidiennement.

Et on constate même que 5 malades du groupe contrôle ne sont pas testés le 6^e jour, ce qui est hallucinant, puisque c’est le jour d’évaluation du critère de jugement principal ! Les investigateurs ont arbitrairement compté ces 5 malades comme toujours positifs. Ce n’est absolument pas rigoureux.

Un sixième patient (du groupe chloroquine cette fois) n’est également pas mesuré à Marseille les 5^e et 6^e jours (gris clair). Mais comme il était négatif les 2^e, 3^e et 4^e jours, on peut raisonnablement considérer qu’il est toujours négatif. Mais là encore, ce n’est pas sérieux : pourquoi n’a-t-il pas été testé à l’IHU, puisque, non perdu de vue, il était normalement toujours à l’hôpital ?

5-5 Le problème de la fiabilité des tests

Didier Raoult choisit de mener un essai clinique non pas sur « La chloroquine va-t-elle aider à soigner, à protéger les cas graves pour sauver des vies » mais « La chloroquine aide-t-elle l’organisme à se débarrasser plus vite du virus au fond du nez ». Il a d’ailleurs enlevé de l’étude toutes les aggravations sévères.

Son test revient donc à mesurer la vitesse d’évacuation du virus dans le nez (le terme « guérison » qu’il utilise est un peu hâtif, rien ne dit qu’il ne reste pas du virus ailleurs dans l’organisme – mais passons) – et ce en testant les malades.

Ce sont les fameux tests dont Raoult parle tout le temps. Mais, comme d »habitude, Raoult ne dit pas tout, loin de là.

Pour faire simple, il a 2 grandes étapes : 1/ le prélèvement 2/ l’analyse PCR

Le prélèvement n’est pas facile à réaliser : il faut que l’écouvillon aille taper le fond du nasopharynx pour s’imbiber des sécrétions, et c’est désagréable. C’est une cause importante d’échec – même quand il est fait par des professionnels -, car s’il est mal fait, on ne pourra prendre assez de virus, et le résultat sera faussement négatif.

La PCR (réaction en chaîne de polymérase) est la technique qui permet en laboratoire l’amplification des acides nucléiques. Schématisons. On prend l’échantillon de virus ramené par l’écouvillon ; on la met dans la machine PCR. On va y introduire une amorce, qui est un court bout du code génétique de l’ARN du virus en miroir (on peut en utiliser différentes) ; l’amorce va se fixer sur le code correspondant du virus ; on va ensuite multiplier ce doublon, et récupérer 2 fois la quantité de code génétique de départ Q (PCR 1). On refait tourner la machine : à PCR 2, on a 4 fois la quantité Q. À PCR 3, on a 8 fois la quantité Q, etc. Il y aune progression exponentielle. Il y a un moment où il y a une telle masse de virus qu’on va pouvoir la détecter (par fluorescence), car elle dépasse la masse M, qui est la capacité de détection (rappelons bien, on schématise grossièrement pour le grand public ici).

La mesure de la charge virale indiquée dans les tableaux est, non pas « un poids de virus » mais le nombre de fois où il faut faire tourner la PCR pour atteindre le seuil de détection « M ». On appelle ce nombre de cycles final CT = « cycle threshold » = « seuil de cycle » ; il correspond donc au moment où le signal est significativement supérieur au bruit de fond, c’est-à-dire au nombre de cycles minimal pour lequel l’ARN amplifié du virus soit détectable. (Pour les passionnés de la PCR, je vous renvoie vers cet article dédié de Wikipédia)

Reste alors à définir un seuil pour arrêter la PCR, afin de déclarer qu’à ce moment-là, sans ARN détecté, on considère qu’il n’y en avait pas dans le prélèvement. Généralement, ce seuil est défini à l’aide d’échantillons contrôles positifs et négatifs, et dépend des amorces PCR sélectionnées. Ce travail est rarement rapporté dans les méthodes d’une publication, et la communauté scientifique fait le plus souvent confiance à cette mise au point lorsque les résultats paraissent cohérents. Cependant, lorsque les résultats paraissent incohérents, par exemple lorsque le virus disparaît puis réapparaît comme par enchantement, il est permis de douter de la qualité de cette mise au point, et du choix du seuil de détection. Quel que soit le seuil choisi, il y aura toujours des faux négatifs et des faux positifs : le fixer trop bas aura pour conséquence de considérer trop facilement un échantillon comme négatif, et le fixer trop haut aura pour conséquence de considérer trop facilement un échantillon comme positif.

Dans l’analyse de l’essai Raoult, ce seuil est précisé une seule fois, en tout petit sous le tableau avec la liste des malades (voir plus haut) il est 35 :

Soulignons, pour la suite, que cette information importante n’est pas clairement dans la partie dédiée de l’article qui parle de la PCR (en une ligne…) :

ni là :

Ainsi, l’équipe Raoult a décidé que si, après avoir fait tourner la PCR 35 fois, il n’y a toujours pas de détection d’ARN, alors c’est que le patient n’a plus de virus au fond du nez. Mais ce seuil est totalement arbitraire : ils auraient pu prendre 32 ou 38.

Cependant, cette méthode a aussi un problème de fiabilité, qui se rajoute à celui du prélèvement. Et il n’est pas anecdotique – bien qu’on n’ait aucune information sur la fiabilité de la PCR utilisée à Marseille. Mais on peut citer cet article scientifique (source ; pdf) édifiant du 4 mars dernier (que nous avons traduit dans ce billet) :

« Dans cette étude, nous avons développé et comparé la performance de trois nouveaux tests RT-PCR en temps réel ciblant les gènes de l’ARN polymérase (RdRp)/hélicase (Hel) […] du SRAS-CoV-2 avec celle du test RdRp-P2 qui est utilisé dans plus de 30 laboratoires européens. Parmi les trois nouveaux tests, le test COVID-19-RdRp/Hel avait la plus faible limite de détection in vitro […]. Parmi les 273 échantillons provenant de 15 patients dont l’atteinte COVID-19 a été confirmée en laboratoire à Hong Kong, 77 (28,2 %) étaient positifs à la fois par le test COVID-19-RdRp/Hel et par le test RdRp-P2. Le test COVID-19-RdRp/Hel a donné 42 échantillons RdRd-P2 positifs supplémentaires [119/273 (43,6%) contre 77/273 (28,2%), P<0,001] »

En résumé, quand on fait tester 273 échantillons dont on est sûr qu’ils contiennent du virus par la PCR « RdRp-P2 », très utilisée, le résultat est positif dans seulement 28 % des cas – ce qui fait donc 72 % de faux négatifs ! Bien sûr les laboratoires utilisent différentes méthodes pour diminuer largement l’imprécision…

Citons également cet article du CDC américain (source ; pdf) :

« Les résultats négatifs ne permettent pas d’écarter une infection au Covid-19 et ne doivent pas être utilisés comme base unique pour le traitement ou d’autres décisions de prise en charge des patients. […] Un résultat faussement négatif peut se produire si un échantillon est mal collecté, transporté ou manipulé. Des résultats faussement négatifs peuvent se produire également si des inhibiteurs d’amplification sont présents dans l’échantillon ou si un nombre insuffisant d’organismes sont présents dans l’échantillon. […] Les valeurs prédictives positives et négatives dépendent fortement de la prévalence. Les résultats de tests faussement négatifs sont plus probables lorsque la prévalence de la maladie est élevée. » [CDC, 30 mars 2020]

Mais ne soyons pas trop sévères avec la fiabilité de la PCR, c’est vraiment un fantastique outil. Pensez : on a découvert le virus il y a moins de 3 mois ; on l’a séquencé en 2 semaines, et on a pu avoir des tests PCR moins d’un mois après, et on peut en faire des milliers par jour en France. Bien sûr, ce n’était pas assez au début de l’épidémie, une erreur de plus de notre pays. Mais si nous étions en 1960, on en serait toujours à se demander de quoi est constitué cet étrange virus…

Pour finir, nous vous renvoyons vers ce billet citant France Bleu où le professeur Vincent Thibault, chef de service du laboratoire de virologie aux CHU de Rennes, explique que les tests de dépistage du coronavirus ne sont fiables qu’à 70%. « Dans le cas de cette jeune fille [de 16 ans, décédée du Covid-19] il semble qu’elle ait eu deux prélèvements initiaux négatifs. Elle a été renvoyée chez elle et son état s’est dégradé rapidement avec un résultat finalement positif. Ce triste cas illustre bien le problème qui existe aujourd’hui. » Et il précise surtout :

« Aujourd’hui nous faisons des prélèvements dans le nez, mais on sait que le virus ne se trouve pas dans le nez à toutes les phases de la maladie […] On peut donc avoir un test négatif alors que le patient présente des symptômes et qu’il est bien contaminé. Ça s’explique par le fait que le virus est bien plus profond, dans les poumons par exemple. »

Cette phrase invalide donc totalement le cœur du protocole de Gautret / Raoult – dont on s’étonne qu’il ait pu être accepté ainsi par les autorités.

En effet, les patients les plus graves pourraient très bien voir leur charge virale nasale diminuer, car le virus serait en train de migrer dans les poumons (comme, peut-être, le malade décédé et présenté comme « négatif »). Il est donc incompréhensible de ne pas avoir fait figurer dans le protocole un état clinique des patients au 6^e jour – pour s’assurer qu’ils étaient bien guéris, et non pas en voie de rejoindre la réanimation… Bref, encore une lourde erreur scientifique.

Quelqu’un sait-il si Didier Raoult a parlé de ce « léger » problème de non-fiabilité des tests ?

5-6 Analyse des résultats de l’hydroxy-chloroquine

Dans l’essai Raoult, ce problème se voit drôlement bien :

Regardez les mesures encadrées en rouge : des patients sont positifs, le lendemain négatifs, et le lendemain positifs !

Prenons le premier, patient n°4 aux jours 0,1 et 2 : « 24 / NEG / 33 ». Comme NEG signifie 35, cela signifie que la charge virale de ce patient aurait été divisée par environ 2 000 (2¹¹), puis, le jour suivant, aurait été multipliée par environ 4…

Les mesures encadrées en bleu sont des mesures très étonnantes, comme le 2^e (patient 21), qui ferait « 16 /34 /24 », ce qui signifiait que sa charge virale aurait été divisée en un jour d’environ 250 000 (2¹⁸), puis multipliée le lendemain par environ 1 000 (2¹⁰)…

Bref, les mesures effectuées ne sont pas très fiables. Et là encore, ça saute aux yeux – regardons le tableau des résultats publié par l’équipe :

Note : un vérificateur qui a refait les calculs signale qu’il trouve des P-values 2 fois supérieurs (source). Il faudrait le vérifier.

Il y a donc un scientifique qui a écrit sans sourciller – et 17 qui sont censés avoir relu avant de signer – que le groupe contrôle avait :

• 1 négatif sur 16 le 3^e jour ;
• 4 négatifs sur 16 le 4^e jour ;
• mais 3 négatifs sur 16 le 5^e jour ;
• et donc seulement 2 négatifs sur 16 le 6^e jour (celui du résultat de cette étude).

Et cela se voit bien sur leur graphique, qui a abondamment circulé quand l’étude a été publiée :

Tout le monde s’est concentré sur la différence entre les courbes, sans sourciller sur le fait que le pourcentage de positifs était par 3 fois croissant dans le groupe contrôle ! Ce qui est évidemment ridicule !

Autre problème. Comme nous l’avons vu, le groupe contrôle comporte de nombreuses absences de mesures (les fameux « ND » sur fond noir).

Tout scientifique sait qu’il convient d’analyser les résultats à la lumière de l’incertitude statistique de la mesure des résultats.

Prenons un exemple. Imaginons qu’on veuille déterminer l’âge moyen des Présidents de la République française le jour de leur première élection. Si je n’ai qu’une mesure, avec Macron, on aura donc une moyenne de 39 ans. Avec 2 mesures (Hollande, 57 ans), on aura 48 ans. Avec Sarkozy (52 ans), la moyenne est de 49 ans. Avec les 8 présidents de la V^e République, on arrive à 56 ans. Avec tous les autres, on atteint la vraie valeur de 60 ans. On se rend donc bien compte que la robustesse des 39 ans de la moyenne de la seule mesure Macron est bien plus faible que celle des 56 ans des 8 mesures. Plus il y a de mesures, plus on se rapproche de la vraie valeur.

Pour représenter ceci, les scientifiques utilisent des barres d’erreur qui sont des représentations graphiques de la variabilité des données et sont utilisées sur les graphiques pour indiquer l’erreur, ou l’incertitude dans les mesures présentées. Elles donnent une idée générale de l’exactitude de la mesure, ou à contrario, à quelle distance de la valeur présentée se trouve la vraie valeur. Les barres d’erreur représentent le plus souvent un écart-type d’incertitude, une erreur type, ou un certain intervalle de confiance (par exemple un intervalle à 95 %) (source : Wikipedia). Voici 2 exemples pour comprendre :

Ici les mesures représentées par les histogrammes sont accompagnées en rouge d’un intervalle de confiance, indiquant l’amplitude où la valeur réelle se trouve avec une probabilité de, par exemple 95 %. La hauteur dépend de la taille de l’échantillon sur lequel porte la mesure (elle serait très grande sur les 39 ans de Macron, mais bien plus réduite sur les 56 ans des 8 mesures).

De la même façon, ici on représente la variabilité théorique de la mesure de la courbe.

Bref, ici, un contributeur de PubPeer (source) a représenté cette incertitude qui aurait dû être présentée dans l’article de Raoult :

On voit bien que l’échantillon est tellement petit que les barres d’incertitudes se chevauchent entre les deux courbes, ce qui signifie qu’elles n’ont aucune robustesse statistique, et que les différences observées entre les courbes peuvent tout autant le fruit du hasard que du traitement.

Problème : l’échantillon est bien trop petit, il ne permet de tirer aucune conclusion.

Et c’est pas fini !

5-7 Résultats de l’hydroxy-chloroquine et de l’azithromycine

Nous y reviendrons dans le billet suivant, mais signalons que Raoult a également testé une association hydroxy-chloroquine + azithromycine (antibiotique), et a obtenu ces résultats :

Au 5^e jour, tous les patients traités par le cocktail Raoult sont guéris !

Il faut avouer que, montré ainsi, cela semble très convaincant sur l’efficacité du traitement.

Et ils en rajoutent :

Lisons bien :

1/ « L’hydroxy-chloroquine est efficace pour supprimer la charge virale dans le nasopharynx en seulement 3 à 6 jours, chez la plupart des patients. »

Il est assez incroyable de titrer de telles conclusions, aussi définitives, sur un échantillon aussi faible, dans un essai rempli de biais ;

2/ Cette différence avec « le groupe contrôle commence même dès le 3^e jour post-inclusion« .

Ce qui est assez remarquable, en effet, au vu du fait que ce groupe contrôle est très mal testé quotidiennement :

3/ Ces résultats sont « d’une grande importance, car un récent papier a montré que la durée moyenne de portage viral […] en Chine était de 20 jours (et même 37 jours pour la plus longue durée) »

On remarquera tout d’abord qu’il est étrange de comparer dans un essai clinique un faible échantillon traité à Marseille avec une population hospitalisée en Chine 2 mois auparavant – il n’est même pas certain qu’il s’agisse, par exemple, de la même souche du virus…

Signalons aussi, preuve supplémentaire du manque de sérieux apporté à une étude aussi importante. Un vérificateur (source) a signalé que le graphe précédent n’est pas identique à celui présenté le 16 mars par Raoult lors de sa présentation (dans sa vidéo, ou ici, archive, source ici, archive) :

Mais quoi qu’il en soit, il est sûr que si le traitement arrivait à supprimer le portage viral « en seulement 3 à 6 jours », alors que la durée moyenne « en Chine était de 20 jours », ce serait spectaculaire.

Si c’était vrai…

5-8 Du portage viral

Cette partie semble un peu technique, mais elle est fondamentale pour comprendre un très important biais de l’étude.

5-8-1 Généralités

Le but de cet essai est donc de comparer la vitesse d’évacuation du virus du fond du nez – ce qu’on appelle le portage viral.

Cette étude parue dans The Lancet en février a tracé l’évolution de la charge virale chez deux malades chinois dans la gorge (en rouge) et des crachats (en bleu) :

Il y a clairement une anomalie de mesure au 7^e jour à droite – le courbe rouge du patient de gauche est plus facilement lisible.

On voit que la charge virale commence à monter dans le nez entre le 2^e et le 4^e jour, atteint un pic entre le 5^e et 7^e jour, et, chez ces 2 patients a disparu au 9^e jour – ce qui ne veut pas forcément dire que ces patients ont guéri à ce moment.

Ainsi, comme on s’intéresse à la vitesse de disparition du virus chez un malade, il faut impérativement tenir compte du moment où vous commencez à l’observer : cela ira en moyenne bien plus vite si commencez à observer un malade à son 7^e jour de symptômes qu’à son 2^e…

C’est pour cela que l’analyse précise qu’en moyenne, les malades en sont à leur 4^e jour de symptômes.

Ainsi, cela signifie qu’on observe à la fin de l’essai les patients en sont à leur 10^e jour de symptômes.

Ce qui représenterait alors la moitié du délai moyen de portage en Chine ; la masse de négatifs serait donc un beau succès du traitement.

« SERAIT »…

5-8-2 « La durée moyenne de portage viral […] en Chine était de 20 jours »

Le point sur les 20 jours de durée moyenne est central dans le raisonnement de l’article Raoult. Ils font référence à cette étude (qui est là) :

Cet article publié le 11 mars (et donc cité dans l’article Raoult diffusé le 16 mars…) dit en effet ceci :

Notons tout d’abord que si la durée de portage viral est bien, dans ce groupe de plusieurs centaines d’hospitalisés chinois de 20 jours (entre 17 et 24 pour être rigoureux), allant de 8 à 37 jours, l’article parle de la durée médiane (la moitié des malades est au-dessus et l’autre moitié en dessous de ces durées) et non pas de durée moyenne, c’est différent.

Problème : l’équipe Raoult confond des durées moyennes et médianes

L’étude appelle cependant à la prudence quant la robustesse des données :

« the estimated duration of viral shedding is limited by the frequency of respiratory specimen collection, lack of quantitative viral RNA detection, and relatively low positive rate of SARS-CoV-2 RNA detection in throat-swabs »

« l’estimation de la durée de l’excrétion virale est limitée par la fréquence de prélèvement d’échantillons respiratoires, le manque de détection quantitative de l’ARN viral et le taux positif relativement faible de détection de l’ARN du SRAS-CoV-2 dans les prélèvements de gorge »

Mais en fait, ce n’est pas là qu’est le problème. Car pour faire la moyenne de portage viral, il faut disposer de l’historique de mesures de patients qui ne portent plus le virus. Et donc, il faut définir le moment où les personnes ne portent plus le virus. Il faut donc fouiller la méthodologie de l’étude – qui renvoie en fait à une autre étude (consultable ici) :

Les Chinois ciblent l’enveloppe du virus, pendant 45 cycles.

Ils ont donc une recherche très poussée des traces de virus. Qui n’est pas de la même nature ni du même niveau que celle effectuée à Marseille…

Et donc, on ne peut comparer des durées moyennes et médianes sur des bases aussi différentes !

5-8-3 Le cas marseillais

Comme on l’a vu, l’article renvoie à un autre article sur la méthodologie de la PCR utilisée (il est là) :

L’article indique bien l’amorce de l’ARN du virus,

Nous avons d’ailleurs vérifié : on note que l’équipe de Marseille a simplement légèrement décalé l’amorce chinoise :

La PCR va répliquer la partie du code génétique du virus, affichée ici, entre les amorces (flèches)

Hélas, l’article n’indique pas le nombre de cycles, renvoyant aussi à un autre article (il est ici) :

On y découvre finalement, que, semble-t-il, la pratique devrait être de faire 45 cycles :

Nous allons voir que cette question n’est pas anecdotique.

5-8-4 Un autre exemple pour bien comprendre

Cet excellent article SARS-CoV-2 Viral Load in Upper Respiratory Specimens of Infected Patients (source) du 19 février donne d’intéressantes informations, issues des mesures de portage viral d’une quinzaine de patients chinois.

Voici le portage viral (plus le chiffre est haut, moins il y a de virus, l’échelle inversée est donc normale). En rouge les patients en réanimation, en bleu ceux qui sont dans des situations modérées.

On observe en bleu la courbe de la moyenne de la charge virale en fonction du seuil de cycles. Cela signifie qu’on observe bien une charge virale jusqu’à 18-21 jours, mais parce que le seuil de détection est de 40 CT.

Ainsi, avec un seuil à 35 CT (qu’on ne peut totalement comparer avec celui de Raoult, mais qui doit être assez proche), la durée moyenne de disparition du virus aurait probablement été de 8 à 9 jours. Soit un peu moins que dans l’échantillon de Marseille traité à la chloroquine…

5-8-5 Conclusion

Face au silence méthodologique de l’article, il serait utile que les investigateurs :

• précisent l’amorce utilisée ;
• confirment le CT de 35 ;
• indiquent s’il s’agit du CT habituellement utilisé à Marseille – et expliquent pourquoi sinon ;
• et expliquent comment ils peuvent comparer leurs résultats avec ceux de l’étude chinoise à CT de 45.

En effet, il est plus que probable que, par exemple, un CT de 45 ait conduit à ce que 100 % des patients traités à la chloroquine aient été, comme le groupe contrôlé, positifs au 6^e jour, invalidant le résultat.

On aurait alors probablement eu ceci avec un CT de 45 à Marseille :

Mais reconnaissons que cela aurait été plus difficile à vendre aux médias.

Nous espérons que l’IHU s’expliquera (le CT dans l’essai était-il le même que dans la pratique habituelle ; pourquoi ne pas utiliser un CT 45 comme en Chine puisqu’ils comparent les résultats avec l’étude chinoise) sur ce point afin de lever ce doute.

Dernière remarque : on observe que les patients du groupe contrôle non traités à Marseille n’ont pas de mesure en CT mais juste un statut POSitif ou NEGatif. On peut dès lors supposer que l’analyse des prélèvements n’a pas été à Marseille mais dans les laboratoires des hôpitaux concernés. Dès lors, rien ne dit qu’ils utilisent la même amorce et un CT de 35 pour leur PCR.

Donc rien ne dit qu’ils détectent tous le même niveau de virus. S’ils étaient plus fins dans leurs analyses, ils détecteraient du virus plus longtemps, ce qui fausserait totalement la comparaison avec le groupe traité à la chloroquine (et expliquerait l’écart constaté) – et rendrait donc l’essai clinique totalement inutile.

5-9 Mettons un peu de sérieux dans cet essai…

Nous avons donc affaire à un essai comparant des vitesses de guérison entre 2 groupes, cette vitesse dépendant de l’ancienneté dans la maladie.

L’article indique que le groupe contrôle, de 16 personnes, à 3,9 jours d’ancienneté moyenne, comparable à celui du groupe traité :

Or ceci est un mensonge.

Les patients 1, 4, 2 et 3 sont asymptomatiques ; les patients 13 et 7 n’ont pas de date de premiers symptômes connue ! Idem pour les 2 du groupe sous chloroquine.

3,9 c’est la moyenne des 10 autres malades du groupe contrôle. Pas des 16 évidemment.

Or, il n’est pas scientifiquement acceptable d’inclure dans cet essai (sur la rapidité de guérison) des personnes dont l’ancienneté dans la maladie n’est pas connue !

De même, il n’est pas scientifiquement acceptable d’inclure dans l’évaluation de l’essai au 6^e jour des patients non testés le 6^e jour ! Comme aime à le dire Didier Raoult « C’est délirant ! ».

Voici donc ce que donnerait ce petit essai une fois nettoyé de ces anomalies :

Il n’y a hélas plus que 5 personnes dans le groupe contrôle (mais nous verrons que, pour Didier Raoult, les groupes contrôles, ce n’est pas sa préoccupation) contre 18 dans le groupe traité.

Cependant, on peut faire une moyenne du jour de passage en négatif, pour les négatifs : 8^e jour pour les URTI, 9^e jour pour les LRTI. C’est exactement ce que montrait l’étude chinoise précédente pour un CT de 35… Notons qu’on aboutira, dans l’ensemble du groupe traité à la chloroquine à un passage en négatif, sur ces bases, de 9 à 11 jours.

Voilà donc ce qu’il reste de cet essai – sans tenir compte de la masse de biais précédemment évoqués :

Donc si vous regardez seulement la dernière colonne, le traitement a l’air de très bien marcher.

Mais quand vous regardez tout :

• pour les URTI (les gros rhumes) : comme l’ancienneté des traités HCQ est de 4 jours, et qu’on mesure au 6^e jour, on mesure au 10^e jour de symptômes ; la moyenne est de 8 jours de guérison, donc il est peu surprenant d’avoir 60 % de guéris… Le sous-groupe avec l’antibiotique a 34 ans d’âge moyen, il a donc probablement éliminé plus rapidement le virus. Reste le groupe contrôle sans négatif ; mais le « groupe », c’est 3 personnes, plus âgées que les autres, avec seulement 2 jours d’ancienneté ; avec 8 jours de moyenne d’excrétion virale, il n’est pas très surprenant de n’avoir aucun négatif le 6^e jour…
• pour les LRTI (pneumonies) : le groupe BCQ+AZM est de nouveau le plus jeune des groupes ; il a 5 jours d’ancienneté, pour une moyenne d’excrétion virale à 9 jours : il est normal d’avoir un bon résultat dans cet exemple. Le groupe contrôle n’a que 2 malades ; celui à 2 jours d’ancienneté aurait juste eu le temps de passer en négatif ; le second, démarrant au 10^e jour aurait dû passer en négatif, démarrant avec une ancienneté supérieure à la moyenne, mais cela n’a pas été le cas, il risque de rejoindre la réanimation si son état s’aggravait.

Soulignons un autre point : la concentration en chloroquine dans l’organisme (qui est donnée dans le tableau) ne semble pas avoir une très forte influence sur la rapidité du curage.

5-10 Mais quel était l’objectif de Raoult le 9 mars ?

Dans cette vidéo du 9 mars, voici quel était l’objectif de Raoult :

« On vient, nous, d’avoir notre projet de recherche sur l’hydroxy-chloroquine accepté, et qu’on met en place avec 2 objectifs :

• un, améliorer la prise en charge clinique, qui est pour les patients qui présentent une pathologie, qui sont relativement graves,
• et d’autre part voir si on arrive rapidement, parce que c’est ce que les Chinois ont dit, à faire diminuer le portage viral, c’est-à-dire que quand le portage viral naturel se situe apparemment autour de 12 jours, M. Zhong a rapporté que sous chloroquine le portage viral était réduit à 4 jours.

Et donc on espère confirmer ces données parce que ça permettra, en particulier pour ceux qui sont porteurs de quantités de virus considérables, de diminuer cette charge virale, et le risque de contamination secondaire. » [Didier Raoult, 9 mars 2020]

Ainsi, le 9 mars, pour Raoult la moyenne en Chine du portage était de 12 jours, mais le 16 dans son papier, il est allé chercher, sans se poser de questions, une étude chinoise qui parle de 20 jours. Et son objectif le 9 mars était de le faire descendre à 4 jours, mais le 16 il se félicite d’un traitement qui indique une moyenne de portage viral de probablement 9 à 11 jours. De plus, il ne parle pas dans son article de l’amélioration de la prise en charge clinique – mis avec 1 mort et 3 passages en réanimation sur 26, il est vrai qu’il n’est pas glorieux.

Cet essai est donc un échec par rapport à ses objectifs initiaux, ce qu’il se garde bien de dire.

5-11 Un dernier gros problème

Revenons aux patients :

Les patients sont donc tous hospitalisés. On a également qu’ils sont classés suivant leur état clinique :

Mais quand ce classement est-il fait ? Au premier jour, comme c’est probable, ou au 6^e ?

1/ Si c’est au 6^e, cela signifie que des patients n’auront donc pas le même statut au 6^e et au 14^e jour.

Et pourquoi n’y a-t-il pas un statut « guéri » ? Et c’est arrivé au 6^e « perdu de vue » :

Mais au nom de quoi le fait d’être guéri est-il considéré être perdu de vue ?

Cela signifie-t-il que, quand un patient a une charge virale non détectée plusieurs jours de suite, et plus de symptômes, les investigateurs continuent néanmoins à le traiter jusqu’au 10^e jour ? Pourquoi ?

2/ Si c’est au premier jour, ce serait plus logique. Mais alors, que se passe-t-il en cas d’aggravation ? L’équipe serait chanceuse si, parmi les 22 UTRI, intégrés entre 0 et 10 jours depuis les premiers symptômes, aucun ne s’est aggravé en une pneumonie LTRI…

Nous avons représenté ici l’évolution des mesures de la charge virale des patients URTI (gros rhumes) (en CT, de 15 [beaucoup de virus] à 35 [peu de virus]) en fonction du nombre de jours depuis l’apparition des symptômes :

En trait vert épais : le seul patient du groupe contrôle ; en traits bleus épais : les 2 patients en traitement HCQ + antibiotique ; tous les autres sont traités HCQ

On constate bien que certaines mesures sont étonnantes, au vu des gros zig-zags constatés. Mais on observe que bien que les deux patients traités à HCQ ont eu une rapide baisse de la charge virale (ils sont cependant jeunes, 20 et 48 ans) ; il faut cependant aussi noter qu’ils avaient une faible charge virale.

Observons maintenant les LRTI (pneumonies) :

Tous sont traités avec HCQ + antibiotique, sauf les deux traits épais en rouge et rose, qui ont seulement de l’HCQ

On observe que les patients qui ont une pneumonie (LRTI) paraissent avoir une baisse plus rapide de la charge virale au fond du nez que ceux qui ont une rhinite (URTI). Mais comme on l’a vue, la question est : est-ce parce qu’ils guérissent, ou est-ce parce que le virus a alors tendance à se concentrer ailleurs dans l’organisme ?

Il suffirait de disposer de l’état clinique de chaque patient pour y voir plus clair, mais les investigateurs ont très étrangement décidé de ne pas communiquer cette information au 6^e jour mais de le faire seulement au 14^e.

Il est donc impossible de savoir si la disparition de la charge virale implique toujours une guérison, comme les investigateurs le laissent clairement entendre. Illustrons : les deux patients UTRI avec antibiotique, les 2 traits bleus : ont-ils guéri aussi rapidement, ou étaient-ils en train de déclencher une pneumonie, comment vont-ils ? Car ce sont les investigateurs qui ont choisi à qui donner l’antibiotique, ce n’est pas du hasard ; n’auraient-il pas choisi les cas UTRI les plus graves ?

Regardons de nouveau l’évolution des malades :

Le patient 34 par exemple : il a 20 ans, une rhinite, après 3 jours d’hospitalisation, 5^e jour de symptômes, il n’a plus de virus. Mais il reste donc à l’hôpital 4 jours, et est censé rester 8 jours encore. Guéri ? Et durant ce temps d’hospitalisation, il va seulement voir une infirmière une fois par jour qui va réaliser un test Covid dans le nez, et c’est tout.

Tous ces patients semblent censés être guéris semblent vraiment très motivés à aider la science, en restant à l’hôpital. Mais ne serait-ce pas parce que certains sont en fait encore malades ? Nous n’en savons hélas rien.

Ce graphique de cet article de Nature (source) permet en tout cas de rester circonspect :

En effet, on observe que la charge virale (mesurée ici proprement en nombre de copies par ml, en échelle logarithmique) chez 9 patients baisse bien plus vite dans le nez, en jaune, (swab) que dans les crachats, en orange, (sputum) ou les selles, en gris (stool)… Le virus n’est souvent plus détectable dans le nez en 7 à 10 jours – et rien ne dit que le limite de détection à Marseille CT 35 ne soit pas plus haute que dans cette analyse qui est, elle, de haute qualité…

 

Enfin, n’hésitez pas à nous signaler d’autres erreurs méthodologiques ici.

VI. Les conclusions que l’on peut tirer de l’essai

6-1 Conclusions certaines

On peut conclure de façon certaine :

1. que l’équipe Raoult n’a, à tout le moins, pas les compétences les plus élémentaires pour mener un tel essai ;
2. que de lourdes questions d’éthique et de probité se posent suite au fait de passer en « perdu de vue » : 1 mort, 3 sévères aggravations et 1 cas d’effets secondaires interrompant le traitement sur 26 malades
3. que cet essai ne permet pas de conclure à la moindre efficacité de la chloroquine – ni à son inefficacité ;
4. que cet essai permet de conclure que la prise de chloroquine pendant 3 jours à l’hôpital n’empêche pas de décéder ou de partir en réanimation ;
5. que les 18 signataires de l’article sont, au mieux de graves incompétents ou des personnes complaisantes qui ont signé sans relire attentivement ;
6. que le comité de lecture de la revue qui a publié l’article n’a, au mieux, pas procédé à une analyse minimale de l’article ;
7. que l’IHU nous fait perdre un temps précieux en ne réalisant pas des études sérieuses – ce centre n’a même pas pu trouver 30 patients du Covid-19 hospitalisés pour en faire un solide groupe placebo…

6-2 Questions à creuser

Nous espérons que des réponses satisfaisantes seront apportées à l’avenir aux points suivants :

• Bien sûr, toujours : la chloroquine est-elle efficace ? C’est une question très importante, que d’autres équipes scientifiques plus compétentes doivent traiter.
• La chloroquine a-t-elle aggravé ou non les symptômes et le pronostic vital des 4 personnes ?

Enfin, il serait très utile que l’équipe d’investigateurs réponde aux questions suivantes :

1. quelles sont les dates calendaires de cet essai clinique ? (D0, D6 et D14)
2. pourquoi avoir fait passer les 5 graves échecs de l’étude pour des perdus de vue ?
3. comment avez-vous choisi les UTRI à qui vous avez donné l’antibiotique ?
4. pourquoi les patients 1 et 4 ont-il 10 ans, alors que le protocole prévoit >= 12 ans ?
5. comment pouvez-vous être sûrs que le recueil des données des tests des centres des groupes contrôles a-t-il vraiment été fiable ?
6. à combien évaluez-vous le taux de non-fiabilité des tests ? Pourquoi ne pas en avoir parlé dans l’article – surtout avec un pourcentage de positifs qui était par 3 fois croissant dans le groupe contrôle ?
7. pourquoi n’y a-t-il presque jamais d’intervalle de confiance dans vos tableaux et graphiques ?
8. pourquoi avoir inclus des asymptomatiques ?
9. comment avez-vous pu calculer l’ancienneté moyenne des 16 malades du groupe contrôle qui comprend des asymptomatiques ?
10. avez-vous continué à traiter les patients qui avaient une charge virale négative ? Pourquoi ?
11. pourquoi ne pas avoir donné de placebo ?
12. pourquoi ne pas avoir indiqué le statut clinique à D6 ?
13. y a-t-il eu des aggravations de UTRI en LRTI ? Comment cela a-t-il été indiqué dans le tableau de synthèse ?
14. y a-t-il eu des patients à charge virale négative qui n’ont pas été guéris sur-le-champ ?
15. de quoi est décédé le patient traité à la chloroquine ? Comment savoir quel a été le rôle du traitement (ainsi que pour les patients partis en réanimation)
16. quelle a été la méthode de PCR utilisée dans l’essai (amorces et CT) ? Est-elle rigoureusement la même que pour les autres tests à Marseille ?
17. la méthode PCR de Marseille était-elle la même que dans les autres centres ? Sinon, quelles sont les différences ?
18. comment pouvez-vous comparer la durée moyenne d’excrétion virale à Marseille avec celle de l’étude chinoise, puisque ce ne sont pas les mêmes paramètres PCR ?
19. pourquoi parler de durée moyenne en Chine alors qu’il s’agit d’une durée médiane ?
20. pourquoi ne pas rappeler que l’essai est un échec par rapport à l’objectif de Raoult de réduire le portage à 4 jours, présenté le 9 mars ?

6-3 Mais ce traitement marche probablement

Ceci étant, répétons bien que nous ne sommes pas « contre » la chloroquine, cela n’aurait aucun sens. Nous aimerions bien qu’elle marche (et il y a quelques signes prometteurs), mais nous voulons simplement le savoir grâce à des études de bonne qualité – rien de plus.

Et nous sommes même à peu près sûrs que le traitement proposé dans l’essai marche – du moins un peu.

En effet, cela s’appelle l’effet placebo, et il est probable qu’il joue un rôle dans les cas les moins graves – mais Didier Raoult refuse mordicus de le mesurer, ce qui est étrange, car cela montrerait l’efficacité réelle absolue de la chloroquine.

Mais il n’en est pas à son coup d’essai (source) :

On constate donc que, en cette période de grave crise sanitaire, dans un article sur les moyens de lutter contre l’épidémie, Raoult fait un parallèle avec l’acupuncture et l’homéopathie !

Méthodes qui n’ont, d’ailleurs, jamais pu prouver qu’elles marchaient mieux que de simples placebos… (voir ici et là par exemple).

6-4 La presse

La presse a rendu compte sans distance de la communication de l’IHU (source ici, là et là) :

6-5 Mais comment un tel article a-t-il pu être publié ?

Cet article a donc été publié dans la Revue Internationale des Agents Antimicrobiens :

Dont le rédacteur en chef est J.M Rolain, et un rédacteur est P. Colson de Marseille :

qui, heureux hasard, sont aussi deux des signataires de l’article…

Un nouvel exemple des conflits d’intérêts dans la science…

6-6 Conclusion

Enfin, il y a ces pépites dans l’article :

Ainsi, l’étude a eu quelques « limites », comme « les 6 abandons en cours d’étude. » Dont 1 mort, 3 en réanimation et un effet secondaires graves….

Mais aussi :

« Pour des raisons éthiques« , en raison de résultats « tellement significatifs et évidents », ils ont jugé bon de partager leurs résultats, au vu du « besoin urgent » d’un médicament efficace.

On peut donc se demander s’il était tellement urgent, au vu de la faible qualité de l’étude, de l’évacuation scandaleuse des échecs (1 mort, 3 en réanimation, 1 effet secondaire grave), de la pauvreté de ses résultats, et de sa taille de toute façon bien peu significative, s’il était bien utile de publier le 16 mars des résultats provisoires au 6^e jour, plutôt que d’attendre le 14^e jour comme prévu.

Car, si on a bien eu ceci au 6^e jour… :

…on aurait très probablement eu quelque chose comme ceci au 14^e jour :

On aurait alors vu qu’on n’avait pas un médicament « miraculeux », mais simplement, peut-être, un simple accélérateur de curage du virus dans le nez – ce qui pourrait être utile, en fonction des effets secondaires, mais ne donne pas la même image de l’efficacité. Sans parler des graves échecs rencontrés…

Ceci étant, le bilan au 6^e jour a été publié le 16 mars. Au 5 avril, nous n’avons toujours pas eu le bilan au 14^e jour – « pour des raisons éthiques », il aurait été bien d’en disposer aussi vite, donc au 24 mars… Le critère secondaire de jugement sur la mortalité aurait été très intéressant à analyser.

VII. Réactions et analyses de scientifiques

Comme fleurissent rapidement dans les débats sur Didier Raoult les mots « talentueux scientifique », « grand professionnel », « sommité internationale » – voilà comment beaucoup de spécialistes jugent ses travaux – et il est facile de comprendre pourquoi il disent ceci, au vu de l’analyse précédente.

Dominique Costagliola, Membre de l’Académie des sciences, Vice-Doyenne Déléguée Recherche de la Faculté de Médecine, Sorbonne Université, Directrice adjointe de l’Institut Pierre Louis d’Épidémiologie et de Santé Publique, Sorbonne Université (source) :

« S’agissant d’une étude non randomisée dont le groupe témoin est composé en proportion inconnue de personnes ayant des critères de non-inclusion ou ayant refusé de participer à l’essai ou suivi dans d’autres centres, il est impossible de juger si les 2 groupes sont ou non comparables et par conséquent d’apprécier si les éventuelles différences observées peuvent être attribuées ou non à l’exposition au traitement et ceci d’autant plus que les cas les plus sévères cliniquement (au moins 4 des 6 perdus de vue -3 passage en réanimation et un décès-) ont été exclus de la description et de l’analyse.

Une complication supplémentaire émane du fait qu’il n’est pas certain que les évaluations virologiques aient été conduites de façon centralisée, ce qui est suggéré par la simple mention de positif et non d’un résultat quantitatif pour une grande proportion des témoins, alors que ce n’est jamais le cas pour les personnes traitées, ce qui pourrait entraîner des différences liées à la mesure et non au fait d’être ou non traités.

Au total, l’étude est conduite, décrite et analysée de façon non rigoureuse avec des imprécisions et des ambiguïtés et il s’agit d’une étude à fort risque de biais selon les standards internationaux. Dans ce contexte, il est donc impossible d’interpréter l’effet décrit comme étant attribuable au traitement par chloroquine.

De plus, si la prévention de la transmission est un critère important, dans la situation de crise actuelle le critère pertinent dans l’évaluation d’un traitement est plutôt un critère clinique tel que la nécessité de recourir à un respirateur ou la mortalité, ce qui a été le cas pour 4/26 patients du groupe traité dans cette étude. »

Pr Xavier Lescure, infectiologue à l’hôpital Bichat-Claude-Bernard (source) :

« Je suis très affecté en tant que chercheur, enseignant et médecin par la polémique sur la chloroquine et l’hydroxychloroquine. Je passe sur l’étude pilote, à propos de quelques patients seulement, présentée par le professeur Didier Raoult, qui est méthodologiquement délirante. Ce n’est pas un essai thérapeutique randomisé, avec des patients tirés au sort, ils sont sélectionnés sans qualité, certains sont asymptomatiques et n’ont pas à recevoir un traitement, certains évoluent défavorablement vers la réanimation ou la mort et sont exclus de l’étude, etc. C’est une honte scientifique. Un chercheur peut avoir des convictions, mais pas de certitude. Le doute doit le guider.

À l’instant où je vous parle, c’est surtout le médecin que je suis, au pied du lit des malades, qui est affecté. Tout le monde veut du Plaquenil maintenant, alors que ce traitement peut entraîner une évolution défavorable de l’état de santé de nos patients infectés. Et nous avons toutes les difficultés du monde à mener les essais cliniques rigoureux qui ont été commencés sur plusieurs molécules, car les patients veulent « leur » Plaquenil. Cette communication débridée risque de ralentir l’inclusion de patients dans les essais cliniques de médicaments contre le Covid-19, car nous devons maintenant passer beaucoup de temps pour les réinformer. Enfin, je suis également affecté comme enseignant, la communication sur ces molécules va à l’encontre de tout ce qu’on m’a appris et que je transmets à mes étudiants. »

Pr Gilbert Deray, chef du service Néphrologie à la Pitié Salpêtrière :

« La science, la médecine, les indications thérapeutiques ne sont plus décidées par des articles publiés dans des revues, avec des experts, elles sont décidées sur Facebook et Twitter. Je suis sidéré que des personnalités de tout bord, de tout genre, puissent dire à ceux qui les écoutent : « Mais c’est comme ça qu’il faut que vous soyez traités ». […] Des politiques qui disent : « Je viens de recevoir de la chloroquine pendant 7 jours, je suis guéri, prenez-en ». C’est l’antithèse de ce qu’est la médecine, ils ne se rendent pas compte. D’abord, ils ne se rendent pas compte que c’est stupide, complètement : je le dis avec fermeté. Ils ne se rendent pas compte surtout de l’impact qu’ils ont. Je ne comprends pas que certains hommes politiques, médecins, anciens médecins, disent : « J’ai appelé le gouvernement pour qu’il donne ce traitement ». Parce que l’étude a montré que… Au mépris de ce que tous les gens qui ont lu ces études disent. […]

Je suis triste, très en colère. Et ça me met très en colère, parce que, ce que je crois, c’est que les fractures au sein de la société, ça va créer des morts. Il faut savoir que dans les équipes médicales, il y a des débats autour de ce problème-là, et que ça épuise tout le monde. Il faut savoir aussi que les études en cours, qui visent à montrer l’efficacité du médicament, sont freinées en ce moment, parce que les patients ne veulent plus y rentrer. […]

Il faut savoir que lorsqu’on nous dit « Oui, mais c’est une période spéciale de guerre, il faut faire vite ». Mais qui a dit qu’il ne fallait pas faire vite ? On pouvait faire les mêmes études, très vite, dans les mêmes délais, avec un vrai résultat. Et donc, je vais vous dire une dernière chose là-dessus. Quand on me dit, ou quand on nous dit : « Il ne faut pas mettre de gens sous placebo dans cette période, ce n’est pas bien, ce n’est pas éthique ». Je pense exactement le contraire. Parce qu’on ne sait pas si ça marche. Savez-vous si, quand vous mettez des gens sous placebo, ils vont aller mieux ou moins bien ? Je vous rappelle que la chloroquine, efficace dans un tube sur le chikungunya, aggrave chez l’homme les symptômes du chikungunya. Je ne sais pas, moi, si ce traitement est efficace ou s’il va aggraver. Et pour 20 à 30 personnes qu’on aurait mis sous placebo, on aurait la réponse, on en aurait sauvé des millions d’autres. »

François Séverac, méthodologiste et médecin biostatisticien à l’hôpital civil de Strasbourg (source) :

« Vu les problèmes méthodologiques et vu le nombre de biais dans l’étude, qui est totalement préliminaire, on ne peut pas en confirmer les résultats. En revanche, si tous les biais de cette étude empêchent de démontrer que le traitement fonctionne, cela ne veut pas dire qu’il ne fonctionne pas. »

Nicolas Martin, présentateur de La Méthode scientifique sur France Culture (source) :

« Dans l’esprit collectif, beaucoup semblent croire que ce sont juste des scientifiques et des journalistes scientifiques qui râlent alors qu’il y a des résultats positifs : mais non, il n’y a pas de résultats positifs que l’on peut attester. L’étude ne respecte aucune méthode, alors c’est comme construire un mur sans ciment, si on s’appuie dessus, il s’écroule. »

Et terminons par une vision de l’étranger (que nous appelons à prendre au conditionnel) – Pr David Gorski, chirurgien oncologue, professeur à la Wayne State University (source : site Science-Based Medecine) :

« Il se trouve que l’équipe de Didier Raoult a joué encore plus vite et plus lâchement avec les données de cet essai que mon article ne l’indiquait. Pire encore, cette équipe de Raoult [semble avoir] une histoire documentée de fabrication de données, probablement en raison de sa manière tyrannique de diriger l’Institut et de sa pression pour avoir des résultats, où il humilie publiquement les étudiants, les post-doctorants et les chercheurs qui ne produisent pas les résultats qu’il souhaite. […]

Il est craint dans la communauté scientifique française en raison de sa propension à utiliser son pouvoir et son influence pour faire taire les critiques. […]

Il a également déclaré : « Moi, je n’ai jamais fait d’essais randomisés […] L’effet des trucs randomisés, peut-être que ça marche quand on fait 100 000 personnes qui ont eu un infarctus du myocarde, mais mettre ça dans des maladies infectieuses, ça n’a pas de sens. C’est idiot. »

Cela explique en grande partie pourquoi le protocole de son essai démontrait une telle incompétente.

Dans l’ensemble, Raoult me ​​semble être un «brave franc-tireur» qui aurait pu être un grand scientifique à son apogée, mais qui est maintenant devenu arrogant et dictatorial et qui est dorénavant un grave exemple de l’effet Dunning-Kruger.

Il n’a aucune expertise dans les essais cliniques et conteste même l’utilité des essais cliniques randomisés dans les maladies infectieuses.

Tout ce qu’il publie sur le Covid-19 doit donc être pris avec beaucoup de précautions. »

VIII. Résumé des problèmes rencontrés

Voici un résumé des principaux problèmes, erreurs et fautes :

1. il est très difficile de déterminer les dates calendaires de début et de fin de cet essai clinique ;
2. l’essai n’est pas « randomisé » ;
3. le groupe contrôle comprend des caractéristiques particulières, qui peuvent faire varier l’efficacité du traitement sur eux ;
4. le groupe contrôle est notablement plus petit (d’un tiers) que le besoin de 24 issus de la propre analyse statistique de l’équipe ; le groupe testé aussi (20 contre 24) ; l’échantillon est au final trop petit, il ne permet de tirer aucune conclusion ;
5. il n’y pas de groupe contrôle avec placebo ;
6. le groupe contrôle est éparpillé dans 3 autres centres, sans répartition des malades au sein de chaque centre ;
7. les investigateurs ont balayé 5 échecs (dont 1 mort et 3 passage en réanimation) de l’étude, en les faisant passer pour des perdus de vue ;
8. il n’y pas d’indication sur les raisons des aggravations constatées (décès, réanimation) ;
9. 2 patients ont 10 ans, alors que le protocole prévoit qu’il faut avoir 12 ans pour intégrer l’essai ;
10. le statut clinique au 6^e jour n’est pas connu (les gens qui n’ont plus de virus dans le nez sont-ils tous guéris ?) ;
11. des asymptomatiques (mais pas qu’eux) dont l’ancienneté dans la maladie n’est pas connue ont été intégrés ;
12. il y a des doutes sur le sérieux et la fiabilité du recueil des données des tests des centres des groupes contrôles ;
13. il n’y a presque jamais d’indication d’intervalles de confiance dans les tableaux et les graphiques ;
14. les tests réalisés ne sont pas hautement fiables (le pourcentage de positifs était par 3 fois croissant dans le groupe contrôle) ;
15. l’équipe Raoult tente de comparer sans aucun autre élément des rapidités de guérison en chine en janvier et à Marseille en mars ;
16. l’équipe Raoult confond des durées moyennes et médianes sur une donnée fondamentale pour se comparer à la Chine ;
17. il n’est pas certain que les seuils minimaux de détections soient les mêmes à Marseille et dans les autres centres, ni entre Marseille et la Chine (ni même dans cet essai et dans les mesures quotidiennes des testés à Marseille) ;
18. enfin, les résultats présentés avec enthousiasme sont pourtant un échec par rapport aux objectifs au moment du démarrage.

IX. Vers une rétractation

Terminons par la réaction de la Société Internationale de Chimiothérapie Antimicrobienne (ISAC), qui a publié ce communiqué (source) :

« Hydroxychloroquine and azithromycin as a treatment of COVID-19: results of an open-label non-randomized clinical trial [hydroxychloroquine et azithromycine comme traitement du Covid-19 : résultats d’un essai clinique ouvert non randomisé] (Gautret P et al. PMID 32205204)

L’ISAC partage les préoccupations concernant l’article ci-dessus publié récemment dans l’International Journal of Antimicrobial Agents (IJAA). Le conseil d’administration de l’ISAC estime que l’article ne répond pas aux normes attendues de la Société, notamment en ce qui concerne le manque de meilleures explications des critères d’inclusion et le tri des patients pour assurer la sécurité des patients.

Malgré certaines suggestions en ligne quant à la fiabilité du processus d’examen par les pairs de l’article, le processus a respecté les règles d’examen par les pairs du secteur. Compte tenu de son rôle de rédacteur en chef de cette revue, Jean-Marc Rolain n’a eu aucune implication dans la revue par les pairs du manuscrit et n’a pas accès aux informations concernant sa revue par les pairs. L’entière responsabilité du processus d’examen par les pairs du manuscrit a été déléguée à un éditeur associé.

Bien que l’ISAC reconnaisse qu’il est important d’aider la communauté scientifique en publiant rapidement de nouvelles données, cela ne peut pas se faire au détriment du contrôle scientifique et des meilleures pratiques. Les deux rédacteurs en chef de nos revues (IJAA et Journal of Global Antimicrobial Resistance) sont entièrement d’accord.

Andreas Voss – Président de l’ISAC – 3 avril 2020 »

Il s’agit là d’une déclaration très rare, même si on comprend que c’est le service minimum, car la société a refusé de tirer toutes les conséquences de cette triste affaire, en ne retirant pas cet article, qui n’a même aucun avertissement dans sa version en ligne.

C’est hélas une nouvelle preuve du manque de déontologie qu’on observe parfois dans l’édition scientifique.

Enfin, comme le rappelle Leonid Schneider, l’éditeur est bien Elsevier.

Signalons enfin plusieurs lanceurs d’alertes sur cet essai : Leonid Schneider (@schneiderleonid ; voir cet article) ; Elisabeth Bik (@MicrobiomDigest ; voir cet article), mais aussi @Damkyan_Omega, @AndrewALover et @GaetanBurgio – et plus généralement l’incroyable communauté PubPeer.

La non-rétractation de cet article constituerait une seconde honte scientifique.

 

Mais l’histoire ne s’arrête pas là, nous allons la poursuivre dans un prochain billet…

P.S. Vous pouvez vous abonner ici pour recevoir par email notre Newsletter avec nos prochains articles, et à nous soutenir en vous abonnant à notre page Facebook ou comptes Twitter (ici et là)

(Billet édité – merci de vos précieuses remarques)