Non-protection des vulnérables Covid-19 : Les 30 erreurs scientifiques du gouvernement

Un chiffre qui résonne comme un véritable scandale : la suppression de la protection des personnes vulnérables résulte de l’accumulation d’une trentaine d’erreurs scientifiques de la part du gouvernement français…

Le Gouvernement a fourni un document au Conseil d’État afin d’expliquer sur quelles bases scientifiques il avait décidé de réduire la liste des personnes vulnérables protégées.

Ce document cite deux études censées justifier son choix de réviser la liste des personnes vulnérables Covid-19.

Comme l’analyse des études scientifiques médicale est une de nos spécialités, nous nous sommes penchés sur ces études et sur l’interprétation qu’en a fait le Gouvernement.

Après analyse, nous sommes parvenus à identifier pas moins de 30 erreurs de méthodologie ou d’interprétation de la part du Gouvernement, la plus extraordinaire étant qu’il a mis en danger des dizaines de milliers de personnes en se basant sur une seule étude, qui avait pourtant été rapidement identifiée à l’international comme une étude trompeuse à ne surtout pas utiliser – du moins pas de la façon dont le gouvernement l’a fait…

L’étude OpenSAFELY Williamson et al. (2020) : un exemple « d’Erreur du Tableau 2 »

Erreur n°1 :

Le Ministre expose ceci dans sa communication écrite du 9 octobre :

Cet élément est évidemment central dans le contentieux contre le décret du 29 août. Nous disposons enfin des explications complètes quant aux raisons de la modification du périmètre de protection des personnes vulnérables. Hélas, comme nous le craignions, ces explications ne font que confirmer la multiplication des erreurs manifestes d’appréciation ayant conduit à ce choix.

Il convient tout d’abord de rappeler le lien avec les avis du HCSP. En effet, l’explication complète du ministre était la suivante :

« En outre, les connaissances des facteurs de risque ont également évolué. L’avis du HSCP du 23 juillet 2020 souligne que si les comorbidités indiquées dans ses avis du 31 mars et du 20 avril restent pertinentes, elles ne fournissent pas de précision sur les caractéristiques évolutives de chacune des pathologies, en particulier les plus fréquentes, permettant de déterminer des seuils à partir desquels il existe un risque réel ou significativement plus élevé de forme grave. Dans ces conditions, le pouvoir réglementaire a pu régulièrement ne réserver l’activité partielle qu’au regard de pathologies présentant les plus forts niveaux de risque, ce qui ne saurait caractériser une erreur manifeste d’appréciation. »

Le Ministre indiquait donc dans ce paragraphe que :

1. Les connaissances des facteurs de risque ont évolué ;
2. Mais que le HCSP lui a indiqué que sa liste des facteurs de risque n’a pas évolué ;
3. Mais que cependant, il n’est pas possible au HCSP de définir les pathologies présentant les plus forts niveaux de risque ;
4. Et que, dès lors, le pouvoir réglementaire a conservé dans le décret du 29 août les pathologies présentant les plus forts niveaux de risque.

Rappelons que nous avons étudié en détail ces relations entre le Ministère et le HCSP : Comment le Gouvernement a réduit à néant la protection des personnes vulnérables

Il est donc désormais évident que, comme cela apparaissait dans ses interrogations du HCSP, le pouvoir réglementaire a cherché à réduire la liste des personnes vulnérables protégées, en cherchant à identifier les « plus vulnérables des vulnérables », en cherchant, comme il l’indique à « déterminer des seuils » visant à identifier des personnes « à très haut risque vital ». C’était évident dans la saisine du HCSP par la DGS le 15 juillet 2020 :

Or l’article 20 de la loi n° 2020-473 du 25 avril 2020 dispose que doit être protégé le salarié qui « est une personne vulnérable présentant un risque de développer une forme grave d’infection au virus SARS-CoV-2 ». Ainsi, nous soutenons qu’en entreprenant une claire démarche visant à faire un « tri » entre des personnes vulnérables (ce qui est totalement différent de supprimer de la liste certaines pathologies dont l’absence de vulnérabilité aurait été prouvée par des avancées scientifiques), le Gouvernement a commis une première erreur scientifique sur ce sujet.

Erreur n°2 :

Par ailleurs, le HCSP a clairement répondu dans son avis du 23 juillet au pouvoir réglementaire qui lui demandait de réaliser un tel tri que c’était impossible : « En raison de l’impossibilité de distinguer des personnes « à très haut risque vital » ». Il n’est même nul besoin de lire les 14 pages de l’avis, tout est clairement résumé en quelques lignes sur le site du HCSP (source) :

Or, comme le montre la réponse du 9 octobre, le pouvoir réglementaire n’a pas accepté la recommandation du HCSP, et a poursuivi ses travaux de « tri » des vulnérables. Nous soutenons qu’en poursuivant sa démarche de « tri » malgré l’avertissement du HCSP quant à l’impossibilité scientifique de le faire au vu des connaissances actuelles, le Gouvernement a commis une deuxième erreur manifeste sur ce sujet.

Erreur n°3 :

En ne demandant pas fin août au HCSP son avis sur l’opportunité ou non de réviser la liste des pathologies, et de supprimer la protection de tous les conjoints de personnes vulnérables, le Gouvernement a commis une troisième erreur manifeste sur ce sujet.

Erreur n°4 :

On note que le HCSP a cependant clairement alerté l’administration sur le fait que « les trois comorbidités les plus à risque en France (HTA, pathologies cardiaques, diabète) ». En sortant le 29 août de la liste des critères de vulnérabilité, l’hypertension artérielle (HTA) et les pathologies cardiaques, sans même demander son avis au HCSP, le Gouvernement a commis une quatrième erreur manifeste sur ce sujet.

Erreur n°5 :

Par rapport à la première recommandation du HCSP, en modifiant le décret du 5 mai en ne donnant aucune information ciblée aux populations vulnérables quant aux risques de forme grave, et en particulier, comme nous l’avons vu, sur le caractère très imparfait de la protection offerte par un masque chirurgical, le Gouvernement a commis une cinquième erreur manifeste sur ce sujet.

Erreur n°6 :

Par rapport à la deuxième recommandation du HCSP, en modifiant le décret du 5 mai en ne prenant aucune mesure législative ni réglementaire visant à imposer pour les employeurs de personnes anciennement protégées une obligation d’accorder le télétravail quand il est possible, et comme le demandaient les associations de malades (source), le Gouvernement a commis une sixième erreur manifeste sur ce sujet.

Erreur n°7 :

Par rapport à la troisième recommandation du HCSP, en modifiant le décret du 5 mai en ne prenant aucune mesure législative ni réglementaire visant à imposer un accord du médecin du travail pour qu’une personne anciennement protégée reprenne son activité en présentiel, et comme le demandaient là encore les associations de malades (source), le Gouvernement a commis une septième erreur manifeste sur ce sujet.

Erreur n°8 :

Cependant, le HCSP n’a pas été le seul outil à ne pas avoir été utilisé. Comme nous l’avons souligné, dès le 9 septembre, le Président du Conseil scientifique du Gouvernement a souligné le problème d’avoir modifié le décret du 5 mai, à un moment « qui tombait très mal » :

Bien que le simple bon sens commandait de ne pas modifier le décret du 5 mai, en ayant pris la décision contraire en n’ayant pas consulté le Conseil Scientifique, et en ne tenant pas compte de ses interventions publiques postérieures à la publication du décret, le Gouvernement a commis une huitième erreur manifeste sur ce sujet.

Erreur n°9 :

Comme il l’a finalement indiqué, le pouvoir réglementaire a donc choisi de ne pas écouter ni consulter ses experts scientifiques avant de publier le décret du 29 août.

Nous allons maintenant détailler les nombreux problèmes purement scientifiques des deux études évoquées par le gouvernement. Nous avons interrogé quatre experts internationaux que nous avons mandatés pour éclairer le Conseil d’État, étant donné qu’ils étaient intervenus pour critiquer l’étude Williamson lors de sa publication. Il s’agit :

• du docteur Taylor McLinden, épidémiologiste, le directeur scientifique et de la qualité du Centre d’excellence de lutte contre le Sida de la Colombie Britannique, au Canada. Expert réputé, il est le créateur de la chaîne Youtube destinée aux épidémiologistes, Intuitive EPI ;
• de Maarten van Smeden, statisticien travaillant dans le groupe des méthodes épidémiologiques du Julius Center for Health Sciences and Primary Care au CHU d’Utrecht aux Pays-Bas. Ce chercheur donne régulièrement des cours internationaux d’épidémiologie, de statistiques et de modélisation ;
• du docteur Peter Tennant, Professeur en science des données de santé au Leeds Institute for Data Analytics, Université de Leeds. Il est spécialisé en Data Science, Épidémiologie, Biostatistique et Inférence causale ;
• du docteur Daniel Westreich, professeur agrégé d’épidémiologie à l’Université de Caroline du Nord à la Gillings School of Global Public Health de Chapel Hill. Il a obtenu le prix Bernard G. Greenberg d’excellence en recherche doctorale. Il est l’auteur du livre de référence Epidemiology by Design, et de l’article The Table 2 Fallacy: Presenting and Interpreting Confounder and Modifier Coefficients publié dans l’American journal of epidemiology. C’est un des spécialistes mondiaux de l’« Erreur du Tableau 2 », dont nous allons reparler.

Profondément choqués par la gravité des erreurs commises par le pouvoir réglementaire français, ils ont tous pris du temps sur le week-end pour éclairer le Conseil d’État.

En effet, le ministre indique ceci dans sa réponse, et joint le graphique suivant, surligné en jaune (attention, il est en échelle logarithmique, rendant les écarts trompeurs) :

Ainsi, le Ministre indique donc que, mis à part le cas particulier des diabétiques, il a fondé son appréciation sur une étude unique, l’étude Williamson et al., parue dans Nature le 8 juillet 2020, qui utilisait la base de données des consommations médicales au Royaume-Uni OpenSAFELY (source) ; c’est donc une étude de cohorte :

On note l’absence dans ce tableau :

• des patients atteints de cirrhose au stade B du score de Child Pugh au moins (9° de la liste du 5 mai), donc cette étude n’a pas pu justifier leur exclusion ;
• des personnes présentant un syndrome drépanocytaire majeur ou ayant un antécédent de splénectomie (10° de cette liste), donc cette étude n’a pas pu justifier leur exclusion ;
• des femmes au troisième trimestre de grossesse (11° de cette liste), donc cette étude n’a pas pu justifier leur exclusion.

Peter Tennant l’a bien souligné : « Que dire de l’exclusion des femmes enceintes ? Qui ne repose donc que sur leur absence d’évaluation dans cette étude (une super base scientifique donc). »

En excluant ces pathologies sans aucune base scientifique, le Gouvernement a commis une neuvième erreur manifeste sur ce sujet.

Erreur n°10 :

Par ailleurs, il ressort par exemple de l’observation du tableau, et de l’application de la méthodologie indiquée par le pouvoir réglementaire que :

• l’étude montre que les obèses de classe II et III (une partie du 7° de la liste du 5 mai) sont plus vulnérables que les cancéreux, donc elle n’a pu justifier leur exclusion ;
• l’étude expose qu’une « chronic respiratory disease »(4° de la liste du 5 mai) est un facteur de risque plus important qu’un cancer détecté depuis moins de 5 ans (malheureusement tous les cancers ne sont pas traités en moins d’un an). Elle n’a donc pu justifier l’exclusion des insuffisants respiratoires par rapport aux cancéreux.

Les propres données citées comme référence par le Ministre établissent ainsi ses erreurs.

Maarten van Smeden l’a bien souligné :

« Par ailleurs, en utilisant cet article tel qu’ils l’ont fait, l’argumentaire d’enlever des personnes de la liste des vulnérabilités n’est pas compréhensible. Si les personnes atteintes d’un cancer sous traitement sont conservées sur la liste, pourquoi les critères ont-ils changé sur les personnes âgées de plus de 65 ans ? Ou encore les personnes diabétiques, les personnes obèses, et les personnes ayant des problèmes cardiovasculaires ou cérébro-vasculaires. Tous présentent des associations semblables avec la mortalité par Covid dans cette étude issue du système de soins primaires. »

Peter Tennant l’a également noté :

« Déjà, en ne s’intéressant qu’au graphique sans aucun œil critique sur l’interprétation qu’on peut en faire, le choix des pathologies retenues semble un peu aléatoire, certaines pathologies non retenues ont des HR situés dans l’intervalle de confiance de pathologies retenues dans le décret (obésité de haut grade, pathologie respiratoire chronique, pathologie hépatique, pathologie neurologique par exemple). Leur règle était tordue, ou posée de travers ? »

Ainsi, en excluant ces pathologies sur une base scientifique totalement étonnée, le Gouvernement a commis une dixième erreur manifeste sur ce sujet.

Erreur n°11 :

Il est évident à la lecture du tableau que le pouvoir réglementaire n’a pas tenu compte des incertitudes de mesure pour choisir les pathologies, ce qui est un problème méthodologique. Le Gouvernement e a ainsi commis une onzième erreur manifeste sur ce sujet.

Erreur n°12 :

Le pouvoir réglementaire s’est contenté de mesurer le surrisque individuel sans se préoccuper de la fréquence des pathologies. Avec cette logique, il pourrait avoir décidé de protéger une population de 1 000 personnes au surrisque de 400 % et pas une population de 50 000 personnes au surrisque de 200 %, ce qui est une aberration au niveau de la Santé publique. Le législateur ayant entendu limiter au maximum le nombre de décès de personnes actives, en n’analysant pas les impacts de sa décision en termes de fréquence de population protégées, le Gouvernement a commis une douzième erreur manifeste sur ce sujet.

Peter Tennant a également soulevé ces deux derniers points :

« le choix ne semble tenir aucun compte de la fréquence des pathologies, ou de l’incertitude de l’estimation (la largeur de l’Intervalle de Confiance IC). Exclure les pathologies respiratoires parce que l’estimation ponctuelle est plus proche de 1 que pour les patients souffrant « d’immunosuppression d’autre origine » par exemple, est absurde : ces pathologies respiratoires me semblent bien plus fréquentes, et vu la largeur de l’intervalle de confiance, on est assez sûr du besoin de protection de ces personnes… La certitude qu’on a de ce facteur de risque (tiré de cette étude, mais aussi de connaissances externes!!) me semble largement compenser la « faiblesse » de l’estimation ponctuelle (qui n’a en fait rien de faible, le HR est proche de 2!). Idem pour les pathologies cardiaques. »

Erreur n°13 :

Comme le gouvernement a basé toute sa politique de protection des vulnérables Covid-19 sur cette seule étude, on pouvait raisonnablement s’attendre à ce qu’il s’assure de sa solidité. Pour ce faire, il y a généralement 4 étapes :

1. Vérifier si des articles de presse ou de blogs spécialisés critiquent l’étude ;
2. Analyser les réponses et analyses de pairs publiées dans des revues à comité de lecture ;
3. Analyser les réactions de pairs dans les sites spécialisés et les réseaux sociaux ;
4. En fonction de l’importance accordée à l’étude, contacter directement l’auteur pour s’assurer qu’il ne soit pas apparu des problèmes après publication.

Commençons par le premier point. L’étape la plus simple consiste à simplement utiliser Google, avec les termes « Williamson OpenSafely » (source) :

Le premier résultat est évidemment l’étude elle-même, publiée dans Nature le 8 juillet, le deuxième résultat est la pré-publication de l’étude le 7 mai, et le troisième résultat est un article du site du Vidal du 14 mai 2020 consacré à l’étude Williamson (source) :

Cette étude Williamson est en réalité devenue, comme on le voit, un exemple emblématique d’une erreur assez fréquente chez les personnes non sensibilisées à l’épidémiologie, et dite « Erreur du Tableau 2 ». Voilà comment le Vidal l’explique :

En fait, le hasard a fait que, dans l’étude Williamson, les données trompeuses sont dessinées sur la « Figure 3 », mais elles sont bien issues des chiffres figurant dans le « Tableau 2 » de l’étude…

Il y a en particulier une donnée qui saute aux yeux et qui montre parfaitement qu’il y a un problème, c’est le tabac :

La figure montre que, par rapport à une personne n’ayant jamais fumé, prise pour référence, le fait d’être un fumeur actif diminuerait la mortalité, mais être un ancien fumeur, l’augmenterait. Cela ne semble avoir aucune sens ni cohérence, pour une maladie qui s’attaque aux poumons. Le Vidal l’explique ainsi :

Dans certains cas, on peut même arriver à des résultats totalement contre-intuitifs, et trompeurs, c’est le paradoxe de Simpson, que nous avons déjà présenté sur ce site, dans l’article Le « Paradoxe de Simpson » ou comment ne pas se faire avoir par les statistiques [1]. Un simple exemple chiffré adapté à cet exemple le montrera. Imaginons que nous ayons une population de 200 personnes qui est contaminée par le coronavirus, et que 20 (10 %) soient hospitalisés :

Il n’y a ici aucune surprise, les patients avec des pathologies ont 10 fois plus de chances d’être hospitalisés. Le paradoxe de Simpson surgit quand on scinde la population suivant les deux critères :

Il n’y a ici aucune surprise, les patients avec des pathologies ont 10 fois plus de chances d’être hospitalisés. Le paradoxe de Simpson surgit quand on scinde la population suivant les deux critères :

On constate donc que, alors que les fumeurs ont moins de chance d’être hospitalisés quand on regarde les 200 malades, si on scinde cette population en deux sous-groupes de 89 et 111 personnes suivant la présence ou non de comorbidités, dans chacun des sous-groupes, les fumeurs ont cette fois plus de chance d’être hospitalisés : c’est le paradoxe de Simpson.

Cela s’explique simplement : tous les facteurs étudiés ne sont pas indépendants, et les groupes analysés n’ont pas été tirés au sort. Il est probable que, si on regarde les malades d’un service de réanimation, on y trouve peu de fumeurs. Mais ce n’est pas parce que le tabac protège, c’est car le coronavirus s’attaque en particulier aux obèses, aux cardiaques, aux insuffisants respiratoires. Et quel est le premier conseil que donne tout médecin aux obèses, aux cardiaques, aux insuffisants respiratoires ? De ne pas fumer, ce qui explique qu’il y ait peu de fumeurs en réanimation…

La conclusion est donnée par l’article du Vidal :

Il ne faut absolument jamais non seulement tirer des conclusions de causalité de ce genre d’étude, mais également jamais comparer des facteurs entre eux, ni même être certains du résultat obtenu. En réalité, un tel « Tableau 2 » est largement non interprétable sur des facteurs corrélés entre eux.

Ainsi, de par son caractère surprenant, le résultat concernant le tabac a pu alerter le lecteur, et l’exemple que nous donnons montre qu’il n’est en réalité pas exploitable, tant il est entaché de biais. Mais en réalité, ce phénomène ne touche pas que le Tabac, mais pratiquement toutes les pathologies listées dans la Figure 3 utilisée par le Ministre… On ne peut donc rien conclure de cette étude en termes de Santé Publique.

Or, c’est exactement ce qu’a fait le Gouvernement français, qui a probablement commis ainsi l’Erreur du Tableau 2 au plus fort impact de l’histoire récente.

C’est exactement ce qu’expliquent les quatre épidémiologistes dans leurs avis que nous soumettons en pièces. En voici un résumé :

Taylor McLinden :

« Si l’on s’intéresse aux « effets causaux » ou aux rapports de risque ajustés qui reflètent un biais minimal, l’erreur du tableau 2 devient un problème. […] Cette erreur est un problème dans Williamson EJ, et al. (2020) parce qu’elle analysait des données d’observation (non randomisées). Par conséquent, pour répondre à votre question : je suis d’avis qu’il ne faut pas prendre de décisions fondées uniquement sur les conclusions de l’étude Williamson EJ, et al. (2020). […] Par conséquent, étant donné le nombre d’études publiées chaque jour sur COVID-19, oui – il n’est pas recommandé de refuser de protéger certains groupes uniquement en raison des résultats d’une seule étude (comme l’étude Williamson EJ, et al. (2020)). »

Daniel Westreich :

« L’étude de Williamson et al. a été construite à partir de multiples rapports de risques […] il est extrêmement difficile d’interpréter un paramètre individuel d’un tel modèle de manière à prendre des décisions politiques. […] Le gouvernement français considère-t-il ces « facteurs de risque » comme des estimations d’effets de causalité ? Toute interprétation directement causale de ces estimations doit être considérée comme invalide à première vue. […] interpréter ces estimations comme des estimations individuelles de l’effet causal revient à commettre l’erreur du tableau 2. Le gouvernement considère-t-il ces « facteurs de risque » comme des prédicteurs de qui est à haut risque ? […] une association ajustée pour d’autres facteurs n’a pas d’interprétation claire en termes descriptifs ou prédictifs. Dans aucun de ces deux cas, les ratios de risque individuels de la figure 3 de l’étude Williamson et al. ne semblent pas constituer une bonne base pour définir une politique de santé publique.

Si l’objectif est de protéger les travailleurs qui, s’ils attrapaient le COVID-19, présenteraient le risque le plus élevé de maladie grave, alors le critère d’évaluation utilisé par Williamson et al. pourrait ne pas être informatif. Supposons (par exemple) que les personnes atteintes de maladies respiratoires chroniques figurant dans les données de Williamson et al. (i) soient mieux protégées dans ce pays et donc MOINS susceptibles de contracter la COVID-19 au départ, mais (ii) qu’en cas d’infection, elles soient PLUS susceptibles de mourir.

Si cela était vrai, nous pourrions alors observer une association globalement modeste entre les maladies respiratoires chroniques et les décès liés à la COVID-19. Pourtant, exposer ces personnes à un risque d’infection plus élevé [NdT : en les renvoyant au travail] ne serait pas compatible avec la protection de la santé publique. […] En conclusion, je ne pense pas que l’étude de Williamson et al. soit une base utile ou appropriée pour prendre les décisions politiques [NDT prise dans le décret du 29 août]. »

Peter Tennant :

« Il est inapproprié d’interpréter les rapports de risque pour chacun des termes du modèle de Cox à plusieurs variables parce qu’ils n’ont aucune signification ou interprétation dans le monde réel. L’utilisation de ces valeurs non interprétables pour prendre des décisions cliniques et/ou politiques serait erronée et potentiellement dangereuse. La situation que vous décrivez – où les ratios de risque des termes du modèle sont utilisés pour informer les politiques – est un exemple très grave d’ »erreur du tableau 2″. C’est une erreur d’interpréter les ratios de risque ajustés comme ayant une signification (causale) dans le monde réel. Ce serait en effet une erreur d’utiliser les « ratios de risque ajustés » de cette étude pour prendre des décisions cliniques et/ou politiques. Les rapports de risque ajustés ne peuvent et ne doivent tout simplement pas être interprétés. »

Maarten van Smeden :

« Il est dangereux d’utiliser les résultats de l’étude de Williamson pour orienter les mesures de protection (y compris la suppression de ces mesures) des groupes à risque de COVID-19 grave. Pour comprendre qui est à risque grave, il faut comprendre comment la suppression des mesures affecte un certain groupe présentant des comorbidités, telles que les personnes souffrant de maladies cardiaques chroniques, ce qui nécessite à son tour de comprendre le mécanisme causal des comorbidités sur le pronostic de COVID-19. L’erreur du tableau 2 a effectivement affecté les résultats [de Williamson et al.].

Ce sophisme signifie que la régression de Cox à plusieurs variables doit être interprétée avec beaucoup de prudence : il s’agit simplement d’associations qui sont simultanément ajustées les unes par rapport aux autres. Pour tout facteur particulier de l’analyse, cela peut entraîner une surestimation ou une sous-estimation sérieuse de l’association causale. Cette étude ne doit pas être utilisée pour prendre des décisions politiques. Comme mentionné ci-dessus, elle ne repose pas sur une base causale. S’appuyer sur l’analyse des facteurs de risque de l’étude Williamson pour prendre des décisions concernant les personnes à protéger et celles à ne pas protéger risque de causer des dommages graves et évitables. »

Le Docteur Ben Goldacre, coauteur de l’étude ayant supervisé l’étude en question, nous a également affirmé qu’il ne fallait pas raisonner de la sorte :

« Nous ne pouvons pas commenter les processus décisionnels particuliers en France. En général, notre recommandation serait que les décisions politiques soient basées sur l’ensemble des preuves issues de différentes études (et aussi, par exemple, qu’elles tiennent compte des niveaux de risque absolus dans différents groupes, plutôt que des seuls ratios risques/dangers relatifs).

L’ « erreur du tableau 2 » se produit lorsque des conclusions causales inappropriées sont tirées d’un modèle multivariable. Notre document ne contient aucune conclusion causale de ce type. Cependant, dans tous les cas, cela peut ne pas être une considération pertinente dans les applications qui visent simplement à identifier les groupes à haut risque, par exemple pour informer la politique de protection. En effet, même les facteurs non causaux peuvent être efficaces pour identifier les groupes à haut risque. »

En effet, « l’erreur de Tableau 2 » n’est en général pas faite dans l’étude elle-même, mais bien par ceux qui la lisent et l’interprètent mal…

Ainsi, en utilisant l’étude Williamson percluse d’erreurs de Tableau 2, le Gouvernement a commis une treizième erreur manifeste sur ce sujet.

Erreur n°14 :

Comme nous l’avons indiqué précédemment, le premier réflexe quand on accorde de l’importance à un article est de regarder s’il a été commenté dans une revue à comité de lecture. Et ça été le cas, justement par Daniel Westreich (source) qui a écrit à Nature au mois de mai :

Il appelait à « résister à la tentation d’interpréter ces résultats en termes de causalité », s’inquiétant alors que des lecteurs de cette étude aient fait cette erreur… sur Twitter.

Ainsi, en ne cherchant pas si une réponse avait été envoyée à l’éditeur, sur une étude aux impacts aussi importants, le Gouvernement a commis une quatorzième erreur manifeste sur ce sujet.

Erreur n°15 :

Plus largement, en ne vérifiant pas que des commentaires sur une telle étude n’avaient pas été publiés ailleurs, le Gouvernement a commis une quinzième erreur manifeste sur ce sujet.

Erreur n°16 :

Le deuxième réflexe quand on accorde de l’importance à un article est de regarder ce qu’en ont dit les pairs. Une simple recherche sur Twitter permet de trouver ces importantes réactions en quelques minutes :

Les problèmes de cette étude sont tels que la chaîne Youtube d’épidémiologie Intuitive EPI lui a même consacré le 4 août une série de 3 vidéos (source), pour expliquer ce qu’est l’erreur de Tableau 2 :

La conclusion est claire : « Complete mess : largerly uninterpretable », « Un bazar complet : largement in-interprétable ».

Ainsi, en ne vérifiant pas l’avis des pairs sur l’étude Williamson malgré ses importants impacts, nous soutenons que le pouvoir réglementaire a commis une seizième erreur manifeste sur ce sujet.

Erreur n°17 :

Enfin, le dernier réflexe face à une étude particulièrement importante consiste à contacter l’auteur pour avoir l’état des commentaires de son travail. Le pouvoir réglementaire ne l’a très certainement pas fait, car l’auteur a même dû, au vu des réactions à la vidéo d’Intuitive EPI, publier une alerte sur son compte Twitter le 5 août (source) pour ne pas interpréter les résultats sous forme de causalité :

Ainsi, en n’interrogeant pas l’auteur de l’étude, le Gouvernement a commis une dix-septième erreur manifeste sur ce sujet.

Erreur n°18 :

Il semble également que le Gouvernement n’a même pas lu l’étude, et qu’il a simplement utilisé sa figure 3. S’il avait lu l’étude, il aurait remarqué cette phrase qui figure dans l’article Williamson, rajouté suite aux remarques de mai lors de la pré-publication : « Nous alertons contre le fait d’interpréter nos estimations comme des critères de causalité »

Maarten van Smeden :

« Comme Williamson et al. l’indiquent clairement : leurs résultats ne peuvent être interprétés comme reflétant des mécanismes de causalité ».

Peter Tennant :

« Idéalement, les « ratios de risque ajustés » n’auraient pas dû être représentés [alignés sur un graphique] pour éviter ce risque, bien que les auteurs ne les interprètent pas ainsi dans le texte de l’article et mettent clairement en garde contre les interprétations causales. »

En ne tenant pas compte cette alerte très claire, le Gouvernement a commis une dix-huitième erreur manifeste sur ce sujet.

Erreur n°19 :

Ce n’est d’ailleurs pas la seule alerte des auteurs qui figure explicitement dans l’étude :

L’étude comporte ainsi des faiblesses importantes : tous les patients suspects n’ont pas été confirmés par des tests, certains décès Covid ont pu être enregistrés en non-Covid, la population n’est peut-être pas bien représentative, et les résultats mélangent, comme on l’a vu, le risque d’infection avec celui de décès après infection… En ne tenant pas compte des faiblesses de cette étude, le Gouvernement a commis une dix-neuvième erreur manifeste sur ce sujet.

Erreur n°20 :

Nous en arrivons au point qui, conjugué avec les deux précédents, laisse à penser que le pouvoir réglementaire n’a pas lu l’étude en détail. Rappelons ce passage de l’explication du Ministre :

Sa réponse indique donc que, pour lui l’hypertension est à « risque faible », d’après la Figure 3.

Comme on l’a vu, c’est typiquement une autre erreur du Tableau 2. Mais le problème ici est que ce point de l’hypertension est précisé noir sur blanc dans l’article de Nature :

Peter Tennant :

« L’effet de l’Hypertension artérielle (HTA) est plus complexe à débrouiller. Mais l’étude est beaucoup plus prudente que les personnes qui ont rédigé ce décret. Les auteurs ne prennent pas pour argent comptant le HR < 1 de l’analyse principale. Ils ont exploré cette association contre-intuitive avec la mortalité, ces résultats sont rapportés dans le texte de l’étude. Il est déjà tout à fait possible qu’un effet délétère soit masqué par la fréquente association de l’HTA avec d’autres comorbidités (quand deux caractéristiques très corrélées sont incluses dans un même modèle, il n’est pas rare de voir que l’effet de l’un « masque » l’effet de l’autre, par exemple si l’effet de l’HTA est masqué par l’effet des pathologies conséquentes de l’HTA).

De plus, les auteurs rapportent qu’il existe une forte interaction entre l’HTA et l’âge. Mon avis est que l’HTA est un facteur de risque, que c’est une pathologie dont la fréquence augmente avec l’âge, que la relation entre l’HTA, l’âge et la mortalité mérite une exploration beaucoup plus complexe qu’un simple modèle multivarié ne tenant pas compte des traitements notamment, et que le simple fait que l’HTA soit associée à un important surrisque de décès (HR de 3) chez les sujets les plus jeunes devrait inviter les auteurs du décret à plus de prudence. »

Maarten van Smeden :

« Ceci est d’ailleurs souligné par les auteurs eux-mêmes, qui prennent l’exemple de certains des résultats (sur le tabac et l’hypertension) expliquant qu’ils ne peuvent pas être compris comme étant causalement liés à la mortalité Covid. Ce raisonnement s’applique à tous les résultats. »

On constate à la simple lecture de l’article que si l’hypertension a un effet légèrement positif sur la Figure 3, c’est parce que les données font apparaitre un effet positif chez les plus de 70 ans, mais très négatif chez les jeunes. L’effet chez les séniors est probablement un pur effet de l’erreur du Tableau 2, corrélé, comme on le lit, à une correction imparfaite des autres facteurs de risque (diabète et obésité).

En revanche, alors que le Ministre indique que l’Hypertension est typiquement l’exemple du faible facteur de risque qui a pu être éliminé grâce à cette étude, il est manifeste que, bien au contraire, selon la méthodologie utilisée par le pouvoir réglementaire (peu important ici qu’elle soit juste ou non), l’hypertension est un énorme facteur de risque des personnes actives : avec un Ratio de risque (HR) entre 2,07 et 3,10 avant 60 ans, il se situe en troisième facteur de risque après l’âge et les transplantations d’organe, mais avant les cancers.

On ne comprend pas comment le Ministre a pu supprimer l’Hypertension dans ces conditions, d’autant que c’est un des facteurs de risques massivement identifié sur la Planète :

En ayant exclu l’hypertension en raison d’une lecture superficielle de sa propre étude, alors qu’il était écrit noir sur blanc dans l’étude, mais pas sur le graphique, que c’est un facteur de risque très important selon sa propre méthodologie, le Gouvernement a commis une vingtième erreur manifeste sur ce sujet.

Erreur n°21 :

L’exemple de l’Hypertension, avec son HR=0,89, est intéressant. L’erreur de Tableau 2 fait qu’on ne sait pas en réalité si le HR vaut 0,8 (<1, donc diminuerait le risque) ou 1,5 (>1, donc augmenterait le risque). Mais l’exemple chiffré indique que, quand bien même il vaudrait bien 0,89, ce n’est qu’une moyenne qui n’empêcherait un HR de 2,5 pour les actifs. Ainsi, en ayant utilisé la Figure 3 pour toutes les pathologies sans se soucier de l’effet de l’âge sur le facteur de risque, par exemple en le demandant à l’auteur de l’étude, le Gouvernement a commis une vingt-et-unième erreur manifeste sur ce sujet.

Erreur n°22 :

Cependant, comme le précise Taylor McLinden :

« Surtout, je dirais qu’aucune décision majeure ne devrait être fondée sur les résultats d’une seule étude. Alors que nous vivons une époque sans précédent, toute publication individuelle aura des forces et des faiblesses ; les décisions devraient être fondées – dans la mesure du possible – sur une accumulation de preuves. Cela peut impliquer des exercices formels de synthèse des preuves (par exemple, des revues systématiques et / ou des méta-analyses) où les différents niveaux de validité internes et externes de chaque étude peuvent être pris en compte. »

Ainsi, en utilisant une seule étude, aux énormes faiblesses, pour décider de modifier la liste (la seconde étude ne concerne que les diabétiques), le Gouvernement a commis une vingt-deuxième erreur manifeste sur ce sujet.

Erreur n°23 :

Enfin, il est à noter que le Ministre a choisi d’utiliser une étude britannique issue de la base de données de santé britannique. Mais comme l’indique Maarten van Smedeng :

« L’article sur les données OpenSafely issues du NHS peut nous servir d’exemple. Il montre que, si les données françaises collectées systématiquement en population étaient mieux organisées, il serait possible pour les chercheurs en France d’effectuer des analyses épidémiologiques en temps réel sur la Covid. Or, dû aux contraintes bureaucratiques et institutionnelles, même le gouvernement français se contente de regarder les données issues d’un autre pays. Il est dommage qu’en France nous n’ayons pas accès aux données sociales et de santé existantes qui nous permettraient de faire ce type d’analyse qui servirait ensuite à examiner plus précisément les liens de causalité entre différents facteurs et la mortalité Covid pour informer les personnes vulnérables et leur entourage des questions importantes. »

Ainsi, en n’utilisant pas les données françaises, ou même en ne mettant pas en place un tel suivi au début de l’épidémie s’il n’existait pas, le Gouvernement a commis une vingt-troisième erreur manifeste sur ce sujet.

L’étude Coronado des diabétiques : un exemple d’étude faussée donc totalement inutile

Erreur n°24 :

Le Ministre cite enfin une seconde étude à l’appui de son propos, concernant les seuls diabétiques :

À ce stade, on comprend mal. Dans l’étude Williamson, selon la méthodologie employée par le Ministre, le Diabète non contrôlé est une pathologie plus à risque que les cancers :

Dès lors, on ne voit pas pourquoi le Ministre ne l’a pas laissé sur la liste, et a cherché sans raison une autre étude, ce qu’il n’a fait pour aucune autre pathologie.

Ainsi, suivant sa méthodologie, en ne conservant pas les Diabétiques non contrôlés dans la liste, le Gouvernement a commis une vingt-quatrième erreur manifeste sur ce sujet.

Erreur n°25 :

Le Ministre a donc retenu l’étude Coronado (source) :

Or, l’étude indique bien que la cohorte Coronado est une cohorte de Diabétiques qui ont attrapé le Covid :

Dès lors, l’étude ne va pouvoir qu’identifier des facteurs de risques supplémentaire chez les diabétiques. Mais, ne contenant que des infectés, elle n’a aucun pouvoir d’analyse de la gravité réelle. On pourra, peut-être, montrer qu’un diabétique vieux et obèse aura 5 fois plus de chances de mourir qu’un diabétique jeune ou maigre, mais on ne saura pas dire si ce dernier a un risque normal, faible ou, déjà, très élevé…

Ainsi, en abandonnant l’étude Williamson pour une étude ne comportant que des diabétiques déjà infectés par le virus, le Gouvernement a commis une vingt-cinquième erreur manifeste sur ce sujet.

Erreur n°26 :

L’étude ne fait que deux pages de texte et ne comprend que deux tableaux. Le Ministre dit que « l’étude épidémiologique Française Coronado révèle que les facteurs de risque essentiels sont liés à l’âge ou au poids et à l’existence de comorbités ». Cependant, l’étude ne dit ceci nulle part. On suppose que le Ministre a pris ces données dans le tableau 1 :

Il y a hélas un sérieux problème dans cette étude, qui figure clairement dans le tableau, mais qui est encore plus clair ici : l’étude ne va porter que sur 56 diabétiques de type 1 hospitalisés :

Autant dire qu’avec un si faible échantillon, il est pratiquement impossible d’obtenir la moindre valeur statistiquement significative, qui se caractérise, en général, par une valeur p (p-value) inférieure à 0,05 (voir ici), signifiant qu’on a 95 % de chance que l’hypothèse soit vraie. Comme on le voit dans le cadre rouge, aucune valeur n’approche 0,05, donc aucune information n’est statistiquement exploitable. Cette étude n’a pas le moindre intérêt si on souhaite en faire une application effective.

Prenons l’obésité. Il n’y a plus que 13 patients obèses Covid-19 dans l’échantillon ; 9 n’ont pas eu de conséquence extrêmement grave, et 4 oui. Le gouvernement en a apparemment déduit que le risque relatif était de 2,34, alors que, comme indiqué, la bonne lecture est « Il y a 95 % de chances que le risque relatif soit compris entre 0,50 et 11,00 », c’est-à-dire que l’obésité soit un facteur de risque qui entraine quelque chose qui se situe entre « une diminution du risque par deux » et « une augmentation du risque par 11 ». Cette information n’a donc aucune utilité.

Hélas, les rédacteurs ne comprennent clairement pas qu’aucune de leurs données n’est exploitable, et ils essaient de tirer des conclusions, ce qui, à ce niveau d’incompétence statistique, fait passer une erreur de Table 2 pour une erreur totalement négligeable :

Ainsi, en abandonnant l’étude Williamson pour une étude ne comportant que 56 diabétiques, ce qui empêche d’en tirer la moindre conclusion fiable, le Gouvernement a commis une vingt-sixième erreur manifeste sur ce sujet.

Erreur n°27 :

Avec une franche ingénuité, les auteurs indiquent ceci :

Ils s’étonnent ainsi que leurs « résultats » sur 56 diabétiques ne concordent pas avec ceux des Britanniques qui viennent de réaliser une étude sur 263 830 diabétiques de type 1, et qui indique, elle, que le diabète est un énorme facteur de risque, avec un ratio de 3,50, se situant, grâce à sa puissance statistique, entre 3,15 et 3,89… Il semble donc que le pouvoir réglementaire n’a pas plus lu cette étude que la précédente, et s’est contenté de survoler les tableaux.

Pourtant, l’information de l’existence d’une publication portant sur plus de 250 000 diabétiques aurait dû conduire le pouvoir réglementaire à la rechercher.

Ainsi, en ne cherchant pas la robuste étude anglaise sur les diabétiques qui venait d’être publiée et qui était clairement mentionnée dans l’étude utilisée par le Gouvernement, ce dernier a commis une vingt-septième erreur manifeste sur ce sujet.

Erreur n°28 :

De plus, une telle recherche était enfantine, connaissant le nombre exact de diabétiques inclus dedans ; c’est le premier résultat Google (source) :

L’étude a été publiée le 13 août 2020 dans The Lancet, donc plus de 2 semaines avant la signature du décret.

On constate à première vue, et en restant prudents, qu’il semble y avoir un énorme surrisque chez les diabétiques actifs.de l’ordre de 6 à 10 pour le Type 1, et 4 à 7 pour le Type 2.

Ainsi, les données facilement disponibles montraient qu’il fallait maintenir la protection des salariés diabétiques. En la supprimant quasiment entièrement, le Gouvernement a commis une vingt-huitième erreur manifeste sur ce sujet.

Erreur n°29 :

De plus, il ressort de ses écritures que le pouvoir réglementaire a considéré, certes sans base statistique sérieuse, avoir identifié dans l’étude Coronado les facteurs de surrisques suivant les diabétiques :

Il pensait probablement avoir enfin identifié avait identifié des vulnérables « à très haut risque vital » qu’il cherchait depuis deux mois : les diabétiques âgés, les diabétiques obèses et les diabétiques avec des comorbidités. Nous avons expliqué précédemment comment, en ne protégeant plus les autres diabétiques, dont il ignorait le risque, il ne respectait pas la volonté du législateur. Mais au moins, pouvait-on espérait qu’il protégerait ceux-ci, comme il pensait les avoir identifiés.

Mais pas, du tout, comme il l’indique : « ces facteurs de risques ont été associés », et, en effet, le décret du 29 août indique que ne restent protégés que les personnes ayant le critère suivant ;

On comprend mal, à la lecture de l’étude Coronado, comment les complications micro (OR 1,01) ou macro vasculaire (OR 0,47) ont pu apparaître dans le décret, alors que, selon les multiples méthodologies erronées du pouvoir réglementaire, cela aurait clairement dû être l’hypertension et la BPCO (COPD).

Mais quoi qu’il en soit, il est évident que Ministre a commis une erreur en cumulant sans raison les critères, au lieu de les séparer.

Maarten van Smeden :

« Sur la nouvelle liste des vulnérabilités, on voit apparaître des interactions entre l’âge et certaines comorbidités : être âgé de 65 ans ou plus ET avoir un diabète associé à une obésité OU des complications micro ou macro-vasculaires. Cependant, ici, chacun des critères, l’âge, le diabète, l’obésité, les maladies cardiovasculaires sont potentiellement associés indépendamment à un surrisque de mortalité Covid. Pourquoi choisir de se focaliser sur un sous-ensemble de patients uniquement ? »

En mettant des ET à la place des OU, le Gouvernement a commis une vingt-neuvième erreur manifeste sur ce sujet.

Erreur n°30 :

Enfin, il est manifeste avec l’exemple du diabète que le gouvernement n’a pas cherché à mettre en place un suivi particulier de cette population, sur le modèle britannique. Sans la constitution d’un appareil statistique et la mise en place de cohortes, il n’est pas possible de disposer de statistiques fiables ; sans statistiques, il n’est pas possible de comprendre ce qui se passe ; sans compréhension, il ne peut y avoir de politiques efficaces. Avec leur suivi de 61,5 millions d’individus, les Anglais l’ont bien compris.

Ainsi, en n’utilisant pas les données françaises sur les diabétiques, ou même en ne mettant pas en place un tel suivi au début de l’épidémie s’il n’existait pas, le Gouvernement a commis une trentième erreur manifeste sur ce sujet.

***

En conclusion, ayant pointé une trentaine d’erreurs manifestes dans le domaine statistique et épidémiologique, il est manifeste que le pourvoir réglementaire a décidé de ne pas écouter ses conseillers scientifiques, et de déterminer seul une nouvelle liste de pathologies, sans validation médicale ou épidémiologique.

Peter Tennant a ainsi probablement assez bien résumé la situation :

« Enfin, si le Haut Conseil de la Santé Publique dit qu’il n’est pas possible d’affiner à l’heure actuelle, c’est un avis d’experts en soi, et les auteurs du décret semblent donc être allés à l’encontre cet avis, sans réelle connaissance de la question. »

On peut au final supposer que si, le gouvernement a agi ainsi, c’est parce qu’il a su qu’il n’obtiendrait pas ces validations, comme on le voit ici avec les déclarations publiques d’une des plus grandes épidémiologistes françaises :

Olivier Berruyer