Pourquoi le nombre de participants à une étude sur la peau compte

« Testé sur 20 personnes » et « testé sur 1 400 personnes » peuvent tous deux figurer dans les petits caractères, mais ils n’ont pas le même poids. Le nombre de participants décide de la part de hasard mêlée au résultat. Voici pourquoi, avec un vrai exemple tiré de la recherche sur l’eczéma, où un petit essai et un grand ont donné des réponses très différentes.

Les petites études sont bruyantes

La peau varie beaucoup d’une personne à l’autre, et d’une semaine à l’autre chez la même personne. L’hiver arrive, un nouveau détergent entre dans la maison, le stress réveille une démangeaison. Dans un petit groupe, quelques personnes qui passent un mois particulièrement bon ou mauvais suffisent à faire bouger la moyenne.

Ce « bruit » joue dans les deux sens :

• Une petite étude peut trouver un gros effet qui n’existe pas. Quelques participants chanceux dans le groupe du produit suffisent.
• Une petite étude peut rater un effet bien réel. Le signal se perd dans le bruit.

Les petites études sont très courantes en recherche sur la peau. Les lignes directrices CONSORT, une norme internationale pour la présentation des essais cliniques publiée dans le BMJ, citent une revue selon laquelle l’essai médian en dermatologie ne comptait que 46 patients, sur 73 essais. Ce n’est pas forcément mauvais : les premières études sont censées être petites. Ça veut simplement dire qu’une petite étude est un indice, pas une réponse.

Un vrai exemple : le petit essai et le grand

Voici une histoire que les chercheurs en eczéma racontent souvent. L’eczéma (dermatite atopique, cette éruption rouge qui démange) commence souvent chez les bébés, et une barrière cutanée fragile semble venir en premier. Question : si les parents hydratent leur nouveau-né chaque jour, peut-on prévenir l’eczéma ?

Le petit essai

En 2014, un essai à répartition aléatoire mené aux États-Unis et au Royaume-Uni a recruté 124 nouveau-nés à risque élevé d’eczéma. La moitié recevait un hydratant sur tout le corps chaque jour, l’autre moitié non. À six mois, le groupe hydraté avait environ deux fois moins de risque d’eczéma. Le résultat était statistiquement significatif et a fait les manchettes.

Mais regardez l’incertitude. Selon l’étude, le risque dans le groupe hydraté se situait quelque part entre 28 % et 90 % du risque de l’autre groupe. C’est une fourchette très large : d’un bienfait énorme à un bienfait modeste. À leur honneur, les auteurs ont écrit clairement que l’idée devait être confirmée par de plus grands essais.

Le grand essai

En 2020, l’essai BEEP, au Royaume-Uni, a mis l’idée à l’épreuve pour de vrai. Il a recruté 1 394 nouveau-nés ayant des antécédents familiaux d’eczéma, d’asthme ou de rhume des foins. À deux ans, 23 % des bébés du groupe hydraté et 25 % du groupe témoin avaient de l’eczéma. Une différence assez petite pour s’expliquer par le hasard. La fourchette des effets plausibles était aussi beaucoup plus étroite que dans le petit essai. Le groupe hydraté a même eu un peu plus d’infections de la peau.

Puis, en 2022, une revue Cochrane (ces revues regroupent tous les bons essais sur une question) a combiné 7 essais totalisant 3 075 bébés. Sa conclusion : hydrater des bébés en bonne santé pendant leur première année ne change « probablement » pas le risque d’eczéma.

Le petit essai n’était pas malhonnête. Il était simplement petit. C’est ainsi que la science est censée fonctionner, et c’est une bonne raison de se méfier de toute allégation fondée sur une seule petite étude.

Ce que veut dire « puissance statistique »

La puissance, c’est la probabilité qu’une étude détecte une vraie différence, s’il y en a une. Les lignes directrices CONSORT le disent ainsi : une étude devrait être assez grande pour avoir une forte probabilité de détecter, de façon statistiquement significative, une différence qui compte vraiment.

Avant de commencer, les chercheurs d’un bon essai estiment la taille de la différence attendue et la variabilité habituelle des résultats. Puis ils calculent le nombre de personnes nécessaires. On fixe souvent la puissance à 80 % ou 90 %. Une étude cosmétique qui n’a jamais fait ce calcul a peut-être recruté le nombre de personnes qui était pratique.

Une faible puissance entraîne aussi une erreur plus discrète. CONSORT prévient que les petites études concluent souvent à tort que les groupes ne diffèrent pas, alors que trop peu de patients ont été étudiés pour l’affirmer. « Aucune différence trouvée » dans une toute petite étude ne veut pas dire « aucune différence ».

Les abandons : comptez qui a terminé

Une étude qui commence avec 200 personnes peut finir avec 150. Qui est parti, ça compte.

Les gens n’abandonnent pas au hasard. Quelqu’un dont la crème piquait, ou qui ne voyait aucun changement, risque plus de ne plus se présenter que quelqu’un qui l’adorait. Si l’analyse ne porte que sur ceux qui sont restés, le produit peut paraître meilleur qu’il ne l’est.

C’est pourquoi CONSORT demande aux essais d’indiquer, pour chaque groupe, combien de personnes ont été perdues après la répartition, et pourquoi. Dans BEEP, par exemple, 1 394 bébés ont été répartis et des données sur le résultat étaient disponibles pour 1 210. Les chercheurs ont analysé chaque bébé dans le groupe où il avait été placé, que les parents aient suivi ou non la consigne, ce qui garde la comparaison équitable. Et l’assiduité n’était pas parfaite : parmi les familles qui ont répondu aux questionnaires, 74 % hydrataient encore leur bébé à 12 mois.

Si une allégation dit « testé sur 60 personnes » mais que les résultats portent sur 41, demandez ce qui est arrivé aux 19 autres.

Les sous-groupes : le résultat caché dans une tranche

Parfois, un produit ne fait pas mieux que la comparaison dans l’ensemble, mais un résultat apparaît dans une tranche du groupe : « chez les femmes de plus de 40 ans », « chez les personnes à la peau très sèche ». Prudence.

Chaque tranche est plus petite que l’étude entière, donc plus bruyante. Et plus on examine de tranches, plus il y a de chances que l’une d’elles paraisse impressionnante par pur hasard. CONSORT souligne que les analyses de sous-groupes comportent un risque élevé de résultats trompeurs, et que celles choisies après avoir regardé les données sont particulièrement susceptibles de ne pas être confirmées par la suite.

La revue Cochrane a procédé avec soin : elle avait prévu ses sous-groupes d’avance (âge, risque familial, un gène lié à l’eczéma, entre autres) et aucun n’a changé le résultat.

La publicité a sa propre version de cette règle. Normes de la publicité, l’organisme d’autoréglementation de l’industrie canadienne, a des lignes directrices sur les sondages qui appuient les publicités comparatives. Elles recommandent un échantillon d’au moins 300 personnes pour une allégation portant sur une grande population, et d’au moins 100 personnes dans tout sous-groupe que la publicité mentionne précisément. Elles visent les sondages plutôt que les essais sur la peau, mais la logique est la même : une allégation sur une tranche exige assez de monde dans cette tranche.

Quoi vérifier

Quand une allégation cite une étude, regardez :

• Combien de personnes ? Pas de chiffre veut généralement dire un petit chiffre.
• Une étude ou plusieurs ? Une seule petite étude positive est un point de départ.
• Quelle est la largeur de la fourchette ? Si l’étude donne une fourchette d’effets plausibles, une fourchette très large signale beaucoup d’incertitude.
• Combien ont terminé ? Comparez le nombre au départ et le nombre analysé.
• Le résultat vedette vient-il de tout le monde ou d’une tranche ? Un résultat dans un sous-groupe doit être confirmé.

Et si vous ou votre enfant avez un problème de peau, la taille d’une étude n’est qu’une partie du portrait. Si l’eczéma ou une éruption ne s’améliore pas après deux semaines de soins doux, consultez votre médecin ou votre pharmacien.

À retenir : plus il y a de participants, moins il y a de hasard dans le résultat. Les petites études sont des premiers pas utiles, mais elles peuvent exagérer ou rater des effets, comme l’ont montré le petit et le grand essai sur la prévention de l’eczéma. Vérifiez combien de personnes ont commencé, combien ont terminé, et si la bonne nouvelle vient de tout le monde ou d’une tranche choisie.