RBM (monitoring basé sur les risques) amélioré.

Le 17 juillet, la FDA et le Duke Margolis Center for Health Policy ont organisé un atelier intitulé « Améliorer l’implémentation du RBM (monitoring des essais cliniques basé sur les risques) ». Les sessions ont été animées par 24 intervenants représentant la FDA, l’EMA, les grandes entreprises pharmaceutiques, les CRO/ARO, les fournisseurs cliniques, TransCelerate, MCC, SCRS et SCDM.

Cet article se concentre sur les points suivants qui ont été abordés au cours de l’atelier :

1. Concept de gestion de la qualité basée sur les risques (RBQM)
2. Monitoring basé sur les risques (RBM)
3. Composantes du RBM
4. Vérification et révision des données sources (SDV/SDR)

Veuillez cliquer sur l’un des liens ci-dessus pour accéder directement à la section correspondante de l’article.

Souvent, l’expression « monitoring basé sur les risques » amène les gens à passer directement à la vérification des données sources. Qu’est-ce qu’un niveau acceptable de SDV ? Si je fais un SDV échantillonné ou ciblé, cela signifie-t-il que je fais un essai basé sur les risques ? Les experts qui ont pris la parole lors de la réunion ont constamment insisté sur le fait que le thème de la SDV est un élément relativement peu important de la mise en œuvre d’approches fondées sur le risque dans les essais cliniques.

Le premier conférencier était David Burrow, directeur de l’Office of Scientific Investigations de la FDA. David a souligné que la qualité clinique et la conformité réglementaire ne sont pas la même chose. Il a introduit le concept de gestion de la qualité basée sur le risque (RBQM) pour garantir le maintien constant de la qualité dans un essai clinique. La RBQM englobe la surveillance basée sur les risques (RBM) – mais comprend beaucoup plus de choses.

Il a identifié trois éléments fréquents de la RBQM :

• L’évaluation des risques (avant l’étude et en cours)
• Un protocole et un plan d’investigation bien conçus et bien articulés
• Un plan de monitoring basé sur les risques

RBQM – De la cocher des cases à mener une réflexion critique

La RBQM permet aux organisations de passer d’une mentalité QA « cocher des cases » à une focalisation sur l’identification, le monitoring et l’atténuation des risques, où la pensée critique des experts est le moteur de la qualité. Le conférencier Steve Young, PDG de CluePoints, a résumé les éléments de la RBQM comme suit :

1. Conception de l’étude selon les principes de la RBQM : conception bien pensée, centrée sur le patient et le site, suppression des procédures non essentielles
2. Planification des études et atténuation des risques : processus critiques et identification des données, évaluation et contrôle des risques
3. Exécution des études par une gestion ciblée de la qualité : monitoring centralisé, monitoring distant et monitoring sur site

L’évaluation des risques

L’évaluation et l’atténuation des risques permettent d’identifier les domaines à haut risque qui peuvent être atténués et les domaines à faible risque qui peuvent être adaptées et simplifiées.

Sans une évaluation des risques de haute qualité, il n’est pas possible d’appliquer une approche fondée sur les risques à un essai clinique. Un des conférenciers a estimé qu’il faut 20 à 80 heures à une équipe interfonctionnelle pour évaluer le risque d’un protocole spécifique et mettre au point les mesures d’atténuation appropriées. Cela soulève également un point souligné tout au long des sessions : les risques doivent être spécifiques à l’étude.

David a déclaré qu’une approche basée sur les risques ne pouvait pas être superposée à un protocole mal conçu (bien que plusieurs participants se soient clairement sentis obligés de le faire). D’autres intervenants ont ensuite précisé qu’il pouvait y avoir des risques standard également, mais que ceux-ci s’ajoutaient aux risques spécifiques à l’étude correctement évalués.

L’identification des risques doit se concentrer sur les paramètres critiques pour la qualité (CtQ) et ne pas se contenter de documenter les activités de monitoring que vous effectuez déjà. Le TransCelerate Risk Assessment Categorization Tool (RACT), ou une version spécifique à l’entreprise, a été mentionné comme source d’évaluation des risques à de nombreuses reprises au cours des sessions.

Le protocole

Le protocole établit la plupart des attentes concernant l’essai pour l’équipe d’étude et les sites. Il doit identifier les paramètres de CtQ.

Le plan de monitoring

L’un des intervenants a mentionné un vieux concept de l’industrie – le protocole de l’ « Arbre de Noël ». Il s’agit d’un protocole qui, comme l’arbre de Noël que vous avez dans votre grenier, est repris périodiquement et auquel on rajoute des éléments – avec de nouveaux ornements et de nouvelles décorations – mais auquel rien n’est jamais retiré. Selon lui, les plans de monitoring vont dans cette direction – chaque fois qu’un nouveau problème est découvert, il est ajouté au plan de monitoring sans examiner de manière réfléchie ce qui n’est plus nécessaire ou ce qui ne l’est pas pour une étude particulière.

Un autre orateur a exposé l’approche idéale du plan de monitoring en citant le « Petit Prince » :

« La perfection est atteinte, non pas lorsqu’il n’y a plus rien à ajouter, mais lorsqu’il n’y a plus rien à enlever ».

ANTOINE DE ST-EXUPÉRY

Le plan de monitoring devrait être revu et mis à jour en fonction des mises à jour du plan d’évaluation et d’atténuation des risques, qui devraient eux-mêmes être revus périodiquement. Les activités de monitoring doivent être documentés pour démontrer la conformité au plan.

Le plan de monitoring doit être clair pour les ARC (qui se comptent par centaines pour les grands essais) et les éléments clés doivent également être expliqués aux sites afin qu’ils comprennent comment ils seront monitorés. La FDA examinera souvent le plan de monitoring sur demande.

Enfin, le plan de monitoring n’est qu’un des nombreux plans qui doivent traiter du risque, notamment le plan de monitoring médical, le plan de gestion de la pharmacovigilance, etc.

Monitoring basé sur les risques

Avant d’entamer toute discussion sur le RBM, il est préférable d’établir un lexique commun, car il est fréquent de constater que tout le monde n’a pas les mêmes définitions des composantes du RBM. Les animateurs ont fourni les définitions suivantes :

Monitoring basé sur les risques : Monitoring qui concentre les ressources et la supervision des sponsors sur les risques importants et probables pour la qualité de l’investigation, y compris les risques pour la protection des sujets humains et l’intégrité des données, et sur les risques qui sont moins susceptibles de se produire, mais qui pourraient avoir un impact significatif sur la qualité globale de l’investigation.

Monitoring centralisé : Programme d’évaluation analytique réalisé par le personnel ou les représentants du promoteur (par exemple, les moniteurs cliniques, les data managers ou les statisticiens) dans un lieu centralisé autre que le site où l’investigation clinique est menée.

Monitoring sur site : Évaluation en personne effectuée par le personnel ou les représentants du promoteur sur un site clinique où l’investigation clinique est menée.

Monitoring à distance : Monitoring d’activités spécifiques, telles que définies soit dans les documents de processus, soit dans le plan de monitoring, effectuée par le contrôleur en dehors du site sur lequel l’investigation clinique est menée.

Adoption – et obstacles

Tout au long de la journée, l’adoption du RBM a fait l’objet de nombreuses discussions. Dans une enquête récente publiée par l’ACRO, 64% des nouveaux essais sont « compatibles RBM ».

Tout le monde était d’accord à l’atelier pour dire que les grandes entreprises pharmaceutiques et les CRO ont fait de grands progrès vers l’adoption du RBM, mais que de nombreuses petites organisations sont réticentes, souvent en raison de préoccupations provenant de la fonction QA. Les organisations leaders doivent informer la QA sur le fait que le RBM implique un risque mieux compris, et non pas un risque accru.

Un participant a exprimé l’opinion que le RBM devrait être considéré comme un cadeau par le QA, car il fournit un mécanisme permettant d’identifier des actions préventives qui n’existeraient pas en temps normal.

Plusieurs participants ont mentionné les inquiétudes des sponsors qui craignent de « manquer quelque chose » dans les études RBM. L’avis de la FDA était qu’ils devraient s’inquiéter de ne pas détecter les erreurs systémiques, et non les erreurs aléatoires – et que le RBM améliorera en fait leur capacité à détecter ces erreurs systémiques.

Tom Rolfe, directeur du RBM chez GSK, a expliqué les obstacles à la mise en œuvre du RBM :

• L’acceptation irrégulière des approches de RBM par les autorités réglementaires peut avoir un impact négatif sur les programmes mondiaux de développement de produits
  • Différences régionales basées sur les pratiques de contrôle, l’expérience et/ou la culture des inspections de BPC, etc.
• Les préoccupations de l’industrie concernant la mise en œuvre du RBM pour les investigations cliniques sont notamment les suivantes
  • Qualité des données
  • Résultats d’audit inconnus des inspecteurs et impact sur l’enregistrement
  • Différences entre les méthodologies RBM des différents organismes de recherche clinique (CRO) et impact sur la surveillance des promoteurs
  • Déverrouillage accidentel du sponsor
• Manque de clarté sur la manière de mettre en œuvre le RBM avec différents types d’études
  • Design complexe des essais clniques
  • Essais avec un échantillon de petite taille (par exemple, oncologie, produits biologiques, phase précoce, études de synthèse et de panier)
• Incertitude sur les attentes de la FDA concernant les limites de tolérance de qualité (QTL)
• Réglementations sur la protection des données et évolution de l’utilisation des dossiers médicaux électroniques (EMR) pour l’examen des documents sources à distance

Cette discussion a conduit à demander à la FDA de fournir un retour d’information ou des mesures sur les résultats des inspections dans les études RBM par rapport aux études non RBM. La FDA n’était pas optimiste à ce sujet, affirmant qu’elle n’avait ni la taille d’échantillons ni les ressources nécessaires pour le faire. La situation est également compliquée par le fait qu’il n’y n’existe pas de mise en œuvre standard du RBM. Comme l’a déclaré David Burrows de la FDA, « Ce n’est pas parce que quelqu’un dit qu’il a utilisé monitoring basée sur le risque… que cela signifie nécessairement que ce qu’il a fait est ce que nous pensons que le monitoring basé sur les risques devrait être ».

Approches erronées, résultats médiocres, mais potentiel de valeur important

David Burrow, de la FDA, a donné un aperçu de ce qu’il ne faut pas faire pour mettre en œuvre le RBM. En particulier, il a mentionné les approches erronées suivantes :

• Passer à un monitoring centralisé sans mettre en œuvre un plan pour guider ce qui est recherché, pourquoi et quand. Passer à un monitoring centralisé à 100% n’est pas du monitoring basé sur les risques.
• Des approches d’échantillonnage aléatoire simple sans « intention » et un plan basé sur le risque
• SDV à 100% sans se concentrer sur le CtQ – il s’agit juste de rechercher des erreurs de transcription, et non des éléments essentiels à la qualité.

Il a qualifié ces erreurs d’échecs dans les pires cas, et de leçons à retenir dans les meilleurs cas.

David a également évoqué la valeur que la FDA accorde au RBM et a encouragé l’industrie à ne pas laisser la peur agir comme un « cordon élastique de résistance » pour progresser.

La valeur du monitoring basé sur les risques :

Dans certains cas où nous avons vu un véritable RBM mis en œuvre, nous avons constaté une grande corrélation entre les problèmes qui ont été identifiés dans le système de RBM et les problèmes que nous voyons dans l’examen des demandes en fin de processus. Je pense donc, à titre anecdotique, que cela fonctionne très bien.

DAVID BURROW, FDA

Expérience du RBM des sponsors – Perceptions positives

Justin Stark de Novartis, présentant au nom de Transcelerate, a partagé les résultats d’une enquête auprès de ses membres qui comprenait huit mesures : résultats d’audit, rapports des EI, écarts significatifs par rapport au protocole, coûts globaux de monitoring, intervalle entre les visites sur site, délai ouverture/fermeture des problèmes, saisie dans l’eCRF et délai ouverture/fermeture des requêtes.

Pour les huit mesures, au moins 50% des sponsors ont fait état de meilleurs résultats (et au moins 70% ont fait état de résultats identiques ou supérieurs). Par exemple, en ce qui concerne les résultats des audits, 62% ont fait état de meilleurs résultats, 30% d’un résultat pratiquement inchangé et 8% d’un résultat moins bon.

Expérience du RBM des sites – Perceptions moins positives

Michele Cameron, directrice de la recherche clinique de Clearwater Cardiovascular, s’est exprimée au nom de la Society for Clinical Research Sites (SCRS) et a parlé de l’expérience des sites avec le RBM. Elle a présenté les résultats d’une enquête menée en 2016 auprès de 309 sites sur leur expérience avec le RBM, qui s’est révélée décevante.

L’enquête a mesuré un total de 12 facteurs sur l’impact du RBM sur le site, avec un nombre important de sites signalant une augmentation des obligations réglementaires, de la charge de travail, des besoins en ressources et des coûts. Un nombre important de sites ont également signalé une dégradation de leur relation avec le sponsor ou CRO associé et une diminution du nombre de patients qu’ils ont pu voir.

Elle a attribué les problèmes à l’incapacité des ARCs à fournir des éclaircissements sur le plan de monitoring, le travail étant transmis aux sites qui n’étaient pas sous leur responsabilité.

Elle a estimé qu’il est nécessaire de tenir compte de la diversité des sites (taille, structure, fonctionnement et expérience). Les sites ont également besoin d’une ligne directrice claire en matière RBM dès le début, et de préférence d’une contribution au plan. Ils ont besoin de contacts bien informés qui peuvent répondre rapidement aux sites et bénéficieraient du fait que le moniteur déclenche des appels téléphoniques collaboratifs plutôt que des queries électroniques constantes et répétitives. Enfin, elle recommande des appels moins fréquents mais plus substantiels.

Composantes du RBM

Les définitions suivantes ont été fournies pour les composantes du RBM :

Monitoring centralisé: Programme d’évaluation analytique réalisé par le personnel ou les représentants du promoteur (par exemple, moniteurs cliniques, data managers ou statisticiens) dans un lieu central autre que le site où l’investigation clinique est menée.

Monitoring sur site : Évaluation en personne effectuée par le personnel ou les représentants du promoteur sur un site clinique où l’investigation clinique est menée.

monitoring à distance : Monitoring d’activités spécifiques, telles que définies soit dans les documents de processus, soit dans le plan de surveillance, effectuée par le contrôleur en dehors du site sur lequel l’investigation clinique est menée

Ces trois types de monitorong peuvent être fondés sur les risques. Une évaluation du protocole et une évaluation globale des risques doivent être utilisées pour déterminer quels éléments doivent être utilisés et comment les mettre en œuvre.

Suivi centralisé

Les objectifs d’un suivi centralisé peuvent inclure :

• Identification de :
  • Données manquantes ou incohérentes
  • Données aberrantes
  • Un manque de variabilité inattendu
  • Dérogations au protocole
  • Erreurs systématiques
  • Problèmes d’intégrité des données
• Analyse de :
  • Tendances des données (par exemple, portée, cohérence, variabilité des données) au sein des sites et entre eux
  • Caractéristiques du site et mesures de performance
• Sélection de sites et/ou de processus pour une surveillance ciblée sur place

Stephanie Clark, directrice de la gestion des risques – monitoring central chez Janssen, a présenté l’approche de son organisation en matière de monitoring centralisé :

1. Indicateurs standard clés de risque (KRI) : Tableau de bord avec des KRI standards opérationnels et de PV pour indiquer les risques potentiels dans les pays/sites. Applicable à toutes les études
2. Rapports d’étude spécifiques (SSR) : Visualisations basées sur des facteurs critiques pour la qualité (CtQ) uniques et spécifiques à l’étude pour identifier les risques potentiels dans l’étude/les pays/les sites
3. Surveillance statistique centrale (CSS) : Analyse statistique de l’ensemble des données d’un essai afin d’identifier les signes de non-conformité intentionnelle/intentionnelle. Identifie les sites qui nécessitent une surveillance plus ciblée

Janssen a tenté de « démocratiser » les enseignements des données – afin que tout le monde, des ARCs aux médecins chargés des études en passant par les responsables des opérations cliniques, aient accès à ces données. Les utilisateurs reçoivent également une formation spécifique à leur rôle sur la façon de tirer parti de ces informations.

Il y a eu plusieurs exemples intéressants de monitorins de signaux à l’aide d’une surveillance centralisée. Il a été souligné que ces signaux ne sont pas des problèmes en soi, mais qu’ils nécessitent une investigation.

• IQVIA – mécanismes de détection des fraudes, y compris les éventuels sujets et visites en double, la préférence numérique et l’arrondi, et les visites de patients ou de laboratoires le week-end ou les jours fériés.
• Janssen – examen des sujets d’essais en oncologie qui n’ont signalé aucun événement indésirable – en particulier lorsqu’ils sont liés à certains sites.
• Janssen – détection du fait que des échantillons de biomarqueurs n’ont pas été prélevés pendant deux mois consécutifs sur un site spécifique. Le site a été formé à nouveau, et le problème ne s’est pas reproduit.
• MCC – commande accélérée significative de kits de laboratoire, indiquant souvent que du nouveau personnel non formé avait rejoint l’étude. Dans ce cas, il s’agissait d’un signal qui viendrait du travail avec un partenaire, et ce partenaire aurait besoin d’un canal pour faire part de ses préoccupations.

Souvent, les données ne peuvent pas vraiment être analysées tant que le recrutemen des patients n’est pas bien avancée ou terminée, car l’analyse nécessite un ensemble de données significatives pour être valide. Il faut souvent des experts pour démêler le vrai du faux et pour expliquer les résultats aux équipes de l’étude de manière à ce qu’ils soient signifiants et exploitables. Il est souvent nécessaire de contrôler qui examine les données et comment pour éviter une levée d’aveugle.

Monitoring à distance

Les participants ont vu davantage d’outils permettant le monitoring à distance et la vérification des données sources, notamment les wearables, les dossiers médicaux électroniques, ePRO et eConsent. Pour certaines de ces technologies, il y a un compromis concernant le risque, car des outils tels que ePRO et wearables sont moins étroitement contrôlés que l’EDC.

Une participante d’une entreprise de dispositifs médicaux a décrit l’approche de son organisation en matière de monitoring à distance comme étant très similaire à la surveillance sur site, mais sans la présence physique :

• Lettres de confirmation, rapports de visite et lettres de suivi générés de la même manière que pour une visite sur site
• Le coordinateur de l’étude réserve du temps pour la visite
• L’enquêteur confirme la disponibilité

Monitoring sur site

Bien sûr, il y a aussi des adaptations des risques qui peuvent se produire dans le cadre d’une surveillance sur site. Au niveau le plus élémentaire, la fréquence prévue des visites sur site doit être établie et les éléments déclencheurs d’une modification de l’intervalle de visite doivent être identifiés en fonction du risque perçu. Il s’agit là d’une question très importante pour les essais menés par les CRO, car les modèles de coûts dépendent du nombre de visites attendues. Le sponsor et le CRO doivent discuter de la manière dont les coûts seront traités si des visites plus fréquentes sont nécessaires.

Stephanie Clark de Janssen a mentionné que son organisation peut prendre une partie de l’activité d’examen des données et la transférer à des rôles internes qui peuvent examiner les données tôt et de façon continue. Cela signifie qu’il est parfois possible de faire moins de visites sur site. Les visites peuvent alors être consacrées à des activités qui nécessitent uniquement la présence des ARCs sur site.

Vérification et examen des données sources

Une partie importante de la conférence a été consacrée au SDV et au SDR.

Vérification des données source (SDV) : le processus par lequel les données au sein du CRF (ou autre système de collecte de données) sont comparées à la source d’information originale, afin de confirmer que les données ont été transcrites avec exactitude.

Examen des données sources (SDR) : l’examen de la documentation source pour vérifier la qualité, la conformité, l’implication du personnel et d’autres domaines qui ne sont pas associés à un champ de données du CRF.

Presque tous les présentateurs et participants étaient sceptiques quant à la valeur du SDV et considéraient généralement que le SDR était beaucoup plus précieux. Quelques points de vue à ce sujet :

• Un SDV à 100% ajoute du risque. Cela s’explique par le fait qu’il se fait au détriment d’importantes activités de contrôle telles que la formation, et parce qu’elle déplace l’attention des risques vers les éléments de données et les processus les plus critiques.
• Le SDV est un indicateur pour voir si quelque chose ne va pas sur le site. En d’autres termes, un manque de soin dans la saisie des données pourrait indiquer des problèmes plus importants.
• Le SDV est principalement justifié s’il existe des résultats finaux critiques où les erreurs de transcription pourraient avoir un impact élevé.

Les recherches confirment la conclusion que réaliser 100% de SDV joue dans la qualité globale. Par exemple, une enquête de TransCelerate a indiqué que :

Malgré la variabilité de la manière dont les entreprises gèrent leurs activités de revue des données, toutes les entreprises se sont montrées similaires en ce qui concerne le faible taux de queries générées par SDV. Le pourcentage moyen de queries SDV générées était de 7,8% du nombre total de queries générées.

[SOURCE: POSITION PAPER: RISK-BASED MONITORING METHODOLOGY]

Une enquête TransCelerate menée auprès de 17 membres permet de connaître le point de vue des sponsors sur l’utilisation du SDV par leurs CRO. 94% ont indiqué que 100% de tous les points de données n’est pas exigé de leurs CRO partenaires. 6% (1 société) l’exige. En ce qui concerne le guidage des CRO :

• 53% donnent des conseils sur les niveaux de SDV, mais permettent une certaine flexibilité
• 29% ne donnent pas d’indications précises sur les niveaux de SDV
• 12% donnent des niveaux de SDV spécifiques, sans flexibilité
• 6% n’utilisent pas de CRO

Nicole Stansbury, vice-présidente des services centraux de surveillance de Syneos Health, a décrit une méthodologie qui comprend :

• Réduction des SDR/SDV, basée sur l’utilisation d’une évaluation des risques – identification des SDV à vérifier en fonction des visites, des sujets ou des points de données
• Ciblage des SDR/SDV sur la base des résultats du suivi central

Sharon Love, de l’unité d’essais cliniques du MRC à l’UCL, a présenté des recherches sur la mesure du RBM et du SDV. Les conclusions ont notamment montré que le RBM n’est pas inférieur au monitoring extensif sur site, et que le SDV à 100% était peu différent du SDV sur des variables scientifiques et réglementaires clés.

Tout au long de la session, il a été souligné que le SDV à 100% a été mis en œuvre par une industrie conservatrice, et non dictée par les régulateurs.

Les directives de la FDA font explicitement référence à un nombre d’enregistrements représentatif, et non à tous les enregistrements. Les BPC de l’ICH stipulent qu’un « échantillonnage statistiquement contrôlé peut être une méthode acceptable pour sélectionner les données à vérifier« .

David Burrow, directeur de l’Office of Scientific Investigations de la FDA, a résumé l’attitude de la FDA vis-à-vis du SDV :

Nous ne disons pas qu’il ne faut plus faire de vérification des données à la source, mais il faut le faire pour une raison précise, quand cela est indiqué pour le bon objectif.

DAVID BURROW