Un compte rendu de radiologie commence par les mots que nous dictons. Si la reconnaissance vocale se trompe et que nous ne remarquons pas l’erreur, celle-ci peut se retrouver dans le compte rendu.
Certaines erreurs sont faciles à repérer. D’autres le sont moins. Une négation manquante, un côté incorrect ou un chiffre qui semble plausible peuvent changer le sens d’une observation.
Presque le même son, en néerlandais
En tant que radiologue en formation, je trouve cela difficile à accepter. Nous utilisons des logiciels de dictée tous les jours, mais nous devons souvent relire avec cette question en tête : le logiciel m’a-t-il vraiment bien compris ?
Je voudrais que nous puissions dicter avec plus de confiance, avec moins d’erreurs à repérer et moins d’inquiétude quant à celles qui auraient pu nous échapper. Nous n’en sommes pas encore là et les radiologues doivent toujours vérifier leurs comptes rendus. C’est ce problème que nous voulons essayer de résoudre.
C’est pourquoi nous avons commencé à travailler sur un modèle vocal pour la radiologie. Nous sommes partis d’un modèle ouvert et l’avons adapté à la dictée radiologique en néerlandais. Nous en sommes encore au début : notre dictée standard utilise un moteur commercial. Notre propre modèle est disponible en bêta pendant que nous poursuivons les tests.
Les premiers résultats
Lors d’un petit premier test, des locuteurs néerlandophones ont lu des comptes rendus de radiologie fictifs. Nous avons évalué six modèles vocaux ouverts, inchangés, à côté du nôtre. Le résultat est encourageant, mais l’échantillon est petit et ces enregistrements ont influencé des choix de développement. Pour tirer des conclusions plus solides, nous devons tester davantage de voix qui n’ont pas participé à ce processus.
Ce que cela représente sur 100 mots
28 mots erronés sur 100
Meilleur modèle ouvert, inchangé
5 mots erronés sur 100
Notre bêta
Du modèle ouvert à la bêta
Ce que nous pouvons en conclure
C’est un point de départ, pas une mesure de la performance du modèle pour chaque radiologue.
- Les voix diffèrent. Sur les dictées de comptes rendus fictifs d’un cofondateur, le même modèle a obtenu un taux d’erreur d’environ 10 %.
- Des mots importants restent erronés. Ce test comportait trois erreurs sur des mots critiques. Chaque compte rendu doit être vérifié.
- La dictée en direct n’a pas encore été évaluée. Les résultats ci-dessus proviennent d’enregistrements complets, pas de l’utilisation en direct de la bêta.
- La bêta est uniquement en néerlandais. Nous travaillons aussi sur le français, mais il n’est pas encore prêt pour la bêta.
Les erreurs qui restent
La plupart des erreurs de ce test concernaient des termes de radiologie. C’est une piste à étudier, mais l’échantillon est trop petit pour supposer que ce sera pareil pour d’autres voix.
Les erreurs qui comptent le plus
Le taux d’erreur traite tous les mots de la même façon. Dans un compte rendu, une négation, un côté, un nombre ou une unité incorrects peuvent avoir beaucoup plus de conséquences qu’un terme mal orthographié. Nous suivons donc aussi ces erreurs séparément.
Pourquoi ces erreurs sont difficiles à voir
Une lésion dans le poumon droit.
Aucune lésion dans le poumon droit.
Nous cherchons à savoir si un second modèle pourrait réécouter une partie de l’enregistrement et signaler un mot à vérifier au radiologue. Il proposerait une vérification, sans modifier le compte rendu.
Le dispositif que nous testons
- EntendreLe modèle écrit la dictée.
- RepérerLes négations, côtés, nombres, unités et mots d’évolution sont marqués.
- RéécouterUn second modèle n’entend que ce passage sonore.
- SignalerS’ils diffèrent, le mot est montré au radiologue. Il n’est jamais modifié.
Pourquoi un second auditeur ne suffit pas
Interroger d’autres modèles
Plusieurs modèles entendent le même passage, et nous regardons où ils divergent. Ils font souvent la même erreur avec la même assurance.
Choix forcé
Un modèle reçoit les deux lectures, par exemple « één » ou « geen », et choisit ce que le son soutient. Pas encore assez fiable.
Un auditeur vraiment indépendant
Le second auditeur doit entendre autrement que le premier. C’est ce que nous cherchons maintenant.
Jusqu’ici, c’est plus difficile qu’il n’y paraît. Différents modèles font souvent la même erreur, et demander à un modèle de choisir entre deux mots possibles n’a pas encore donné de résultats assez fiables. Il s’agit de recherche, pas d’une fonctionnalité de Revelar.
Comment la bêta traite votre dictée
La bêta fonctionne sur notre serveur vocal en Belgique, hébergé sur Google Cloud. Le serveur ne conserve ni ne journalise l’audio ou le texte. Les dictées effectuées dans le produit ne servent pas à entraîner le modèle. Aucun enregistrement de patient ni aucune donnée hospitalière n’a été utilisé pour l’entraîner.
Ceci concerne le modèle vocal. Les autres aides IA de l'espace de travail ont leur propre traitement, décrit sur notre page Trust. La bêta n'est pas utilisée sur les déploiements hospitaliers.
Essayer la bêta
Vous pouvez essayer jusqu’à 5 minutes de dictée en néerlandais par jour dans l’espace d’essai, sans compte. Utilisez des cas fictifs. Le texte apparaît 1 à 2 secondes après votre parole et devient définitif lorsque vous faites une pause.