Een radiologieverslag begint bij de woorden die we dicteren. Als de spraakherkenning een woord verkeerd begrijpt en we dat niet opmerken, kan die fout in het verslag terechtkomen.
Sommige fouten vallen meteen op. Andere niet. Een ontbrekend woord als “geen”, een verkeerde zijde of een getal dat er aannemelijk uitziet, kan de betekenis van een bevinding veranderen.
Bijna dezelfde klank
Als radioloog in opleiding vind ik dat moeilijk te aanvaarden. We gebruiken dicteersoftware elke dag, maar moeten vaak nalezen met die knagende vraag: heeft de software me wel goed verstaan?
Ik wil dat we met meer vertrouwen kunnen dicteren, met minder fouten om op te sporen en minder bezorgdheid over wat er mogelijk toch is doorgeschoten. Zover zijn we nog niet en radiologen moeten hun verslagen nog altijd nakijken. Dat is het probleem waaraan we willen werken.
Daarom zijn we begonnen met een spraakmodel voor radiologie. We vertrokken van een open model en pasten het aan voor Nederlandstalige radiologiedictaten. Het is nog vroeg: voor standaarddicteren gebruiken we een commerciële spraakherkenner. Ons eigen model is als beta beschikbaar terwijl we verder testen.
Hoe presteerde het model?
In een kleine eerste test lazen Nederlandstalige sprekers verzonnen radiologieverslagen voor. We scoorden zes open spraakmodellen, ongewijzigd, naast het onze. Het resultaat is bemoedigend, maar de steekproef is klein en de opnames hebben ontwikkelingskeuzes mee beïnvloed. Voor sterkere conclusies moeten we testen met meer stemmen die niet bij die ontwikkeling betrokken waren.
Wat dat betekent op 100 woorden
28 verkeerde woorden op 100
Beste open model, ongewijzigd
5 verkeerde woorden op 100
Onze beta
Van open model naar beta
Wat kunnen we wel en niet besluiten?
Dit is een beginpunt, geen maat voor hoe het model bij elke radioloog zal presteren.
- Stemmen verschillen. Bij dictaten van verzonnen verslagen door een medeoprichter had hetzelfde model een woordfoutpercentage van ongeveer 10%.
- Ook belangrijke woorden gaan nog fout. In deze test waren er drie fouten in kritieke woorden. Elk verslag moet worden nagekeken.
- Live dicteren is nog niet beoordeeld. De resultaten hierboven komen van volledige opnames, niet van het live gebruik in de beta.
- De beta is enkel Nederlandstalig. We werken ook aan het Frans, maar dat is nog niet klaar voor de beta.
Wat gaat er nog fout?
De meeste fouten in deze test waren radiologische termen. Dat geeft ons iets om verder te onderzoeken, maar de steekproef is te klein om aan te nemen dat hetzelfde geldt voor andere stemmen.
Fouten die het zwaarst wegen
Een woordfoutpercentage telt elk woord op dezelfde manier. In een verslag kan een verkeerde ontkenning, zijde, getal of eenheid veel meer betekenen dan een verkeerd gespelde term. Daarom volgen we die fouten ook apart op.
Waarom je deze fouten moeilijk ziet
Eén letsel in de rechter long.
Geen letsel in de rechter long.
We onderzoeken of een tweede model een deel van de opname opnieuw kan beluisteren en een woord kan aanduiden dat de radioloog moet nakijken. Het zou een controle voorstellen, niet het verslag aanpassen.
Het ontwerp dat we testen
- HorenHet model schrijft het dictaat.
- VindenOntkenningen, zijden, getallen, eenheden en evolutiewoorden worden gemarkeerd.
- Opnieuw luisterenEen tweede model hoort enkel dat stuk geluid.
- AanwijzenVerschillen ze, dan krijgt de radioloog het woord te zien. Het wordt nooit veranderd.
Waarom een tweede luisteraar niet volstaat
Andere modellen vragen
Meerdere modellen horen dezelfde passage, en we kijken waar ze verschillen. Ze maken vaak dezelfde zelfzekere fout.
Gedwongen keuze
Een model krijgt beide lezingen, zoals "één" of "geen", en kiest wat de klank ondersteunt. Nog niet betrouwbaar genoeg.
Een echt onafhankelijke luisteraar
De tweede luisteraar moet anders horen dan de eerste. Dat zoeken we nu.
Tot nu toe blijkt dat moeilijker dan het klinkt. Verschillende modellen maken vaak dezelfde fout, en een model laten kiezen tussen twee mogelijke woorden is nog niet betrouwbaar genoeg. Dit is onderzoek, geen functie in Revelar.
Hoe de bèta uw dictaat verwerkt
De bèta draait op onze spraakserver in België, gehost op Google Cloud. De server bewaart of logt geen audio of tekst. Dictaten in het product worden niet gebruikt om het model te trainen. Voor de training zijn geen patiëntopnames of ziekenhuisgegevens gebruikt.
Dit gaat over het spraakmodel. Andere AI-hulp in de werkruimte heeft een eigen verwerking, beschreven op onze Trust-pagina. De beta wordt niet gebruikt op ziekenhuisinstallaties.
Probeer de beta
In de proefwerkruimte kunt u zonder account tot 5 minuten per dag Nederlands dicteren. Gebruik daarvoor verzonnen casussen. Tekst verschijnt 1 tot 2 seconden nadat u spreekt en wordt definitief wanneer u pauzeert.