AI-tool in strijd tegen online kindermisbruik

Nog steeds veel kindermisbruik op internet

Meer dan 114.000 meldingen van online kindermisbruik kwamen er in 2022 binnen bij het Nederlandse meldpunt. Er is nog veel werk te verrichten om kindermisbruik volledig te bannen van het internet. Offlimits, voorheen Expertisebureau Online Kindermisbruik, doet dat onder meer door meldingen van (online) kindermisbruik via anonieme tips en via samenwerking met externe partijen te verzamelen.

‘Dagelijks krijgen we bij ons meldpunt duizenden afbeeldingen en video’s binnen. Zes analisten bekijken deze beelden afzonderlijk van elkaar om ze vervolgens van de juiste labels te voorzien’, vertelt Arda Gerkens, oud-bestuursvoorzitter van Offlimits en huidige bestuursvoorzitter van Autoriteit Online Terroristisch en Kinderpornografisch Materiaal. ‘Deze grote hoeveelheid meldingen zorgt voor een hoge werkdruk. Daarnaast zorgt de ernst van het beeldmateriaal voor mentale werkdruk bij de analisten.’

De medewerkers van Offlimits analyseren en labelen de meldingen, waarna ze verzoeken tot verwijdering doorsturen naar de juiste autoriteiten als het inderdaad illegaal materiaal betreft. Ook houdt Offlimits zich bezig met de ondersteuning van mensen die online te maken hebben (gehad) met grensoverschrijdend gedrag en misbruik, in het bijzonder seksueel (kinder)misbruik en uitbuiting.

Gezamenlijke aanpak tegen online verspreiding

Om de werkdruk te verlichten zou een adequate prioritering kunnen helpen, bedacht Offlimits, waarna de organisatie contact zocht met PwC. PwC zet zich al enige tijd in tegen online kindermisbruik door belangeloos samen te werken met ngo’s als Offlimits en technologiepartners. In 2021 en 2022 werkten Offlimits en PwC ook samen bij een groot onderzoek vanuit de Europese Commissie in de aanpak tegen het online verspreiden van ‘child sexual abuse material’ (CSAM).

Gerkens: ‘PwC kwam met ideeën over hoe we het materiaal kunnen prioriteren. We waren net bezig met ons workflowsysteem en hadden zelf al het idee dit met AI te doen.’ Uiteindelijk werd de AI CSAM-tool ontwikkeld. Door gebruik te maken van meerdere ‘deep learning’-modellen krijgt de gerapporteerde afbeelding automatisch labels, bijvoorbeeld het aantal personen op de afbeelding, de leeftijd van de personen en de kans dat er naaktheid aanwezig is op de afbeelding.

Tool als eerste analist

Offlimits is mede-ontwikkelaar van de ‘Sexual Child Abuse Reporting’-tool (SCARt). De organisatie gebruikt SCARt om automatisch alle afbeeldingen te downloaden van de webpagina’s die zijn aangemeld en ze op een overzichtelijke manier aan te bieden aan de analisten. Door beide tools te koppelen, worden de afbeeldingen vanuit SCARt nu automatisch voorzien van de labels uit de AI CSAM-tool.

‘Het voordeel van de tool werd vooral duidelijk tijdens het testen’, vertelt Flora Slager, consultant data science & analytics bij PwC en een van de ontwikkelaars van de tool. ‘Ik herinner me dat een analist van Offlimits meekeek toen hij me liet zien dat onze tool alle labels correct had geïdentificeerd van een specifieke set afbeeldingen. Op dat moment dacht ik: ‘Wauw, onze tool kan echt dienen als de eerste analist in het proces en zo dit belangrijke werk ondersteunen. Natuurlijk is elk algoritme, vooral complexe deep learning methoden, onderhevig aan biases. Daarom testen we onze modellen voortdurend op verschillende scenario's en passen we ze aan om consistente nauwkeurigheid te garanderen.’

‘Bovendien illustreert dit project hoe PwC verschillende mensen binnen de organisatie kan samenbrengen om gezamenlijk impact te maken’, voegt Floor van Lieshout, data analytics consultant bij PwC en mede-ontwikkelaar van de tool toe. ‘Als nieuwe medewerker die net de schoolbanken verlaten had, kwam ik bij dit project meteen in een divers team terecht. Hier kreeg ik de kans mijn opgedane vaardigheden tijdens mijn master Artificial Intelligence direct in de praktijk te brengen. En daarmee kon ik daadwerkelijk een aanvulling zijn op het team van meer ervaren consultants.’

Directe impact op de maatschappij

Gerald Schaapman, mede-ontwikkelaar van SCARt, is ook positief over de samenwerking en het uiteindelijke resultaat daarvan. ‘SCARt helpt bij het zogeheten scrapen, maar Offlimits heeft een enorme hoeveelheid verdacht materiaal die ze moet controleren. Met behulp van de AI-module van PwC kan dit proces veel meer op volgorde van relevantie.’

SCARt is verder in ontwikkeling en wordt als open source beschikbaar gesteld aan andere hotlines in Europa, onder meer in Denemarken, Roemenië, Duitsland en Oostenrijk. Meerdere hotlines en andere verwerkers hebben belangstelling. 

‘We zijn ongelooflijk trots op onze tool en samenwerking met Offlimits’, besluit Flora Slager. ‘Het gebeurt niet iedere dag dat we zo'n directe impact hebben op de maatschappij. Ik ben bij dit project betrokken sinds ik bij PwC begon. Wanneer ik mensen vertel over wat ik doe, noem ik nog steeds dit project als het werk waarop ik het meest trots ben.’

Robbert Hoving, directeur-bestuurder van Offlimits, knikt instemmend. ‘Deze samenwerking is voor mij een toonbeeld van hoe wij moeten samenwerken met de private sector, om zo samen te leren en te komen tot een integrale aanpak van online kindermisbruik. Want ieder kind heeft recht op een veilige jeugd.’