Roblox introduceert open-source AI-systeem om kinderen te beschermen tegen roofdieren in chats

Roblox, het online gamingplatform dat enorm populair is bij kinderen en tieners, introduceert een open-sourceversie van een systeem voor kunstmatige intelligentie waarvan het bedrijf zegt dat het preventief roofzuchtige taal in gamechats kan detecteren.

Roblox, het online gamingplatform dat enorm populair is bij kinderen en tieners , introduceert een open-sourceversie van een systeem met kunstmatige intelligentie dat volgens het bedrijf preventief kan helpen bij het detecteren van roofzuchtige taal in gamechats.

De stap komt op een moment dat het bedrijf te maken krijgt met rechtszaken en kritiek, omdat het ervan wordt beschuldigd niet genoeg te doen om kinderen te beschermen tegen kindermisbruikers. Zo werd vorige maand in Iowa een rechtszaak aangespannen waarin werd beweerd dat een 13-jarig meisje op Roblox aan een volwassen kindermisbruiker werd voorgesteld, vervolgens werd ontvoerd, door meerdere staten werd verhandeld en verkracht. De rechtszaak, aangespannen bij de rechtbank van Iowa in Polk County, stelt dat de ontwerpkenmerken van Roblox kinderen die het gebruiken "een makkelijke prooi voor pedofielen" maken.

Roblox zegt dat het ernaar streeft om zijn systemen standaard zo veilig mogelijk te maken, maar merkt op dat "geen enkel systeem perfect is en dat een van de grootste uitdagingen in de sector het detecteren van ernstige gevaren, zoals mogelijke kindermishandeling, is."

Het AI-systeem, Sentinel genaamd, helpt bij het detecteren van vroege tekenen van mogelijke kindermishandeling, zoals seksueel uitbuitend taalgebruik. Roblox zegt dat het systeem ertoe heeft geleid dat het bedrijf in de eerste helft van 2025 1200 meldingen van mogelijke pogingen tot kindermisbruik heeft ingediend bij het National Center for Missing and Exploited Children. Het bedrijf is nu bezig met het open sourcen ervan, zodat andere platforms het ook kunnen gebruiken.

Het preventief detecteren van mogelijke gevaren voor kinderen kan lastig zijn voor AI-systemen – en ook voor mensen – omdat gesprekken in eerste instantie onschuldig kunnen lijken. Vragen als "hoe oud ben je?" of "waar kom je vandaan?" roepen op zichzelf niet per se alarmbellen op, maar wanneer ze in de context van een langer gesprek worden geplaatst, kunnen ze een andere betekenis krijgen.

Roblox, dat maandelijks meer dan 111 miljoen gebruikers heeft, staat niet toe dat gebruikers video's of afbeeldingen delen in chats en probeert alle persoonlijke informatie, zoals telefoonnummers, te blokkeren. Net als bij de meeste moderatieregels vinden mensen echter voortdurend manieren om dergelijke beveiligingen te omzeilen.

Bovendien is het voor kinderen onder de 13 jaar niet toegestaan om buiten games met andere gebruikers te chatten, tenzij ze expliciete toestemming van hun ouders hebben. Bovendien worden privéchatgesprekken niet gecodeerd, wat in tegenstelling tot veel andere platforms niet mogelijk maakt. Hierdoor kunnen ze niet worden gecontroleerd en gemodereerd.

"We hebben altijd al filters gebruikt, maar die filters richten zich meestal op wat er in één tekstregel of in slechts een paar tekstregels wordt gezegd. En dat is heel handig om bijvoorbeeld grof taalgebruik en verschillende soorten scheldwoorden te blokkeren", aldus Matt Kaufman, Chief Safety Officer bij Roblox. "Maar als je denkt aan zaken die te maken hebben met kindermishandeling of grooming, manifesteren de soorten gedrag die je ziet zich over een zeer lange periode."

Sentinel maakt snapshots van één minuut van chats op Roblox – zo'n 6 miljard berichten per dag – en analyseert deze op mogelijke schadelijke effecten. Om dit te doen, zegt Roblox twee indexen te hebben ontwikkeld: een met onschuldige berichten en een met chats waarvan is vastgesteld dat ze kindermishandeling bevatten. Roblox zegt dat het systeem hiermee schadelijke patronen kan herkennen die verder gaan dan alleen het markeren van bepaalde woorden of zinnen, en het hele gesprek in context plaatsen.

"Die index wordt beter naarmate we meer kwaadwillenden detecteren. We werken die index continu bij. Dan hebben we nog een voorbeeld van wat een normale, doorsnee gebruiker doet", aldus Naren Koneru, vicepresident engineering voor vertrouwen en veiligheid bij Roblox.

Terwijl gebruikers chatten, houdt het systeem de score bij: zitten ze dichter bij het positieve cluster of bij het negatieve cluster?

"Het gebeurt niet bij één bericht, omdat je maar één bericht verstuurt, maar het gebeurt doordat al je dagelijkse interacties naar een van deze twee leiden," zei Koneru. "Dan zeggen we: oké, misschien moeten we deze gebruiker eens goed bekijken, en dan halen we al hun andere gesprekken, andere vrienden, de games die ze hebben gespeeld, en al die dingen eruit."

Mensen beoordelen risicovolle interacties en signaleren deze indien nodig aan de politie.