Roblox запускает систему искусственного интеллекта с открытым исходным кодом для защиты детей от мошенников в чатах

Roblox, онлайн-платформа для игр, пользующаяся огромной популярностью у детей и подростков, выпускает версию системы искусственного интеллекта с открытым исходным кодом, которая, по её словам, может помочь заблаговременно обнаруживать оскорбительные высказывания в игровых чатах.

Roblox, онлайн-платформа для игр, пользующаяся огромной популярностью у детей и подростков , выпускает версию системы искусственного интеллекта с открытым исходным кодом, которая, по ее словам, может помочь заблаговременно обнаруживать оскорбительные высказывания в игровых чатах.

Этот шаг был предпринят на фоне судебных исков и критики в адрес компании, обвиняющей её в недостаточной защите детей от педофилов. Например, в иске, поданном в прошлом месяце в Айове, утверждается, что 13-летняя девочка познакомилась со взрослым педофилом в Roblox, а затем была похищена, переправлена в другие штаты и изнасилована. В иске, поданном в окружной суд Айовы в округе Полк, утверждается, что особенности дизайна Roblox делают детей, использующих его, «лёгкой добычей для педофилов».

Roblox заявляет, что стремится сделать свои системы максимально безопасными по умолчанию, но отмечает, что «ни одна система не идеальна, и одна из самых сложных задач в отрасли — обнаружение критических угроз, таких как потенциальная опасность для детей».

Система искусственного интеллекта Sentinel помогает выявлять ранние признаки возможной угрозы для детей, такие как использование языка сексуальной эксплуатации. Roblox сообщает, что благодаря системе компания направила в Национальный центр по делам пропавших и эксплуатируемых детей 1200 сообщений о потенциальных попытках эксплуатации детей в первой половине 2025 года. Сейчас компания занимается открытием исходного кода системы, чтобы её могли использовать и другие платформы.

Превентивное обнаружение возможных опасностей для детей может быть сложной задачей для систем искусственного интеллекта, как и для людей, поскольку разговоры на первый взгляд могут казаться безобидными. Вопросы вроде «сколько вам лет?» или «откуда вы?» сами по себе не обязательно вызовут тревогу, но в контексте длительного разговора они могут приобрести иной смысл.

Roblox, у которого более 111 миллионов пользователей в месяц, не позволяет пользователям обмениваться видео или изображениями в чатах и пытается блокировать любую личную информацию, такую как номера телефонов, хотя — как и в случае с большинством правил модерации — люди постоянно находят способы обойти такие меры предосторожности.

Он также не позволяет детям до 13 лет общаться с другими пользователями вне игр, если у них нет явного родительского разрешения, и в отличие от многих других платформ, он не шифрует приватные разговоры в чате, поэтому может отслеживать и модерировать их.

«У нас всегда были фильтры, но они, как правило, фокусируются на том, что сказано в одной или нескольких строках текста. И это действительно хорошо для таких задач, как блокировка ненормативной лексики, различных видов оскорбительного языка и тому подобного», — сказал Мэтт Кауфман, директор по безопасности Roblox. «Но когда речь идёт о вещах, связанных с угрозой детям или грумингом, наблюдаемое поведение проявляется в течение очень длительного периода времени».

Sentinel делает одноминутные снимки чатов в Roblox — около 6 миллиардов сообщений в день — и анализирует их на предмет потенциального вреда. Для этого Roblox разработал два индекса: один состоит из безобидных сообщений, а другой — из чатов, содержащих нарушения, представляющие угрозу безопасности детей. Roblox заявляет, что это позволяет системе распознавать вредоносные шаблоны, которые выходят за рамки простого выделения определённых слов или фраз, а также рассматривать весь разговор в контексте.

«Этот индекс улучшается по мере того, как мы обнаруживаем всё больше злоумышленников, мы просто постоянно его обновляем. И тогда у нас появляется ещё один пример того, что делает обычный, рядовой пользователь», — сказал Нарен Конеру, вице-президент по разработке доверия и безопасности в Roblox.

Пока пользователи общаются, система подсчитывает баллы — к чему они ближе: к положительному или отрицательному кластеру?

«Это происходит не из-за одного сообщения, потому что вы просто отправляете одно сообщение, а потому, что все ваши взаимодействия в течение дня ведут к одному из этих двух», — сказала Конеру. «Тогда мы говорим: «Хорошо, возможно, к этому пользователю нам нужно присмотреться внимательнее», — и затем мы извлекаем все его другие переписки, друзей, игры, в которые он играл, и всё такое».

Люди проверяют рискованные взаимодействия и соответствующим образом сигнализируют о них правоохранительным органам.