Школы используют ИИ для защиты учеников. Это также приводит к ложным срабатываниям и арестам.

Лесли Матис знает, что слова её дочери были неправдой. Но она и представить себе не могла, что 13-летнюю девочку арестуют за это.

Девочка-подросток позволила себе оскорбительную шутку во время онлайн-общения с одноклассниками, что привело к срабатыванию школьной системы видеонаблюдения .

Ещё до рассвета восьмиклассницу из Теннесси арестовали. Её допросили, провели полный досмотр и, по словам её матери, провели ночь в тюремной камере.

Ранее в тот же день друзья поддразнивали девочку из-за её загорелой кожи и называли её «мексиканкой», хотя она ею не была. Когда друг спросил, что она планирует сделать в четверг, она написала: «В четверг мы убьём всех мексиканцев».

Матис сказал, что эти комментарии «неправильные» и «глупые», но контекст показывает, что они не представляют собой угрозу.

«У меня возник вопрос: «Разве мы живём в Америке?» — сказала Матис об аресте дочери. «И всё дело было в этой дурацкой, дурацкой технологии, которая просто цепляется за случайные слова, не учитывая контекст».

Системы видеонаблюдения в американских школах всё чаще отслеживают всё, что пишут ученики в школьных аккаунтах и на устройствах. Тысячи школьных округов по всей стране используют программное обеспечение, такое как Gaggle и Lightspeed Alert, для отслеживания действий детей в интернете, выявляя признаки того, что они могут навредить себе или другим. С помощью искусственного интеллекта технологии могут анализировать онлайн-переговоры и немедленно уведомлять как администрацию школы, так и правоохранительные органы.

Педагоги утверждают, что эта технология спасает жизни. Однако критики предупреждают, что она может привести к уголовной ответственности детей за неосторожные слова.

«Это превратило присутствие правоохранительных органов в рутину и доступ к жизни студентов, в том числе в их домах», — сказала Элизабет Лэрд, директор Центра демократии и технологий.

В стране, уставшей от школьных расстрелов, несколько штатов ужесточили позицию в отношении угроз школам. В их числе и Теннесси, где в 2023 году был принят закон нулевой терпимости, требующий немедленно сообщать правоохранительным органам о любой угрозе массового насилия в отношении школы.

13-летняя девочка, арестованная в августе 2023 года, переписывалась с друзьями в чате, привязанном к её школьной электронной почте в средней школе Фэрвью, которая использует Gaggle для мониторинга аккаунтов учеников. (Associated Press не разглашает имя девочки в целях защиты её конфиденциальности. Школьный округ не ответил на запрос о комментарии.)

Подростка доставили в тюрьму, допросили и полностью обыскали, а родителям разрешили поговорить с ней только на следующий день, согласно иску, который они подали против школьной системы. Она не знала, почему её родители не пришли.

«После этого она сказала мне: "Я думала, ты меня ненавидишь". Это не даёт покоя», — сказала Матис, мать девочки.

Суд постановил приговорить девочку к восьми неделям домашнего ареста, пройти психологическую экспертизу и отправить ее на 20 дней в альтернативную школу.

Генеральный директор Gaggle Джефф Паттерсон заявил в интервью, что школьная система не использовала Gaggle по назначению. Его цель — выявлять ранние сигналы тревоги и вмешиваться до того, как проблемы дойдут до правоохранительных органов, добавил он.

«Я бы хотел, чтобы это рассматривалось как момент обучения, а не как момент применения силы в отношении правоохранительных органов», — сказал Паттерсон.

По словам Шахара Паша, юриста по вопросам образования из Флориды, студенты, которые думают, что общаются конфиденциально с друзьями, часто не осознают, что находятся под постоянным наблюдением.

Одна девочка-подросток, интересы которой она представляла, пошутила о стрельбе в школе в закрытой истории Snapchat. Автоматизированная система Snapchat обнаружила этот комментарий, компания уведомила ФБР, и девочку арестовали на территории школы в течение нескольких часов.

16-летняя Алекса Манганиотис рассказала, что была поражена скоростью работы программного обеспечения для мониторинга. Школа искусств Дрейфуса в Уэст-Палм-Бич, где она учится, в прошлом году запустила пилотную версию программы слежки Lightspeed Alert . Взяв интервью у учителя для школьной газеты, Алекса обнаружила, что двое учеников однажды напечатали на школьном компьютере что-то угрожающее об этом учителе, а затем удалили это сообщение. Lightspeed обнаружила это, и «минут через пять их забрали», — сказала Алекса.

Алекса заявила, что подростки сталкиваются с более суровыми последствиями, чем взрослые, за то, что они пишут в интернете.

«Если взрослый человек разместит на своем компьютере крайне расистскую шутку, которая представляет угрозу, он может ее удалить, и его не арестуют», — сказала она.

Эми Беннетт, руководитель аппарата компании Lightspeed Systems, заявила, что программное обеспечение помогает школам с нехваткой кадров «действовать на опережение, а не наказывать», выявляя ранние признаки издевательств, членовредительства, насилия или жестокого обращения.

Эта технология также может быть задействована правоохранительными органами в реагировании на кризисы в области психического здоровья. В школах округа Полк во Флориде, где обучается более 100 000 учащихся, программа школьной безопасности получила почти 500 оповещений Gaggle за четыре года, сообщили сотрудники на публичных заседаниях Совета по образованию. Это привело к 72 случаям принудительной госпитализации в соответствии с Законом Бейкера – законом штата, который позволяет властям требовать психиатрическую экспертизу людей против их воли, если они представляют опасность для себя или окружающих.

«Очень многие дети, пережившие принудительное обследование, вспоминают это как травмирующий и разрушительный опыт, который не способствует их психическому здоровью», — сказал Сэм Бойд, адвокат Южного центра правовой защиты бедных. Школьные округа Полка и Уэст-Палм-Бич не предоставили комментариев.

Информация, которая могла бы позволить школам оценить эффективность программного обеспечения, например, частота ложных срабатываний, тщательно хранится технологическими компаниями и недоступна для общественности, если только школы не отслеживают эти данные самостоятельно.

За последние 10 месяцев Gaggle оповестил школьный округ Лоуренса, штат Канзас, о более чем 1200 инцидентах. Однако почти две трети этих оповещений руководство школы сочло не имеющими отношения к делу, включая более 200 ложных сигналов тревоги, связанных с домашними заданиями учащихся, согласно анализу данных, полученных Associated Press по запросу в общедоступных источниках.

Учеников одного из классов фотографии вызвали в кабинет директора из-за опасений, что Gaggle обнаружила наготу. Фотографии были автоматически удалены из Google Дисков учеников, но ученики, у которых были резервные копии отмеченных изображений на своих устройствах, подтвердили, что тревога была ложной. Представители школьного округа заявили, что позже они скорректировали настройки программы, чтобы уменьшить количество ложных срабатываний.

Наташа Торкзабан, окончившая университет в 2024 году, рассказала, что ее пометили как редактора эссе подруги для поступления в колледж, поскольку в нем были слова «психическое здоровье».

«Думаю, в идеале мы не стали бы внедрять новое блестящее решение на основе искусственного интеллекта для решения глубоко укоренившейся проблемы подросткового психического здоровья и уровня самоубийств в Америке, но именно в такой ситуации мы сейчас находимся», — сказала Торкзабан. Она была в числе студентов-журналистов и художников из старшей школы Лоуренса, которые на прошлой неделе подали иск против школьной системы, утверждая, что Gaggle подвергает их неконституционной слежке.

Представители школы заявили, что серьезно относятся к опасениям по поводу Gaggle, но также говорят, что технология обнаружила десятки неминуемых угроз самоубийства или насилия.

«Иногда нужно рассматривать торговлю ради общего блага», — сказала член Совета по образованию Энн Костелло на заседании совета в июле 2024 года.

Спустя два года после пережитого, Матис сказала, что её дочери стало лучше, хотя она всё ещё «боится» столкнуться с одним из арестовавших её сотрудников школы. Одним из светлых моментов, по её словам, стало сострадание учителей в альтернативной школе, где учится её дочь. Каждый день они находили время, чтобы позволить детям делиться своими чувствами и переживаниями, не осуждая.

«Мы просто хотим, чтобы дети были маленькими солдатами, но они такими не являются, — сказал Матис. — Они всего лишь люди».

___

В этом репортаже рассматриваются заседания школьных советов, размещенные на YouTube и предоставленные DistrictView — набором данных, созданным исследователями Тайлером Симко, Мирьей Холман и Ребеккой Джонсон.

___

Освещение образовательной тематики Associated Press финансируется несколькими частными фондами. Associated Press несёт исключительную ответственность за весь контент. Ознакомиться со стандартами Associated Press по работе с благотворительными организациями, списком спонсоров и финансируемыми территориями можно на сайте AP.org.