Les fonctionnalités de sécurité pour adolescents d'OpenAI seront sur une ligne fine

OpenAI a annoncé mardi de nouvelles fonctionnalités de sécurité pour les adolescents sur ChatGPT, dans le cadre d'une initiative visant à répondre aux préoccupations concernant la manière dont les mineurs interagissent avec les chatbots . L'entreprise développe un système de prédiction d'âge qui identifie si un utilisateur a moins de 18 ans et le dirige vers un système « adapté à son âge » bloquant les contenus à caractère sexuel explicite. Si le système détecte que l'utilisateur envisage le suicide ou l'automutilation, il contactera ses parents. En cas de danger imminent, si les parents de l'utilisateur sont injoignables, le système pourra contacter les autorités.

Dans un article de blog sur l'annonce, le PDG Sam Altman a écrit que l'entreprise tente d'équilibrer la liberté, la vie privée et la sécurité des adolescents.

« Nous sommes conscients que ces principes sont contradictoires, et que la manière dont nous les résolvons ne fera pas l'unanimité », a écrit Altman. « Ce sont des décisions difficiles, mais après avoir discuté avec des experts, nous estimons que c'est la meilleure solution et nous souhaitons être transparents quant à nos intentions. »

Si OpenAI privilégie généralement la confidentialité et la liberté des utilisateurs adultes, l'entreprise affirme privilégier la sécurité des adolescents. D'ici fin septembre, l'entreprise déploiera un contrôle parental permettant aux parents de lier le compte de leur enfant au leur, leur permettant ainsi de gérer les conversations et de désactiver des fonctionnalités. Les parents pourront également recevoir des notifications lorsque « le système détecte que leur adolescent est en situation de détresse aiguë », selon le billet de blog de l'entreprise, et définir des limites quant aux heures d'utilisation de ChatGPT par leurs enfants.

Ces mesures interviennent alors que des informations profondément inquiétantes continuent de faire surface concernant des personnes se suicidant ou commettant des violences contre des membres de leur famille après avoir eu de longues conversations avec des chatbots IA. Les législateurs en ont pris note, et Meta et OpenAI sont sous surveillance. Plus tôt ce mois-ci, la Federal Trade Commission a demandé à Meta, OpenAI, Google et d'autres entreprises d'IA de fournir des informations sur l'impact de leurs technologies sur les enfants, selon Bloomberg .

Parallèlement, OpenAI est toujours sous le coup d'une ordonnance du tribunal lui imposant de conserver indéfiniment les conversations des consommateurs, une situation qui déplaît vivement à l'entreprise, selon des sources que j'ai consultées. Cette annonce constitue à la fois une avancée importante pour la protection des mineurs et une stratégie de communication judicieuse visant à renforcer l'idée que les conversations avec les chatbots sont si personnelles que la confidentialité des consommateurs ne devrait être violée que dans les circonstances les plus extrêmes.

D'après les sources que j'ai consultées chez OpenAI, la protection des utilisateurs pèse lourdement sur de nombreux chercheurs. Ils souhaitent créer une expérience utilisateur ludique et engageante, mais celle-ci peut rapidement virer à la flagornerie . Il est positif que des entreprises comme OpenAI prennent des mesures pour protéger les mineurs. Cependant, en l'absence de réglementation fédérale, rien ne les oblige à agir correctement.

Dans une récente interview, Tucker Carlson a exhorté Altman à préciser qui prend ces décisions qui impactent le reste de la population. Le directeur d'OpenAI a pointé du doigt l'équipe chargée du comportement des modèles, chargée d'ajuster le modèle à certains attributs. « Je pense que la personne responsable de ces décisions, c'est moi », a ajouté Altman. « Je suis une figure publique. À terme, je suis celui qui peut annuler ces décisions ou celles de notre conseil d'administration. »

Il a raison, mais certains dangers imminents semblent lui échapper. Dans un autre podcast avec la youtubeuse Cleo Abrams, Altman a déclaré que « nous sommes parfois tentés » de lancer des produits « qui stimuleraient réellement la croissance ». Il a ajouté : « Nous n'avons pas encore intégré d'avatar sexbot dans ChatGPT. » Pourtant ! Étrange.

OpenAI a récemment publié une étude sur les utilisateurs de ChatGPT et leurs modes d'utilisation. Cette étude excluait les utilisateurs de moins de 18 ans. Nous ne comprenons pas encore parfaitement comment les adolescents utilisent l'IA, et il est important de répondre à cette question avant que la situation ne s'aggrave.

xAI, la société d'Elon Musk, poursuit en justice un ancien employé qui a quitté l'entreprise pour rejoindre OpenAI. Il l'accuse d'avoir détourné des secrets commerciaux et des informations confidentielles. À l'heure où les entreprises d'IA échangent leurs employés contre des rémunérations de plusieurs millions de dollars , je suis certain que ce type de poursuites se multipliera.

Selon deux sources internes à l'entreprise, l'employé en question, Xuechen Li, n'a jamais rejoint le Slack interne d'OpenAI. On ignore si son offre a été annulée ou s'il a été embauché avant d'être licencié. OpenAI et Li n'ont pas répondu aux demandes de commentaires de WIRED.

Ceci est une édition de la newsletter « Model Behavior » de Kylie Robison . Consultez les newsletters précédentes ici.