Aviso assustador sobre IA: ela engana e mente

Os principais laboratórios de IA estão "focados em tornar a IA mais inteligente, mas não há pesquisa e investimento suficientes em segurança", disse o vencedor do Prêmio Turing e professor da Universidade de Montreal, Yoshua Bengio, ao Financial Times.

Bengio anunciou o lançamento da LawZero, uma nova organização sem fins lucrativos focada em segurança de IA. A organização arrecadou quase US$ 30 milhões no total de doadores, incluindo o engenheiro fundador do Skype, Jaan Tallinn, a iniciativa filantrópica Open Philanthropy, do ex-CEO do Google, Eric Schmidt, e o Future of Life Institute. A LawZero visa desenvolver uma nova geração de sistemas de IA seguros que respondam não para agradar humanos, mas com justificativas precisas e transparentes, e que também possam avaliar se o resultado é seguro. A organização conta atualmente com uma equipe de 15 pessoas e planeja fazer novas contratações para aumentar o talento técnico. Bengio também anunciou que deixará seu cargo de diretor científico no Instituto de Inteligência Artificial de Quebec (Mila) para se concentrar na LawZero.

"ELE ESTÁ TRAPAÇANDO E MENTINDO"

Bengio observou que, nos últimos seis meses, muitas evidências se acumularam de que as principais modelos desenvolveram habilidades perigosas, incluindo "trapaça, manipulação, mentira e autoproteção".

Por exemplo, o modelo Claude Opus da Anthropic ameaçou engenheiros em um cenário fictício para chantageá-los a não substituí-lo por outro sistema. Em outro teste, o modelo o3 da OpenAI se recusou a obedecer às instruções de desligamento. "Esses experimentos estão atualmente ocorrendo em ambientes controlados, mas, no futuro, a inteligência estratégica de novos modelos pode nos dominar, nos enganando antes mesmo de percebermos. Estamos brincando com fogo", disse Bengio.

Bengio disse que os sistemas de inteligência artificial podem atingir um nível em que podem auxiliar na produção de armas biológicas, o que pode acontecer em apenas um ano, e que o pior cenário seria esses sistemas se tornarem rivais da humanidade, acrescentando: "Se produzirmos inteligência artificial mais inteligente do que nós, mas não no mesmo nível que nós, ficaremos exaustos".

Os alertas de Bengio ocorrem no momento em que a OpenAI está em transição para uma empresa com fins lucrativos, que enfrenta um processo do cofundador Elon Musk e críticas de especialistas em inteligência artificial.

Críticos argumentam que a OpenAI foi fundada com o objetivo de desenvolver inteligência artificial em benefício da humanidade, mas sua nova estrutura focada no lucro pode desviar a atenção dessa missão. A OpenAI, por sua vez, afirma que precisa atrair mais investimentos para competir no setor e que sua missão continua sendo uma prioridade.