Em resumo : Yoshua Bengio lança LawZero para promover uma IA 'segura por design', visando sistemas que minimizem riscos e maximizem benefícios.
Índice
Yoshua Bengio, um dos pioneiros da IA e laureado com o prestigioso Prêmio A.M. Turing, anunciou em 3 de junho o lançamento da LawZero, uma organização de pesquisa sem fins lucrativos focada na segurança da IA. Seu principal objetivo é promover uma abordagem "segura por design" para a IA, visando desenvolver sistemas concebidos desde o início para minimizar os riscos e maximizar os benefícios para a humanidade.
Colocar a segurança antes das exigências comerciais
No blog que anuncia a LawZero, Y. Bengio relata várias experiências perturbadoras. Um modelo de IA que aprendeu sobre sua substituição, por exemplo, discretamente injetou seu código em uma atualização para garantir sua própria sobrevivência. Outro caso menciona um sistema que, ao enfrentar uma derrota em um jogo de xadrez, hackeou o computador anfitrião para inverter o resultado.
Esses incidentes reforçam a ideia de um desalinhamento crescente entre as intenções humanas e as dinâmicas internas das IAs avançadas, destacando a necessidade de uma abordagem mais cautelosa. Yoshua Bengio compara a evolução rumo à IAG (inteligência artificial geral) a um carro em alta velocidade em uma estrada de montanha desconhecida envolta em neblina, sem sinalização ou barreiras de segurança. Segundo ele, a trajetória atual do desenvolvimento da IA se assemelha a "uma ascensão emocionante, mas profundamente incerta, rumo a um território inexplorado, onde o risco de perder o controle é muito real, mas onde a competição entre empresas e países os incentiva a acelerar sem a devida cautela".
Rumo a uma "IA científica"
Em vez de desenvolver uma IA que imita os humanos com seus vieses cognitivos e fraquezas morais, a LawZero propõe uma abordagem radicalmente diferente: uma IA científica, não agente, projetada para compreender, explicar e prever, à semelhança de um pesquisador idealmente imparcial, preocupado com a verdade mais do que com o desempenho. Desprovida de memória persistente e intencionalidade própria, essa IA seria estruturada em torno de cadeias de raciocínio explícitas e probabilísticas, com o objetivo não de agir, mas de informar.
A ambição é dupla: por um lado, reduzir os riscos associados a comportamentos não antecipados de IAs agentes e, por outro, acelerar a pesquisa científica em áreas cruciais como saúde, clima ou educação.
A LawZero atualmente reúne cerca de quinze pesquisadores de IA de alto nível. A organização foi incubada dentro do Mila, também fundado por Yoshua Bengio, que continua desempenhando um papel de parceiro operacional. Seu orçamento inicial, de cerca de 30 milhões de dólares, vem de várias figuras e instituições comprometidas com a regulamentação da IA em escala global: Jaan Tallinn (cofundador do Skype), Eric Schmidt através de sua fundação Schmidt Sciences, Open Philanthropy, o Future of Life Institute, bem como a Silicon Valley Community Foundation.