Há um clichê popular de ficção científica de que um dia a inteligência artificial fica desonesta e mata todos os humanos, eliminando a espécie. Isso poderia realmente acontecer? Em pesquisas do mundo real, os pesquisadores da IA dizem que vêem a extinção humana como um resultado plausível do desenvolvimento da IA. Em 2024, centenas desses pesquisadores assinaram uma declaração que dizia: “Mitigar o risco de extinção da IA deve ser uma prioridade global ao lado de outros riscos em escala social, como pandemias e guerra nuclear”.
Ok, pessoal.
Pandemias e guerra nuclear são preocupações reais e tangíveis, mais do que Ai Doom, pelo menos para mim, um cientista da Rand Corporation. Fazemos todos os tipos de pesquisas sobre questões de segurança nacional e podemos ser mais conhecidos por nosso papel no desenvolvimento de estratégias para impedir a catástrofe nuclear durante a Guerra Fria. Rand leva a sério grandes ameaças à humanidade, então eu, cético sobre o potencial de extinção humana da IA, propus um projeto para pesquisar se poderia.
Sobre apoiar o jornalismo científico
Se você está gostando deste artigo, considere apoiar nosso jornalismo premiado por assinando. Ao comprar uma assinatura, você está ajudando a garantir o futuro das histórias impactantes sobre as descobertas e idéias que moldam nosso mundo hoje.
A hipótese da minha equipe foi a seguinte: Nenhum cenário pode ser descrito onde a IA é conclusivamente uma ameaça de extinção à humanidade. Em outras palavras, nossa hipótese inicial era que os humanos eram muito adaptáveis, muito abundantes e muito dispersos em todo o planeta para a IA nos acabar usando qualquer ferramenta hipoteticamente à sua disposição. Se pudéssemos provar que essa hipótese está errada, isso significaria que a IA poderia ser uma ameaça real de extinção à humanidade.
Muitas pessoas estão avaliando riscos catastróficos da IA. Nos casos mais extremos, algumas pessoas afirmam que a IA se tornará uma superinteligência, com uma chance quase certa de que ela use uma nova tecnologia avançada como a nanotecnologia para assumir e nos limpar. Os meteorologistas previram a probabilidade de risco existencial de uma catástrofe de IA, geralmente chegando entre 0 e 10 % de chance de a IA causar a extinção da humanidade até 2100. Ficamos céticos em relação ao valor de previsões como essas para formulação de políticas e redução de risco.
Nossa equipe consistia em um cientista, um engenheiro e um matemático. Engolamos qualquer um de nosso ceticismo da IA e-de maneira muito parecida com rand-definimos sobre o detalhamento de como a IA poderia realmente causar extinção humana. Uma simples catástrofe global ou colapso social não foi suficiente para nós. Estávamos tentando levar a sério o risco de extinção, o que significava que estávamos interessados apenas em um limite completo de nossa espécie. Também não estávamos interessados em se a IA tentaria nos matar – apenas se poderia ter sucesso.
Era uma tarefa mórbida. Fizemos isso analisando exatamente como a IA pode explorar três grandes ameaças geralmente percebidas como riscos existenciais: guerra nuclear, patógenos biológicos e mudanças climáticas.
Acontece que é muito difícil – embora não esteja completamente fora do reino da possibilidade – para a IA matar todos nós.
A boa notícia, se eu puder chamar assim, é que não achamos que a IA possa matar todos nós com armas nucleares. Mesmo que a IA adquirisse de alguma forma a capacidade de lançar todas as ogivas de mais de 12.000 no estoque nuclear global de nove países, as explosões, as consequências radioativas e o inverno nuclear resultante ainda não ficariam aquém de um evento no nível da extinção. Os seres humanos são muito abundantes e dispersos para que as detonações matem diretamente todos nós. A IA pode detonar armas sobre todas as áreas mais densas de combustível do planeta e ainda não conseguir produzir tanta cinza quanto o meteoro que provavelmente eliminou os dinossauros. Também não há ogivas nucleares suficientes no planeta para irradiar completamente todas as terras agrícolas utilizáveis do planeta. Em outras palavras, um Armagedom nuclear iniciado pela IA seria cataclísmico, mas provavelmente ainda não mataria todo ser humano, porque alguns humanos sobreviveriam e teriam o potencial de reconstituir a espécie.
Por outro lado, consideramos pandemias uma ameaça de extinção plausível. As pragas naturais anteriores têm sido catastróficas, mas as sociedades humanas sobreviveram e soldados. Mesmo uma população mínima (provavelmente alguns milhares de membros) poderia eventualmente reconstituir as espécies. Um patógeno letal hipoteticamente 99,99 % deixaria mais de 800.000 humanos vivos.
Determinamos, no entanto, que uma combinação de patógenos provavelmente poderia ser projetada para alcançar quase 100 % de letalidade, e a IA poderia ser usada para implantar esses patógenos de uma maneira que garantisse o rápido e rápido alcance global. A principal limitação é que a IA precisaria de alguma forma infectar ou exterminar comunidades que inevitavelmente se isolassem quando se deparam com uma pandemia de final de espécies.
Finalmente, se a IA acelerasse a mudança climática antropogênica da variedade do jardim, ainda não subiria a uma ameaça de extinção a toda a humanidade. Os seres humanos provavelmente encontrariam novos nichos ambientais nos quais sobreviver, mesmo que envolvesse a mudança para os pólos da Terra. Tornar a Terra completamente inabitável para os seres humanos exigiria a IA bombeando algo muito mais potente que o dióxido de carbono na atmosfera. Essa é a boa notícia.
A má notícia é que existem gases de efeito estufa muito mais poderosos. Eles podem ser produzidos em escalas industriais. E eles persistem na atmosfera por centenas ou milhares de anos. Se a IA evita o monitoramento internacional e orquestre a produção de algumas centenas de megatons desses produtos químicos (que é menor que a massa de plástico que os humanos produzem a cada ano), seria suficiente cozinhar a Terra a ponto de não haver nicho ambiental para a humanidade.
Eu quero deixar isso claro: nenhum dos nossos cenários de extinção da AI pode acontecer por acidente. Cada um seria imensamente desafiador para realizar. A IA teria que superar as principais restrições.
No decorrer de nossa análise, também identificamos quatro coisas que nossa AI hipotética de super -vilas deve ter: primeiro, precisaria de alguma forma definir um objetivo para causar extinção. A IA também teria que obter controle sobre os principais sistemas físicos que criam a ameaça, como controle de lançamento de armas nucleares ou infraestrutura de fabricação química. Precisaria da capacidade de convencer os seres humanos a ajudar e esconder suas ações por tempo suficiente para ter sucesso. E ele deve ser capaz de sobreviver sem os humanos por perto para apoiá-lo, porque mesmo uma vez que a sociedade começou a entrar em colapso, as ações de acompanhamento seriam necessárias para causar total extinção.
Se a IA não possuísse todas as quatro capacidades, nossa equipe concluiu que seu projeto de extinção falharia. Dito isto, é plausível criar IA que tenha todas essas capacidades, mesmo que não intencionalmente. Além disso, os seres humanos podem criar IA com todas as quatro capacidades intencionalmente. Os desenvolvedores já estão tentando criar IA agênticos ou mais autônomos, e já observaram a IA que tem capacidade para planejar e enganar.
Mas se a extinção é um resultado plausível do desenvolvimento da IA, isso não significa que devemos seguir o princípio da precaução? Ou seja: Desligue tudo porque é melhor seguro do que remediar? Dizemos que a resposta é não. A abordagem de fechamento é apropriada apenas se não nos importarmos muito com os benefícios da IA. Para o bem ou para o mal, nos preocupamos muito com os benefícios que a IA provavelmente trará, e é inapropriado renunciá -los a evitar uma catástrofe potencial, mas altamente incerta, mesmo uma tão consequente quanto a extinção humana.
Então, ai um dia vai matar todos nós? Não é absurdo dizer que poderia. Ao mesmo tempo, nosso trabalho também mostrou que os humanos não precisam de ajuda da IA para nos destruir. Uma maneira infalível de diminuir o risco de extinção, se ele deriva ou não da IA, é aumentar nossas chances de sobrevivência, reduzindo o número de armas nucleares, restringindo produtos químicos para aquecer os globos e melhorar a vigilância pandêmica. Também faz sentido investir em pesquisas de segurança de IA, independentemente de você comprar ou não o argumento de que a IA é um risco potencial de extinção. As mesmas abordagens de desenvolvimento responsável de IA que mitigam o risco da extinção também mitigarão os riscos de outros danos relacionados à IA que são menos conseqüentes e também menos incertos do que os riscos existenciais.
Esta é um artigo de opinião e análise, e as opiniões expressas pelo autor ou autores não são necessariamente as de Scientific American.
