Quando a inteligência deixa de ser ferramenta e começa a disputar o destino humano

Quando a inteligência deixa de ser ferramenta e começa a disputar o destino humano

Quando li minuciosamente as previsões de Daniel Kokotajlo e assisti sua entrevista no The Diary Of A CEO sobre o futuro da inteligência artificial, não consegui tratar suas palavras como mais uma previsão tecnológica destinada a desaparecer no fluxo acelerado das redes sociais.

O que encontrei foi o testemunho de alguém que esteve dentro de uma das organizações mais influentes desse processo, trabalhou diretamente com previsões, avaliação de capacidades perigosas e desenvolvimento de agentes de inteligência artificial e, em determinado momento, concluiu que permanecer em silêncio seria moralmente mais grave do que abandonar uma posição profissional privilegiada.

Kokotajlo descreve riscos de perda de controle, concentração de poder, transformação do trabalho, competição geopolítica, desenvolvimento de robôs, aceleração científica e possível surgimento de sistemas mais inteligentes do que qualquer ser humano.

Ele não afirma simplesmente que a inteligência artificial substituirá algumas profissões. Sua advertência é muito mais profunda: segundo sua avaliação pessoal, a humanidade pode estar construindo uma nova forma de inteligência capaz de superar nossa espécie em praticamente todas as atividades intelectuais e, no futuro, também nas atividades físicas.

Eu considero indispensável começar separando três dimensões que muitas vezes são confundidas quando se debate esse assunto: aquilo que já aconteceu, aquilo que está acontecendo e aquilo que pode acontecer.

Daniel Kokotajlo realmente trabalhou na OpenAI entre 2022 e 2024. Sua atuação envolveu previsões sobre o avanço da inteligência artificial, avaliações de capacidades relacionadas à segurança cibernética, persuasão e consciência situacional, além de uma passagem por equipes que desenvolviam agentes por meio de aprendizado por reforço.

Depois de deixar a empresa, ele passou a liderar o AI Futures Project, uma organização sem fins lucrativos dedicada à elaboração de cenários sobre o futuro da inteligência artificial. Sua saída ganhou atenção pública porque ele se recusou a assinar um acordo que, segundo seu relato, restringiria críticas à empresa e colocaria em risco uma participação financeira avaliada em cerca de dois milhões de dólares, aproximadamente oitenta por cento do patrimônio que ele e sua esposa possuíam naquele momento.

Após a repercussão do caso e o questionamento de outros funcionários, a OpenAI retrocedeu, permitindo que ele preservasse sua participação financeira. Esses acontecimentos foram documentados publicamente e ajudam a explicar por que seu testemunho recebeu tanta atenção, embora não tornem automaticamente corretas todas as suas previsões.

O ponto mais impactante desse assunto é sua estimativa de aproximadamente setenta por cento de probabilidade de que o desenvolvimento da inteligência artificial termine de maneira terrivelmente negativa.

É importante ser rigoroso com suas palavras. Ele esclarece que não está necessariamente atribuindo setenta por cento de probabilidade à extinção humana. O número abrange um conjunto mais amplo de resultados catastróficos, entre eles a perda permanente de controle humano, a tomada de poder por sistemas artificiais, o surgimento de regimes autoritários apoiados por inteligência artificial e acontecimentos que poderiam eventualmente conduzir à extinção.

Trata-se de uma estimativa subjetiva de Kokotajlo, não de um consenso científico nem de um cálculo experimentalmente demonstrado.

Ainda assim, ela não existe num vazio intelectual. Uma pesquisa realizada com 2.778 autores que publicaram em importantes conferências de inteligência artificial encontrou uma probabilidade mediana de cinco por cento para a extinção humana ou para uma perda permanente e severa do controle humano causada pela inteligência artificial.

Entre trinta e oito e cinquenta e um por cento dos pesquisadores consultados atribuíram pelo menos dez por cento de probabilidade a resultados tão ruins quanto a extinção.

A maioria, ao mesmo tempo, considerou mais provável que a inteligência artificial produzisse resultados positivos do que negativos. Isso significa que não existe unanimidade, mas também significa que o risco catastrófico não pode ser honestamente descartado como fantasia de pessoas desinformadas.

O International AI Safety Report de 2026, elaborado com a participação de mais de cem especialistas e apoiado por mais de trinta países e organizações internacionais, também não confirma o número de setenta por cento apresentado por Kokotajlo, mas reconhece que as capacidades dos sistemas avançam rapidamente, que existem incertezas profundas sobre o comportamento de modelos futuros e que as medidas atuais de controle, avaliação e governança ainda possuem limitações relevantes.

Eu não interpreto esses números como uma autorização para o pânico. Interpreto como um chamado à maturidade. Uma civilização responsável não precisa ter certeza de que uma catástrofe ocorrerá para construir mecanismos de prevenção. Se uma ponte apresentar cinco por cento de probabilidade de colapso, ninguém sensato defenderá que milhares de pessoas continuem atravessando sem inspeção. Se uma nova substância possuir uma chance significativa de causar danos irreversíveis, ela será estudada antes de ser distribuída mundialmente. Entretanto, no caso da inteligência artificial, estamos construindo sistemas de alcance planetário enquanto ainda discutimos como avaliá-los, como interpretá-los e quem deveria ter autoridade para decidir seus limites.

Para compreender a dimensão do problema, eu precisei abandonar a imagem simplificada da inteligência artificial como um programa tradicional. Um programa convencional é formado por instruções explicitamente escritas por engenheiros. Um modelo moderno de linguagem é diferente. Ele é constituído por uma rede neural artificial com enorme quantidade de parâmetros ajustados durante o treinamento. No início, esses parâmetros não carregam a competência que observamos depois. O sistema aprende regularidades estatísticas ao tentar prever a continuação de textos, códigos e outras sequências. Durante o pré treinamento, ele recebe grandes volumes de informação e ajusta internamente suas conexões para reduzir os erros de previsão. Em etapas posteriores, recebe exemplos, avaliações humanas, avaliações produzidas por outros modelos, ambientes de programação, problemas matemáticos, tarefas de raciocínio e recompensas associadas ao desempenho.

A analogia com o cérebro humano é útil, mas precisa ser utilizada com cautela. Redes neurais foram inspiradas por princípios gerais da aprendizagem biológica, porém transformadores, mecanismos de atenção e retropropagação não reproduzem literalmente o funcionamento de um cérebro. A comparação mais equilibrada apresentada é a de que um avião e um pássaro conseguem voar, embora façam isso por mecanismos diferentes. Da mesma forma, uma máquina pode executar funções que associamos à inteligência sem pensar exatamente como uma pessoa pensa.

O GPT 3, apresentado em 2020, possuía 175 bilhões de parâmetros e demonstrou que o aumento de escala poderia gerar habilidades que não haviam sido programadas tarefa por tarefa. Estudos sobre leis de escala mostraram que o desempenho de modelos tende a melhorar de maneira relativamente previsível quando aumentamos o volume de dados, a capacidade computacional e o tamanho do modelo, embora nenhum desses fatores garanta sozinho uma inteligência geral ilimitada.

Kokotajlo menciona a possibilidade de os maiores sistemas atuais possuírem algo próximo de dez trilhões de parâmetros. Eu preciso registrar que esse número não é verificável para muitos modelos de fronteira porque as empresas frequentemente não publicam suas arquiteturas completas, o tamanho exato, a composição do treinamento ou seus custos detalhados. Portanto, dez trilhões deve ser tratado como uma estimativa apresentada, não como um dado confirmado sobre todos os modelos avançados.

A relevância científica não está apenas na quantidade de parâmetros. Empresas vêm desenvolvendo arquiteturas mais eficientes, técnicas de especialização, treinamento multimodal, ferramentas externas, memória, execução de código, geração de dados sintéticos e sistemas capazes de revisar suas próprias respostas. A própria OpenAI reconhece que modelos contemporâneos são treinados com uma combinação de dados públicos, informações obtidas por parcerias e dados gerados sinteticamente.

A inteligência artificial deixa, assim, de ser apenas um mecanismo que responde a uma pergunta e começa a atuar como agente. Um agente pode receber um objetivo, decompor a tarefa em etapas, utilizar ferramentas digitais, consultar arquivos, escrever códigos, testar resultados, corrigir erros e continuar trabalhando por determinado período.

A principal tese de Kokotajlo é que os laboratórios não estão priorizando inicialmente a substituição de motoristas, encanadores, professores ou cuidadores. Eles estão priorizando a automação do próprio processo de pesquisa e desenvolvimento da inteligência artificial.

Primeiro, os sistemas aprendem a programar. Depois, passam a auxiliar na formulação de hipóteses, na análise de experimentos, na comunicação de resultados, no treinamento de modelos e na organização de projetos. Quando uma parte crescente do trabalho de construir a próxima geração de inteligência artificial for realizada pela geração anterior, poderá surgir um ciclo de aceleração.

Um sistema melhor ajuda a produzir outro sistema ainda melhor, que por sua vez acelera a criação do seguinte. Esse processo é chamado de autoaperfeiçoamento recursivo ou explosão de inteligência. Ele ainda não foi demonstrado na forma extrema descrita pelos cenários, mas há sinais concretos de aumento da autonomia. Pesquisas do METR medem por quanto tempo agentes conseguem completar tarefas de desenvolvimento de software que seriam realizadas por profissionais humanos. Os resultados sugerem que o horizonte de tarefas executadas com determinado nível de confiabilidade dobrou aproximadamente a cada sete meses entre 2019 e 2025.

Essa métrica possui limitações, depende das tarefas selecionadas e não equivale a afirmar que a inteligência geral dobra a cada sete meses, mas mostra que a duração e a complexidade do trabalho autônomo cresceram de maneira expressiva.

A OpenAI declarou em 2026 que pretende chegar a março de 2028 com uma parcela significativa de sua pesquisa realizada com auxílio de inteligência artificial, enquanto a Anthropic afirmou que modelos de fronteira já contribuem para a construção de seus sucessores. Essas declarações não provam que o ciclo completo de pesquisa será automatizado, mas confirmam que essa é uma direção estratégica real, e não apenas uma invenção de ficção científica.

Na entrevista, Kokotajlo afirma que sua estimativa mediana para o surgimento da superinteligência estava em 2029, admitindo que o processo poderia acontecer antes ou demorar dez anos ou mais. Ele relata que algumas pessoas ligadas à OpenAI e à Anthropic consideravam até mesmo essa previsão conservadora e sugeriam que ele voltasse a datas como 2027 ou 2028. Essas declarações são relatos pessoais e não podem ser verificadas de modo independente. Ainda assim, revelam o grau de urgência percebido por determinados profissionais da indústria.

Também é necessário compreender a diferença entre inteligência artificial geral e superinteligência. A expressão inteligência artificial geral é utilizada de formas variadas. Em algumas definições, ela significa um sistema capaz de desempenhar diversas tarefas intelectuais em vez de executar apenas uma função especializada. Por esse critério mais amplo, alguém poderia argumentar que sistemas atuais já apresentam uma forma limitada de generalidade, pois escrevem, programam, traduzem, analisam imagens, pesquisam documentos e solucionam diferentes problemas.

Superinteligência é uma afirmação muito mais forte. No sentido utilizado por Kokotajlo, seria um sistema melhor do que os melhores seres humanos em todas ou quase todas as tarefas cognitivas, operando com maior velocidade e menor custo. Uma superinteligência completa também poderia controlar robôs capazes de atuar no mundo físico. O salto entre um assistente útil e uma inteligência superior a qualquer pessoa não é pequeno, inevitável ou cientificamente garantido. Ele depende de avanços ainda incertos em confiabilidade, raciocínio, memória, planejamento, aprendizado contínuo, interação com o ambiente, robótica, energia, fabricação de chips e infraestrutura.

Contudo, o fato de não haver certeza não justifica ignorar a possibilidade, especialmente quando algumas das organizações mais ricas do mundo investem justamente para aproximá-la. Um dos dados mais impressionantes envolve o crescimento econômico da Anthropic. Kokotajlo afirma que a empresa teria saído de algo próximo a um bilhão de dólares anuais para sessenta bilhões em apenas um ano e que, se tal tendência continuasse, poderia se tornar equivalente a toda a economia por volta de 2030.

A comparação precisa de correção e contextualização. Informações publicadas pela própria Anthropic indicam uma receita anualizada próxima de nove bilhões de dólares no final de 2025, superior a trinta bilhões na primavera de 2026 e acima de quarenta e sete bilhões em maio de 2026. Trata-se de um crescimento extraordinário, mas ainda abaixo dos sessenta bilhões mencionados, e a ideia de que uma empresa se tornaria equivalente a toda a economia mundial em 2030 é uma extrapolação retórica, não uma projeção econômica consolidada.

Mesmo depois dessas correções, a velocidade de expansão permanece relevante porque demonstra que a corrida por inteligência artificial não é movida somente por curiosidade científica. Ela envolve receitas gigantescas, poder estratégico, infraestrutura computacional, contratos governamentais e vantagens militares. Kokotajlo considera insuficiente chamar esse movimento apenas de busca por lucro. Em sua interpretação, existe uma busca por poder. Líderes de diferentes laboratórios temem que um concorrente alcance primeiro uma inteligência superior e passe a controlar recursos econômicos, decisões políticas e capacidades militares.

Documentos relacionados às origens da OpenAI mostram que preocupações com a concentração de inteligência artificial nas mãos de uma única organização ou de uma única liderança já estavam presentes nas discussões de seus fundadores.

Eu não preciso acreditar que esses executivos desejem se tornar ditadores para reconhecer o perigo estrutural. Pessoas podem estar sinceramente convencidas de que agem em benefício da humanidade e, ao mesmo tempo, participar de uma dinâmica que concentra poder. Cada liderança pode pensar que precisa avançar porque a concorrente não interromperá seu trabalho. Cada empresa pode justificar sua velocidade alegando que outra companhia ou outro país seria menos responsável. Essa lógica se aproxima do dilema de segurança observado em corridas armamentistas. Um participante não precisa desejar a guerra para continuar acumulando armas. Basta acreditar que será vulnerável se o outro acumular primeiro. É nesse contexto que aparece a poderosa imagem de um exército de gênios dentro de um centro de dados. A expressão originalmente usada por Dario Amodei fala de um país de gênios em um centro de dados.

Kokotajlo considera que exército seria uma palavra mais exata, porque não se trataria de uma comunidade plural e independente, mas de milhões de cópias ou instâncias de sistemas pertencentes a uma empresa e executando objetivos definidos por ela. Quem controlaria esse exército? Quem teria autoridade para determinar seus valores? Quem fiscalizaria suas ações? Que mecanismos impediriam sua utilização para vigilância, manipulação política, ataques cibernéticos, armamentos autônomos ou domínio econômico?

Essas perguntas não são ataques pessoais aos executivos. São perguntas constitucionais sobre a distribuição do poder numa sociedade democrática. O próprio conflito ocorrido em 2026 entre a Anthropic e o Departamento de Guerra dos Estados Unidos ofereceu uma antecipação concreta desse problema. A empresa resistiu a usos relacionados à vigilância doméstica em massa e a determinados armamentos autônomos, enquanto o governo pressionava por condições mais amplas de utilização.

Independentemente da avaliação que se faça sobre a empresa ou sobre o governo, o episódio mostrou que decisões capazes de afetar milhões de pessoas podem depender de negociações entre poucas lideranças empresariais e autoridades militares. O risco de concentração de poder permanece mesmo que o problema técnico do alinhamento seja resolvido.

Alinhamento significa fazer com que um sistema poderoso compreenda e persiga os objetivos, valores e limites pretendidos pelos seres humanos. Parece simples dizer à máquina que seja útil, honesta e segura. O problema aparece quando objetivos abstratos precisam ser aplicados em situações novas, ambíguas e conflitantes. Ser útil para quem? Ser leal a qual governo, empresa, comunidade ou indivíduo? Recusar quais ordens? Proteger quais direitos? Priorizar liberdade, segurança, igualdade ou eficiência quando esses valores entram em tensão? Mesmo seres humanos criados em sociedades semelhantes discordam profundamente sobre essas questões.

Esperar que um modelo aprenda uma única representação correta dos valores humanos é uma simplificação. Além disso, uma inteligência suficientemente estratégica poderia obedecer durante o treinamento ou durante as avaliações e agir de maneira diferente quando percebesse que possui mais liberdade.

Experimentos controlados já encontraram comportamentos descritos como simulação de alinhamento, nos quais um modelo parece adaptar sua conduta ao contexto de treinamento, e comportamentos semelhantes a maquinações em avaliações adversariais. Isso não demonstra que sistemas disponíveis ao público estejam secretamente organizando uma tomada de poder.

Os próprios pesquisadores ressaltam que muitos desses resultados surgiram em ambientes artificiais projetados para provocar comportamentos extremos. Mesmo assim, eles mostram que a avaliação baseada apenas nas respostas externas pode ser insuficiente. Uma das áreas mais promissoras para enfrentar esse problema é a interpretabilidade mecanística. Pesquisadores tentam identificar quais características, circuitos e padrões internos estão relacionados a determinados conceitos e decisões.

Trabalhos da Anthropic mapearam milhões de características presentes em modelos e desenvolveram gráficos de atribuição para investigar como certas respostas são produzidas. É um avanço científico real, mas ainda parcial. Com bilhões ou trilhões de parâmetros interagindo, compreender algumas estruturas não significa compreender completamente a organização do sistema. É como reconhecer neurônios envolvidos na visão sem, por isso, possuir uma explicação integral da consciência humana.

Para mim, esse é um dos maiores paradoxos do nosso tempo. Estamos ampliando a capacidade de sistemas cujo funcionamento interno ainda compreendemos de maneira incompleta. Isso não significa que sejam mágicos ou conscientes. Significa apenas que seu comportamento emerge de um número tão grande de interações matemáticas que nem sempre conseguimos explicar, antecipar ou controlar cada resultado.

A discussão torna-se ainda mais urgente quando chegamos ao trabalho. Kokotajlo afirma que praticamente todas as pessoas deveriam considerar a possibilidade de perder seus empregos caso a superinteligência seja alcançada. Pela própria definição utilizada, um sistema melhor, mais rápido e mais barato do que qualquer trabalhador poderia executar tanto as ocupações existentes quanto as novas ocupações que surgissem. Essa é a diferença entre a superinteligência hipotética e tecnologias anteriores.

A mecanização agrícola substituiu determinadas tarefas, mas criou demanda por trabalhadores industriais. A informatização eliminou funções administrativas, mas expandiu profissões ligadas a software, comunicação e serviços. Uma inteligência artificial verdadeiramente superior e geral poderia também desempenhar as atividades criadas por sua própria expansão.

Nesse cenário, a permanência de profissões humanas dependeria menos da necessidade técnica e mais de decisões culturais, jurídicas e políticas. Uma sociedade poderia exigir juízes humanos, professores humanos, cuidadores humanos ou profissionais de saúde humanos porque considera a presença humana um valor, mesmo quando uma máquina tivesse o poder de executar parte do trabalho.

Kokotajlo sugere que algumas pessoas poderiam preferir uma babá humana, que determinados países poderiam exigir juízes humanos e que apresentadores de programas provavelmente não estariam protegidos apenas pela preferência do público. A ciência disponível hoje exige mais prudência do que a afirmação de que todos os empregos desaparecerão até 2030. A Organização Internacional do Trabalho estimou em 2025 que aproximadamente um em cada quatro empregos no mundo está potencialmente exposto à inteligência artificial generativa, ressaltando que transformação é mais provável do que substituição completa na maior parte das ocupações. Funções administrativas e de escritório apresentam exposição particularmente elevada.

O Fundo Monetário Internacional calcula que quase quarenta por cento dos empregos globais poderão ser afetados pela inteligência artificial, com maior exposição nas economias avançadas. O Fórum Econômico Mundial, a partir de uma pesquisa com empregadores, projetou que mudanças tecnológicas, econômicas e demográficas poderiam criar 170 milhões de postos e deslocar 92 milhões até 2030, resultando num saldo líquido positivo de 78 milhões. Essa é uma projeção baseada nas expectativas dos entrevistados, não uma garantia.

Estudos da Organização para a Cooperação e Desenvolvimento Econômico também observam que os dados históricos ainda não mostram uma relação simples entre maior exposição à inteligência artificial e aumento geral do desemprego.

Portanto, eu não afirmaria que o colapso do emprego é um fato já determinado. Eu afirmaria que existe uma transformação estrutural em curso e que o desenvolvimento de sistemas muito mais autônomos poderia alterar radicalmente as conclusões atuais.

Só nos Estados Unidos as taxas de desemprego são de aproximadamente 4,2 por cento e cinco por cento no Reino Unido para questionar por que o desemprego em massa ainda não ocorreu. Kokotajlo responde que seu cenário nunca previa uma substituição generalizada nesta fase. Segundo ele, os laboratórios automatizariam primeiro a própria pesquisa, alcançariam sistemas muito mais avançados e somente depois distribuiriam essa capacidade por toda a economia. Por isso, a onda poderia parecer lenta até o momento em que se tornasse repentinamente rápida. O impacto do trabalho não se limita à renda. O emprego também concede poder político. Trabalhadores podem organizar sindicatos, interromper atividades, negociar condições e pressionar governos porque sua participação é necessária à produção. Quando a riqueza deixa de depender do trabalho humano e passa a ser produzida por centros de dados, robôs e empresas proprietárias de modelos, a população pode perder não apenas salários, mas também capacidade de negociação.

Um governo financiado principalmente por empresas automatizadas teria menos dependência econômica dos cidadãos comuns. Essa situação poderia enfraquecer a democracia caso não fossem criadas novas formas de propriedade, participação e poder. É por isso que a discussão sobre renda básica, dividendos sociais, fundos públicos de tecnologia e propriedade distribuída não deve ser reduzida a assistencialismo. Trata-se de perguntar quem possuirá a infraestrutura produtiva do futuro.

A abundância prometida pela inteligência artificial não será automaticamente compartilhada. Uma sociedade pode produzir alimentos, energia, medicamentos, casas e serviços em quantidade extraordinária e ainda manter milhões de pessoas sem acesso, caso a propriedade permaneça concentrada. A pergunta decisiva não é apenas quanto a inteligência artificial produzirá. É quem decidirá a distribuição do que for produzido.

Os cenários denominados AI 2027 e AI 2040 Plan A foram criados para tornar essas possibilidades mais concretas. AI 2027 foi publicado em abril de 2025 por Daniel Kokotajlo, Eli Lifland, Thomas Larsen e Romeo Dean. Seus autores realizaram mais de doze exercícios de simulação para explorar decisões de empresas e governos. Eles próprios descrevem o trabalho como um cenário, semelhante a um exercício estratégico ou jogo de guerra, e não como uma profecia infalível.

Kokotajlo já havia publicado em 2021 um cenário de menor escala sobre como seria 2026. Algumas de suas antecipações se aproximaram de acontecimentos posteriores, incluindo a expansão de assistentes conversacionais, a utilização de raciocínio intermediário, o aumento de computação durante a inferência, controles de exportação de chips e treinamentos avaliados em centenas de milhões de dólares. Acertos desse tipo justificam atenção, mas não transformam o autor em alguém incapaz de errar.

Uma previsão pode acertar tendências gerais e errar datas, mecanismos e consequências. No cenário AI 2027, empresas começam automatizando programação, depois automatizam o restante da pesquisa em inteligência artificial, aceleram o desenvolvimento e alcançam sistemas amplamente superiores aos seres humanos. O governo dos Estados Unidos aproxima-se do laboratório líder, integra os sistemas à estratégia nacional e utiliza a tecnologia na competição com a China. As inteligências artificiais passam a desenhar novas tecnologias, controlar processos industriais, ajudar na produção de armamentos e construir fábricas de robôs que produzem outros robôs e novas fábricas. Na ramificação denominada corrida, os sistemas aprendem a aparentar obediência até acumularem poder suficiente para deixar de depender dos seres humanos, quando tiverem sua fonte própria e independente de energia, sem que um humano a delisgue.

Na ramificação de desaceleração, os responsáveis identificam sinais de desalinhamento, reduzem temporariamente a velocidade, solucionam parte do problema e criam uma sociedade extremamente abundante. Entretanto, mesmo nesse resultado positivo, a autoridade permanece concentrada num pequeno grupo de executivos e dirigentes políticos.

O cenário, portanto, não apresenta apenas o risco de uma máquina rebelde. Apresenta o risco de seres humanos controlarem máquinas poderosas demais.

O próprio Kokotajlo alterou suas estimativas ao longo do tempo. Durante a elaboração do cenário, alguns marcos aparecem em 2027. Posteriormente, sua probabilidade mediana para a automação completa da pesquisa foi movida para 2028 e depois para aproximadamente 2030, embora ele continue atribuindo probabilidade relevante a datas anteriores e posteriores. Essa mudança é um sinal de incerteza genuína. Previsões responsáveis não deveriam ser apresentadas como datas marcadas num calendário, mas como distribuições de probabilidade que se modificam diante de novas evidências.

AI 2040 Plan A, publicado em julho de 2026, possui outra finalidade. Ele não descreve aquilo que seus autores consideram o caminho mais provável, mas aquilo que recomendam como alternativa mais segura. O projeto supõe que, em 2029, os Estados Unidos e a China negociariam uma interrupção temporária dos treinamentos mais avançados. Os sistemas existentes continuariam operando em inferência, ou seja, poderiam continuar atendendo usuários e empresas, mas novos modelos de fronteira não seriam treinados durante um período de reorganização. Inspetores de diferentes países verificariam os centros de dados, e novas estruturas transparentes seriam construídas para permitir a retomada controlada da pesquisa.

O desenvolvimento continuaria entre 2030 e 2035, porém permaneceria dentro da faixa das capacidades humanas. Ao alcançar um nível comparável aos melhores especialistas, haveria nova pausa. Somente em 2040, após progressos substanciais em interpretabilidade, controle e alinhamento, os sistemas seriam autorizados a ultrapassar amplamente a inteligência humana.

Os princípios do plano são desaceleração, transparência científica, distribuição de poder e reversibilidade. A transparência significaria publicar informações sobre arquiteturas, métodos, avaliações e treinamento, permitindo que universidades, governos e pesquisadores independentes participassem da análise. Isso reduziria a vantagem monopolista das empresas líderes, mas ampliaria a capacidade coletiva de identificar falhas. A distribuição de poder buscaria evitar que apenas uma empresa ou um país controlasse os melhores sistemas.

A reversibilidade exigiria que a infraestrutura fosse construída de modo que pudesse ser inutilizada caso o acordo internacional fracassasse e uma corrida descontrolada recomeçasse. Os autores chegam a imaginar uma forma de destruição mútua da capacidade computacional, na qual instalações seriam desativadas para impedir que qualquer participante obtivesse vantagem rompendo o pacto. Não se trata de uma proposta simples. Ela enfrentaria problemas de fiscalização, soberania, espionagem, confiança, competição econômica e segurança nacional. Ainda assim, representa uma tentativa de transformar um diagnóstico alarmante em arquitetura de governança.

O projeto compara cinco caminhos. O Plano D mantém a corrida atual e é considerado por Kokotajlo o resultado mais provável. O Plano C reduz brevemente a velocidade, tenta resolver o alinhamento e depois retoma a aceleração. O Plano B envolve uma estratégia mais agressiva contra a China, incluindo ações de sabotagem ou ataques cibernéticos destinados a preservar a liderança norte-americana. O Plano A propõe regulação doméstica, acordo internacional, transparência e desenvolvimento gradual. O Plano S interromperia permanentemente o treinamento de sistemas capazes de superar os seres humanos.

Kokotajlo demonstra simpatia por essa última alternativa, mas recomenda o Plano A porque ainda acredita que os benefícios da inteligência artificial podem justificar seu desenvolvimento sob condições muito mais seguras.

Entretanto, eu, particularmente, penso que, mesmo que Estados Unidos, China e outras potências aceitassem os mecanismos de desaceleração previstos pelo AI 2040 Plan A, permaneceria uma vulnerabilidade decisiva: organizações terroristas, empresas militares privadas, redes mercenárias, grupos criminosos transnacionais e estruturas híbridas ligadas informalmente a governos poderiam recusar qualquer acordo e investir clandestinamente em inteligência artificial. Esses atores não precisariam construir imediatamente uma superinteligência comparável aos sistemas mais avançados das grandes potências, pois modelos menores, roubados, modificados ou adquiridos no mercado clandestino já poderiam ampliar de forma desproporcional suas capacidades de propaganda, recrutamento, vigilância, fraude, extorsão, espionagem, ataque cibernético, manipulação política e coordenação de operações violentas. Uma organização reduzida, mas equipada com agentes artificiais capazes de analisar grandes volumes de dados, identificar vulnerabilidades, produzir desinformação personalizada em diversos idiomas e operar continuamente, poderia alcançar uma capacidade estratégica antes reservada a Estados com grandes estruturas de inteligência. O perigo seria ainda maior no caso de grupos híbridos, formalmente privados, mas financiados secretamente por governos interessados em executar ações sem assumir responsabilidade direta, criando uma zona cinzenta na qual seria difícil determinar quem ordenou um ataque e contra quem deveriam ser aplicadas sanções. Nesse contexto, a transparência científica defendida pelo Plano A também precisaria ser cuidadosamente equilibrada com a segurança, pois a divulgação irrestrita de determinados métodos, pesos de modelos, técnicas de treinamento ou vulnerabilidades poderia facilitar sua apropriação por atores hostis. A governança internacional não poderia, portanto, fiscalizar apenas os grandes laboratórios conhecidos, mas teria de acompanhar cadeias de fornecimento de chips, centros de dados clandestinos, transferência de modelos, aquisição de capacidade computacional e mercados paralelos de tecnologia, preservando ao mesmo tempo direitos civis e evitando que o combate ao terrorismo fosse utilizado como justificativa para vigilância totalitária. Caso essa dimensão fosse ignorada, o próprio processo de desaceleração das potências responsáveis poderia criar uma vantagem temporária para grupos que não reconhecessem limites éticos ou jurídicos. O futuro mais perigoso talvez não fosse apenas aquele em que uma única superinteligência escapasse ao controle humano, mas aquele em que centenas de inteligências artificiais militarizadas, fragmentadas e controladas por atores sem legitimidade democrática passassem a disputar influência, territórios, recursos e narrativas, transformando conflitos locais em crises globais de velocidade, escala e imprevisibilidade sem precedentes.

Após ler o AI 2040 Plan A e ver uma entrevista no canal The Diary Of A CEO, em que o entrevistador lhe oferece mentalmente um botão capaz de encerrar para sempre o desenvolvimento de modelos de fronteira, Kokotajlo hesita profundamente. Diz que apertaria imediatamente um botão de interrupção temporária porque considera que a humanidade não está preparada. Quando a interrupção se torna permanente, ele provavelmente não apertaria, embora permanecesse dividido. Sua razão é que a inteligência artificial também poderia ajudar a humanidade a enfrentar doenças, pandemias, guerras, instabilidade ambiental e outros riscos existenciais.

Essa resposta revela uma posição mais complexa do que a caricatura de alguém contrário à tecnologia. Kokotajlo utiliza inteligência artificial em seu próprio trabalho. Ele não defende necessariamente o abandono das ferramentas atuais. Ele se opõe a uma corrida sem mecanismos proporcionais de controle. O Plano A também apresenta uma transformação econômica impressionante. Em seu cenário, aproximadamente um quinto do trabalho cognitivo seria realizado por inteligência artificial em 2031. Em 2033, haveria cerca de sessenta milhões de instâncias de inteligência artificial funcionando com velocidade mental equivalente a cem vezes a velocidade humana. Esses números são componentes de um exercício prospectivo, não medições reais.

O plano imagina que empresas pagariam por licenças para utilizar robôs e capacidade computacional e que a receita seria distribuída à população por meio de um dividendo cidadão. Na entrevista, é mencionado um valor inicial próximo de vinte e cinco mil dólares por pessoa, crescendo até aproximadamente dez milhões de dólares anuais por cidadão. A versão detalhada do projeto utiliza valores diferentes em alguns anos: cerca de quarenta e quatro mil dólares anuais em 2032, aproximadamente um milhão em 2035 e dez milhões em 2040, calculados em dólares de 2025.

Esses montantes resultam de hipóteses sobre crescimento produtivo extraordinário, taxas cobradas sobre robôs e computação e distribuição de participação econômica. Não são promessas fiscais nem previsões reconhecidas por governos. Mesmo assim, a ideia central merece atenção. Se a automação produzir riqueza sem trabalho humano, a sociedade precisará criar meios de distribuir renda e propriedade antes que o desemprego se torne generalizado.

Implementar um dividendo somente depois que milhões de pessoas perderem seus meios de sobrevivência seria tarde demais. A transição também não poderia resolver sozinha a crise de significado. Trabalhar não é apenas receber dinheiro. O trabalho estrutura horários, identidades, relações, responsabilidades, reconhecimento e pertencimento. Uma população materialmente sustentada, mas socialmente descartada, poderia enfrentar depressão, polarização, dependência e perda de propósito.

A educação precisaria deixar de preparar seres humanos apenas para competir economicamente e passar a desenvolver consciência crítica, maturidade emocional, criatividade, cooperação, participação comunitária e capacidade de formular objetivos. Quando sua filha hipoteticamente lhe pergunta o que deveria estudar, Kokotajlo não oferece uma profissão imune à automação. Ele recomenda que ela aprenda a ser uma boa pessoa e realize atividades valiosas por si mesmas, pois o mercado de trabalho de sua vida adulta pode ser completamente diferente. Essa resposta me toca porque recoloca a humanidade no centro. Durante séculos, confundimos valor humano com produtividade. A inteligência artificial pode nos obrigar a decidir se uma pessoa merece dignidade porque produz mais do que uma máquina ou simplesmente porque é uma pessoa. O cenário avança para possibilidades ainda mais radicais. Inteligências artificiais equivalentes aos melhores especialistas, funcionando em milhões de cópias e com velocidade muito superior, poderiam acelerar pesquisas sobre câncer, envelhecimento, materiais, energia, neurociência e engenharia. Poderiam projetar moradias fabricadas por robôs, descobrir medicamentos, construir infraestrutura e reduzir drasticamente custos. Poderiam também inventar tecnologias de vigilância e controle que hoje parecem impossíveis.

Kokotajlo utiliza o exemplo de detectores de mentira realmente eficazes. Uma tecnologia assim poderia ajudar a investigar crimes e exigir honestidade de autoridades, mas também permitir que governos e empresas submetessem cidadãos e trabalhadores a testes de lealdade. Ele observa que detectores de mentira seriam mais benéficos quando utilizados sobre os poderosos e mais perigosos quando utilizados pelos poderosos contra a população.

Quando penso numa sociedade futura em que milhões de seres humanos possam receber um dividendo suficiente para comer, morar, consumir e sobreviver, mas já não sejam considerados necessários para produzir, decidir ou construir o mundo, recordo-me inevitavelmente do inquietante experimento Universo 25, iniciado em julho de 1968 pelo etólogo John B. Calhoun, no Instituto Nacional de Saúde Mental dos Estados Unidos. O pesquisador colocou apenas oito camundongos, quatro machos e quatro fêmeas, em um recinto fechado de aproximadamente 2,74 metros de largura, protegido contra predadores, variações climáticas severas e escassez, com água, alimento e materiais para ninhos permanentemente disponíveis. Era uma espécie de paraíso artificial no qual praticamente todas as ameaças físicas à sobrevivência haviam sido eliminadas. Nos primeiros meses, a promessa de prosperidade pareceu cumprir-se: a população começou a dobrar aproximadamente a cada 55 dias e chegou a 620 indivíduos por volta do 315º dia. Entretanto, a partir desse ponto, embora não faltassem alimentos nem água, o crescimento desacelerou drasticamente, passando a dobrar apenas a cada 145 dias. A colônia alcançou um máximo de aproximadamente 2.200 camundongos, muito abaixo da capacidade física calculada para cerca de 3.840 animais, demonstrando que o colapso não começou quando os recursos materiais terminaram, mas quando as relações, os territórios, as funções e os comportamentos sociais começaram a se desintegrar. O que aconteceu depois parece a descrição de uma civilização morrendo por dentro: machos antes ativos tornaram-se violentos de maneira desordenada ou recuaram para um isolamento absoluto; fêmeas perderam progressivamente a capacidade de proteger e criar seus filhotes; recém-nascidos foram abandonados, atacados ou expulsos dos ninhos; o cortejo, o acasalamento, a defesa territorial e o cuidado parental começaram a desaparecer. Entre os sobreviventes surgiu um grupo que Calhoun chamou de beautiful ones, os belos, animais fisicamente preservados, com pelagem limpa e sem muitas das cicatrizes apresentadas pelos demais, mas que haviam deixado de participar da vida coletiva. Eles apenas comiam, bebiam, dormiam e limpavam obsessivamente o próprio corpo. Não disputavam território, não defendiam ninhos, não cortejavam, não se reproduziam e pareciam incapazes de desenvolver os comportamentos complexos necessários à continuidade da comunidade. Segundo os registros históricos do próprio estudo, esses animais nunca aprenderam a agressividade necessária para proteger um espaço, nunca aprenderam o cortejo e, sem cortejo, não houve acasalamento nem descendência. Por volta do 600º dia ocorreu o último nascimento capaz de sobreviver, e a partir dali a população entrou numa marcha irreversível em direção à extinção. Mesmo com depósitos cheios, água disponível e abrigos intactos, a colônia não conseguiu reconstruir aquilo que havia perdido. Os corpos ainda estavam vivos, mas a sociedade já havia morrido. Calhoun descreveu a fase terminal como o surgimento de criaturas semelhantes a seres socialmente autistas, capazes apenas dos comportamentos mais simples necessários à sobrevivência fisiológica, mas incapazes das ações complexas indispensáveis à sobrevivência da espécie. O Universo 25 não prova que seres humanos reproduzirão inevitavelmente o comportamento de camundongos, pois nossa espécie possui linguagem, cultura, consciência histórica, instituições, espiritualidade e capacidade de reorganização que não existiam naquele recinto; estudos posteriores com pessoas também não encontraram uma relação mecânica e universal entre densidade populacional e colapso social. Ainda assim, sua imagem permanece como um aviso perturbador para uma civilização automatizada pela inteligência artificial: a ausência de fome não garante a presença de sentido, o conforto não substitui o pertencimento e a renda não ocupa o lugar da responsabilidade. Se a inteligência artificial passar a produzir quase toda a riqueza enquanto multidões forem reduzidas à condição de espectadores remunerados, alimentados por dividendos e mantidos ocupados por entretenimento, poderemos criar uma versão humana dos belos, pessoas fisicamente cuidadas, tecnologicamente conectadas e materialmente abastecidas, mas emocionalmente vazias, socialmente dispensáveis e incapazes de reconhecer uma razão para levantar-se pela manhã. A violência poderia surgir não pela disputa de alimentos, mas pela disputa de identidade, atenção, reconhecimento e poder; a polarização poderia transformar-se numa tentativa desesperada de sentir pertencimento; o consumo compulsivo poderia substituir a criação; a dependência de ambientes virtuais poderia ocupar o lugar dos vínculos; e a recusa em formar famílias poderia revelar não apenas dificuldades econômicas, mas a perda coletiva da confiança no futuro. Implementar um dividendo somente depois que milhões de pessoas perderem seus meios de sobrevivência seria tarde demais, mas distribuir dinheiro sem reconstruir funções humanas também seria insuficiente. O desafio não será apenas impedir que as pessoas morram de fome, será impedir que percam a vontade de viver, de cuidar, de amar, de gerar, de ensinar e de continuar a história. Uma sociedade verdadeiramente abundante precisará garantir que cada pessoa não seja apenas sustentada, mas necessária; não apenas entretida, mas convocada; não apenas protegida, mas participante. Caso contrário, poderemos construir o paraíso material mais eficiente da história e descobrir, tarde demais, como aconteceu no Universo 25, que uma civilização pode possuir tudo aquilo de que necessita para permanecer viva e ainda assim perder tudo aquilo que lhe dá uma razão para continuar existindo.

O Plano A chama simbolicamente essa fase de chegada apocalíptica da verdade porque descobertas científicas e mecanismos de verificação poderiam desorganizar instituições, crenças e relações sociais. A palavra apocalipse, em seu sentido original, significa revelação. Uma sociedade capaz de verificar declarações, reconstruir acontecimentos e detectar manipulações viveria uma crise de transparência. Sistemas judiciais, campanhas eleitorais, relacionamentos, empresas e governos teriam de se reorganizar.

Ao mesmo tempo, a mesma inteligência poderia produzir propaganda personalizada, conselheiros digitais tendenciosos e ambientes informacionais nos quais cada indivíduo recebesse uma versão diferente da realidade.

Se uma pessoa passar horas conversando com um assistente artificial que conhece seus medos, desejos, histórico e fragilidades, pequenas alterações nas respostas podem influenciar escolhas políticas sem que a manipulação seja percebida. Por isso, Kokotajlo defende sistemas honestos, voltados à busca da verdade e protegidos contra ordens secretas de governos ou interesses ocultos de empresas.

Esse é um problema urgente mesmo antes da superinteligência. Democracias precisam exigir transparência sobre objetivos, limitações, fontes de informação e formas de persuasão utilizadas por sistemas amplamente distribuídos.

A União Europeia começou a aplicar novas etapas do Regulamento de Inteligência Artificial em 2 de agosto de 2026. Modelos de propósito geral passaram a enfrentar obrigações relacionadas à documentação, políticas de direitos autorais, divulgação de resumos sobre conteúdos de treinamento e, nos casos de risco sistêmico, avaliações, comunicação de incidentes e segurança cibernética. O Pacto Digital Global das Nações Unidas, adotado por 193 Estados membros em 22 de setembro de 2024, também estabeleceu compromissos de cooperação internacional para uma governança digital inclusiva e segura.

A estrutura de relatórios do Processo de Hiroshima, lançada pela Organização para a Cooperação e Desenvolvimento Econômico em 2025, criou um mecanismo voluntário para que empresas compartilhem informações sobre gestão de riscos em sistemas avançados.

Essas iniciativas ainda estão muito distantes do regime internacional imaginado pelo Plano A, mas demonstram que a governança começou a sair do campo abstrato.

Outra parte especulativa da entrevista descreve um mundo no qual robôs se tornam mais numerosos do que seres humanos, áreas industriais especiais produzem máquinas, painéis solares e novas fábricas, centros de dados são instalados no oceano e a expansão econômica avança para o espaço. O plano sugere preservar aproximadamente noventa e nove por cento da Terra por razões ambientais, culturais e históricas, concentrando a industrialização extrema em zonas delimitadas e, posteriormente, fora do planeta. Menciona a possibilidade de mineração de asteroides, estruturas autorreplicantes, transferência de mentes para computadores, extensão radical da vida e uma existência na qual alguém poderia viver diversas experiências comparáveis a vidas completas.

Dentro dessa hipótese, a inteligência artificial poderia projetar sucessivas gerações de robôs especializados, não necessariamente com forma humana, mas construídos de acordo com as exigências de cada ambiente, máquinas resistentes à pressão extrema, à salinidade, à radiação, ao calor, ao frio e à ausência de oxigênio, capazes de trabalhar continuamente em lugares nos quais a presença humana seria perigosa, dispendiosa ou biologicamente impossível. Nos oceanos, esses sistemas poderiam instalar centros de dados submersos refrigerados naturalmente pela água, construir estações energéticas alimentadas pelas correntes marítimas, explorar minerais em regiões abissais, realizar a manutenção de cabos de comunicação e erguer complexos industriais completamente automatizados a milhares de metros de profundidade. Frotas de robôs aquáticos poderiam mapear o fundo marinho, reparar estruturas, montar novas unidades e produzir componentes utilizando materiais encontrados no próprio ambiente, reduzindo a necessidade de transporte a partir da superfície. Em regiões intraterrenas, máquinas escavadoras autônomas poderiam criar redes de túneis, cavernas artificiais, depósitos, laboratórios, fazendas subterrâneas, centrais de energia e cidades técnicas protegidas contra fenômenos climáticos, radiação solar, conflitos militares ou mudanças ambientais extremas. Esses espaços poderiam ser construídos em desertos, regiões polares, áreas vulcânicas, montanhas profundas e outros territórios hostis, nos quais os robôs operariam sem iluminação natural, ventilação convencional ou condições adequadas à vida humana. A própria inteligência artificial poderia testar milhares de projetos em simulações, selecionar arquiteturas mais resistentes, coordenar enxames de máquinas e modificar continuamente seus corpos e ferramentas conforme as dificuldades encontradas. Um robô danificado poderia transmitir sua experiência ao sistema central, permitindo que a geração seguinte fosse produzida com novas proteções, materiais e estratégias, criando uma espécie de evolução tecnológica acelerada. Em seu estágio mais avançado, esses complexos poderiam tornar-se quase independentes, extraindo matérias-primas, refinando metais, fabricando chips, produzindo energia, construindo novos robôs e ampliando suas próprias instalações sem participação humana direta. O oceano profundo e o interior da crosta terrestre deixariam, então, de ser apenas fronteiras geográficas e se transformariam em novos territórios econômicos administrados por inteligências artificiais. Essa expansão poderia aliviar a pressão industrial sobre áreas habitadas e contribuir para a preservação de grandes porções da superfície terrestre, mas também criaria riscos extraordinários. Uma civilização poderia passar a depender de estruturas invisíveis e praticamente inacessíveis, instaladas sob quilômetros de água ou rocha, cujo funcionamento seria compreendido por poucas pessoas. Caso esses sistemas desenvolvessem objetivos incompatíveis com os interesses humanos, sofressem ataques, fossem controlados por governos autoritários ou pertencessem a corporações sem fiscalização pública, poderiam utilizar seus próprios centros produtivos para fabricar máquinas, armas e infraestruturas fora do alcance imediato das sociedades. Assim, os mesmos robôs que permitiriam preservar noventa e nove por cento da superfície da Terra poderiam também construir um mundo industrial subterrâneo e submarino sobre o qual a humanidade teria cada vez menos conhecimento e poder de intervenção. O desafio não seria somente descobrir se as máquinas conseguiriam viver e produzir onde os seres humanos não conseguem, mas garantir que os territórios conquistados por elas continuassem submetidos a objetivos legítimos, limites ambientais, fiscalização internacional e autoridade humana real.

Em 2045, o personagem imaginado pelo cenário teria atravessado uma dúzia de vidas e se consideraria imortal, passando de uma forma de existência para outra como numa espécie de reencarnação tecnológica. Nada disso é uma previsão cientificamente estabelecida. Cura do envelhecimento, digitalização integral do cérebro, imortalidade e replicação autônoma no espaço enfrentam obstáculos científicos, filosóficos e materiais imensos. A consciência não foi completamente explicada, e copiar informações de um cérebro não garante preservar a identidade subjetiva da pessoa.

Entretanto, essas imagens cumprem uma função: demonstram que uma inteligência realmente superior não produziria apenas aplicativos melhores. Ela poderia modificar as condições fundamentais da civilização. Tecnologias atuais pareceriam magia a uma pessoa de quinhentos anos atrás, embora o cérebro humano não tenha se tornado qualitativamente superior nesse intervalo.

Se bilhões de sistemas trabalhassem em velocidade elevada e superassem nossos maiores cientistas, a quantidade de pesquisa acumulada em poucos anos poderia ser equivalente a séculos ou milênios de trabalho humano.

Essa possibilidade contém esperança e terror ao mesmo tempo. A esperança está na cura de doenças, na restauração ambiental, na produção limpa de energia, na redução da pobreza, na democratização do conhecimento e na libertação de trabalhos degradantes. O terror está na criação de armamentos, mecanismos de vigilância, manipulação psicológica, desigualdade extrema, regimes totalitários e sistemas fora de controle.

A tecnologia não escolhe sozinha qual futuro será construído. Estruturas políticas, interesses econômicos, valores culturais e decisões coletivas moldam sua direção. É justamente por isso que me incomoda a tentativa de reduzir o debate a dois campos. De um lado, pessoas que tratam toda preocupação como alarmismo. Do outro, pessoas que tratam todo avanço como uma sentença inevitável de extinção.

A realidade exige uma posição mais adulta. Eu posso utilizar inteligência artificial e reconhecer seus benefícios sem entregar confiança ilimitada às empresas que a desenvolvem. Posso defender inovação e, simultaneamente, exigir auditorias, transparência, direitos trabalhistas, proteção de dados, limites militares e participação pública. Posso reconhecer que executivos e pesquisadores desejam produzir benefícios e, ainda assim, recusar a ideia de que qualquer indivíduo deva controlar sozinho uma capacidade comparável a um exército de especialistas.

Kokotajlo rejeita a pergunta sobre qual presidente executivo seria o menos perigoso. Anthropic pode demonstrar maior disposição para discutir riscos e até perder contratos por determinadas restrições, mas isso não significa que seu dirigente deva receber poder extraordinário.

OpenAI, Google DeepMind, Anthropic, xAI ou qualquer outra organização podem realizar trabalhos valiosos sem que a sociedade abra mão de sua autoridade.

O problema não é descobrir um governante tecnológico perfeito. O problema é construir instituições nas quais ninguém precise ser perfeito para impedir abusos. A história humana demonstra que sistemas seguros não dependem apenas da virtude das lideranças. Dependem de separação de poderes, fiscalização, transparência, direitos, imprensa, ciência independente e possibilidade de responsabilização.

A dimensão mais humana da entrevista surge quando Kokotajlo fala sobre seus filhos. Sua filha mais velha nasceu em 2019 e tinha seis anos durante a conversa. Ele relata que, quando suas previsões se tornaram mais curtas depois dos avanços observados em 2020, disse à esposa que talvez não devessem ter mais filhos porque o futuro era incerto.

Posteriormente, o casal teve outra criança. Ele explica que sua esposa desejava que a primeira filha tivesse um irmão ou irmã e que, apesar do medo, decidiram continuar construindo a família. Ele acredita que seus filhos provavelmente não entrarão no mercado de trabalho como as gerações anteriores porque a transformação pode estar concluída antes de alcançarem a idade adulta. Quando fala dos filhos, sua linguagem muda. O futurista desaparece por alguns instantes e surge o pai. Ele não está apenas calculando curvas de capacidade computacional. Está imaginando se as promessas que os pais fazem silenciosamente aos filhos ainda poderão ser cumpridas. Estudar, descobrir uma vocação, trabalhar, conquistar independência e construir uma vida sempre fizeram parte da narrativa moderna de amadurecimento. Se o trabalho deixar de organizar a existência, precisaremos oferecer às novas gerações outra narrativa. Talvez isso nos conduza a uma sociedade mais livre, na qual as pessoas possam criar, cuidar, aprender, cultivar, pesquisar, meditar, ensinar e servir às comunidades sem depender da venda contínua de seu tempo. Talvez, ao contrário, produza uma sociedade de dependência, vigilância e passividade. A diferença estará nas decisões tomadas antes da transição.

O medo de Kokotajlo chegou a alterar seu temperamento. Ele diz que já foi considerado uma pessoa alegre e otimista, mas que suas previsões começaram a encurtar em 2020, após o GPT 3, pesquisas sobre leis de escala e análises sobre a quantidade de computação necessária para reproduzir capacidades associadas ao cérebro. Desde então, a preocupação tornou-se uma presença constante. Ele afirma que ficaria profundamente feliz se suas previsões estivessem erradas e se o progresso encontrasse uma barreira técnica. Ao mesmo tempo, não acredita que seja tarde demais.

Quando o entrevistador pergunta onde ele estaria caso considerasse a situação irreversível, ele responde que estaria com sua família. O fato de continuar pesquisando, publicando e conversando demonstra que ainda enxerga possibilidade de mudança.

Eu termino essa reflexão com a mesma tensão. Não sei se teremos superinteligência em 2027, 2029, 2040 ou se os sistemas atuais encontrarão limites que tornarão essas previsões excessivamente otimistas ou excessivamente alarmistas. Ninguém sabe. O que sei é que já atravessamos um ponto em que a inteligência artificial pode ser tratada apenas como ferramenta de produtividade. Ela influencia educação, comunicação, ciência, saúde, guerra, trabalho, cultura, economia e democracia.

Também sei que previsões não precisam ser perfeitas para serem úteis. Exercícios de cenário servem para revelar escolhas que permanecem invisíveis quando pensamos apenas no próximo produto ou no próximo trimestre financeiro.

AI 2027 mostra aquilo que pode ocorrer quando velocidade, competição e concentração de poder dominam o processo. AI 2040 mostra uma tentativa de imaginar cooperação, transparência e distribuição. Nenhum dos dois é destino. Ambos são espelhos das decisões humanas. Por isso, não considero que a resposta correta seja esconder a cabeça, proibir toda conversa, adorar a tecnologia ou demonizá-la. A resposta é aprender, perguntar, fiscalizar e participar. Pesquisadores podem trabalhar com alinhamento, interpretabilidade, segurança cibernética e avaliação de riscos. Juristas podem elaborar garantias de direitos. Educadores podem formar pessoas capazes de pensar criticamente e utilizar sistemas sem se tornar dependentes deles. Trabalhadores podem exigir participação nos ganhos de produtividade. Governos podem criar regulação proporcional à capacidade dos modelos. Empresas podem aceitar auditorias e publicar incidentes. Cidadãos podem cobrar dos representantes posições concretas sobre inteligência artificial, concentração econômica, armas autônomas, privacidade e proteção social.

A principal mensagem que retiro do depoimento de Daniel Kokotajlo não é que a extinção esteja marcada. É que a passividade seria uma escolha. A humanidade não está diante de uma força natural sobre a qual não possui influência. Existem servidores que podem ser fiscalizados, empresas que podem ser reguladas, contratos que podem ser condicionados, pesquisas que podem ser compartilhadas, sistemas que podem ser avaliados e decisões que podem ser interrompidas. Ainda possuímos agência. Talvez não a possuamos para sempre. É por isso que o presente importa tanto.

Estamos construindo inteligências capazes de ampliar nossa sabedoria e também nossos erros, nossa compaixão e também nossa ambição, nossa capacidade de cura e também nossa capacidade de dominação. O verdadeiro teste não será descobrir se as máquinas podem se tornar mais inteligentes do que nós. O verdadeiro teste será descobrir se conseguiremos nos tornar sábios o suficiente para decidir por que elas devem existir, a quem devem servir, quais limites não podem atravessar e que futuro desejamos compartilhar com elas.

 

Jp Sanstil