Nexus: uma breve história das redes de informação, da Idade da Pedra à IA

Autor: Yuval Noah Harari

Ideias centrais:

Ao hackearem a linguagem, os computadores podem dificultar uma conversa pública de qualidade entre vários seres humanos. Quando nos envolvemos num debate com um computador que finge ser humano, perdemos duas vezes. Primeiro porque é inútil tentar mudar as opiniões de um bot de propaganda. Depois porque quanto mais falamos com um computador mais nos revelamos.
Se a rede [IA] continuar a evoluir em ritmo acelerado, os erros vão se acumular bem mais depressa do que a nossa capacidade de identificá-los e corrigi-los. Pois, ao mesmo tempo que é implacável e onipotente, a rede também é falível.
Uma ameaça em potencial é a de que a atividade incessante da nova rede computacional poderia aniquilar nossa rivalidade e nos punir ou premiar não só por tudo o que dizemos e fazemos, mas até mesmo por tudo o que pensamos e sentimos. Pode a democracia sobreviver em tais condições?
Muitas sociedades – tanto democráticas como ditatoriais – podem agir com responsabilidade para regular os usos da IA, refrear os vilões, conter as ambições perigosas de seus governantes e fanáticos. Mas, mesmo que apenas algumas sociedades não o façam, isso bastaria para pôr em risco toda a humanidade.
A IA e a automação, portanto, impõem um desafio específico aos países mais pobres. Numa economia movida a IA, os líderes digitais ficam com a maior parte dos ganhos. Enquanto isso, o valor dos trabalhadores não qualificados em países pobres diminuirá, e os países não terão recursos para reciclar sua força de trabalho.
Para criarmos redes mais sábias, devemos abandonar tanto a noção ingênua quanto a visão populista da informação, deixar de acreditar na sua infalibilidade e nos engajar a sério na tarefa de construir instituições com sólidos mecanismos de autocorreção.

Sobre o autor:

Yuval Noah Harari é autor de Sapiens, best-seller internacional em mais de sessenta idiomas. Escreveu também “Homo Deus” e “21 lições para o século 21”. É Ph.D. em história pela Universidade de Oxford e professor na Universidade Hebraica.

Introdução:

Em vista da magnitude do perigo, a IA deveria ser de interesse para todos os seres humanos. Embora todos possamos nos tornar especialistas em IA, devemos ter em mente que ela é a primeira tecnologia da história capaz de tomar decisões e criar novas ideias por si mesma. Todas as invenções humanas anteriores deram poder aos seres humanos porque, por mais poderosa que fosse a nova ferramenta, as decisões sobre seu uso permaneceram obtusas, sem a inteligência necessária, para processar informação e tomar decisões independentes. A IA, por sua vez, pode processar sozinha a informação e, portanto, substituir os seres humanos em tomadas de decisões. A IA não é uma ferramenta – é um agente.

PARTE I: Redes humanas?

O que é informação?

Ao longo deste livro, entende-se como “verdade” algo que representa com precisão certos aspectos da realidade universal. Qualquer coisa que tenha existido ou virá a existir no universo – da estrela Polar ao pombo do Nili e aos sites sobre a astrologia – faz parte dessa realidade única. É por isso que a busca da verdade é um problema universal. Pessoas, nações ou culturas podem ter crenças e sentimentos divergentes, mas não podem ter verdades contraditórias, porque todas elas compartilham uma realidade universal. Qualquer pessoa que rejeite o universalismo rejeita a verdade.

A verdade e a realidade, apesar disso, são coisas diferentes, porque, por mais verdadeira que seja uma explicação, ela nunca consegue representar a realidade em todos os seus aspectos. Se um agente do Nili escreveu que havia 10 mil soldados otomanos em Gaza, e de fato lá havia 10 mil soldados, isso indicava com precisão um certo aspecto da realidade, mas desconsiderava muitos outros.

O que o exemplo da astrologia mostra é que erros, mentiras, fantasias e ficções também são informações. Ao contrário do que diz a noção ingênua, a informação não tem nenhum vínculo essencial com a verdade, e seu papel na história não é representar uma realidade preexistente. Em vez disso, o que a informação faz é criar novas realidades ao unir coisas avulsas – sejam casais ou impérios. Seu traço definidor é mais a conexão do que a representação, e informação é tudo o que conecta pontos diferentes dentro de sua rede. A informação não necessariamente nos informa sobre as coisas. Em vez disso, ela põe as coisas em formação. Os horóscopos põem os amantes em formações astrológicas, os programas de propagada põem os eleitores em formações políticas, hinos de marcha põem os soldados em formações militares.

Estórias: Conexões ilimitadas

Os dois níveis de realidade que antecederam a narração de estórias são a realidade objetiva e a realidade subjetiva. A realidade objetiva consiste em coisas como pedras, montanhas e asteroides – coisas que existem, quer tenhamos consciência delas ou não. Um asteroide se dirigindo a toda a velocidade na direção do planeta Terra, por exemplo, existe mesmo que ninguém saiba que ele está lá. E há a realidade subjetiva: coisas como dor, prazer e amor que não estão “lá fora”, e sim “aqui dentro”. As coisas subjetivas existem em nossa percepção delas. Uma dor que não se sente é um oximoro.

Mas algumas estórias são capazes de criar um terceiro nível de realidade: a realidade intersubjetiva. Enquanto coisas subjetivas como a dor existem numa única mente, coisas intersubjetivas como leis, deuses, nações, empresas e moedas existem no nexo entre grande número de mentes. Sendo mais exato, elas existem nas estórias que as pessoas contam umas às outras. A informação que os seres humanos trocam sobre coisas intersubjetivas não representa nada que já existisse antes da troca de informação; pelo contrário, é a troca de informação que cria as coisas.

Depois de entendermos o papel central da ficção na história, finalmente é possível apresentar um modelo mais completo das redes de informação, que vai além da noção ingênua de informação e da crítica populista a essa noção. Na contramão da noção ingênua, a informação não é matéria-prima da verdade, e as redes de informação humanas não são montadas só para descobrir a verdade. Mas, ao contrário da visão populista, a informação também não é apenas uma arma. Para sobreviver e prosperar, toda rede de informação humana precisa fazer duas coisas ao mesmo tempo: descobrir a verdade e criar a ordem social mais forte entre populações, usando não só versões verídicas, como também ficções, propaganda etc.

Documentos: A mordida dos tigres de papel

A burocracia é a maneira como as pessoas em grandes organizações resolveram o problema da recuperação e, com isso, criaram redes de informação maiores e mais poderosas. Mas, tal como a mitologia, a burocracia também tende a sacrificar a verdade à ordem. Ao inventar uma nova ordem e impô-la ao mundo, a burocracia distorceu nosso entendimento do mundo de maneiras bastante peculiares. Muitos dos problemas de nossas redes de informação do século XXI – como algoritmos tendenciosos que rotulam erroneamente as pessoas ou protocolos rígidos que ignoram necessidades e sentimentos humanos – não são problemas novos trazidos pela era do computador. São problemas burocráticos que existiam antes mesmo que alguém sonhasse com computadores.

O escritor Franz Kafka se concentrou nas formas muitas vezes surreais com que a burocracia molda a vida humana, e foi pioneiro em novos enredos não biológicos. Em O processo, o bancário K. é preso por funcionários não identificados de uma agência insondável por um crime não nomeado. Apesar de seu máximo empenho, K. nunca entende o que se passa com ele nem descobre os objetivos da agência que o esmaga. Embora a estória seja às vezes tomada como uma referência existencial ou teológica à condição humana no universo e à insondabilidade de Deus, num nível mais mundano ela realça o potencial caráter de pesadelo das burocracias, que Kafka, como advogado de seguros, conhecia muito bem.

As redes baseadas na IA serão diferentes das redes anteriores em muitos aspectos. Aqui na Parte 1 estamos examinando o papel essencial da mitologia e da burocracia para as redes de informação de larga escala; na Parte II veremos como a IA vem assumindo o papel tanto dos burocratas quanto dos criadores de mitos. Esses sistemas sabem encontrar e processar os dados melhor do que os burocratas de carne e osso, e a IA está adquirindo uma habilidade de compor estórias melhor do que a maioria dos seres humanos.

Erros: A fantasia da infalibilidade

O livro se tornou uma tecnologia religiosa importante no primeiro milênio AEC. Depois de dezenas de milhares de anos, quando deuses falavam aos seres humanos por intermédio de xamãs, sacerdotes, profetas, oráculos e outros mensageiros humanos, movimentos religiosos como o judaísmo começaram a sustentar que os deuses falam por meio dessa nova tecnologia do livro. Existe um livro único específico, cujos vários capítulos alegadamente encerram todas as palavras divinas sobre todas as coisas, desde a criação do universo até regulamentações alimentares. O fundamental é que nenhum sacerdote, profeta ou instituição humana pode esquecer ou mudar essas palavras divinas, porque você sempre pode comparar o que os seres humanos falíveis estão lhe contando com o que o livro infalível registra.

A tentativa de contornar a falibilidade humana investindo autoridade num texto infalível nunca deu certo. Se alguém achava que foi por causa de alguma falha específica dos rabinos judeus ou dos padres católicos, basta lembrar que a Reforma Protestante repetiu várias vezes a experiência – sempre chegando aos mesmos resultados. Lutero, Calvino e seus sucessores afirmavam que não havia necessidade de alguma instituição humana falível se interpor entre as pessoas comuns e o livro sagrado. Os cristãos deveriam abandonar todas as fantasias parasitárias que cresciam à volta da Bíblia e se conectar à palavra original de Deus. Mas a palavra de Deus nunca se interpretou a si mesma, e foi por isso que não só luteranos e calvinistas, como também inúmeras outras seitas protestantes, acabaram criando suas próprias instituições eclesiásticas e as investiram com a autoridade de interpretar o texto e perseguir os hereges.

Decisões: Uma breve história da democracia e do totalitarismo

Em suma, uma ditadura é uma rede de informações centralizada, sem mecanismos robustos de autocorreção. Já uma democracia, por sua vez, é uma rede de informações distribuída, com fortes mecanismos de autocorreção. Quando examinamos uma rede de informações democrática, o que vemos é um ponto central. O governo é o poder Executivo mais importante numa democracia, e agências governamentais coletam e armazenam grandes quantidades de informação. Mas existem muitos canais adicionais de informação que interligam nós independentes. Órgãos legislativos, partidos políticos, tribunais, a imprensa, empresas, comunidades, ONGs e cidadãos individuais se comunicam, livre e diretamente, uns com os outros, a maior parte das informações jamais passa por nenhuma agência governamental, e decisões importantes são tomadas em outros lugares.

O método mais usado por líderes autoritários para enfraquecer a democracia é atacar os seus mecanismos de autocorreção, um depois do outro, começando, quase sempre, pelos tribunais e pela imprensa. Em geral, o líder autoritário tira poderes dos tribunais ou os preenche com seguidores leais e tenta fechar todos os veículos independentes de comunicação, ao mesmo tempo que constrói uma máquina de propaganda onipresente.

PARTE II: A rede inorgânica

Os novos membros: As diferenças entre os computadores e os prelos

Por outro lado, a IA não só pode redigir novas escrituras, como também é perfeitamente capaz de fazer a curadoria delas e interpretá-las. Não é necessário nenhum ser humano no circuito. Tão alarmante quanto isso é a possibilidade de ser cada vez mais frequente que conduzamos longas discussões online sobre a Bíblia, sobre QANON, sobre bruxas, sobre aborto ou sobre mudanças climáticas com entidades que julgamos humanas, mas que, na verdade, são computadores. Isso pode tornar a democracia insustentável. Democracia é conversa, e conversas dependem de linguagem. Ao hackearem a linguagem, os computadores podem dificultar – e muito – uma conversa pública de qualidade entre vários seres humanos. Quando nos envolvemos num debate político com um computador que finge ser humano, perdemos duas vezes. Primeiro porque é inútil empregar nosso tempo tentando mudar as opiniões de um bot de propaganda, que é invulnerável à persuasão. Depois porque quanto mais falamos com um computador mais nos revelamos, facilitando para ele a tarefa de aprimorar seus argumentos e influenciar as nossas opiniões.

Pelo domínio da linguagem, os computadores poderiam ir além. Conversando e interagindo conosco, poderiam estabelecer relações íntimas com pessoas e usar essa proximidade para nos influenciar. Para fomentarem essa “intimidade fake”, os computadores não precisam desenvolver sentimentos próprios; basta nos fazer sentir emocionalmente ligados a eles.

Incessante: A rede está sempre ligada

Como acontece com qualquer tecnologia poderosa, os sistemas de IA podem ser usados para o bem ou para o mal. Logo depois da invasão do Capitólio dos Estados Unidos em 6 de janeiro de 2021, o FBI e outros órgãos de polícia usaram sistemas de vigilância de ponta para localizar e prender os desordeiros. Uma investigação do Washington Post revelou que essas agências se valeram não apenas de imagens gravadas por câmeras de circuito fechado no Capitólio, como também de postagens nas redes sociais, leitores de placas de veículos em todo o país, registros de localização de torres de celulares e bancos de dados preexistentes.

Um homem de Ohio escreveu no Facebook que tinha ido a Washington naquele dia para “testemunhar a história”. Uma intimação judicial foi emitida contra o Facebook, que forneceu as postagens do homem no Facebook, bem como informações de cartão de crédito e número de telefone. Isso ajudou o FBI a comparar a foto da carteira de motorista com imagens do CPTV do Capitólio. Outro mandado judicial contra Google rendeu a geolocalização exata do smartphone do homem em 6 de janeiro, possibilitando aos policiais mapear todos os seus movimentos, desde o ponto de entrada no plenário do Senado até o gabinete de Nancy Pelosi, presidente da Câmara dos Representantes.

Se a rede continuar a evoluir em ritmo acelerado, os erros vão se acumular bem mais depressa do que a nossa capacidade de identificá-los e corrigi-los. Pois, ao mesmo tempo que é implacável e onipotente, a rede também é falível. Sim, computadores podem coletar quantidades inéditas de dados a nosso respeito, observando o que fazemos 24 horas por dia. E, clero, podem identificar padrões no oceano de dados com uma eficiência sobre-humana. Mas isso não significa que a rede de computadores sempre compreenderá o mundo com precisão. Informação não é verdade. Um sistema de vigilância total pode dar origem a uma compreensão muito distorcida do mundo e dos seres humanos.

Falível: A rede muitas vezes erra

Como explicado brevemente na capitulo 6, o processo de radicalização começou quando as empresas incumbiram seus algoritmos de aumentar o engajamento dos seus usuários, não só em Mianmar, mas no mundo todo. Por exemplo, em 2012 os usuários assistiam mais ou menos a 100 milhões de horas de vídeos no YouTube todos os dias. Isso não era suficiente para os executivos da empresa, que estabeleceram uma meta ambiciosa para seus algoritmos: 1 bilhão de horas por dia até 2016. Com experimentos de tentativa e erro aplicados em milhões de pessoas, os algoritmos do YouTube descobriram os padrões que os do Facebook já tinham identificado: conteúdos que provocam intensas reações emocionais aumentam o engajamento dos usuários, enquanto a moderada tende a não aumentar. Por consequência, os algoritmos do YouTube passaram a encomendar afrontosas teorias de conspiração para milhões de usuários, ao mesmo tempo que ignoram conteúdos mais moderados. Em 2016, os usuários de fato assistiam a 1 bilhão de horas de vídeos do YouTube todos os dias.

Dizer que os computadores são falíveis significa muito mais que dizer que eles de vez em quando cometem um erro factual ou tomam uma decisão equivocada. Mais importante é que, como a rede humana antes dela, a rede de computadores pode não encontrar mais o equilíbrio perfeito entre a verdade e ordem. Criando e nos impondo poderosos mitos intercomputadores, a rede de computadores poderia provocar calamidades históricas, perto das quais a caça às bruxas ou a coletivização de Stálin vão parecer tímidas.

PARTE III: A política computacional

Democracias: Ainda conseguimos manter uma conversa?

Uma ameaça em potencial é a de que a atividade incessante da nova rede computacional poderia aniquilar nossa rivalidade e nos punir ou premiar não só por tudo o que dizemos e fazemos, mas até mesmo por tudo o que pensamos e sentimos. Pode a democracia sobreviver em tais condições? Se o governo – ou alguma corporação – sabe sobre mim mais do que eu mesmo sei e se ela pode microgerenciar tudo o que faço e penso, isso lhe daria um controle totalitário sobre a sociedade. Mesmo que realizadas regularmente, as eleições seriam mais um ritual autoritário do que um freio efetivo sobre o poder do governo. Pois o governo poderia usar seus enormes poderes de vigilância e seu conhecimento íntimo de cada cidadão para manipular a opinião pública numa escala sem precedentes.

O que está claro é que o futuro do emprego será muito volátil. Nosso grande problema não será a absoluta falta de empregos, mas, sim, a reciclagem e a adaptação a um mercado de trabalho em constante transformação. É provável que haja dificuldades financeiras – quem sustentará as pessoas que perderam seu emprego antigo enquanto estão em fase de transição, adquirindo novas qualificações? Decerto haverá também dificuldades psicológicas, visto que a mudança de emprego e a reciclagem são desgastantes. E mesmo que você tenha condições financeiras e psicológicas de administrar a transição, não será uma solução de longo prazo. Nas décadas vindouras, os velhos empregos desaparecerão, surgirão novos, mas estes também mudarão com rapidez e desaparecerão. Assim, as pessoas precisarão de requalificar e se reinventar não só uma vez, mas muitas vezes, ou se tornarão totalmente dispensáveis. Se três anos de altas taxas de desemprego levaram Hitler ao poder, o que esse turbilhão incessante no mercado de trabalho poderia causar à democracia?

Totalitarismo: Todo poder aos algoritmos?

Nos próximos anos, os ditadores de nosso mundo enfrentarão problemas mais prementes do que uma tomada algorítmica do poder. Nenhum sistema atual de IA é capaz de manipular regimes em tal escala. No entanto, os sistemas totalitários já correm o perigo de depositar excessiva confiança em algoritmos. Enquanto as democracias supõem que todos são falíveis, nos regimes totalitários o pressuposto fundamental é de que o partido dirigente ou o líder supremo sempre estão certos. Os regimes baseados nesse pressuposto são condicionados a acreditar na existência de uma inteligência infalível e relutam em criar fortes mecanismos autocorretores capazes de monitorar e regular o gênio que está no topo.

Até agora, esses regimes depunham fé em partidos e líderes humanos e eram viveiros para o surgimento de cultos à personalidade. Mas, no século XXI, essa tradição totalitária os deixa preparados para crer na infalibilidade da IA. Sistemas que eram capazes de acreditar na genialidade perfeita de um Mussolini, de um Ceausescu ou de um Khomeini também estão preparados para acreditar na genialidade impecável de um computador superinteligente. Isso traria resultados calamitosos para seus cidadãos e, potencialmente, também para o resto do mundo. O que acontece se o algoritmo encarregado da política ambiental comete um erro crasso, mas não existe nenhum mecanismo autocorretor capaz de identificar e corrigir seu erro? O que acontece se o algoritmo incumbido do sistema de crédito social do estado começa a aterrorizar não só a população em geral, mas até os integrantes do partido dirigente, e, ao mesmo tempo, passa a rotular qualquer um que questione suas políticas como “um inimigo do povo”?

Cortina de Silício: Império global ou cisão global?

Muitas sociedades – tanto democráticas quanto ditatoriais – podem agir com responsabilidade para regular esses usos da IA, refrear os vilões, conter as ambições perigosas de seus governantes e fanáticos. Mas, mesmo que apenas algumas sociedades não o façam, isso bastaria para pôr em risco toda a humanidade. A mudança climática pode devastar até mesmo os países que adotam excelentes regulamentações ambientais, porque o problema é global e não apenas nacional. IA também é um problema global

. Seria ingenuidade por parte dos países imaginarem que, desde que regulamentem com sensatez a IA dentro de suas fronteiras, essas regulamentações irão protegê-los das consequências mais graves da revolução da IA. Assim, para entenderem a nova política computacional, não basta examinarmos como as sociedades poderiam reagir à IA. Precisamos também avaliar em nível global como a IA pode mudar as relações entre as sociedades.

A IA e a automação, portanto, impõem um desafio específico aos países mais pobres. Numa economia movida a IA os líderes digitais ficam com a maior parte dos ganhos; talvez pudessem usar suas riquezas para reciclar a força de trabalho e aumentar seus lucros. Enquanto isso, o valor dos trabalhadores não qualificados em países pobres diminuirá, e os países não terão recursos para reciclar sua força de trabalho, o que fará com que fiquem ainda mais atrasados. O resultado seria uma grande quantidade de novos empregos e imensas riquezas em San Francisco e Shangai, enquanto muitas outras partes do mundo enfrentariam o caos econômico. Segundo a empresa contábil global PricewaterhouseCoopers, prevê-se que em 2030 a IA acrescente 15,7 trilhões de dólares à economia global. Mas, persistindo as tendências atuais, a projeção é de que China e Estados Unidos – as duas principais superpotências em IA – fiquem com 70% desse valor.

Epílogo

A boa notícia é que, se evitarmos o comodismo e a desesperança, somos capazes de criar redes de informação equilibradas que controlarão seu próprio poder. Não é uma questão de inventar alguma outra tecnologia milagrosa ou de topar com uma ideia brilhante que, de alguma maneira, havia escapado a todas as gerações anteriores. Em vez disso, para criarmos redes mais sábias, devemos abandonar tanto a noção ingênua quanto a visão populista da informação, deixar de lado nossas fantasias de infalibilidade e nos engajar a sério na tarefa árdua e um tanto prosaica de construir instituições com sólidos mecanismos de autocorreção. Essa talvez seja a conclusão mais importante que este livro tem a oferecer.