[...] Imagine uma situação na qual uma máquina identifica o rosto de um terrorista internacional tentando embarcar em um voo no aeroporto de Tel Aviv. Imediatamente, um alarme soa e os embarques são suspensos. Todos os voos são, automaticamente, cancelados. Em poucos minutos, a notícia já percorre milhões de tablets e se espalha pelo mundo. O preço do barril de petróleo triplica e nas bolsas de valores há uma corrida pelas ações das empresas petrolíferas. Essa manobra faz com que o preço de outras ações desabe. A queda no valor das ações leva a uma corrida para o dólar e, em poucas horas, ele se valoriza mais de 15%. Contratos de importação e exportação são suspensos...

        Essa cadeia inusitada de acontecimentos pode levar ao caos. Mas, o que significa um dia caótico na economia mundial diante da possibilidade de um ataque terrorista que poderia dizimar centenas de vidas? Os agentes da polícia portuária poderiam não ter identificado o rosto do terrorista e, nesse caso, a tragédia seria inevitável. No entanto, não é possível descartar a hipótese de que a máquina poderia ter identificado incorretamente um rosto e que, se ela não tivesse autonomia para suspender embarques e voos, um dia de caos na economia mundial poderia ter sido evitado. O que seria melhor? Tudo depende dos riscos que estamos dispostos a correr.

        As máquinas estão se tornando cada vez mais autônomas. Máquinas autônomas não podem ser desligadas. Cada vez mais delegamos a elas decisões diante de situações imprevistas. Se o rosto do terrorista é identificado, o alarme soa e os embarques são automaticamente cancelados, independentemente da vontade de qualquer funcionário do aeroporto. Máquinas autônomas podem, também, alterar sua própria programação a partir de sua interação com o ambiente e, por isso, não temos controle pleno sobre elas.

        Em geral, delegamos autonomia para máquinas quando, em algumas tarefas, sua performance é melhor do que a de um ser humano. Cálculos de engenharia, folhas de pagamento de grandes instituições são casos típicos nos quais a performance das máquinas ultrapassa o raciocínio e a memória humana. Em pouco tempo a identificação instantânea de rostos também integrará essa lista. [...]

       Máquinas superinteligentes ainda são um sonho distante, mas não impossível. Não podemos, tampouco, descartar a possibilidade de elas serem produzidas acidentalmente. [...]

        Como uma máquina autônoma não pode ser desligada, ficaríamos à mercê de seus caprichos, que poderia incluir a destruição completa da raça humana. [...]

        O físico Stephen Hawking sugere que, diante desse risco, as pesquisas em inteligência artificial deveriam ser interrompidas. O filósofo Nick Bostrom, da Universidade de Oxford, defende que o aumento da inteligência se refletirá em um aprimoramento ético. Daniel Dennett, um dos pioneiros da Filosofia da Mente, afirma que a superinteligência não passa de uma lenda urbana que se baseia em atribuir às máquinas podres que elas nunca terão.

        Temos de aguardar, com os dedos cruzados, os próximos capítulos da história da tecnologia. E torcer para que das inteligências sem consciência possa emergir algo mais do apenas eficiência cega, a competência sem compreensão.