O controlo das máquinas inteligentes - o último problema da Humanidade?

«Se algum dia construirmos cérebros artificiais dotados de uma inteligência geral que supere a dos seres humanos, então essa nova superinteligência poderá tornar-se muito poderosa. E, tal como o destino dos gorilas depende hoje mais dos seres humanos do que dos próprios gorilas, também o destino da nossa espécie dependerá do que essa
máquina superinteligente fizer.

Nós temos uma vantagem real: somos nós que construímos essa coisa. Em princípio, poderemos construir um tipo de superinteligência que proteja os valores humanos. Teremos, certamente, fortes razões para o fazer. Na prática, o problema do controlo - o problema de controlar o que a superinteligência faz - parece ser bastante difícil. Tudo indica também que teremos uma única oportunidade para o resolver. Uma superinteligência hostil, a partir do momento em que exista, impedir-nos-á de a substituir ou de lhe mudarmos as preferências. O nosso destino estará decidido.

Neste livro, procuro compreender o desafio que a perspetiva da superinteligência representa e de que maneira poderemos responder-lhe. Este desafio é seguramente o mais importante e o mais assustador que a Humanidade jamais enfrentou. E, consiga-se ou não resolvê-la, esta questão do controlo é provavelmente o último desafio que enfrentaremos.»

Bostrom, N. (2019). Superinteligência. Caminhos, perigos, estratégias (pp. 9-10). Lisboa: Relógio D'Água.