A estranha distopia do desenvolvimento da IA

«Por um lado, temos certamente razões para continuarmos com o desenvovimento de capacidades tecnológicas que nos permitam obter mais daquilo que queremos, com menos esforço. Isso quase faz parte da definição de racionalidade: procurar maneiras eficazes de atingir os nossos fins. É certo que a nossa sociedade está a realizar um grande esforço para evoluir tecnológica e economicamente e a premiar os indvíduos que tornam isso possível.

Contudo, por outro lado, se, e quando, os esforços para aumentar a eficácia com que podemos atingir os nossos fins forem totalmente bem-sucedidos, iremos supostamente entrar numa situação em que ficaremos fatalmente aborrecidos ou nos tornaremos recetores passivos de satisfação narcotizada.

Nenhuma destas alternativas parece ser agradável.

Por isso, parece que temos motivos para trabalhar no sentido de alcançar uma situação X, e que seria muito mau se a alcançássemos. Por outras palavras, a conclusão parece ser que temos de dedicar recursos em massa para alcançar uma coisa, mas, ao mesmo tempo, esperamos desesperadamente não ser bem-sucedidos. Não seria exatamente uma contradição lógica, mas seria seguramente uma situação estranha.»

Bostrom, N. (2025). Utopia Profunda. A vida e o seu sentido num mundo perfeito (p.153). Alfragide: Dom Quixote.