A tica da Inteligncia Artificial 1

*
por Nick Bostrom & Eliezer Yudkowsky, 2011

A
possibilidade de criar mquinas pensantes levanta uma srie de
questes ticas. Estas questes se entrelaam tanto para garantir
que as mquinas no prejudiquem os humanos e outros seres mo-
ralmente relevantes, como para o status moral das prprias mquinas. A
primeira seo discute questes que podem surgir no futuro prximo da
Inteligncia Artificial (IA). A segunda seo destaca os desafios para asse-
gurar que a IA opere com segurana uma vez que se aproxima dos seres
humanos e de sua inteligncia. A terceira seo destaca a forma como po-
demos avaliar se, e em que circunstncias, sistemas de IA possuem status
moral. Na quarta seo ns consideramos como sistemas de IA podem di-
ferir dos humanos em alguns aspectos bsicos relevantes para nossa ava-
liao tica deles. A seo final se destina a questes da criao de IAs
mais inteligente do que a inteligncia humana, e assegurar que elas usem
essa inteligncia avanada para o bem ao invs de a utilizarem para o mal.

tica em Mquinas Aprendizes

e outros domnios especficos de algoritmos de IA

Imagine, num futuro prximo, um banco usando uma mquina de

algoritmo de aprendizagem2 para aprovar solicitaes de pedidos de hipo-

1 Nota do Tradutor: The Ethics of Artificial Intelligence. Draft for Cambridge Handbook of Ar-

tificial Intelligence, eds. William Ramsey and Keith Frankish (Cambridge University Press,
2011): forthcoming. A traduo do texto para o nosso idioma foi feita de forma livre, ou seja,
utilizando termos que facilitassem o entendimento em nosso idioma, mas, com o cuidado de
manter o sentido do texto original. Ainda assim divergncias podem ocorrer, e por isso, assu-
mo antecipadamente a responsabilidade por equvocos na traduo.

2 N. T.: Os Algoritmos de aprendizagem se relacionam com a aprendizagem de sistemas artifi-

1 www.ierfh.org
tecas. Um candidato rejeitado move uma ao contra o banco, alegando
que o algoritmo est discriminando racialmente os solicitantes de hipote-
ca. O banco responde que isso impossvel, pois o algoritmo delibera-
damente cego para a raa do solicitante. Na realidade, isso faz parte da
lgica do banco para implementao do sistema. Mesmo assim, as estats-
ticas mostram que a taxa de aprovao do banco para candidatos negros
tem constantemente cado. Submetendo dez candidatos aparentemente
iguais e genuinamente qualificados (conforme determinado por um painel
independente de juzes humanos), revela-se que o algoritmo aceita candi-
datos brancos e rejeita candidatos negros. O que poderia estar ocorrendo?

Encontrar uma resposta pode no ser fcil. Se o algoritmo de a-

prendizagem da mquina baseado em uma complexa rede neural ou em
um algoritmo gentico produzido por evoluo dirigida, pode se revelar
quase impossvel entender por que, ou mesmo como, o algoritmo est jul-
gando os candidatos com base em sua raa. Por outro lado uma mquina
aprendiz baseada em rvores de deciso ou redes Bayesianas muito
mais transparente para inspeo do programador (Hastie et al. 2001), o
que pode permitir a um auditor descobrir se o algoritmo de IA usa infor-
maes de endereo dos candidatos para saber previamente onde nasce-
ram ou se residem em reas predominantemente pobres.

Algoritmos de IA desempenham um papel cada vez maior na socie-

dade moderna, embora geralmente no estejam rotulados como IA. O
cenrio descrito acima pode estar acontecendo da mesma forma como ns
descrevemos. E se tornar cada vez mais importante desenvolver algorit-
mos de IA que no sejam apenas poderosos e escalveis3, mas tambm

ciais, e uma subdiviso da rea da IA dedicada ao desenvolvimento de algoritmos e tcnicas

que permitam ao computador aprender e aperfeioar seu desempenho em alguma tarefa. Al-
gumas partes da aprendizagem de mquina esto intimamente ligadas minerao de dados
e focadas nas propriedades dos mtodos estatsticos. A aplicao prtica inclui o processa-
mento de linguagem natural, sistemas de busca, diagnsticos mdicos, bioinformtica, reco-
nhecimento de fala, reconhecimento de escrita, viso computacional e locomoo de robs.

3 N. T.: Um sistema escalvel um sistema que tem seu desempenho aumentado com o a-

crscimo de hardware. A escalabilidade de vital importncia em sistemas eletrnicos, ban-

cos de dados, redes de computadores e roteadores. Na rea das telecomunicaes e da enge-
nharia de software, a escalabilidade uma caracterstica desejvel em todo o sistema, em
uma rede ou em um processo, pois um indicador confivel para verificarmos se um sistema
est preparado para crescer e para nos certificarmos de que o sistema hbil em manipular
uma poro crescente de trabalho de forma uniforme. Por exemplo, isto pode se referir capa-
cidade de um sistema em suportar um aumento de carga total quando os recursos (normal-
mente do hardware) so requeridos. Um significado anlogo est relacionado ao uso dessa

2 www.ierfh.org
transparentes para inspeo para citar umas das muitas propriedades
socialmente importantes.

Alguns desafios de mquinas ticas so muito semelhantes a outros

desafios envolvidos em projetar mquinas. Projetar um brao robtico pa-
ra evitar o esmagamento de seres humanos distrados no moralmente
mais preocupante do que projetar um retardador de chamas para sof.
Trata-se de novos desafios de programao, mas no de novos desafios
ticos. Mas, quando algoritmos de IA se ocupam de trabalho cognitivo com
dimenses sociais tarefas cognitivas anteriormente realizadas por hu-
manos , o algoritmo de IA herda as exigncias sociais. Seria sem dvida
frustrante descobrir que nenhum banco no mundo deseja aprovar a sua
aparentemente excelente solicitao de emprstimo, sem que ningum
saiba por que, e ningum pode ainda descobrir mesmo em princpio. (Tal-
vez voc tenha um primeiro nome fortemente associado com fraqueza?
Quem sabe?).

Transparncia no a nica caracterstica desejvel da IA. Tambm

importante que algoritmos de IA que assumam funes sociais sejam
previsveis aos que o governam. Para compreender a importncia dessa
previsibilidade, considere uma analogia. O princpio legal de stare decisis4
impele juzes a seguir os antecedentes sempre que possvel. Para um en-
genheiro, esta preferncia pelo precedente pode parecer incompreensvel
por que amarrar o futuro com o passado, quando a tecnologia est sempre
melhorando? Mas uma das mais importantes funes do sistema legal
ser previsvel, de modo que, por exemplo, os contratos possam ser escritos
sabendo como eles sero executados. O trabalho do sistema jurdico no
necessariamente o de aperfeioar a sociedade, mas proporcionar um am-
biente previsvel no qual cidados possam aperfeioar suas prprias vidas.

Tambm se tornar cada vez mais importante que os algoritmos de

IA se tornem resistentes manipulao. Um sistema visual de mquinas
que faz a varredura de bagagem em aeroportos deve ser resistente contra

palavra em termos comerciais onde a escalabilidade implica um modelo de negcio que ofere-
ce potencial de crescimento econmico dentro da empresa.
(Disponvel On-line: http://pt.wikipedia.org/wiki/Escalabilidade)
4 N. T.: Stare decisis uma expresso em latim que pode ser traduzida como ficar com as

coisas decididas. Essa expresso utilizada no direito para se referir doutrina segundo a
qual as decises de um rgo judicial criam precedente, ou seja, jurisprudncia, e vinculam
as decises que sero emitidas no futuro.
(Disponvel On-line: http://pt.wikipedia.org/wiki/Stare_decisis ).

3 www.ierfh.org
adversrios humanos deliberadamente procura de fraquezas explorveis
no algoritmo por exemplo, uma forma que, colocada prxima a uma pis-
tola em uma das bagagens, neutralizaria o reconhecimento da mesma. Re-
sistncia contra manipulao um critrio comum em segurana da in-
formao; quase o critrio. Mas no um critrio que aparece frequente-
mente em revistas especializadas em aprendizagem de mquinas que
esto atualmente mais interessadas em, por exemplo, como um algoritmo
aumenta proporcionalmente em grandes sistemas paralelos.

Outro importante critrio social para transaes em organizaes

ser capaz de encontrar a pessoa responsvel por conseguir que algo seja
feito. Quando um sistema de IA falha em suas tarefas designadas, quem
leva a culpa? Os programadores? Os usurios finais? Burocratas moder-
nos muitas vezes se refugiam nos procedimentos estabelecidos que distri-
buem responsabilidade amplamente, de modo que uma pessoa no pode
ser identificada nem culpada pelo resultado das catstrofes (Howard
1994). O provvel julgamento comprovadamente desinteressado de um
sistema especialista poderia se transformar num refgio ainda melhor.
Mesmo que um sistema de IA seja projetado com uma substituio do u-
surio, uma obrigao considerar o incentivo na carreira de um burocra-
ta que ser pessoalmente responsabilizado se a substituio sair errada, e
que preferiria muito mais culpar a IA por qualquer deciso difcil com um
resultado negativo.

Responsabilidade, transparncia, auditabilidade, incorruptibilidade,

previsibilidade e uma tendncia para no fazer vtimas inocentes gritarem
em desamparada frustrao: todos os critrios que aplicamos a humanos
que desempenham funes sociais; todos os critrios que devem ser con-
siderados em um algoritmo destinado a substituir o julgamento humano
de funes sociais; todos os critrios que podem no aparecer em um re-
gistro de aprendizado de mquina, considerando o quanto um algoritmo
aumenta proporcionalmente para mais computadores. Esta lista de crit-
rios no de forma alguma exaustiva, mas serve como uma pequena a-
mostra do que uma sociedade cada vez mais informatizada deveria estar
pensando.

Inteligncia Artificial Geral

H concordncia quase universal entre os profissionais modernos de

IA que sistemas de Inteligncia Artificial esto aqum das capacidades

4 www.ierfh.org
humanas em algum sentido crtico, embora algoritmos de IA tenham bati-
do os seres humanos em muitos domnios especficos como, por exemplo,
o xadrez. Tem sido sugerido por alguns que logo que os pesquisadores de
IA descobrem como fazer alguma coisa, esta capacidade deixa de ser con-
siderada como inteligente o xadrez era considerado o eptome da inteli-
gncia at o Deep Blue vencer Kasparov no campeonato mundial mas
mesmo esses pesquisadores concordam que algo importante est faltando
s IAs modernas (ver Hofstadter 2006).

Enquanto esta subrea da Inteligncia Artificial est apenas cres-

cendo de forma unificada, Inteligncia Artificial Geral (IAG) o termo
emergente usado para designar IA real (ver, por exemplo, o volume edi-
tado por Goertzel e Pennachin 2006). Como o nome implica, o consenso
emergente que a caracterstica que falta a generalidade. Os algoritmos
atuais de IA com desempenho equivalente ou superior ao humano so ca-
racterizados por uma competncia deliberadamente programada em um
nico e restrito domnio. O Deep Blue tornou-se o campeo do mundo em
xadrez, mas ele no pode jogar damas, muito menos dirigir um carro ou
fazer uma descoberta cientfica. Tais algoritmos modernos de IA asseme-
lham-se a todas as formas de vidas biolgicas com a nica exceo do
Homo sapiens. Uma abelha exibe competncia em construir colmias; um
castor exibe competncia em construir diques; mas uma abelha no pode
construir diques, e um castor no pode aprender a fazer uma colmia. Um
humano, observando, pode aprende a fazer ambos; mas esta uma habi-
lidade nica entre as formas de vida biolgicas. discutvel se a intelign-
cia humana verdadeiramente geral ns somos certamente melhores em
algumas tarefas cognitivas do que em outras (Hirschfeld e Gelman 1994)
mas a inteligncia humana , sem dvida, significativamente mais geral-
mente aplicvel que a inteligncia no-homindea.

relativamente fcil imaginar o tipo de questes de segurana que

podem resultar de IA operando somente dentro de um domnio especfico.
uma classe qualitativamente diferente de problema manipular uma IAG
operando atravs de muitos novos contextos que no podem ser previstos
com antecedncia.

Quando os engenheiros humanos constroem um reator nuclear, eles

prevem eventos especficos que poderiam acontecer em seu interior fa-
lhas nas vlvulas, falha nos computadores, aumento de temperatura no
ncleo para evitar que esses eventos se tornem catastrficos. Ou, em um
nvel mais mundano, a construo de uma torradeira envolve previso do
po e previso da reao do po para os elementos de aquecimento da tor-

5 www.ierfh.org
radeira. A torradeira em si no sabe que o seu objetivo fazer torradas o
propsito da torradeira representado na mente do designer, mas no
explicitamente representado em computaes dentro da torradeira e se
voc colocar um pano dentro de uma torradeira, ela pode pegar fogo, pois
o projeto realizado em um contexto no previsto, com um imprevisvel
efeito colateral.

Mesmo algoritmos de IA de tarefas especficas nos lanam fora do

paradigma da torradeira, o domnio do comportamento especificamente
previsvel, localmente pr-programado. Considere o Deep Blue, o algoritmo
de xadrez que venceu Garry Kasparov no campeonato mundial de xadrez.
Na hiptese de as mquinas poderem apenas fazer exatamente o que eles
dizem, os programadores teriam de pr-programar manualmente um ban-
co de dados contendo movimentos possveis para cada posio de xadrez
que o Deep Blue poderia encontrar. Mas isso no era uma opo para os
programadores do Deep Blue. Em primeiro lugar, o espao de possveis
posies do xadrez abundantemente no gerencivel. Segundo, se os
programadores tinham de inserir manualmente o que consideravam um
bom movimento em cada situao possvel, o sistema resultante no teria
sido capaz de fazer movimentos mais fortes de xadrez do que o de seus
criadores. Uma vez que os prprios programadores no so campees do
mundo, esse sistema no teria sido capaz de derrotar Garry Kasparov.

Ao criar um super jogador de xadrez, os programadores humanos

necessariamente sacrificaram sua capacidade de previso local para o De-
ep Blue, especfico comportamento do jogo. Em vez disso, os programado-
res do Deep Blue tinham (justificvel) confiana que os movimentos de xa-
drez do Deep Blue satisfariam um critrio no-local de otimizao: isto ,
que os movimentos tenderiam a orientar o futuro resultado do jogo na re-
gio vencedora conforme definido pelas regras do xadrez. Esta previso
sobre consequncias distantes, embora provada correta, no permitiu aos
programadores prever o comportamento local do Deep Blue sua resposta
a um determinado ataque ao seu rei porque o Deep Blue computa o ma-
pa do jogo no-local, a ligao entre um movimento e suas possveis con-
sequncias futuras, com mais preciso do que os programadores poderiam
fazer (Yudkowsky 2006).

Os seres humanos modernos fazem literalmente milhes de coisas

para se alimentar para servir ao objetivo final de ser alimentado. Algu-
mas dessas atividades foram previstas pela Natureza no sentido de ser
um desafio ancestral ao qual ns estamos diretamente adaptados. Mas o
nosso crebro adaptado cresceu poderoso o suficiente para ser, de forma

6 www.ierfh.org
significativa, aplicvel de forma mais geral; permite-nos prever as conse-
quncias de milhes de diferentes aes em vrios domnios, e exercer
nossas preferncias sobre os resultados finais. Os seres humanos cruza-
ram o espao para colocar sua pegada na Lua, apesar de nenhum de nos-
sos ancestrais ter encontrado um desafio anlogo ao vcuo. Em relao ao
domnio especfico de IA, um problema qualitativamente diferente proje-
tar um sistema que vai operar com segurana em milhares de contextos,
incluindo contextos que no sejam especificamente previstos por qualquer
dos designers ou usurios, incluindo contextos que nenhum humano ja-
mais encontrou. Neste momento no pode haver nenhuma especificao
local de bom comportamento no uma simples especificao sobre seus
prprios comportamentos, no mais do que existe uma descrio local
compacta de todas as maneiras que os seres humanos obtm seu po de
cada dia.

Para construir uma IA que atua com segurana enquanto age em

vrios domnios, com muitas consequncias, incluindo os problemas que
os engenheiros nunca previram explicitamente, preciso especificar o bom
comportamento em termos como X tal que a conseqncia de X no pre-
judicial aos seres humanos. Isto no-local; e envolve extrapolar a conse-
quncia distante de nossas aes. Assim, esta apenas uma especificao
efetiva que pode ser realizada como uma propriedade do design se o
sistema extrapola explicitamente as consequncias de seu comportamen-
to. Uma torradeira no pode ter essa propriedade de design porque uma
torradeira no pode prever as consequncias do po tostado.

Imagine um engenheiro tendo que dizer: Bem, eu no tenho ideia de

como esse avio que eu constru pode voar com segurana de fato eu no
tenho ideia de como ele far tudo, se ele vai bater as asas ou inflar-se com
hlio, ou outra coisa que eu nem sequer imagino, mas eu lhe asseguro, o
projeto muito, muito seguro. Isto pode parecer uma posio invejvel da
perspectiva de relaes pblicas, mas difcil ver que outra garantia de
comportamento tico seria possvel para uma operao de inteligncia ge-
ral sobre problemas imprevistos, em vrios domnios, com preferncias
sobre consequncias distantes. Inspecionando o design cognitivo podemos
verificar que a mente estava, na verdade, buscando solues que ns clas-
sificaramos como ticas; mas no poderamos prever que soluo espec-
fica a mente descobriria.

Respeitar essa verificao exige alguma forma de distinguir as ga-

rantias de confiana (um procedimento que no desejo dizer a IA segura
a menos que a IA seja realmente segura) de pura esperana e pensamen-

7 www.ierfh.org
to mgico (No tenho ideia de como a Pedra Filosofal vai transformar
chumbo em ouro, mas eu lhe asseguro, ela vai!). Deve-se ter em mente
que expectativas puramente esperanosas j foram um problema em pes-
quisa de IA (McDermott 1976).

Comprovadamente construir uma IAG de confiana exigir mtodos

diferentes, e uma maneira diferente de pensar, para inspecionar uma fa-
lha no software de uma usina de energia5 ele exigir um IAG que pensa
como um engenheiro humano preocupado com a tica, no apenas um
simples produto da engenharia tica.

Desta forma a disciplina de IA tica, especialmente quando aplicada

IAG, pode diferir fundamentalmente da disciplina tica de tecnologias
no-cognitivas, em que:

O comportamento especfico local da IA no pode ser previsvel in-

dependentemente de sua segurana, mesmo se os programadores
fizerem tudo certo;

Verificao de segurana do sistema torna-se um desafio maior,

porque ns devemos verificar o comportamento seguro do sistema
operando em todos os contextos;

A prpria cognio tica deve ser tomada como um assunto de en-

genharia.

Mquinas com status moral

Um diferente conjunto de questes ticas surge quando se contem-

pla a possibilidade de que alguns futuros sistemas de IA possam ser can-
didatos a possurem status moral. Nossas relaes com os seres que pos-
suem status moral no so exclusivamente uma questo de racionalidade
instrumental: ns tambm temos razes morais para trat-los de certas
maneiras, e de nos refrearmos de trat-los de outras formas. Francis
Kamm props a seguinte definio do status moral, que servir para nos-
sos propsitos:

5 N. T.: No texto original a expresso utilizada aqui power station, que pode designar uma

central eltrica, uma estao geradora ou uma usina de energia. No centro de quase todas as
estaes de energia existe um gerador, uma mquina rotativa que converte energia mecnica
em energia eltrica atravs da criao de movimento relativo entre um campo magntico e um
condutor.

8 www.ierfh.org
 X tem status moral = porque X conta moralmente em seu prprio direi-
to, e permitido/proibido fazer as coisas para ele para seu prprio
bem. (Kamm 2007: cap. 7; parfrase).

Uma pedra no tem status moral: podemos esmag-la, pulveriz-la,

ou submet-la a qualquer tratamento que desejarmos sem qualquer preo-
cupao com a prpria rocha. Uma pessoa humana, por outro lado, deve
ser encarada no apenas como um meio, mas tambm como um fim. Exa-
tamente o que significa tratar uma pessoa como um fim algo sobre a
qual diferentes teorias ticas discordam; mas ela certamente envolve to-
mar os seus interesses legtimos em conta atribuindo peso para o seu
bem-estar e tambm pode envolver aceitar severas restries morais em
nossa relaes com ela, como a proibio contra assassin-la, roub-la,
ou fazer uma srie de outras coisas para ela ou para sua propriedade sem
o seu consentimento. Alm disso, porque a pessoa humana importante
em seu prprio direito, e por seu bem estar, que estamos proibidos de fa-
zer com ela essas coisas. Isso pode ser expresso de forma mais concisa,
dizendo que uma pessoa humana tem status moral.

Perguntas sobre status moral so importantes em algumas reas da

tica prtica. Por exemplo, as disputas sobre a legitimidade moral do abor-
to muitas vezes levam a desacordos sobre o status moral do embrio. Con-
trovrsias sobre experimentao animal e o tratamento dispensado aos
animais na indstria de alimentos envolvem questes sobre o status moral
de diferentes espcies de animais. E as nossas obrigaes em relao a
seres humanos com demncia grave, tais como pacientes em estgio final
de Alzheimer, tambm podem depender de questes de status moral.

amplamente aceito que os atuais sistemas de IA no tm status

moral. Ns podemos alterar, copiar, encerrar, apagar ou utilizar progra-
mas de computador tanto quanto nos agradar, ao menos no que diz res-
peito aos prprios programas. As restries morais a que estamos sujeitos
em nossas relaes com os sistemas contemporneos de IA so todas ba-
seadas em nossas responsabilidades para com os outros seres, tais como
os nossos companheiros humanos, e no em quaisquer direitos para os
prprios sistemas.

Embora seja realmente consensual que aos sistemas atuais de IA

falta status moral, no est claro exatamente quais atributos servem de
base para o status moral. Dois critrios so comumente propostos como
importantemente relacionados com o estatuto moral, ou isoladamente ou

9 www.ierfh.org
em combinao: a sencincia e a sapincia (ou personalidade). Estes po-
dem ser caracterizados aproximadamente como segue:

Sencincia: a capacidade para a experincia fenomenal ou qualia, co-

mo a capacidade de sentir dor e sofrer;

Sapincia: um conjunto de capacidades associadas com maior inteli-

gncia, como a autoconscincia e ser um agente racional responsvel.

Uma opinio comum que muitos animais tm qualia e, portanto,

tm algum status moral, mas que apenas os seres humanos tm sabedo-
ria, o que lhes confere um status moral mais elevado do que possuem os
animais no-humanos6. Esta viso, claro, deve enfrentar a existncia de
casos limtrofes, tais como, por um lado, crianas ou seres humanos com
grave retardo mental s vezes, infelizmente referidos como humanos
marginais que no satisfazem os critrios de sapincia; e, por outro la-
do, alguns animais no-humanos, tais como os grandes smios, que po-
dem ter pelo menos alguns dos elementos da sapincia. Alguns negam que
o chamado homem marginal tenha um status moral pleno. Outros pro-
pem maneiras adicionais em que um objeto poderia qualificar-se como
um sustentador de status moral, tais como ser membro de uma espcie
que normalmente tem sensibilidade ou sapincia, ou por estar em uma
relao adequada para alguns seres que tem status moral independente
(cf. Mary Anne Warren 2000). Para os propsitos do texto, no entanto, nos
concentraremos nos critrios de sensibilidade e sapincia.

Esta imagem de status moral sugere que um sistema de IA ter al-

gum status moral se ele tiver capacidades de qualia, tais como a capaci-
dade de sentir dor. Um sistema de IA senciente, mesmo que no tenha
linguagem e outras faculdades cognitivas superiores, no ser como um
bichinho de pelcia ou um boneco; ser mais como um animal vivo. er-
rado infligir dor a um rato, a menos que existam razes suficientemente
fortes e razes morais prevalecentes para faz-lo. O mesmo vale para
qualquer sistema senciente de IA. Se alm de conscincia, um sistema de
inteligncia artificial tambm tiver sapincia de um tipo semelhante de
um adulto humano normal, ento ter tambm pleno status moral, equi-
valente ao dos seres humanos.

6 Alternativamente, se poderia negar que o estatuto moral vem em graus. Em vez disso, pode-

se considerar que certos seres tm interesses mais importantes do que os outros seres. Assim,
por exemplo, algum poderia alegar que melhor salvar um ser humano do que salvar um
pssaro, no porque o ser humano tem maior status moral, mas porque o ser humano tem
um interesse mais significativo em ter sua vida salva do que um pssaro.

10 www.ierfh.org
 Uma das ideias subjacentes a esta avaliao moral pode ser expres-
sa de forma mais forte como um princpio de no discriminao:

Princpio da No-Discriminao do Substrato

Se dois seres tm a mesma funcionalidade e a mesma experincia

consciente, e diferem apenas no substrato de sua aplicao, ento eles
tm o mesmo status moral.

Pode-se argumentar a favor desse princpio, por razes de que rejei-

t-lo equivaleria a adotar uma posio similar ao racismo: substrato care-
ce de fundamental significado moral, da mesma forma e pela mesma razo
que a cor da pele tambm carece. O Princpio da No-Discriminao do
Substrato no implica que um computador digital possa ser consciente,
ou que possa ter a mesma funcionalidade que um ser humano. O substra-
to pode ser moralmente relevante na medida em que faz a diferena para a
sencincia, ou funcionalidade. Mas, mantendo essas coisas constantes,
no faz diferena moral se um ser feito de silcio ou de carbono, ou se o
crebro usa semicondutores ou neurotransmissores.

Um princpio adicional que pode ser proposto que o fato de que

sistemas de IA sejam artificiais ou seja, o produto de design deliberado
no fundamentalmente relevante para o seu status moral. Ns podera-
mos formular isto da seguinte forma:

Princpio da No-Discriminao da Ontogenia

Se dois seres tm a mesma funcionalidade e mesma experincia de

conscincia, e diferem apenas na forma como vieram a existir, ento
eles tm o mesmo status moral.

Hoje essa ideia amplamente aceita no caso de humanos embora

em alguns grupos de pessoas, particularmente no passado, a ideia de que
um status moral dependa de uma linhagem ou casta, tenha sido influen-
te. Ns no acreditamos que fatores causais, tais como planejamento fa-
miliar, assistncia ao parto, fertilizao in vitro, seleo de gametas, me-
lhoria deliberada da nutrio materna, etc. que introduzem um elemento
de escolha deliberada e design na criao de seres humanos tm qual-
quer implicao necessria para o status moral da prognie. Mesmo aque-
les que se opem clonagem para reproduo humana, por razes morais
ou religiosas, em geral aceitam que, se um clone humano fosse trazido
existncia, ele teria o mesmo status moral que qualquer outra criana

11 www.ierfh.org
humana. O Princpio da No-Discriminao da Ontogenia estende este ra-
ciocnio aos casos envolvendo sistemas cognitivos inteiramente artificiais.

evidentemente possvel, nas circunstncias da criao, afetar a

descendncia resultante de maneira a alterar o seu status moral. Por e-
xemplo, se algum procedimento realizado durante a concepo ou a gesta-
o a causa do desenvolvimento de um feto humano sem um crebro,
ento este fato sobre a ontogenia seria relevante para o nosso julgamento
sobre o status moral da prole. A criana anenceflica, porm, teria o mes-
mo status moral que qualquer outra similar criana anenceflica, incluin-
do aquela que tenha sido concebida atravs de um processo totalmente
natural. A diferena de status moral entre uma criana anenceflica e
uma criana normal est baseada na diferena qualitativa entre os dois
o fato de que um tem uma mente, enquanto o outro no. Desde que as
duas crianas no tenham a mesma funcionalidade e a mesma experin-
cia consciente, o Princpio da No-Discriminao da Ontogenia no se a-
plica.

Embora o Princpio da No-Discriminao da Ontogenia afirme que

a ontogenia dos seres no tem qualquer relevncia fundamental sobre o
seu status moral, ela no nega que os fatos sobre a ontognese podem afe-
tar obrigaes particulares que os agentes morais tm para com o ser em
questo. Os pais tm deveres especiais para com seus filhos que eles no
tm para com outras crianas, e que no teriam mesmo se houvesse outra
criana qualitativamente idntica a sua. Similarmente, o Princpio da No-
Discriminao da Ontogenia consistente com a alegao de que os cria-
dores ou proprietrios de um sistema de IA com status moral podem ter
direitos especiais para com sua mente artificial que no tm para com ou-
tras mentes artificiais, mesmo se as mentes em questo so qualitativa-
mente semelhantes e tm o mesmo status moral.

Se os princpios de no discriminao com relao ao substrato e

ontogenia so aceitos, ento muitas questes sobre como devemos tratar
mentes artificiais podem ser respondidas por aplicarmos os mesmos prin-
cpios morais que usamos para determinar nossos deveres em contextos
mais familiares. Na medida em que os deveres morais decorrem de consi-
deraes sobre status moral, ns devemos tratar a mente artificial da
mesma maneira como devemos tratar uma mente natural humana quali-
tativamente idntica e em uma situao similar. Isto simplifica o problema
do desenvolvimento de uma tica para o tratamento de mentes artificiais.

12 www.ierfh.org
 Mesmo se aceitarmos essa postura, no entanto, temos de enfrentar
uma srie de novas questes ticas que os princpios acima mencionados
deixaram sem resposta. Novas questes ticas surgem porque mentes arti-
ficiais podem ter propriedades muito diferentes das ordinrias mentes
humanas ou animais. Devemos considerar como essas novas propriedades
afetariam o status moral de mentes artificiais e o que significaria respeitar
o status moral de tais mentes exticas.

Mentes com propriedades exticas

No caso dos seres humanos, normalmente no hesitamos em atribu-

ir sensibilidade e experincia consciente a qualquer indivduo que apre-
senta os tipos normais de comportamento humano. Poucos acreditam que
haja outras pessoas que atuem de forma perfeitamente normal, mas lhes
falte conscincia. No entanto, outros seres humanos no apenas se com-
portam como pessoas normais de maneiras semelhantes a ns mesmos;
eles tambm tm crebros e arquiteturas cognitivas que so constitudas
de forma muito parecida com a nossa. Um intelecto artificial, pelo contr-
rio, pode ser constitudo um pouco diferentemente de um intelecto huma-
no e ainda assim apresentar um comportamento semelhante ao humano
ou possuir disposies comportamentais normalmente indicativas de per-
sonalidade. Por isso, seria possvel conceber um intelecto artificial que se-
ria sapiente, e talvez fosse uma pessoa, e ainda assim no estaria consci-
ente ou teria experincias conscientes de qualquer tipo. (Se isto realmen-
te possvel depende das respostas a algumas questes metafsicas no tri-
viais). Se tal sistema fosse possvel, ele levantaria a questo de saber se
uma pessoa no-senciente teria qualquer status moral; e nesse caso, se
teria o mesmo status moral de uma pessoa sensvel. A sencincia, ou pelo
menos uma capacidade de sencincia, comumente assumida como es-
tando presente em qualquer indivduo que seja uma pessoa; esta questo
no tem recebido muita ateno at o momento7.

7 Esta questo est relacionada com alguns problemas na filosofia da mente que tm recebido

grande ateno, em particular o problema do zumbi, que pode ser formulado da seguinte
forma: Existe um mundo metafisicamente possvel que seja idntico ao mundo real no que diz
respeito a todos os fatos fsicos (incluindo a microestrutura fsica exata de todos os crebros e
organismos), mas que difere do mundo real em relao a alguns fatos fenomenais (experincia
subjetiva)? Colocado de forma mais crua, metafisicamente possvel que possa haver uma
pessoa que fisicamente e exatamente idntica a voc, mas que um zumbi, ou seja, sem
qualia e conscincia fenomenal? (David Chalmers, 1996) Esta questo familiar diferente do
referido no texto: ao nosso zumbi permitido ter sistematicamente diferentes propriedades
fsicas dos seres humanos normais. Alm disso, queremos chamar a ateno especificamente
ao status tico de um zumbi sapiente.

13 www.ierfh.org
 Outra propriedade extica, o que certamente metafisicamente e fi-
sicamente possvel para uma inteligncia artificial, que a taxa subjetiva
de tempo desvia-se drasticamente da taxa que caracterstica de um cre-
bro biolgico humano. O conceito de taxa subjetiva do tempo melhor ex-
plicado primeiramente pela introduo da ideia de emulao de todo o c-
rebro, ou uploading.8

Uploading refere-se a uma hipottica tecnologia do futuro que

permitiria a um intelecto humano ou de outro animal serem transferidos
de sua aplicao original em um crebro orgnico para um computador
digital. Um cenrio como este: Primeiro, uma alta resoluo de varredura
realizada em algumas particularidades do crebro, possivelmente des-
truindo o original no processo. Por exemplo, o crebro pode ser vitrificado
e dissecado em fatias finas, que podem ento ser digitalizado usando al-
guma forma de microscpio de alta capacidade combinada com o reconhe-
cimento automtico de imagem. Podemos imaginar que esta anlise deve
ser detalhada o suficiente para capturar todos os neurnios, suas interco-
nexes sinpticas, e outras caractersticas que so funcionalmente rele-
vantes para as operaes do crebro original. Em segundo lugar, este ma-
pa tridimensional dos componentes do crebro e suas interconexes so
combinados com uma biblioteca de avanadas teorias da neurocincia,
que especificam as propriedades computacionais de cada tipo bsico de
elementos, tais como diferentes tipos de neurnios e de juno sinptica.
Terceiro, a estrutura computacional e os algoritmos associados de com-
portamento dos seus componentes so implementados em alguns compu-
tadores poderosos. Se o processo de uploading for bem sucedido, o pro-
grama de computador deve agora replicar as caractersticas funcionais
essenciais do crebro original. O resultante upload pode habitar uma rea-
lidade virtual simulada, ou, alternativamente, pode ser dado a ele o con-

8 N. T.: Traduzir a palavra upload de forma literal traria problemas para o entendimento do
texto. Por isso, consideramos mais apropriado manter a palavra em sua forma original. Um
entendimento melhor do que significa upload nesse contexto pode ser encontrado em outro
texto de Bostrom, agora em parceria com Anders Sandberg: The concept of brain emulation:
Whole brain emulation, often informally called uploading or downloading, has been the sub-
ject of much science fiction and also some preliminary studies (). The basic idea is to take a
particular brain, scan its structure in detail, and construct a software model of it that is so faith-
ful to the original that, when run onappropriate hardware, it will behave in essentially the same
way as the original brain. (Hole Brain Emulation. Disponvel on-line:) Numa traduo livre:
O conceito de emulao do crebro: Emulao do Crebro Inteiro, muitas vezes, informal-
mente chamado de upload ou download, tem sido o objeto de muita fico cientfica e tam-
bm de alguns estudos preliminares (...). A ideia bsica ter um crebro especial, digitalizar a
sua estrutura em detalhe, e construir um modelo de software que to fiel ao original que,
quando executado em hardware apropriado, ele ir se comportar basicamente da mesma ma-
neira como o crebro original.

14 www.ierfh.org
trole de um corpo robtico, que lhe permite interagir diretamente com a
realidade fsica externa.

Uma srie de perguntas surge no contexto de tal cenrio: Quo

plausvel que este procedimento um dia se torne tecnologicamente vi-
vel? Se o procedimento trabalhou e produziu um programa de computador
exibindo aproximadamente a mesma personalidade, as mesmas mem-
rias, e os mesmos padres de pensamento que o crebro original, pode es-
te programa ser sensvel? Ser o upload a mesma pessoa que o indivduo
cujo crebro foi desmontado no processo de carregamento? O que aconte-
ce com a identidade pessoal se um upload copiado de tal forma que duas
mentes semelhantes ou qualitativamente idnticas de upload sejam execu-
tadas em paralelo? Apesar de todas estas questes serem relevantes para
a tica da IA, vamos aqui focar na questo que envolve a noo de uma
taxa subjetiva de tempo.

Suponha que um upload possa ser senciente. Se executarmos o pro-

grama de transferncia em um computador mais rpido, isso far com que
o upload, se ele estiver conectado a um dispositivo de entrada como uma
cmera de vdeo, perceba o mundo externo como se esse estivesse perden-
do velocidade. Por exemplo, se o upload est sendo executado milhares de
vezes mais rpido que o crebro original, ento o mundo exterior ser exi-
bido para o upload como se fosse desacelerado por um fator de mil. Al-
gum deixa cair uma caneca fsica de caf: O upload observa a caneca len-
tamente caindo no cho enquanto termina de ler o jornal pela manh e
envia alguns e-mails. Um segundo de tempo objetivo corresponde a 17
minutos do tempo subjetivo. Durao objetiva e subjetiva podem ento
divergir.

Tempo subjetivo no a mesma estimativa ou percepo que um

sujeito tem de quo rpido o tempo flui. Os seres humanos so muitas
vezes confundidos com o fluxo do tempo. Podemos acreditar que se trata
de 1 hora quando de fato so 2h15 min.; ou uma droga estimulante pode
acelerar nossos pensamentos, fazendo parecer que mais tempo subjetivo
tenha decorrido do que realmente o caso. Estes casos mundanos envol-
vem uma percepo distorcida do tempo ao invs de uma mudana na ta-
xa de tempo subjetivo. Mesmo em um crebro ex-viciado em cocana, pro-
vavelmente no h uma mudana significativa na velocidade de base nos
clculos neurolgicos; mais provavelmente, a droga est fazendo o crebro
cintilar mais rapidamente a partir de um pensamento para outro, fazendo-
o gastar menos tempo subjetivo para pensar um nmero maior de pensa-
mentos distintos.

15 www.ierfh.org
 A variabilidade da taxa subjetiva do tempo uma propriedade exti-
ca de mentes artificiais que levanta novas questes ticas. Por exemplo, os
casos em que a durao de uma experincia eticamente relevante, de-
vem ser mensurados duraes no tempo objetivo ou subjetivo? Se um u-
pload cometeu um crime e condenado a quatro anos de priso, deve este
ser quatro anos objetivos - que pode corresponder a muitos milnios de
tempo subjetivo - ou deve ser quatro anos subjetivos, que pode ser pouco
mais de um par de dias de tempo objetivo? Se uma IA avanada e um ser
humano esto com dor, mais urgente aliviar a dor da IA, em razo de
que ela experimenta uma maior durao subjetiva da dor para cada se-
gundo sideral9 que o alvio retardado? Uma vez que em nosso contexto
habitual, de humanos biolgicos, tempo subjetivo no significativamente
varivel, no surpreendente que esse tipo de questionamento no seja
francamente respondido por normas ticas familiares, mesmo se essas
normas so estendidas a IA por meio de princpios de no-discriminao
(como os propostos na seo anterior).

Para ilustrar o tipo de afirmao tica que pode ser relevante aqui,
ns formulamos (mas no defendemos) um princpio de privilegiar tempo
subjetivo como a noo normativa mais fundamental:

9 N. T.: Tempo Sideral pode ser entendido como tempo estelar. Em nossas vidas e tarefas

dirias costumamos utilizar o Tempo Solar, que tem como unidade fundamental o dia, ou
seja, o tempo que o Sol demora para viajar 360 graus em torno do cu, devido a rotao da
Terra. O Tempo Solar tambm possui unidades menores que so subdivises de um dia:

1/24 Dia = 1 hora

1/60 Hora = 1 Minuto
1/60 Minuto = 1 Segundo

Mas, o Tempo Solar apresenta dificuldades pois a Terra no gira em torno de si 360 num Dia
Solar. A Terra est em rbita ao redor do Sol, e ao longo de um dia, ele se move cerca de um
grau ao longo de sua rbita (360 graus/365.25 dias para uma rbita completa = cerca de um
grau por dia). Assim, em 24 horas, a direo em direo ao Sol varia em cerca de um grau.
Portanto, a Terra s tem que girar 359 para fazer o Sol parecer que tem viajado 360 no cu.
Em astronomia, relevante quanto tempo a Terra leva para girar com relao as estrelas fi-
xas, por isso necessrio uma escala de tempo que remove a complicao da rbita da Terra
em torno do Sol, e apenas se concentre em quanto tempo a Terra leva para girar 360 com
relao s estrelas. Este perodo de rotao chamado de Dia Sideral. Em mdia, de 4 mi-
nutos a mais do que um Dia Solar, devido ao grau 1 extra que Terra tem de girar para com-
pletar 360. Ao invs de definir um Dia Sideral em 24 horas e 4 minutos, ns definimos Horas
Siderais, minutos e segundos que so a mesma frao de um dia como os seus homlogos
Solar. Portanto, um segundo Sideral = 1,00278 Segundos Solar. O Tempo Sideral divide uma
rotao completa da Terra em 24 Horas Siderais, til para determinar onde as estrelas esto
em determinado momento.

16 www.ierfh.org
 Princpio da Taxa Subjetiva do Tempo

Nos casos em que a durao de uma experincia tem um significado

normativo bsico, a durao subjetiva da experincia que conta.

At agora, discutimos duas possibilidades (sapincia no-senciente

e a taxa subjetiva de tempo varivel), que so exticas no sentido de ser
relativamente profunda e metafisicamente problemticas, assim como fal-
tam exemplos claros ou paralelos no mundo contemporneo. Outras pro-
priedades de possveis mentes artificiais seriam exticas em um sentido
mais superficial; por exemplo, por serem divergentes em algumas dimen-
ses quantitativas no problemticas do tipo de mente com o qual esta-
mos familiarizados. Mas tais caractersticas superficialmente exticas
tambm podem representar novos problemas ticos se no ao nvel fun-
damental da filosofia moral, ao menos no nvel da tica aplicada ou para
princpios ticos de complexidade mdia.

Um importante conjunto de propriedades exticas de inteligncias

artificiais se relaciona com a reproduo. Certo nmero de condies em-
pricas que se aplicam reproduo humana no so aplicveis IA. Por
exemplo, as crianas humanas so o produto de uma recombinao do
material gentico dos dois genitores; os pais tm uma capacidade limitada
para influenciar o carter de seus descendentes; um embrio humano
precisa ser gestado no ventre durante nove meses; leva de quinze a vinte
anos para uma criana humana atingir a maturidade; a criana humana
no herda as habilidades e os conhecimentos adquiridos pelos seus pais;
os seres humanos possuem um complexo e evoludo conjunto de adapta-
es emocionais relacionados reproduo, carinho, e da relao pais e
filhos. Nenhuma dessas condies empricas deve pertencer ao contexto
de reproduo de uma mquina inteligente. Por isso, plausvel que mui-
tos dos princpios morais de nvel mdio, que temos aceitado como as
normas que regem a reproduo humana, precisaro ser repensados no
contexto da reproduo de IA.

Para ilustrar por que algumas de nossas normas morais precisam

ser repensadas no contexto da reproduo de IA, suficiente considerar
apenas uma propriedade extica dos sistemas de IA: sua capacidade de
reproduo rpida. Dado o acesso ao hardware do computador, uma IA
poderia duplicar-se muito rapidamente, em menos tempo do que leva para
fazer uma cpia do software da IA. Alm disso, desde que a cpia da IA
seja idntica original, ela nasceria completamente madura; e ento a c-
pia pode comear a fazer suas prprias cpias imediatamente. Na ausn-

17 www.ierfh.org
cia de limitaes de hardware, uma populao de IA poderia, portanto,
crescer exponencialmente em uma taxa extremamente rpida, com um
tempo de duplicao da ordem de minutos ou horas em vez de dcadas ou
sculos.

Nossas atuais normas ticas sobre a reproduo incluem uma ver-

so de um princpio de liberdade reprodutiva, no sentido de que cabe a
cada indivduo ou ao casal decidir por si se quer ter filhos e quantos filhos
desejam ter. Outra norma que temos (ao menos nos pases ricos e de ren-
da mdia) que a sociedade deve intervir para prover as necessidades b-
sicas das crianas nos casos em que seus pais so incapazes ou se recu-
sam a faz-lo. fcil ver como estas duas normas poderia colidir no con-
texto de entidades com capacidade de reproduo extremamente rpida.

Considere, por exemplo, uma populao de uploads, um dos quais

acontece de ter o desejo de produzir um cl to grande quanto possvel.
Dada completa liberdade reprodutiva, este upload pode comear a copi-
ar-se to rapidamente quanto possvel; e os exemplares que produz que
podem rodar em hardware de computador novo ou alugado pelo original,
ou podem compartilhar o mesmo computador que o original, tambm vo
comear a se auto-copiar, uma vez que eles so idnticos ao progenitor
upload e compartilha seu desejo de produzir descendentes10. Logo, os
membros do cl upload se encontraro incapazes de pagar a fatura de ele-
tricidade ou o aluguel para o processamento computacional e de armaze-
namento necessrio para mant-los vivos. Neste ponto, um sistema de
previdncia social poder ser acionado para fornecer-lhes pelo menos as
necessidades bsicas para sustentar a vida. Mas, se a populao crescer
mais rpido que a economia, os recursos vo se esgotar; ao ponto de os
uploads morrerem ou a sua capacidade para se reproduzir ser reduzida.
(Para dois cenrios distpicos relacionados, veja Bostrom (2004).).

Esse cenrio ilustra como alguns princpios ticos de nvel mdio

que so apropriados nas sociedades contemporneas talvez precisem ser
modificados se essas sociedades inclurem pessoas com a propriedade e-
xtica de serem capazes de se reproduzir rapidamente.

10 N. T.: No texto original a palavra que aqui aparece philoprogenic. No encontramos pala-

vra equivalente em portugus, por isso optamos por traduzi-la da forma mais aproximada
possvel da inteno dos autores. Por exemplo, a palavra philoprogenitive significa produzindo
muitos descendentes, amar um filho ou crianas em geral, relativo ao amor prole. Por a-
proximao, podemos dizer que populaes de uploads desejaro produzir mais descendentes.

18 www.ierfh.org
 O ponto geral aqui que quando se pensa em tica aplicada para
contextos que so muito diferentes da nossa condio humana familiar,
devemos ser cuidadosos para no confundir princpios ticos de nvel m-
dio com verdades normativas fundamentais. Dito de outro modo, ns de-
vemos reconhecer at que ponto os nossos preceitos normativos comuns
so implicitamente condicionados obteno de condies empricas vari-
adas, e necessidade de ajustar esses preceitos de acordo com casos hi-
potticos futuristas nos quais suas pr-condies no so obtidas. Por is-
so, no estamos fazendo uma afirmao polmica sobre o relativismo mo-
ral, mas apenas destacando o ponto de senso comum de que o contexto
relevante para a aplicao da tica, e sugerindo que este ponto especi-
almente pertinente quando se est considerando a tica de mentes com
propriedades exticas.

Superinteligncia

I. J. Good (1965) estabeleceu a hiptese clssica sobre a super-

inteligncia: que uma IA suficientemente inteligente para compreender a
sua prpria concepo poderia reformular-se ou criar um sistema suces-
sor, mais inteligente, que poderia, ento, reformular-se novamente para
tornar-se ainda mais inteligente, e assim por diante, em um ciclo de feed-
back positivo. Good chamou isso de exploso de inteligncia. Cenrios
recursivos no esto limitados a IA: humanos com inteligncia aumentada
atravs de uma interface crebro-computador podem reprogramar suas
mentes para projetar a prxima gerao de interface crebro-computador.
(Se voc tivesse uma mquina que aumentasse o seu QI, lhe ocorreria,
uma vez que se tornou bastante inteligente, tentar criar uma verso mais
poderosa da mquina.).

Super-inteligncia tambm pode ser obtida atravs do aumento da

velocidade de processamento. O mais rpido disparo de neurnios obser-
vado de 1000 vezes por segundo; as fibras mais rpidas de axnio con-
duzem sinais a 150 metros/segundo, aproximadamente meio-milionsimo
da velocidade da luz (Sandberg 1999). Aparentemente deve ser fisicamente
possvel construir um crebro que calcula um milho de vezes mais rpido
que um crebro humano, sem diminuir o seu tamanho ou reescrever o seu
software. Se a mente humana for assim acelerada, um ano subjetivo do
pensamento seria realizado para cada 31 segundos fsicos no mundo exte-
rior, e um milnio voaria em oito horas e meia. Vinge (1993) refere-se a

19 www.ierfh.org
essas mentes aceleradas como super-inteligncia fraca: uma mente que
pensa como um ser humano, mas muito mais rpida.

Yudkowsky (2008a) enumera trs famlias de metforas para visua-

lizarmos a capacidade de um IA mais inteligente que humanos:

Metforas inspiradas pelas diferenas de inteligncia individuais en-

tre os seres humanos: IA patentear novas invenes, publicar ino-
vadores trabalhos de pesquisa, ganhar dinheiro na bolsa, ou for-
mar blocos de poder poltico.

Metforas inspiradas pelas diferenas de conhecimento entre as civi-

lizaes humanas do passado e do presente: IA mais rpida inventa-
r recursos que comumente futuristas prevem para as civilizaes
humanas de um sculo ou milnio no futuro, como a nanotecnologia
molecular ou viagens interestelares.

Metforas inspiradas pelas diferenas da arquitetura de crebro en-

tre humanos e outros organismos biolgicos: Por exemplo, Vinge
(1993): Imagine executar uma mente de um co a uma velocidade
muito alta. Ser que mil anos de vida do co pode ser somada a
qualquer percepo humana? Isto : alteraes da arquitetura cog-
nitiva podem produzir insights que nenhuma mente do nvel huma-
no seria capaz de encontrar, ou talvez at mesmo representar, aps
qualquer perodo de tempo.

Mesmo se nos limitarmos s metforas histricas, torna-se claro que

a inteligncia sobre-humana apresenta desafios ticos que so literalmen-
te sem precedentes. Neste ponto, as apostas no so mais em escala indi-
vidual (por exemplo, pedidos de hipotecas injustamente reprovados, casa
incendiada, pessoa maltratada), mas em uma escala global ou csmica
(por exemplo, a humanidade extinta e substituda por nada que ns
consideramos de valor). Ou, se a super-inteligncia pode ser moldada para
ser benfica, ento, dependendo de suas capacidades tecnolgicas, poder
trabalhar nos muitos problemas atuais que tm se revelado difceis para a
nossa inteligncia de nvel humano.

Super-inteligncia um dos vrios riscos existenciais conforme de-

finido por Bostrom (2002): um risco onde um resultado adverso pode ani-
quilar permanentemente a vida inteligente originria da Terra ou limitar
drasticamente o seu potencial. Por outro lado, um resultado positivo da
super-inteligncia poderia preservar as formas de vida inteligentes origin-
rias da Terra e ajud-las a atingir o seu potencial. importante ressaltar

20 www.ierfh.org
que as mentes mais inteligentes representam grandes benefcios potenci-
ais, bem como riscos.

As tentativas de raciocinar sobre riscos catastrficos globais podem

estar suscetveis a uma srie de vieses11 cognitivos (Yudkowsky 2008b),
incluindo o vis da boa histria proposto por Bostrom (2002):

Suponha que nossas intuies sobre cenrios futuros que so plaus-

veis e realistas sejam moldadas por aquilo que vemos na televiso, nos
filmes e pelo que lemos nos romances. (Afinal, uma grande parte do
discurso sobre o futuro que as pessoas encontram em forma de fico
e outros contextos recreativos). Devemos ento, quando pensarmos cri-
ticamente, suspeitar de nossas intuies, de sermos tendenciosos no
sentido de superestimar a probabilidade desses cenrios que fazem
uma boa histria, uma vez que tais situaes parecero muito mais
familiares e mais reais. Esse vis da boa histria pode ser muito po-
deroso. Quando foi a ltima vez que viu um filme sobre a humanidade
em que os humanos so extintos de repente (sem aviso e sem ser subs-
titudo por alguma outra civilizao)? Embora esse cenrio possa ser
muito mais provvel do que um cenrio no qual heris humanos repe-
lem, com sucesso, uma invaso de monstros ou de guerreiros robs,
no seria muito divertido de assistir.

Na verdade resultados desejveis fazem filmes pobres: Sem conflito

significa sem histria. Enquanto as Trs Leis da Robtica de Asimov (Asi-
mov 1942) so muitas vezes citadas como um modelo de desenvolvimento
tico para IA, as Trs Leis so mais como um enredo para as trama com
os crebros positrnicos de Asimov. Se Asimov tivesse representado as
trs leis como bom trabalho, ele no teria obtido nenhuma histria.

Seria um erro considerar sistemas de IA, como uma espcie com

caractersticas fixas, e perguntar eles vo ser bons ou maus? O termo
Inteligncia Artificial refere-se a um vasto espao de projeto, provavel-
mente muito maior do que o espao da mente humana (uma vez que todos
os seres humanos compartilham uma arquitetura cerebral comum). Pode
ser uma forma de vis da boa histria perguntar: Ser que sistemas de
IA so bons ou maus?, como se estivesse tentando pegar uma premissa

11 N. T.: Um vis cognitivo uma tendncia inerente ao comportamento humano em cometer

desvios sistemticos de racionalidade, ao pensar ou analisar determinadas situaes. Nossos

mecanismos cognitivos (isto , mecanismos de pensamento, raciocnio, inferncia etc) so
enviesados, ou seja, viciados em determinadas direes, nos tornando mais propensos a co-
meter certos tipos de erros, por exemplo, de identificao ou de estimao de tempo, probabi-
lidades, etc.

21 www.ierfh.org
para um enredo de filme. A resposta deve ser: Exatamente sobre qual de-
sign de IA voc est falando?

Pode o controle sobre a programao inicial de uma Inteligncia Ar-

tificial ser traduzido em influncia sobre o seu efeito posterior no mundo?
Kurzweil (2005) afirma que [i]nteligncia inerentemente impossvel de
controlar, e que, apesar das tentativas humanas de tomar precaues,
por definio... entidades inteligentes tm a habilidade de superar essas
barreiras facilmente. Suponhamos que a IA no apenas inteligente, mas
que, como parte do processo de se melhorar a sua prpria inteligncia,
tenha livre acesso ao seu prprio cdigo fonte: ela pode reescrever a si
mesma e se tornar qualquer coisa que quer ser. No entanto, isso no sig-
nifica que o IA deve querer se reescrever de uma forma hostil.

Considere Gandhi, que parece ter possudo um desejo sincero de

no matar pessoas. Gandhi no conscientemente toma uma plula que o
leva a querer matar pessoas, porque Gandhi sabe que se ele quiser matar
as pessoas, ele provavelmente vai matar pessoas, e a verso atual do Gan-
dhi no quer matar. Em termos mais gerais, parece provvel que a maioria
das mentes mais auto-modificadoras iro naturalmente ter funes de uti-
lidade estveis, o que implica que uma escolha inicial do projeto da mente
pode ter efeitos duradouros (Omohundro 2008).

Neste ponto no desenvolvimento da cincia da IA, existe alguma

maneira em que podemos traduzir a tarefa de encontrar um design para
bons sistemas de IA em uma direo da pesquisa moderna? Pode pare-
cer prematuro especular, mas se faz suspeitar que alguns paradigmas de
IA so mais provveis do que outros para eventualmente provar que pro-
piciem a criao de agentes inteligentes de auto-modificao, cujos objeti-
vos continuem a ser previsveis mesmo depois de vrias interaes de au-
to-aperfeioamento. Por exemplo, o ramo Bayesiano da IA, inspirado por
coerentes sistemas matemticos, como o da teoria da probabilidade e da
maximizao da utilidade esperada, parece mais favorvel para o proble-
ma de auto-modificao previsvel do que a programao evolutiva e algo-
ritmos genticos. Esta uma afirmao polmica, mas ilustra o ponto de
que, se formos pensar no desafio da super-inteligncia, isso pode na ver-
dade ser transformado em um conselho direcional para as pesquisas atu-
ais em IA.

No entanto, mesmo admitindo que possamos especificar um objetivo

de IA a ser persistente sob auto-modificao e auto-aperfeioamento, este
s comea a tocar nos problemas fundamentais da tica para criao da

22 www.ierfh.org
super-inteligncia. Os seres humanos, a primeira inteligncia geral a exis-
tir na Terra, tm usado a inteligncia para remodelar substancialmente a
escultura do globo esculpir montanhas, domar os rios, construir arra-
nha-cus, agricultura nos desertos, produzir mudanas climticas no-
intencionais no planeta. Uma inteligncia mais poderosa poderia ter con-
sequncias correspondentemente maiores.

Considere novamente a metfora histrica para a super-inteligncia

diferenas semelhantes s diferenas entre as civilizaes passadas e
presentes. Nossa civilizao atual no est separada da Grcia antiga so-
mente pela cincia aperfeioada e aumento de capacidade tecnolgica. H
uma diferena de perspectivas ticas: os gregos antigos pensavam que a
escravido era aceitvel, ns pensamos o contrrio. Mesmo entre os scu-
los XIX e XX, houve substanciais divergncias ticas as mulheres devem
ter direito ao voto? Os negros podem votar? Parece provvel que as pesso-
as de hoje no sero vistas como eticamente perfeitas por civilizaes fu-
turas, no apenas por causa da nossa incapacidade de resolver problemas
ticos reconhecidos atualmente, como a pobreza e a desigualdade, mas
tambm por nosso fracasso at mesmo em reconhecer alguns problemas
ticos. Talvez um dia o ato de sujeitar as crianas involuntariamente es-
colaridade ser visto como abuso infantil ou talvez permitir que as cri-
anas deixem a escola aos 18 anos ser visto como abuso infantil. Ns no
sabemos.

Considerando a histria da tica nas civilizaes humanas ao longo

dos sculos, podemos ver que se poderia tornar uma tragdia muito gran-
de criar uma mente que ficou estvel em dimenses ticas ao longo da
qual as civilizaes humanas parecem exibir mudana direcional. E se Ar-
quimedes de Siracusa tivesse sido capaz de criar uma inteligncia artificial
de longa durao com uma verso estvel do cdigo moral da Grcia Anti-
ga? Mas, evitar esse tipo de estagnao tica comprovadamente compli-
cado: no seria suficiente, por exemplo, simplesmente tornar a mente ale-
atoriamente instvel. Os gregos antigos, mesmo que tivessem percebido
suas prprias imperfeies, no poderiam ter feito melhor mesmo jogando
dados. Ocasionalmente uma boa e nova ideia em tica vem acompanhada
de uma surpresa; mas a maioria das ideias geradas aleatoriamente traz
mudanas ticas que nos parecem loucura ou rabiscos incompreensveis.

Isto nos apresenta talvez o ltimo desafio das mquinas ticas: Co-
mo construir uma IA que, quando executada, torna-se mais tica do que
voc? Isto no como pedir a nossos prprios filsofos para produzir uma
super-tica, mais do que o Deep Blue foi construdo fazendo com que os

23 www.ierfh.org
melhores jogadores humanos de xadrez programassem boas jogadas. Mas
temos de ser capazes de efetivamente descrever a questo, se no a res-
posta jogar dados no ir gerar bons movimentos do xadrez, ou boa tica
tampouco. Ou, talvez, uma maneira mais produtiva de pensar sobre o
problema: Qual a estratgia que voc gostaria que Arquimedes seguisse na
construo de uma super-inteligncia, de modo que o resultado global a-
inda seria aceitvel, se voc no pudesse lhe dizer especificamente o que
estava fazendo de errado? Esta a situao em que estamos em relao
ao futuro.

Uma parte forte do conselho que emerge, considerando nossa situa-

o anloga de Arquimedes, que no devemos tentar inventar uma
verso super do que nossa civilizao considera tica; esta no a estra-
tgia que gostaramos que Arquimedes seguisse. Talvez a pergunta que
devemos considerar, sim, como uma IA programada por Arquimedes
sem maior experincia moral do que Arquimedes poderia reconhecer (pe-
lo menos em parte) nossa prpria civilizao tica como progresso moral,
em oposio simples instabilidade moral. Isso exigiria que comesse-
mos a compreender a estrutura de questes ticas da maneira que j
compreendemos a estrutura do xadrez.

Se ns somos srios sobre o desenvolvimento de uma IA avanada,

este um desafio que devemos enfrentar. Se as mquinas esto a ser co-
locadas em posio de ser mais fortes, mais rpidas, mais confiveis, ou
mais espertas que os humanos, ento a disciplina de mquinas ticas de-
ve se comprometer a buscar refinamento humano superior (e no apenas
seres humanos equivalentes).12

Concluso

Embora a IA atual nos oferea algumas questes ticas que no es-

to presentes no design de automveis ou de usinas de energia, a aborda-
gem de algoritmos de inteligncia artificial em relao a um pensamento
mais humano prenuncia complicaes desagradveis. Os papis sociais
podem ser preenchidos por meio de algoritmos de IA, o que implica novas
exigncias de projeto, como transparncia e previsibilidade. Suficientes
algoritmos de IAG j no podem executar em contextos previsveis, e exi-
gem novos tipos de garantia de segurana e engenharia, e de considera-

12 Os autores so gratos a Rebecca Roache pelo auxlio pesquisa e aos editores deste volu-

me por comentrios detalhados a uma verso anterior do nosso manuscrito.

24 www.ierfh.org
es da tica artificial. Sistemas de IA com estados mentais suficientemen-
te avanados, ou o tipo certo de estados, tero um status moral, e alguns
podero ser considerados como pessoas embora talvez pessoas muito
diferentes do tipo que existe agora, talvez com regras diferentes. E, final-
mente, a perspectiva de IA com inteligncia sobre-humana, e habilidades
sobre-humanas, nos apresenta o desafio extraordinrio de indicar um al-
goritmo que gere comportamento super tico. Esses desafios podem pare-
cer visionrios, mas parece previsvel que vamos encontr-los, e eles no
so desprovidos de sugestes para os rumos da pesquisa atual.

Biografia dos autores

Nick Bostrom professor na Faculty of Philosophy at University of Oxford e

diretor do Future of Humanity Institute no Martin Oxford School. Ele autor de cerca
de 200 publicaes, incluindo Anthropic Bias (Routledge, 2002), Global Catastrophic
Risks (ed. OUP, 2008), e Enhancing Humans (ed., OUP, 2009). Sua pesquisa abrange
uma srie de questes de grande relevncia para a humanidade. Ele est atualmente
trabalhando num livro sobre o futuro da inteligncia artificial e suas implicaes es-
tratgicas.

Eliezer Yudkowsky um pesquisador do Singularity Institute for Artificial In-

telligence, onde trabalha em tempo integral sobre os problemas previsveis da arqui-
tetura em auto-melhoria de IA. Seu atual trabalho centra-se em modificar a teoria da
deciso clssica para descrever uma forma coerente de auto-modificao. Ele tam-
bm conhecido por seus escritos populares sobre questes da racionalidade huma-
na e bias cognitivos.

25 www.ierfh.org
Leituras

Bostrom, N. 2004. "The Future of Human Evolutian", em Death and Anti-Death: Two Hundred
Years After Kant, Fifty Years After Turing, ed. Charles Tandy (Palo Alto, Califrnia: Ria Univer-
sity Press). - Este trabalho explora algumas dinmicas evolutivas que poderiam levar a uma
populao de uploads para desenvolver em direes distpicas.

Yudkowsky, E. 2008a. Artificial Intelligence as a Positive and Negative Factor in Global Risk,
in Bostrom and Cirkovic (eds.), pp. 308-345. - Uma introduo aos riscos e desafios apresen-
tados pela possibilidade de melhorar a auto-recursividade das mquinas superinteligentes.

Wendell, W. 2008. 'Moral Machines: Teaching Robots Right from Wrong(Oxford University
Press, 2008). Uma pesquisa global de desenvolvimento recente.

Referncias

ASIMOV, I. 1942. Runaround, Astounding Science Fiction, March 1942.

BEAUCHAMP, T. and Chilress, J. Principles of Biomedical Ethics. Oxford: Oxford University

Press.

BOSTROM, N. 2002. Existential Risks: Analyzing Human Extinction Scenarios, Journal of

Evolution and Technology 9
(http://www.nickbostrom.com/existential/risks.html).

BOSTROM, N. 2003. Astronomical Waste: The Opportunity Cost of Delayed

Technological Development, Utilitas 15: 308-314.

BOSTROM, N. 2004. The Future of Human Evolution, in Death and Anti-Death: Two
Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy (Palo Alto, California:
Ria University Press)
(http://www.nickbostrom.com/fut/evolution.pdf)

BOSTROM, N. and CIRKOVIC, M. (eds.) 2007. Global Catastrophic Risks. Oxford: Oxford Uni-
versity Press.

CHALMERS, D. J., 1996, The Conscious Mind: In Search of a Fundamental Theory. New York
and Oxford: Oxford University Press

HIRSCHFELD, L. A. and GELMAN, S. A. (eds.) 1994. Mapping the Mind: Domain Specificity in
Cognition and Culture, Cambridge: Cambridge University Press.

GOERTZEL, B. and PENNACHIN, C. (eds.) 2006. Artificial General Intelligence. New York, NY:
Springer-Verlag.

GOOD, I. J. 1965. Speculations Concerning the First Ultraintelligent Machine, in Alt, F.

L. and Rubinoff, M. (eds.) Advances in Computers, 6, New York: Academic Press. Pp. 31-88.

HASTIE, T., TIBSHIRANI, R. and FRIEDMAN, J. 2001. The Elements of Statistical Learning.
New York, NY: Springer Science.

26 www.ierfh.org
HENLEY, K. 1993. Abstract Principles, Mid-level Principles, and the Rule of Law, Law
and Philosophy 12: 121-32.

HOFSTADTER, D. 2006. Trying to Muse Rationally about the Singularity Scenario,

presented at the Singularity Summit at Stanford, 2006.

HOWARD, Philip K. 1994. The Death of Common Sense: How Law is Suffocating America. New
York, NY: Warner Books.

KAMM, F. 2007. Intricate Ethics: Rights, Responsibilities, and Permissible Harm. Oxford:
Oxford University Press.

KURZWEIL, R. 2005. The Singularity Is Near: When Humans Transcend Biology. New York, NY:
Viking.

McDERMOTT, D. 1976. Artificial intelligence meets natural stupidity, ACM SIGART

Newsletter 57:4-9.

OMOHUNDRO, S. 2008. The Basic AI Drives, Proceedings of the AGI-08 Workshop.

Amsterdam: IOS Press. Pp. 483-492.

SANDBERG, A. 1999. The Physics of Information Processing Superobjects: Daily Life

Among the Jupiter Brains, Journal of Evolution and Technology, 5.

VINGE, V. 1993. The Coming Technological Singularity, presented at the VISION-21

Symposium, March, 1993.

WARREN, M. E. 2000. Moral Status: Obligations to Persons and Other Living Things. Oxford:
Oxford University Press.

YUDKOWSKY, E. 2006. AI as a Precise Art, presented at the 2006 AGI Workshop in

Bethesda, MD.

YUDKOWSKY, E. 2008a. Artificial Intelligence as a Positive and Negative Factor in

Global Risk, in Bostrom and Cirkovic (eds.), pp. 308-345.

YUDKOWSKY, E. 2008b. Cognitive biases potentially affecting judgment of global risks, in

Bostrom and Cirkovic (eds.), pp. 91-119.

Notas
*
Texto traduzido por Pablo Arajo Batista. Revisado por Diego Caleiro e Lauro Edison.

O original pode ser lido aqui:

http://www.nickbostrom.com/ethics/artificial-intelligence.pdf

27 www.ierfh.org