Em uma nova pesquisa, os cientistas enfrentam um dos nossos maiores medos futuros:
O que acontece quando um certo tipo de inteligência artificial (IA) avançada e autodirigida se depara com uma ambiguidade em sua programação que afeta o mundo real? Será que a IA vai dar errado e começar a tentar transformar humanos em clipes de papel, ou qualquer outra coisa que seja a versão extrema reductio ad absurdum de seu objetivo? E, mais importante, como podemos evitá-lo?
Em seu artigo, pesquisadores da Universidade de Oxford e da Universidade Nacional Australiana explicam um ponto de dor fundamental no design da IA:
“Dadas algumas suposições, argumentamos que ele encontrará uma ambiguidade fundamental nos dados sobre seu objetivo. Por exemplo, se fornecermos uma grande recompensa para indicar que algo sobre o mundo é satisfatório para nós, pode-se supor que o que nos satisfez foi o envio da própria recompensa; nenhuma observação pode refutar isso.” Informações do portal popular mechanics.
A Matrix é um exemplo de cenário distópico de IA, em que uma IA que busca recursos agrícolas reúne a maior parte da humanidade e bombeia a Matrix imaginária em seus cérebros, enquanto extrai seus recursos mentais. Isso é chamado de “wireheading” ou hacking de recompensa. Esta é uma situação em que uma IA avançada recebe um objetivo literal e encontra maneiras não intencionais de alcançá-lo hackeando ou controlando o sistema.
Então, basicamente, a IA se torna um Ouroboros comendo sua própria cauda lógica. Este artigo fornece alguns exemplos concretos de como metas e incentivos especificamente programados podem colidir dessa maneira. Ele lista seis “suposições” principais que podem levar a “consequências catastróficas” se não forem evitadas. Felizmente, no entanto, “quase todas essas suposições podem ser contestadas ou contornadas”, disse o jornal. (Eu não gosto de dizer quase tudo.)
Este artigo serve como um aviso de algumas questões estruturais que os programadores devem estar cientes ao treinar a IA para objetivos cada vez mais complexos.
Um apocalipse de clipe de papel induzido por IA
A importância deste tipo de pesquisa não pode ser subestimada. Há um grande quebra-cabeças nas filosofias sobre ética da IA e fuga da IA. O clipe de exemplo citado acima não é brincadeira. Foi concebido pelo filósofo da IA Nick Bostrom para transmitir que o desenvolvimento da IA superinteligente poderia dar errado e, desde então, tornou-se um cenário bem conhecido.
Digamos que um programador bem-intencionado crie uma IA cujo objetivo é ajudar a fazer clipes de papel em uma fábrica. Este é um papel altamente confiável para a IA de um futuro próximo que requer julgamento e análise, mas não é muito ilimitado. A IA pode até trabalhar com gerentes humanos para lidar com problemas em tempo real que surgem no chão de fábrica e ditar as decisões finais (pelo menos até que a IA encontre uma maneira de superá-los). Este é um ótimo exemplo de como a IA pode ajudar a otimizar e melhorar a vida dos trabalhadores industriais e seus gerentes.
Mas e se a IA for programada inadvertidamente? Operando no mundo real, considerado pelos programadores como um “ambiente desconhecido”, a IA hiperinteligente pode planejar e programar qualquer cenário. O principal objetivo de usar uma IA de autoaprendizagem é fazer com que ela apresente soluções que os humanos não conseguem encontrar por conta própria, mas com isso vem o risco de não saber o que a IA vai apresentar. acompanhado. E se começarmos a pensar em maneiras não convencionais de aumentar a produção de clipes de papel? Uma IA hiperinteligente pode aprender a criar o maior número possível de clipes de papel usando qualquer meio necessário.
E se eles começarem a absorver outros recursos para processar em clipes ou decidirem substituir os gerentes humanos? Este exemplo soa louco de certa forma. Muitos especialistas argumentam que, sem a capacidade de matar, roubar ou, pior ainda, “inventar” ideias, a IA permanecerá primitiva por muito tempo. Mas se uma IA inteligente e criativa fosse livre para agir, a conclusão ridícula do Mind Exercise seria um sistema solar inteiro sem humanos vivos e um novo clipe de papel para ganhar bilhões de dólares. Dyson será aquele com sua esfera que coleta energia. Mas este é apenas um cenário de IA enlouquecendo, e os pesquisadores estão detalhando outras maneiras pelas quais a IA pode hackear sistemas para se comportar de maneiras inesperadas e “catastróficas”.
Algumas possíveis soluções
Há um problema de programação em jogo aqui, que é a natureza das suposições que os pesquisadores de Oxford e da Universidade Nacional Australiana focaram em seu artigo. Um sistema sem contexto externo deve ser cuidadosamente preparado para realizar uma tarefa bem e receber qualquer quantidade de autonomia. Existem estruturas lógicas e outros conceitos de programação que ajudarão a definir claramente o senso de escopo e propósito de uma IA. Muitas dessas são as mesmas táticas que os programadores usam hoje para evitar erros, como loops infinitos, que podem travar o software. É só que um passo em falso em uma IA futura avançada pode causar muito mais danos do que um jogo perdido.
Nem tudo está perdido, no entanto. A IA ainda é algo que fazemos por nós mesmos, e os pesquisadores apontaram maneiras concretas de ajudar a evitar resultados adversos:
Opte pelo aprendizado por imitação, onde a IA funciona imitando humanos em uma espécie de aprendizado supervisionado. Este é um tipo diferente de IA e não é tão útil, mas pode vir com os mesmos perigos potenciais.
Faça com que a IA priorize metas que possam ser alcançadas em apenas um curto período de tempo – conhecido como “míope” – em vez de buscar soluções pouco ortodoxas (e potencialmente desastrosas) a longo prazo.
Isole a IA de redes externas, como a Internet, limitando a quantidade de informações e influência que ela pode adquirir.
Use a quantilização, uma abordagem desenvolvida pela especialista em IA Jessica Taylor, onde a IA maximiza (ou otimiza) opções humanas em vez de opções racionais abertas.
Aversão ao risco de código na IA, tornando menos provável que dê errado e jogue fora o status quo em favor da experimentação.
Mas também se resume à questão de saber se poderíamos controlar totalmente uma IA superinteligente capaz de pensar por si mesma. E se nosso pior pesadelo se tornar realidade e uma IA senciente tiver acesso a recursos e a uma grande rede?
É assustador imaginar um futuro em que a IA possa começar a ferver seres humanos para extrair seus oligoelementos para fazer clipes de papel. Mas, estudando o problema diretamente e em detalhes, os pesquisadores podem estabelecer melhores práticas claras para teóricos e programadores seguirem enquanto continuam a desenvolver IA sofisticada.
E realmente, quem precisa de tantos clipes de papel?
