#149 Pedro Domingos - O que falta para a Inteligência Artificial nos superar?

Data: Wed, 13 Sep 2023  ·  Duração: 01:36:28

Clica em qualquer parte da transcrição para saltar para esse momento no vídeo.

José Maria Pimentel 00:00:00.00Olá, o meu nome é José Maria Pimentel e este é o 45 Graus Regressado de Férias. 00:00:11.26Espero que as vossas tenham sido descansativas, as minhas mais ou menos, mas também ninguém me mandou ter filhos, e o episódio de hoje é um grande tema e um grande convidado para o regresso, como vão ver. 00:00:20.82Antes disso, o habitual agradecimento aos novos mecenas do 45 Graus. 00:00:24.54Desta vez, desde julho, são muitos e por isso tive de selecionar só alguns nomes. 00:00:28.42Muito obrigado à Sacha Fonseca, à Inês Barbosa, ao Mauro Silva e ao Leonardo Azevedo. 00:00:34.78Agradeço também a todos os que se inscreveram nos workshops de pensamento crítico do módulo Lógica e Argumentação que estou a fazer este mês e que anunciei no episódio de final de temporada em julho. 00:00:45.06Os workshops estão todos gotados, com exceção de Coimbra, dia 23, e de Braga, que entretanto passou para dia 21 de outubro. 00:00:52.52Vejam no site ou na descrição deste episódio como fazê-lo. 00:00:55.10Se tiverem ainda interesse nas versões online em Lisboa ou no Porto, vejam também na descrição do episódio como deixar o vosso e-mail para receberem notícias futuras de novas sessões que venham a haver. 00:01:05.48Pelo menos mais uma sessão online quase de certeza que vou fazer. 00:01:08.92E agora, ao episódio de hoje. 00:01:10.52Desde que o ChatGPT foi lançado no final do ano passado, que o tema da inteligência artificial veio de novo em força para a discussão, gerando quer entusiasmo, quer receios e muitas vezes na mesma pessoa. 00:01:22.16Entusiasmo por este grande salto tecnológico, e neste caso é um, que nós não nos limitamos a ver em notícias, como, sei lá, quando algoritmos conseguiram vencer seres humanos no xadrez ou no jogo de Go, mas que nós próprios conseguimos usar diariamente de várias maneiras. 00:01:35.50Mas também receio, porque, claro, o contacto com o ChatGPT mostra-nos como a inteligência artificial já está muito avançada e, portanto, voltou em força a conversa em torno dos perigos da inteligência artificial. 00:01:46.50Estava, por isso, mais do que na altura trazer este tema de volta aos 45 graus e dificilmente poderia pedir um melhor convidado para isso. 00:01:52.72O Pedro Domingos é professor e investigador na área da inteligência artificial e é autor do livro Master Algorithm, ou em português, A Revolução do Algoritmo Mestre. 00:02:00.70O Pedro licenciou-se pelo técnico em Lisboa e depois doutorou-se nos Estados Unidos na Universidade da Califórnia, em Irvine, e é atualmente professor em mérito na Universidade de Washington. 00:02:09.98Ele tem uma grande investigação nesta área, da inteligência artificial e da ciência de dados, pela qual recebeu em 2014 o prémio SIGD, não sei se estou a dizer isto bem, o prémio mais prestigiado nesta área. 00:02:20.34No seu livro, O Algoritmo Mestre, que tem dado muito que falar desde que foi lançado, o Pedro aborda o modo como o machine learning está a mudar o mundo. 00:02:26.82E o livro foi escrito, atenção, antes do ChatGPT ter vindo dar este salto mais recente, mais uma vez baseado em machine learning. 00:02:33.62No início da nossa conversa, pedi-lhe então que descrevesse o que é revolucionário nos modelos de machine learning face à inteligência artificial mais clássica e depois pedi-lhe que ele encasse as 5 famílias de modelos deste tipo, aquilo que ele chama as 5 tribos de modelos de machine learning. 00:02:47.70O Pedro organiza os modelos nesta área, e atenção, isto é uma taxonomia proposta por ele, mas como vão ver faz sentido. 00:02:53.50Ele organiza-os em 5 famílias diferentes. 00:02:56.22Os conectivistas, nos quais se inclui o ChatGPT, os simbolistas, os evolucionistas, os natureza baseiana e os baseados em analogias. 00:03:04.98Pedi ao Pedro então que explicasse estes 5, sendo que depois, como seria de esperar, passámos mais tempo a descrever os modelos do tipo conectivista e, em particular, a perceber como funciona especificamente o ChatGPT. 00:03:15.84De seguida, discutimos o elemento central da tese que o Pedro propõe no livro, aquilo a que ele chama o algoritmo mestre. 00:03:21.62Perguntei-lhe o que ele quer dizer exatamente com o algoritmo mestre e como é que isso se relaciona com o grande objetivo nesta área, que é chegar à chamada inteligência artificial geral, ou seja, capaz de desempenhar qualquer tarefa humana. 00:03:33.34Isso levou-nos a discutir o que é que é ainda especial e difícil de replicar no cérebro humano pela inteligência artificial. 00:03:39.78Isso é, segundo o Pedro, e muita gente nesta área, e não só, também na filosofia, a capacidade de generalizar, ou seja, de reagir, de entender, a uma situação nova que nunca tenha sido visto no passado. 00:03:51.12Isso é algo que estes algoritmos, mesmo o ChatGPT, têm ainda muita dificuldade em fazer. 00:03:55.50E, finalmente, no último terço da conversa, abordámos o tema incontornável dos perigos na inteligência artificial. 00:04:00.80Será que vem aí uma singularidade, ou seja, que o desenvolvimento tecnológico irá crescer exponencialmente? 00:04:06.34E será que a inteligência artificial vai sair de controle, ou pode sair de controle já na sua configuração atual? 00:04:11.96Que outros perigos é que existem de curto e longo prazo? 00:04:14.22Foi assim que terminámos esta conversa, muito desafiante, e que, na minha opinião, foi dos episódios mais densos em conhecimento e em ideias, porque o Pedro também tem algumas ideias controversas dos últimos tempos no 45 Graus. 00:04:26.96Espero que gostem. 00:04:27.86Até à próxima. 00:04:31.94Pedro Domingos, muito bem-vindo ao 45 Graus. 00:04:34.18Obrigado. 00:04:34.66Eu já falei aqui algumas vezes, tanto de inteligência artificial como de machine learning, mas acho que faz sentido, até para quem não tem ouvido esses episódios, e para entrarmos aqui no tema, pedir-te para explicar a machine learning e porquê é que é este paradigma que tem, este macro paradigma que tem dominado a inteligência artificial nos últimos anos. 00:04:49.50Isto já acontecia antes, e desde o ChatGPT e outros modelos de chatbots que têm dado muito a falar nos últimos tempos, dá a ideia de que é a única coisa que se fala, não é? 00:04:57.22Portanto, o que é que existe no machine learning que é diferente e que o torna muito mais versátil e potente do que a inteligência artificial clássica, digamos assim, não sei se este é o termo certo.
Pedro Domingos 00:05:04.46Sim, portanto, em primeiro lugar, o que é a inteligência artificial? 00:05:07.40A inteligência artificial, assim, em termos de legs, é automatizar as coisas que os seres humanos fazem, que os computadores, à partida, não fazem, como, por exemplo, o pensamento, resolver problemas, o senso comum, a visão, a linguagem. 00:05:20.36Uma dessas capacidades que nós procuramos automatizar é a aprendizagem. 00:05:24.58Portanto, machine learning ou aprendizagem automática é o subcampo da inteligência artificial que trata de automatizar a aprendizagem. 00:05:32.28E porquê que isso é tão importante? 00:05:33.92Houve uma prévia onda de inteligência artificial que atingiu o máximo nos anos 80, em que o método era, assim, um método clássico de escrever programas para fazer diagnóstico médico ou para fazer, calcular coisas, etc, etc. 00:05:49.46Mas esse paradigma falhou. 00:05:51.72E a razão por que esse paradigma falhou, portanto, a ideia é, nós vamos escrever um monte de regras, é o chamado de sistemas periciais, etc. 00:05:57.78Um dos problemas é o chamado de problema de aquisição do conhecimento. 00:06:00.98É, há demasiado conhecimento necessário e há sempre mais regras. 00:06:05.44E, a certa altura, houve um projeto muito conhecido chamado Cycles. 00:06:08.64Ah, em 10 anos, com 100 mil regras, está a inteligência artificial resolvida. 00:06:13.2630 anos depois, com milhões de regras, ainda não está. 00:06:16.08Portanto, esse problema é resolvido pela aprendizagem automática. 00:06:19.26Em vez de escrevermos programas, o que a aprendizagem automática faz é, os programas são aprendidos automáticamente a partir dos dados. 00:06:27.04Nós damos ao sistema de aprendizagem exemplos do input, por exemplo, os sintomas do paciente, e o output desejado, por exemplo, o diagnóstico correto, e o sistema descobre como é que faz a computação do output pretendido a partir do input. 00:06:42.50E isto é extremamente poderoso porque, em primeiro lugar, resolve esse problema do chamado knowledge acquisition bottleneck, o estrangulamento da aquisição do conhecimento. 00:06:50.88E outro aspecto é que, extremamente importante hoje em dia, é que, à medida que os dados disponíveis aumentam, o sistema torna-se mais inteligente, quase sem intervenção nossa. 00:07:01.94Portanto, uma das grandes diferenças dos anos 70 para agora é que a quantidade de dados disponível tentado aumenta exponencialmente e, portanto, esta abordagem baseada na aprendizagem torna-se cada vez mais poderosa, enquanto que a outra continua tão pouco poderosa como sempre foi.
José Maria Pimentel 00:07:14.46Sim. 00:07:14.80E eu, enfim, já ouvi dizer várias vezes, e presumo que seja verdade, que os algoritmos em si de machine learning são pouco diferentes do que já existia há algumas décadas. 00:07:22.32O que mudou foi, essencialmente, mais computação e muito mais dados do que havia antes, que, no fundo, eram esta grande vantagem, este...
Pedro Domingos 00:07:27.62Isso é verdade e não. 00:07:28.94De facto, isso é uma posição muito comum, mas eu penso que a realidade é a seguinte. 00:07:32.28Há três grandes fatores no sucesso da aprendizagem. 00:07:35.42Haver mais dados. 00:07:36.62Haver mais computação. 00:07:37.90Porque, sem mais computação, a gente não consegue ter perdido os mais dados. 00:07:40.66E também é verdade, e isto para mim é um aspecto interessante, que os grandes paradigmas da aprendizagem automática, os grandes tipos de algoritmos, digamos assim, são os mesmos desde os princípios, desde os anos 50. 00:07:53.86As ideias básicas neste campo que está a mover-se a uma velocidade incrível. 00:07:57.62São as mesmas agora que eram há 50 ou 60 anos. 00:08:01.34Mas, o que nós podemos fazer hoje em dia depende, criticamente, de inovações algoritmicas que foram feitas nos últimos 10, 20, 30 anos. 00:08:09.10Portanto, nós mesmo com essa computação toda e esses dados todos, se só tivéssemos hoje exatamente os algoritmos que tínhamos nos anos 80, não íamos ao lado nenhum. 00:08:18.04Portanto, essa inovação dos algoritmos é também muito importante.
José Maria Pimentel 00:08:21.14Sim. 00:08:21.72E o que é que acontece lá dentro, especificamente? 00:08:24.34Porque tu usaste uma explicação que eu já ouvi dizer muitas vezes, que é basicamente nós damos os inputs e os outputs e o próprio algoritmo, quer dizer, o próprio sistema aprende automaticamente a ligar uns e outros, não é? 00:08:34.98E eu entendo essa explicação até certo ponto, não é? 00:08:37.56Mas está lá alguma coisa dentro, não é? 00:08:39.02É certo que não está, ou que estava nos algoritmos clássicos, que era tudo pré-escrito, não é? 00:08:43.08A totalidade. 00:08:44.46Mas há uma infraestrutura, não é? 00:08:45.62Há uma arquitetura que permite ligar esses inputs aos outputs. 00:08:48.74E depois eu sei que há muitos paradigmas diferentes dessa arquitetura, mas quer dizer, se é possível explicar isto genericamente, o que é que lá está, quer dizer, aquilo não é um algoritmo vazio, naturalmente, não é? 00:08:57.48Porque senão não precisava ter sido inventado, não. 00:08:59.06O que é que lá está que permita depois que existe essa aprendizagem, não é? 00:09:02.46Que existe essa quase autoprogramação a partir daquele ponto inicial.
Pedro Domingos 00:09:06.90Precisamente, aí é que está o ponto essencial. 00:09:09.58E o que está lá podem ser várias coisas, como estavas a dizer, há vários paradigmas. 00:09:13.88O paradigma mais conhecido hoje em dia, o chamado deep learning, o conexionismo às redes neuronais, é baseado na ideia de imitar o cérebro. 00:09:21.58O teu cérebro faz isto, não é magia. 00:09:24.02Tanto recebe determinados inputs e aprende associa-los a outros outputs, etc, etc. 00:09:28.90Como é que ele faz isso? 00:09:29.92Tens dentro do teu cérebro uma grande rede de neurónios e essa rede de neurónios, por exemplo, te vês uma imagem de um gato e dizes, ah, gato, como é que foi feita esta associação? 00:09:37.92Neste paradigma, o que acontece é que há uma rede que computa várias saídas possíveis e depois o que compara é as saídas, inicialmente é aleatório, os pesos são aleatórios, como no teu cérebro, presumivelmente, e depois o que faz é ajustar esses pesos para tentar fazer o output pretendido e o output gerado aproximarem-se. 00:09:58.34Isto é um algoritmo muito lindo sítio chamado de backpropagation, a retropropagação.
José Maria Pimentel 00:10:01.90Que é o que está por trás do TGPT e outros, não é?
Pedro Domingos 00:10:04.16É o que está por trás destas coisas todas. 00:10:05.84Esse algoritmo a certo nível é uma coisa extremamente simples, está apenas a fazer o seguinte, está a minimizar o erro das previsões feitas pela rede neuronal. 00:10:15.40A rede neuronal é simplesmente uma função muito grande, muito complicada, não linear, que ajustando os pesos pode-se transformar em qualquer função possível. 00:10:24.44Isto é um teorema que diz que com suficiente capacidade podes realizar qualquer função. 00:10:28.24E apenas o que a reta programação faz é apenas minimizar a diferença, é ajustar os parâmetros da função para minimizar a diferença entre a previsão e a realidade. 00:10:39.40Portanto, de certa forma é uma coisa estupidamente simples. 00:10:43.44Agora, fazer isto tudo funcionar é extremamente complicado. 00:10:46.82Mas a ideia básica é que é ridiculamente simples. 00:10:48.60Portanto, isto é os métodos conexionistas. 00:10:51.00Há também os métodos simbólicos que tradicionalmente são os que dominavam antes desta nova vaga. 00:10:56.00Aliás, é engraçado que todas as décadas há um paradigma diferente a dominar e as redes neuronais já vêm na sua terceira onda. 00:11:02.44Houve uma nos anos 50, depois houve uma nos anos 80, agora vem outra e se calhar... 00:11:07.76Depois houve outras, portanto, quais é que são as outras? 00:11:10.30Os outros paradigmas que se vão alternando na dominância, o conexionismo é baseado na neurociência.
José Maria Pimentel 00:11:15.78Sim. 00:11:16.14No fundo, replicar, como dizias, o nosso cérebro funciona. 00:11:18.68É. 00:11:18.96É, não funciona muito o cérebro.
Pedro Domingos 00:11:20.76E, portanto, cada um destes paradigmas, por acaso, isso é interessante, é baseado numa área diferente da ciência em que nós vamos buscar ideias.
José Maria Pimentel 00:11:26.18Sim, e tu explicas isso no livro, que tem muita piada, sim.
Pedro Domingos 00:11:28.26Pois, precisamente. 00:11:29.04Aliás, uma das coisas interessantes neste campo é que a propósito da aprendizagem a pessoa vai quase a todo lado. 00:11:34.54Eu, aliás, digo aos meus alunos, se gostas de uma área qualquer que ainda não foi usada na aprendizagem, começa a trabalhar e a aplicá-la que pode ser que resulte. 00:11:42.92Portanto, outra grande área é a aprendizagem simbólica, que é baseada na lógica e na matemática e, de certa forma, o que essa abordagem pretende fazer é automatizar o método científico. 00:11:54.48Portanto, o método científico descobre coisas. 00:11:56.88E como é que descobre? 00:11:58.44Observando, formulando hipóteses e, depois, deitando fora ou refinando as hipóteses. 00:12:02.80Os telecocientistas fazem de uma forma simplificada. 00:12:05.42E, portanto, nós podemos automatizar isto. 00:12:07.74Da mesma maneira que podemos automatizar o cérebro, podemos automatizar isto. 00:12:10.56Portanto, o automatizar o cérebro é fazer as coisas a um nível muito baixo. 00:12:13.94E, aliás, é para as coisas de mais baixo nível que o connecionismo costuma funcionar bem. 00:12:17.88Isto é mais a um nível mais elevado de raciocínio, mais consciente. 00:12:22.42Chamar-se sistema 2 em vez do sistema 1.
José Maria Pimentel 00:12:24.56Ah, sim. 00:12:25.26Por acaso, também me lembra disso. 00:12:26.22Curioso.
Pedro Domingos 00:12:26.52Há pessoas que fazem essa comparação. 00:12:28.54Portanto, esta é a abordagem simbólica. 00:12:30.48Depois, há a abordagem evolucionária, que também é baseada na biologia, mas não na neurociência, mas na evolução. 00:12:36.26A evolução também é um algoritmo de aprendizagem. 00:12:39.02Descobre como fazer animais e plantas.
José Maria Pimentel 00:12:40.90Desculpa interromper-te, mas tu dizias há bocadinho que este sistema, enfim, os algoritmos conectivistas e estes de large language models começavam com pesos aleatórios, mas o nosso cérebro provavelmente não começa com pesos aleatórios, precisamente porque já vem da evolução, não é?
Pedro Domingos 00:12:53.76Não. 00:12:54.06Aliás, os pesos provavelmente são aleatórios porque têm que ser. 00:12:57.64Há demasiado, no teu cérebro há trilhões de ligações. 00:13:00.78Portanto, o teu genoma não tem capacidade de conter isso. 00:13:04.22Mas o que o teu genoma contém que é extremamente importante é a arquitetura do teu cérebro. 00:13:08.56E nas aprendizagens conexionistas a arquitetura é pré-determinada. 00:13:12.22Portanto, o pessoal, os evolucionistas dizem, ah, mas essa arquitetura onde é que vem? 00:13:15.80Vem da evolução. 00:13:16.82Ok. 00:13:17.04A evolução é que evolui o teu cérebro e o meu e o dos ratos e o das abelhas e tudo e mais alguma coisa. 00:13:22.30E a gente sabe como é que funciona a evolução. 00:13:24.44Portanto, há uma geração, uma população, depois mede-se a sua chamada fitness. 00:13:29.46Não sei agora como é que dizem em português, mas portanto é...
José Maria Pimentel 00:13:31.76Sim, adequação ou adaptação, talvez.
Pedro Domingos 00:13:33.94Adaptação, portanto, a pessoa aplica esses animais, que neste caso são programas ou circuitos ou robôs ou qualquer coisa, ao problema e os que dão melhores resultados, depois faz-se a reprodução. 00:13:45.00Literalmente faz-se a reprodução. 00:13:46.50Há um operador chamado crossover, que é misturar o genoma de dois pais, do pai e da mãe, digamos assim, para produzir um filho. 00:13:54.36Literalmente, produzem uma geração de filhos e depois repete-se. 00:13:57.78E o que é extraordinário é que a pessoa, começando com os nomes aleatórios, ao fim de uma centena de gerações, está a fazer coisas melhores do que os seres humanos em muitas áreas. 00:14:05.82Portanto, esta abordagem evolucionária. 00:14:08.26Depois, há outra abordagem que é baseada na estatística, em particular na estatística a baseiana. 00:14:13.18Aliás, os baseanos olham para isto e dizem, ah, mas isso tudo são heurísticas e se calhar a biologia, a pessoa sabe lá. 00:14:19.18A biologia faz toda a espécie de disparates. 00:14:21.06Portanto, a gente tem a ter uma abordagem com princípios de otimização e o princípio fundamental é o teorema de base. 00:14:27.74Portanto, daí o nome da aprendizagem é baseada. 00:14:29.82Já falamos aqui. 00:14:30.50Portanto, a ideia aí é, nós temos um espaço de hipóteses, portanto, qual é a função que te diz gato ou cão a partir de imagens de cão ou de gato? 00:14:39.92Portanto, temos esse espaço de hipóteses e depois temos, a priori, a probabilidade de cada uma dessas funções ser a função correta. 00:14:46.22E depois, à medida que nós vamos ver dados, a probabilidade evolui. 00:14:49.94Portanto, há o chamado em estatística o princípio da máxima verossimilhança, que é, a tua hipótese é provável se diz que o que tu estás a ver é provável. 00:14:57.58Se a tua hipótese diz que tu estás a ver é improvável, é a tua hipótese é improvável. 00:15:00.76Portanto, as hipóteses que concordam com o que tu estás a ver tornam-se mais prováveis e as que discordam com o que tu estás a ver tornam-se menos prováveis. 00:15:07.80E depois as previsões são feitas por uma média ponderada de todas estas hipóteses em que as mais prováveis contam mais. 00:15:14.36Portanto, há a probabilidade a priori, multiplicada por avossimilhança, que é a parte que depende dos dados, produz a probabilidade a posteriori que é, depois de eu ter visto estes dados agora, qual é que acho que são as hipóteses mais prováveis e essas ações contam mais. 00:15:27.38Sim.
José Maria Pimentel 00:15:27.72E assim sucessivamente, não é? 00:15:28.78Vais com um processo iterativo em que vais atualizando sempre...
Pedro Domingos 00:15:31.44Até convergir. 00:15:32.92E, portanto, se a população de que eu estou a fazer mostragem for estável, isto converge finalmente para a hipótese ótima. 00:15:39.30Ou para um conjunto de hipóteses indistinguíveis, igualmente boas, mas isso já são pormenores. 00:15:43.42E depois, finalmente, há uma abordagem que é baseada na psicologia, que é a da analogia. 00:15:48.20E que é, eu tenho-me dado conta que, em geral, para a maior parte das pessoas, é a mais intuitiva. 00:15:51.66Porque, de facto, nós todos funcionamos. 00:15:53.74A gente não sabe neurologia, não sabemos evolução, não sabemos estatística, mas nós funcionamos por analogia todos os dias. 00:16:00.04Portanto, a ideia da analogia é, quando tu tens que resolver um problema, por exemplo, eu sou médico e estou a tentar fazer o diagnóstico de uma nova paciente, eu vou procurar pacientes antigos que tenham sintomas semelhantes. 00:16:11.76E o que tiver os sintomas mais parecidos é o que eu vou dizer, ah, tu és parecida com este, portanto, vou-te dar o mesmo diagnóstico. 00:16:17.80E isto, mais uma vez, é uma ideia ridiculamente simples, mas extraordinariamente poderosa. 00:16:21.80Portanto, nós, com dados suficientes, simplesmente com este princípio, conseguimos aprender qual que é a função. 00:16:27.46Portanto, a ideia da aprendizagem automática é poder aprender qualquer coisa e nós, com este método, somos capazes de fazer. 00:16:32.78Portanto, são todos paradigmas diferentes e cada um deles tem uma escola, digamos assim, uma tribo de investigadores que acham que esta é a solução e, portanto, vamos ver o que é que acontece em última análise.
José Maria Pimentel 00:16:45.00Sim, tu chamas, precisamente, as cinco tribos.
Pedro Domingos 00:16:46.88Porque são as cinco tribos, de facto, são tribos. 00:16:49.34Eu acho, eu penso que isto existe em todos os campos, na biologia, na economia, etc. 00:16:52.98Ah, sim, sim. 00:16:53.70E também no desencerto social, portanto, não há grande certeza aí. 00:16:57.14Sim, sim.
José Maria Pimentel 00:16:57.56E os bayesianos, em particular, são muito... 00:17:00.28Fanáticos. 00:17:00.96São muito fanáticos, sim, sabe.
Pedro Domingos 00:17:02.44São os mais fanáticos. 00:17:03.62Aliás, por razões históricas interessantes, porque os bayesianos vêm da estatística e, na estatística, tradicionalmente, o campo é dominado pelos frequentistas. 00:17:12.16Exato. 00:17:12.44E os bayesianos foram sempre uma minoria reprimida, oprimida, portanto, tiveram que ser muito fanáticos para sobreviverem. 00:17:19.34Sim. 00:17:19.60E depois isso transferiu-se também para a intensa artificial, para a aprendizagem automática, portanto...
José Maria Pimentel 00:17:23.98Survival of the fittest, não é? 00:17:25.18Outra vez, não é? 00:17:25.78É, de certa forma, é. 00:17:27.92Sim, sim. 00:17:29.92Eu, por acaso, gosto muito do teorema de base e até falo disso num workshop de pensamento crítico que dou, porque é muito útil para, enfim, para formar opiniões com incerteza, que é basicamente o mundo em que nós vivemos, não é? 00:17:40.7699,9% do tempo e depois conseguir tomar decisões. 00:17:43.70Voltando atrás, tu dizes que são cinco escolas, digamos assim, cinco paradigmas, que, embora exista, embora nem todos tenham sempre o mesmo peso, há modas, não é? 00:17:52.22E atualmente estamos na moda, ou pelo menos na tendência dos conectivistas, que foram os primeiros que falaste, mas eles também têm usos diferentes. 00:17:58.02Ou seja, cada um tem, de certa forma, aquilo em que é melhor, não é? 00:18:01.00Estes bens e anos são melhores em que?
Pedro Domingos 00:18:02.66Não, precisamente, portanto, esse é que eu penso que é o ponto essencial que, infelizmente, muitos dos meus colegas parecem não compreender, que é, cada um destes paradigmas foi motivado por certos problemas e resolve esses problemas muito bem. 00:18:16.84Mas o problema é que para resolver a indizência artificial, nós temos que resolver todos esses problemas, portanto, nenhum destes paradigmas é suficiente. 00:18:24.16Portanto, eu penso que o que nós precisamos é uma unificação desses paradigmas. 00:18:28.02Pelo menos, e se calhar ainda mais, isto para mim é completamente óbvio, e para muita gente também, mas pronto, vamos ver onde é que isto vai. 00:18:34.96Agora, os bens e anos, a grande qualidade dessa abordagem, e elas, aquilo em que eles estão sempre a insistir, é que todo o conhecimento adquirido por aprendizagem é incerto. 00:18:46.40A incerteza é inescapável, por muitas razões, e é, acho que ninguém devida. 00:18:51.26A incerteza é inescapável. 00:18:52.66E agora, o que a abordagem a bens e na fase é quantificar a incerteza, através da probabilidade, e fazer o cálculo correto de umas probabilidades a partir de outras. 00:19:02.24E há um ponto aqui muito importante, em que eles têm razão, aliás, é matematicamente indisportável, que é, há um certo número de propriedades básicas do cálculo da incerteza que implica que tem que ser feito com probabilidades. 00:19:14.32Qualquer outra abordagem está necessariamente errada. 00:19:17.44Claro. 00:19:17.70Portanto, é por isso que eles são tão fanáticos. 00:19:20.06Aliás, os bens e anos vão a todos estes outros paradigmas e desenvolvem a versão bens e anos das redes neuronais, da analogia dos métodos simbólicos, porque tem que haver uma versão. 00:19:30.72E, portanto... 00:19:31.42Já é um começo dessa integração, não é? 00:19:32.72Exato. 00:19:33.42Portanto, mas este nível está completamente errado. 00:19:35.62E, aliás, uma grande parte da minha investigação tem sido a combinar métodos bensianos com... 00:19:40.28Aliás, tem sido a combinar um método com outro. 00:19:43.30Em muitos casos, por exemplo, métodos bensianos com os métodos simbólicos, etc, etc. 00:19:47.62Mas, agora há aqui um grande problema, grande, grande, grande, enorme problema, que é o problema do custo computacional. 00:19:55.00O custo computacional da aprendizagem bensiana é astronómico. 00:19:59.00Porque a gente, para fazer a aprendizagem bensiana correta, a pessoa tem que fazer a média ponderada de todas as hipóteses. 00:20:06.56E se os partos de hipóteses que a gente considera for pequeno, provavelmente não incluem a correta. 00:20:11.74Não incluem a verdadeira definição de um gato e do cão. 00:20:14.34Se for suficientemente grande para incluir tudo o que é preciso, é tão grande que precisava um computador muito maior do que o universo para fazer o cálculo. 00:20:22.26Portanto, nós temos necessariamente que fazer o cálculo aproximado e é nisso que os bensianos passam 99% do seu tempo é a tentar melhor maneiras de fazer o cálculo aproximado. 00:20:32.36E, a certa altura, a pessoa dá-se conta, ou pelo menos eu dei-me conta que, quando a pessoa começa a fazer essas aproximações, volta outra vez para as heurísticas. 00:20:40.38E, a certa altura, está a fazer uma coisa que não é mais nem menos heurística do que os outros todos. 00:20:44.68Sim. 00:20:44.88Portanto, a certa altura, embora a probabilidade seja, teoricamente, a maneira correta de fazer as coisas, na prática não é suficiente. 00:20:52.42E, agora, o que é que a pessoa faz em vez disso? 00:20:55.04Essa é que é uma questão de investigação interessante que continua em aberto.
José Maria Pimentel 00:20:59.06É interessante porque isso é um certo paralelo com a utilização desta regra de base na vida real, digamos assim, não é? 00:21:04.78Porque uma das vantagens daquele tipo de abordagem é que, do ponto de vista conceptual, tu podes utilizar esta abordagem baseiana para formar opiniões. 00:21:11.10Por exemplo, em que, em vez de formar uma opinião binária, formas uma opinião probabilística sobre determinado tema, sei lá, sobre se o mercado de trabalho deve estar mais ou menos liberalizado, por exemplo. 00:21:20.26Em vez de ter uma opinião binária, formas uma opinião probabilística que vais atualizando à medida que vais lendo artigos, por exemplo. 00:21:25.62Só que, na prática, é impossível fazer isso, não é? 00:21:27.48Então estás de volta às heurísticas. 00:21:28.70E é interessante perceber que isso também acontece com os algoritmos, não é?
Pedro Domingos 00:21:31.46Aliás, a esse nível conceptual, eu acho que, de facto, toda a gente deve compreender esta abordagem porque é importante a pessoa não pensar que as coisas que são binárias quando elas, na realidade, não são. 00:21:41.10E, aliás, depois há a combinação das probabilidades que nós aprendemos com as utilidades e com a teoria da decisão e essa é que é a maneira correta de tomar decisões. 00:21:49.76O resto são aproximações. 00:21:51.18Sim, sim. 00:21:51.40Mas há aqui um ponto muito importante que é, nós darmos conta da incerteza e usarmos probabilidades não implica o baisianismo, implica a probabilidade. 00:21:59.62Mas os frequentistas dizem, ah, sim, concordo com isso tudo, mas esse baisianismo é que não. 00:22:04.86A característica do baisianismo que é extremamente controversa e que, por exemplo, é um grande obstáculo à sua utilização nas ciências é que as probabilidades a priori é o que te apetecer. 00:22:14.96São subjetivas. 00:22:15.84Pois, claro. 00:22:16.22A diferença entre os baisianos e os frequentistas e os frequentistas dizem, ah, não. 00:22:19.84As suas probabilidades a priori também têm que vir da frequência de eventos. 00:22:23.58Daí o nome frequentista é, eu digo que a probabilidade deste de ser um gato é 80%, se 80% dos objetos que eu vejo são gatos. 00:22:30.22E os baisianos dizem, ah, eu vou com os olhos fechados a priori dizer que a probabilidade de gato é 90%. 00:22:36.12E eu digo, ah, mas porquê? 00:22:37.84E tu diz, ah, isto é subjetivo. 00:22:40.02E isto, do ponto de vista da ciência, é uma coisa que faz um bocado as pessoas não gostarem.
José Maria Pimentel 00:22:44.16Sim. 00:22:44.56No longo prazo convergiriam para o mesmo, não é? 00:22:46.38Só que o problema é que, deduzo eu, é que o baisianismo, para convergir, precisa dessa capacidade computacional que muitas vezes é impossível.
Pedro Domingos 00:22:52.20Aliás, precisamente, a longo prazo convergem para o mesmo desde que, a priori, não demos probabilidade zero à hipótese correta.
José Maria Pimentel 00:22:58.68Sim, pois. 00:22:59.28Exato, certo, certo, certo.
Pedro Domingos 00:23:00.02Mas, a longo prazo, aliás, nós chamamos-lhe o assimptopia, é a utopia assintótica, assimptopia, digamos assim, em que temos dados infinitos. 00:23:08.68O baisianismo é desnecessário, porque aí basta a máxima ver semelhança. 00:23:12.46A pessoa simplesmente calcular a frequência chega. 00:23:15.44Portanto, a vantagem do baisianismo é quando nós não temos muitos dados. 00:23:19.02E também é, nesse caso, que é viável, porque quando temos dados infinitos, não temos capacidade de se desprecisar.
José Maria Pimentel 00:23:24.02E isto é usado em quê? 00:23:26.20Este tipo de algoritmos são usados na prática em que tipo de áreas? 00:23:29.12Ou em que tipo de tarefas? 00:23:29.84Por exemplo, tu há bocado falaste dos analogistas, eu tenho a ideia que são usados, por exemplo, em sistemas de recomendação, tipo Amazon de livros e Netflix de filmes. 00:23:36.68O que faz sentido, não é? 00:23:37.96Porque é do género, tu gostaste deste filme, então provavelmente vais gostar de um idêntico. 00:23:41.68Estes baisianos são usados normalmente em quê?
Pedro Domingos 00:23:43.84Aliás, os sistemas de recomendação são uma grande aplicação dos métodos de analogia, mas a analogia que eles fazem é uma analogia diferente, esse por acaso é um ponto interessante. 00:23:50.76O que tu sugiste agora é o que as pessoas começaram por fazer. 00:23:53.60Mas isso não resulta muito bem. 00:23:55.32O que resulta espetacularmente bem, e está por trás de uma quantidade enorme de recomendações que nós recebemos da Netflix, da Spotify, de um monte de coisas, é encontrar pessoas com gostos semelhantes aos meus. 00:24:08.10Se os teus gostos são semelhantes aos meus, o que tu viste e gostaste, o sistema recomenda a mim. 00:24:12.44E isso é que é espetacularmente poderoso. 00:24:14.28Portanto, é uma analogia entre pessoas, não é uma analogia entre os produtos. 00:24:17.64Embora a pessoa pode fazer combinação, etc, etc.
José Maria Pimentel 00:24:19.62Claro, claro. 00:24:20.02Mas é one to one, é isso? 00:24:21.02Ou seja, não é uma combinação de pessoas?
Pedro Domingos 00:24:22.90Não, não. 00:24:23.54No caso mais simples é one to one, mas na realidade é uma combinação de pessoas. 00:24:27.04E lá as atividades muitas, por exemplo, a Netflix, por exemplo, pode estar a fazer uma recomendação de um filme para ti baseado nas, sei lá, nas 30 pessoas mais semelhantes a ti. 00:24:35.00Sim, exato. 00:24:35.80Que podem estar nos antípodos, mas têm gostos semelhantes. 00:24:39.00Exato, sim, sim. 00:24:39.72Agora, os métodos baseanos, a grande aplicação é precisamente onde, número um, quantificarem a certeza é importante e, número dois, existem dados e o problema computacional é suficientemente possível para resolver. 00:24:52.98Portanto, tradicionalmente uma grande área de aplicação é em medicina. 00:24:56.78Há uma representação, um tipo de método baseano chamado as redes baseanas. 00:25:01.06Se hoje em dia me perguntassem, olha, quer um sistema para fazer diagnóstico médio, o que é que recomendo? 00:25:05.90Eu dizia, redes baseanas. 00:25:07.54Outro exemplo diferente, a Google, antes de vir esta vaga dos sistemas neurinais, os grandes sistemas da Google eram baseanos ou pelo menos probabilísticos. 00:25:16.52Por exemplo, o sistema que escolhia os anúncios a mostrar nas páginas ou com os resultados de pesquisa, que é como a Google ganha todo o dinheiro, era uma rede baseana enorme. 00:25:26.66O sistema de tradução automática, portanto, aqui há 10, 15 anos havia já o Google Translate, que era um sistema de tradução automática que as pessoas diziam, ah, os tradutores vão todos perder os empregos, porque isto agora já faz tradução automática tão boa como as pessoas. 00:25:39.52Era, mais uma vez, um destes sistemas probabilísticos, em que aplicava o termo de base, com a probabilidade a priori, por exemplo, estava a traduzir português para inglês. 00:25:47.24Tinha a probabilidade a priori do que seria o inglês e tinha a probabilidade do inglês dado o português, combinava para produzir a tradução. 00:25:53.16Portanto, qualquer destas abordagens pode-se, em princípio, aplicar a tudo. 00:25:56.60Onde é que é melhor e é pior? 00:25:57.92Também há várias dimensões para que a gente pode olhar, mas em última análise não há como experimentar e ver. 00:26:05.90A inteligência artificial está sempre a dar surpresa. 00:26:07.96A pessoa apresenta que vai ser isto melhor, é aquilo. 00:26:10.52Pensa que isto vai ser fácil, vai ser difícil e vice-versa. 00:26:13.32Por exemplo, uma das grandes descobertas da inteligência artificial que é muito relevante para a sociedade é que as pessoas partiram do princípio que iam ser primeiro as tarefas de manuais, chamados blue collar, a ser automatizadas, porque são as de mais nível baixo, e as de nível mais alto é que são as últimas, é precisamente o contrário. 00:26:33.46Aliás, eu gosto de dizer a brincar que a inteligência artificial é a vingança da classe operária. 00:26:40.82Porque eles perderam os empregos todos quando vem a automatização, etc. 00:26:44.58Mas ora, com a inteligência artificial, quem vai ser automatizado é os advogados, os professores, etc.
José Maria Pimentel 00:26:49.46É pelo lado físico, não é? 00:26:50.74Ou seja, os...
Pedro Domingos 00:26:51.36Pois, não, é que o físico é difícil. 00:26:53.72Exato, exato. 00:26:54.42O operário de construção tem uma série de capacidades psicomotoras, etc., que a evolução passou 500 milhões de anos a aperfeiçoar. 00:27:02.62Sim. 00:27:02.96Enquanto que uma profissão que precisa de um curso superior, por definição, a evolução não nos adaptou a isso. 00:27:08.94Portanto, nós somos muito piores médicos dos que somos operários da construção. 00:27:12.96Portanto, é mais fácil os computadores baterem-nos na medicina do que baterem-nos na construção.
José Maria Pimentel 00:27:17.10Sim, com nos é menos natural, isso é um bom ponto. 00:27:18.88E se liga para casa, liga uma pergunta que eu te queria fazer. 00:27:22.06Porque eu tenho ideia, e enfim, acho que não estou muito enganado, que a robótica tem evoluído a um ritmo mais lento do que o resto das ciências de informação. 00:27:29.72Não sei se estou a usar o termo correto. 00:27:31.42E portanto, sei lá, nos últimos anos tem havido um ascendente grande destes modelos de machine learning e agora mais recentemente nestes modelos conectivistas baseados em modelos de linguagem e o chat GPT em particular. 00:27:41.48E isto tem uma aplicação muito difícil na robótica, não é? 00:27:43.92Porque lá está, estás a lidar com skills e com tarefas bastante diferentes. 00:27:47.80E dá a ideia que a robótica, que aqui há uns anos era, quer dizer, se tu há 20 ou 30 anos falasse em inteligência artificial, aquilo que as pessoas lembravam era de robôs. 00:27:55.22E agora já não, não é? 00:27:56.30Aquilo que as pessoas pensam é numa janela de browser.
Pedro Domingos 00:27:59.32Portanto, as pessoas, tradicionalmente, quando pensam em inteligência artificial, a primeira coisa em que pensam é os robôs. 00:28:04.54E portanto, a robótica é mais uma vez a automatização de um certo tipo de capacidades humanas que têm a ver com o movimento. 00:28:10.48É a pessoa deslocar-se, pegar em coisas, fazer construções, etc, etc. 00:28:14.96E a robótica, tens razão, é muito mais difícil do que os outros campos, por duas razões. 00:28:20.98Um é precisamente este que, portanto, é genuinamente um problema que nós ainda não sabemos como resolvê-lo. 00:28:26.12Portanto, a capacidade que os seres humanos têm de manipular coisas é extraordinária. 00:28:31.40A gente não compreende onde é que ela vem. 00:28:33.12Portanto, os algoritmos que funcionam também, por exemplo, para o diagnóstico médico, para a robótica não chegam. 00:28:37.50E não é por falta de a gente tentar. 00:28:39.34Há milhares de pessoas a tentarem há décadas. 00:28:41.82Depois, há outro aspecto muito importante hoje em dia, que é, o chat-chapiti tira a partir de haver trilhões de palavras na web. 00:28:48.52Portanto, para fazer linguagem, compreensão de linguagem, esse tipo de coisas, nós temos uma quantidade de dados espetacular. 00:28:54.06Para a robótica não temos. 00:28:56.04Eu tenho um colega meu que, a certa altura, passou um tempo na Google em que eles tinham centenas de robôs, em paralelo, todos a brincarem para gerar dados para aprender. 00:29:05.54Mas mesmo isso não gera nem 0,01% dos dados que nós temos na linguagem. 00:29:10.46Portanto, a robótica, por um lado, é um problema mais difícil e, ao mesmo tempo, também tem menos dados. 00:29:15.74Portanto, é um problema.
José Maria Pimentel 00:29:17.02Sim, não levou esse impulso. 00:29:18.78Quer dizer, no fundo, grande parte do impulso da inteligência artificial nos últimos anos vem do Big Data, da profusão de dados. 00:29:25.30E na robótica, isso não aconteceu. 00:29:27.20Não tinha pensado nisso. 00:29:28.30E, depois, esse é outro ponto que tu disseste, também é importante. 00:29:30.42E liga àquela questão do ensino. 00:29:31.82Essas competências motoras são inconscientes por natureza. 00:29:35.70Por isso é que nós não conseguimos guiar um carro. 00:29:37.50Quando nós guiávamos um carro conscientemente era quando estávamos a aprender a conduzir. 00:29:41.46E não percebemos nada daquilo. 00:29:42.66Quando aquilo, de repente, entra no inconsciente, no automatismo, que a pessoa faz bem. 00:29:46.66Só que depois não consegue replicar.
Pedro Domingos 00:29:48.96Por acaso, esse é um ponto importante. 00:29:50.70O ser inconsciente, à partida, não é um problema. 00:29:53.06Aliás, um dos grandes benefícios da aprendizagem é que nós podemos fazer o computador aprender coisas que nós não sabemos explicar. 00:30:01.74E guiar um carro é precisamente o exemplo que o Tim disse. 00:30:04.48É estes self-driving cars, que já existem há décadas. 00:30:08.50As pessoas pensam que é uma coisa recente, mas existem há décadas. 00:30:11.18Basicamente, ele tem uma câmera de vídeo apontada para a estrada, a ver o que a pessoa vê, e está ao mesmo tempo a registrar o que é que a pessoa está a fazer com o volante e com os pedais, e correlaciona as duas coisas. 00:30:23.82Portanto, aprende a guiar imitando-te. 00:30:26.40Ah, os inputs, certo, certo. 00:30:27.84Tu sabes guiar, ninguém sabe como programar um carro para guiar, mas com aprendizagem nós pomos o carro a guiar imitando as pessoas. 00:30:35.76Agora, infelizmente, não tão bem como as pessoas. 00:30:38.70Aliás, o problema dos self-driving cars é um problema interessante, porque, ao contrário de muitas áreas das robóticas, nessa área até temos muitos dados. 00:30:45.54Sim. 00:30:45.98A Google já tem milhões de horas de guiar. 00:30:48.54Mas o problema é que 99,9% desses milhões de horas é a mesma chachada de sempre. 00:30:54.10É a repetição de coisas que o carro já sabe fazer. 00:30:56.16E depois, de vez em quando, aparecem estas coisas, os chamados corner cases, que são aqueles casos raros, mas importantes, em que a pessoa sabe o que fazer e o computador não sabe, porque nunca viu nada nem nada parecido e, portanto, faz um disparate completo.
José Maria Pimentel 00:31:09.22Sim. 00:31:09.52Sim, nós sabemos pela experiência noutras áreas, não é?
Pedro Domingos 00:31:12.16Pela experiência noutras áreas e pela generalização. 00:31:14.70Aliás, a questão essencial na aprendizagem e na generalização é, a memorização é, ah, se eu tenho agora aqui um paciente que é igualzinho a um anterior, veio mesmo o diagnóstico, a arte toda da aprendizagem, quer nos seres humanos, quer nas máquinas, é, eu tenho aqui um paciente ou uma situação na estrada que é diferente de todas as que tive no passado, mas eu ainda sei o que fazer em buscar a coisas que eu vi antes. 00:31:38.70E a grande diferença, hoje em dia, entre os seres humanos e a aprendizagem automática é que os seres humanos fazem a generalização muito, muito mais longe do que a aprendizagem automática.
José Maria Pimentel 00:31:47.56Sim, essa, aliás, é uma, talvez, a grande crítica a estes modelos conectivistas, não é? 00:31:52.02Correta. 00:31:52.54E correta, sim, sim. 00:31:53.46Ou seja, que não conseguem, como se houvesse uma paisagem, eles não conseguem ir ao ponto ao lado, mas não conseguem saltar para um ponto que está a uma distância grande ao contrário do que nós fazemos. 00:32:02.40Então, mas vamos por aí, que acho que é o percurso correto para depois irmos dar este ponto que liga, acho eu, a tua ideia do Master Algorithm, do algoritmo mestre. 00:32:10.56Porque eu acho que vale a pena, até para quem nos está a ouvir, perceber um pouco melhor estes modelos conectivistas, que foram os primeiros que nós falámos, e o 7GPT em particular. 00:32:16.58Tu explicaste no início que isto, no fundo, são redes neuronais e, pelo que eu percebo, elas, grande parte do segredo é o facto de elas terem várias camadas, ou seja, não é só uma única camada, são várias camadas que permitem fazer esta calibração e esta correção de erros ao longo do tempo, e que, de novo, não é muito diferente do que existe no nosso cérebro, não é? 00:32:34.04Porque, no fundo, o nosso cérebro funciona com base em sinapses que disparam, quer dizer, não disparam de uma maneira binária, não é, disparam com uma força que vai, ao longo do tempo, produzindo ou não determinadas memórias, produzindo ou não determinadas ideias. 00:32:45.56Mas qual é que foi? 00:32:46.16Se é que há algum, qual é que foi o grande passo do 7GPT e do modelo GPT que tem por trás, que permitiu, enfim, quer dizer, que permitiu fazer, apesar de tudo, construir um chatbot que não existia antes, ou pelo menos a ideia que eu tenho é que não existia antes. 00:32:57.80Ou seja, estes modelos já existiam, não é? 00:32:59.04Mas qual foi aqui o grande salto?
Pedro Domingos 00:33:00.46Voando sobre as décadas, quando estes modelos neuronais foram inicialmente propostos nos anos 50, o modelo era um só neurónio, ou uma só camada de neurónios. 00:33:10.74E, matematicamente, uma só camada de neurónios não tem capacidade de reproduzir qualquer função. 00:33:16.36Para sermos capazes de reproduzir qualquer função, é preciso haver as chamadas camadas escondidas. 00:33:21.38Portanto, é camadas intermédias, que não são nem o input nem o output, e quanto mais camadas, isto é um ponto muito importante, quanto mais camadas intermédias houver, precisamos de uma camada escondida, e nos anos 80, não foi quando inventado, mas quando se difundiu este algoritmo da reta de propagação, que pela primeira vez era capaz de treinar modelos com camadas escondidas. 00:33:42.64Mas nessa altura é só com uma camada escondida. 00:33:45.40E tudo se pode reduzir a uma camada escondida, mas precisa de exponencialmente mais neurónios. 00:33:50.50Portanto, o sonho era sempre ter muitas camadas, e daí é que veio o nome Deep Learning. 00:33:55.46O Deep Learning é a rede ser profunda de ter muitas camadas. 00:33:59.66Deep Learning, literalmente, refere-se a redes neuronais com muitas camadas. 00:34:03.78Portanto, esse foi o primeiro passo importante, foi ter redes neuronais com muitas camadas.
José Maria Pimentel 00:34:07.30Mas isso já existe há, não sei, 10, 15 anos? 00:34:09.64Não sei, pelo menos já ouço falar há...
Pedro Domingos 00:34:10.92Precisamente. 00:34:11.58Portanto, nos anos 80 e 90, as pessoas, eu lembro-me dessa altura do ótimo, que foi quando eu era aluno para os gurus, as pessoas falaram, ah, isto agora vamos acrescentando camadas, e daqui a pouco estamos no cérebro humano. 00:34:23.56Não foi assim tão simples. 00:34:24.90Não foi tão fácil. 00:34:25.80Mas agora, esta onda atual que começou a coxer com a AlexNet no ano 2012, é precisamente, a onda do Deep Learning, é modelos com muitas camadas. 00:34:36.14Agora, o chat GPT em particular é uma inovação que tem 5 anos de idade, que são os transformadores. 00:34:42.70Que é uma arquitetura específica. 00:34:45.24Portanto, nós hoje em dia temos arquiteturas com centenas de camadas. 00:34:49.54Comparado com os anos 90, é uma coisa extraordinária. 00:34:51.90Portanto, já um pouco mais nesse aspecto parecida com o cérebro. 00:34:55.54O cérebro tem uma camada. 00:34:57.10Aliás, nós hoje em dia temos redes neuronais, provavelmente com muito mais camadas do que o cérebro tem. 00:35:02.08O que também é sinal de, se calhar, não estamos a fazer o que devíamos. 00:35:05.12Mas, os transformadores em particular são uma dessas arquiteturas com muitas camadas. 00:35:10.40A pergunta que estavas a fazer é, qual é que é a inovação fundamental nos transformadores? 00:35:15.54E há uma inovação fundamental, mas é engraçado que hoje em dia a gente vê centenas de artigos a falar dos transformadores e nenhum deles põe o dedo. 00:35:24.84Aliás, o que fazem muitas vezes é hand waving e dizem assim umas coisas. 00:35:28.98A questão essencial é a seguinte. 00:35:31.26Temos que ir um bocadinho atrás e o que é um language model? 00:35:33.84Um language model, que é o que tem o ChatGPT, large language model é um grande modelo da linguagem. 00:35:41.06Portanto, o que é um modelo da linguagem? 00:35:43.22Um modelo da linguagem é uma ideia antiguíssima, desde os anos 70 que já há modelos da linguagem. 00:35:47.84E é um modelo simplesmente que prevê qual é a próxima palavra num texto a partir das anteriores. 00:35:53.62Portanto, se eu disse o cão foi atrás do, tu dizes, ah, gato. 00:35:59.48Portanto, estás a prever a próxima palavra a partir das anteriores. 00:36:01.96E agora a questão essencial é a seguinte. 00:36:04.34Olhando para isto do ponto de vista beiseano, exatamente esses temas inicialmente eram precisamente beiseanos, é, quanto mais palavras anteriores tomares em conta, melhor consegues prever a seguinte. 00:36:16.00Tu dizes, like, correu atrás do, sei lá, pode ter sido o miúdo que correu atrás de outro miúdo, mas se disser o cão. 00:36:22.90Portanto, quanto mais palavras a pessoa tiver para condicionar usando a tua mente técnica, melhor faz a previsão. 00:36:29.40Vai afunilando. 00:36:30.22Exato. 00:36:30.64E agora a questão é o seguinte. 00:36:31.98É, o número de possibilidades aumenta exponencialmente com o número de palavras. 00:36:35.86A quantidade de dados que nós precisamos aumenta exponencialmente e a computação aumenta exponencialmente. 00:36:40.42O grande breakthrough da Google, em uma área acessora alta, primeiro foi a correção de ortografia, depois a tradução foi, como eles tinham mais dados do que alguma vez alguém tinha tido, eles, em vez de condicionarem em uma palavra ou duas, tipicamente dos modelos dos anos 70 e 80, previam a próxima palavra baseada nas duas anteriores. 00:37:00.08O que parece pouco, mas já é muito em termos do custo. 00:37:03.02E a Google condicionava em 4, 5, 6. 00:37:05.64E o que é interessante nisto é que, mesmo sem saber nada de reunais, a pessoa só extrapolando esta curva de quando eu vou condicionando em mais palavras, a melhoria do desempenho, é espetacular. 00:37:16.42A pessoa só olhando, se eu conseguir condicionar em 100 palavras, vou fazer coisas, vou escrever textos maravilhosos. 00:37:22.76Eu dou-te um exemplo pequeno. 00:37:24.54O meu filho, quando tinha 13 anos, só para se divertir, fez em Python um programazinho que ele chamou MarkovBot, porque é baseado nas cadeias de Markov.
José Maria Pimentel 00:37:32.70Que é o que tu estudas, não é? 00:37:33.52Precisamente. 00:37:33.80Que é a tua investigação.
Pedro Domingos 00:37:34.72Uma das coisas, uma das partes. 00:37:37.10E estes modelos são todos cadeias de Markov, de uma forma ou de outra. 00:37:40.34Portanto, esse é o termo técnico. 00:37:41.36Portanto, ele chamou o MarkovBot. 00:37:42.96Foi um programa que simplesmente previsia a próxima palavra, baseada nas 3 ou 4 anteriores. 00:37:47.92E ele treinou numa série de artigos de revistas científicas e mostrou-me um parágrafo, sem me dizer, mostrou-me um parágrafo e disse, o que é que achas deste parágrafo? 00:37:56.84Eu disse, ah, sim, é o costume. 00:37:59.18E ele aí disse, molho, não, isto foi gerado pelo meu MarkovBot. 00:38:02.82Portanto, isto é, um miúdo de 13 anos a fazer um programa de 200 linhas em Python, consegue fazer uma coisa que já me enganava a mim. 00:38:10.64Sim. 00:38:11.06O chat GPT é apenas este fenómeno, mas a uma escala vastamente superior. 00:38:16.06Onde é que entram os transformadores aqui é que, quando eu quero condicionar em 100 palavras, é impossível. 00:38:21.94Não há memória no universo para isso. 00:38:23.76O que os transformadores permitem fazer é escolher, por exemplo, das 100 ou 1000 ou um milhão de palavras anteriores, quais é que são as palavras relevantes. 00:38:32.40Ok. 00:38:33.08Essa é que é a questão interessante. 00:38:34.32E não só escolher, mas aprender a escolher utilizando a reta à propagação. 00:38:39.50E com isto, basicamente... 00:38:41.56A reta à propagação
José Maria Pimentel 00:38:41.90é a correção de erro, basicamente, não é?
Pedro Domingos 00:38:43.54É, precisamente. 00:38:44.50Portanto, o que os transformadores fazem, que nunca tinha sido feito antes, é a reta à propagação escolhe automaticamente quais é que são as palavras relevantes no passado para prever a seguinte. 00:38:56.88E isto parece simples, mas é extraordinariamente poderoso e esse poder estamos nós hoje a vê-lo na utilização do chat GPT em todas essas aplicações.
José Maria Pimentel 00:39:04.56Sim, é como se usasse uma... 00:39:06.58Enfim, não sei se estou a ver isto bem, mas dá a ideia que usa uma avaliação probabilística em dois passos, porque usado sempre, que é na... 00:39:13.62Qual é a palavra mais provável surgir a seguir, mas filtra antes, pela causa desta frase, as palavras mais prováveis de serem relevantes para ele depois ir avaliar. 00:39:21.36É, precisamente.
Pedro Domingos 00:39:22.18Aliás, em termos matemáticos, há umas interações multiplicativas que não existiam antes e que é precisamente o que tornou isto possível. 00:39:29.00Sim, no fundo, tornou-no muito mais eficiente. 00:39:30.58Não é explicitamente probabilístico, mas digamos que é implicitamente probabilístico.
José Maria Pimentel 00:39:34.88Sim, sim. 00:39:36.12Contribua para a continuidade e crescimento deste projeto no site 45grauspodcast.com. 00:39:45.04Selecione a opção Apoiar para ver como contribuir diretamente ou através do Patreon, bem como os benefícios associados a cada modalidade. 00:39:55.46Tu já há bocadinho falaste da questão da generalização que eu acho que está muito... 00:39:58.40Enfim, em tu, que está relacionado com a tua ideia do algoritmo mestre e falaste das 5 tribos, destes 5 paradigmas. 00:40:04.84Antes de falarmos de como chegar a este algoritmo mestre e parte da resposta que tu já referiste que é combinando estes 5 paradigmas, o que é que é exatamente o algoritmo mestre? 00:40:12.74Ou seja, o que é que tu estás a falar ao certo? 00:40:14.40Estás a falar de simplesmente uma espécie de algoritmo versátil que combina diferentes tipos de algoritmos já pré-existentes ou de uma coisa próxima àquilo que costumas chamar AGI, inteligência artificial geral por oposição à inteligência artificial mais narrow, mais específica, ou seja, inteligência artificial equivalente à inteligência humana e quando se diz equivalente como sempre quando se fala em inteligência artificial é muito mais, porque a partir do momento é que tu consegues reproduzir uma determinada tarefa humana faz-la muito melhor do que já é feito. 00:40:43.06Ou seja, tu estás a falar de que é exatamente quando te referes ao algoritmo mestre?
Pedro Domingos 00:40:45.86A noção do algoritmo mestre é uma noção muito mais básica do que... 00:40:49.32Essas noções são todas relevantes mas a noção central é muito mais básica é simplesmente a seguinte é todos os algoritmos de aprendizagem que nós temos estado a falar são algoritmos mestres no seguinte sentido da mesma maneira como a chave mestra é uma chave que abre todas as fechaduras porque é capaz de simular cada uma das chaves a chave de casa que tu tens é uma chave que abre uma fechadura a chave mestra por exemplo que tem sei lá uma pessoa no dom de um hotel ou qualquer coisa é uma chave que abre todas as portas da mesma forma o algoritmo mestre é um algoritmo que é capaz de fazer tudo portanto há esta noção muito importante da informática da máquina de Turing que é o computador que é a máquina universal a mesma máquina é capaz de fazer tudo e hoje para nós esta é uma ideia intuitiva mas na altura em que o Alan Turing introduziu esta noção era uma noção extraordinária porque é isso uma máquina que faz tudo a máquina de escrever escreve a máquina de lavar lava a máquina de cozer coze não há uma máquina que faz essas coisas todas mas o computador é uma máquina que faz essas coisas todas portanto de certa forma o computador é a máquina mestre tu pegas no teu telemóvel e o telemóvel faz uma infinidade de coisas é um relógio é um telefone é um computador quer dizer é incrível portanto há um circuito ali que fazes tudo mas agora o que isso deixa em aberto é mas como é que ele faz estas coisas tem que ser programado por nós portanto a ideia da aprendizagem a ideia fundamental da aprendizagem é que tu tens um algoritmo de aprendizagem que se transforma em qualquer um desses algoritmos o mesmo algoritmo é capaz de fazer diagnóstico médico de pilotar um avião de jogar xadrez de tudo o que quiseres se lhe deres os dados necessários para ele aprender portanto os dados são os que transformam a chave mestra na particular para aprender aquela fechadura
José Maria Pimentel 00:42:32.36o fundo é desenvolver um algoritmo versátil que permita uma vez alimentado pelos dados fazer tudo aquilo que tu já fazes só com algoritmos diferentes especializados digamos assim
Pedro Domingos 00:42:41.54Precisamente e agora a primeira questão é mas esse algoritmo existe e há uma prova matemática e uma prova empírica a prova empírica é que o teu cérebro é um algoritmo mestre incontestavelmente e outra prova empírica é a evolução a evolução é um algoritmo mestre a evolução é capaz de criar tudo é mais uma coisa portanto nós sabemos que existem algoritmos mestres no mundo real há também a prova matemática que em todos estes paradigmas existe um teorema que diz utilizando esta representação nós somos capazes de representar qualquer função utilizando uma rede neuronal utilizando um conjunto de exemplos para analogia utilizando um conjunto de regras simbólicas portanto cada um destes métodos nós sabemos que a priori com o algoritmo certo é possível aprender qualquer coisa portanto nós sabemos tanto matematicamente como empiricamente que este algoritmo é possível agora porque é que nós não temos já o algoritmo mestre porque na prática o que acontece como nós já tínhamos a ideia é que cada um destes algoritmos depois verifica-se que é bom para algumas coisas mas não bom para outras o verdadeiro algoritmo mestre é um algoritmo que tem que ser bom para todas estas coisas ao mesmo tempo pelo menos ao nível que o teu cérebro por exemplo as redes neuronais não são boas para todas as coisas que o teu cérebro por exemplo não fazem descoberta científica não fazem robótica não fazem uma série de coisas fazem visão fazem linguagem portanto esse algoritmo que é na realidade capaz de descobrir tudo ainda não existe e agora a questão é como é que o descobrimos e agora há várias abordagens a essa questão sim
José Maria Pimentel 00:44:11.10e antes disso muita gente argumentará digo eu que só por isso não é necessariamente preciso um algoritmo mestre ou seja se calhar estás melhor com os vários algoritmos especializados porque são mais eficientes cada um na sua área
Pedro Domingos 00:44:24.12não precisamente isso é uma questão essencial mas repara isso é verdade do teu cérebro o teu cérebro é capaz de fazer adições e multiplicações mas é extraordinariamente ineficiente e aliás em última análise para qualquer aplicação é sempre melhor ter um algoritmo específico para aquela aplicação exato mas agora vê aqui um exemplo muito importante que é o dos microprocessadores o microprocessador foi uma coisa inventada nos anos 50 que é inicialmente antes disso havia circuitos integrados que faziam tarefas específicas e cada vez que a gente queria fazer uma nova tarefa precisava de projetar e construir num novo circuito e por esse método não fomos muito longe quando inventar os microprocessadores o microprocessador é um circuito que faz tudo literalmente tudo porque tudo o que tu veste é feito por mas mas não é o mais eficiente para cada uma dessas coisas se tu quiseres podes ir buscar um chamado AC que é Application Specific que faz aquilo melhor mas a grande vantagem é que a velocidade a que tu consegues e a simplicidade e a facilidade é vastamente mais importante do que esse ganho de eficiência quando o ganho de eficiência é importante então tu podes depois e fazer as coisas mais eficientes e mais uma vez isso também acontece com a aprendizagem portanto embora seja verdade que em última análise para qualquer aplicação há sempre um algoritmo específico mais eficiente se o que a gente quer é inteligência artificial precisamos ter um algoritmo mestre como o nosso cérebro ou como um microproceador mais uma vez o que falta no microproceador é a capacidade de aprender mas a generalidade do circuito já lá está então mas em que medida é que o que tu estás a propor
José Maria Pimentel 00:45:53.04como algoritmo mestre ou a ideia de algoritmo mestre não é um caminho para a inteligência artificial geral onde é que eles se separam não é aliás ah ok pronto eu já tinha entendido mal
Pedro Domingos 00:46:02.94como eu estava a dizer o que tu disseste é correto mas não é noção fundamental agora por exemplo
José Maria Pimentel 00:46:06.84agora isto é sim é implicação
Pedro Domingos 00:46:09.06se nós queremos chegar à inteligência artificial e é esse o objetivo eu penso que há duas vias a curta e a longa a via longa é a via tradicional que é vamos construir esta parte e mais aquela temos a memória temos a atenção temos o movimento temos a linguagem e vamos tentar juntar estas partes todas isso até agora tem falhado e penso vai continuar a falhar há a via curta que é descobrir o algoritmo mestre descobres o algoritmo mestre dá-lhes os dados necessários e chegaste portanto obviamente destas duas abordagens é a segunda em que eu acho mais interessante sim
José Maria Pimentel 00:46:47.48e como é que tu achas que se chega lá parte da resposta já deu para perceber e quem lê o livro também percebe bem é a combinação destas cinco escolas destes cinco modelos e enfim já agora não sei se queres elaborar um pouco sobre isso ou seja como é que eu ia te perguntar isto quando a pessoa elenca neste caso cinco modelos parece que eles são estão à mesma distância todos uns dos outros na verdade há aqui enfim pelo menos eu vendo de fora intuo aqui uma certa proximidade que os conectivistas e os evolucionistas parecem mais próximos do que respectivamente esses dos simbolistas ou dos analogistas para trazer para português é sempre mais complicado ou dos bayesianos ou seja eles não parecem estar à mesma distância uns dos outros o que significa que podem não ter todos o mesmo contributo para este algoritmo mestre ou têm ou seja perguntando de outra forma como é que eles se combinam que contributo é que cada um deles dá para este algoritmo mestre bem
Pedro Domingos 00:47:37.52eu penso que eles são todos necessários porque de fato cada um deles resolve um problema importante portanto na reta da progressão resolve o problema do chamado credit assignment que é estás a tentar aprender um sistema muito complicado e quando o sistema falha de quem é que é a culpa quem é que eu vou modificar tens aqui um sistema com milhões de partes é um problema muito difícil a reta da progressão resolve esse problema cada um dos outros paradigmas tem também um problema que resolve e a questão importante não é utilizar o paradigma é nós temos que resolver esses problemas todos por exemplo a grande vantagem da aprendizagem simbólica que nenhuma das outras tem é que descobres conhecimento de forma modular descobres regras que depois podem ser combinadas de formas completamente diferentes em contextos completamente diferentes daqueles em que foram aprendidos são abstrações no fundo exato o que as redes neuronais não são capazes de fazer e daí é que vem a sua falta de robustez portanto nós temos que resolver todos esses problemas eu penso que isto é incontestável agora a maneira óbvia de os resolver para mim é e para muitos outros é nós já temos algoritmos que resolvem cada um deles se os combinarmos então resolvemos esses problemas todos agora há grande dificuldade em combiná-los e aliás ao longo dos anos já houve pessoas que diziam que isto era impossível mas hoje em dia é claramente possível porque em grande parte já está feito e aliás uma grande parte da minha investigação nos últimos 30 anos foi combinar estas coisas duas a duas a minha tese de doutoramento foi combinar analogia com o simbólico depois a investigação mais conhecida que eu fiz foi combinar os métodos simbólicos com os beesianos mais recentemente as neuronais etc etc e hoje em dia nós já conseguimos combinar 3 e 3 4 e 4 e basicamente nós já temos hoje maneiras de combinar todos os 5 agora penso que há ainda grandes questões a resolver mas podemos deixar isso para tarde
José Maria Pimentel 00:49:22.80não não podes dizer agora que era o que eu te ia perguntar agora ou seja o que é que falta depois de combinar os
Pedro Domingos 00:49:27.18faltam várias coisas uma é que há muitas maneiras possíveis de combinar estes algoritmos a maior parte das quais não são suficientemente eficazes uma coisa é fazer combinação teórica isso é fácil já fizemos outra coisa é fazer uma combinação aliás eu posso fazer uma analogia que penso que é bastante útil que é na física famosamente há 4 forças que parecem à partida muito diferentes há a gravidade há o eletromagnetismo há as forças fortes e fracas nucleares as pessoas na física e nas ciências maturas digamos assim à partida o tentar unificar as coisas é óbvio que temos de tentar unificar não sei porque em desenho de arte social há mais resistência aliás sei mas pronto mas penso que também é esse o bom caminho os grandes progressos da física forem unificar coisas umas a seguir às outras e hoje em dia o chamado standard model unifica 3 dessas forças portanto o eletromagnetismo e as forças nucleares fortes e fracas falta a gravidade portanto o grande problema em aberto da física é unificar a gravidade com as outras forças mas a questão é a partir dessas forças parecem tão diferentes que parece impossível combiná-las mas nós hoje sabemos por exemplo eletricidade e magnetismo parecem muito diferentes mas na realidade são dois aspectos do mesmo fenómeno o eletromagnetismo e as forças nucleares à partida parecem muito diferentes mas hoje em dia sabemos que são o mesmo fenómeno e como e o que eu penso é que o que se passa com estes paradigmas na aprendizagem é precisamente o mesmo a dificuldade a dificuldade é que a partir da pessoa ver o simbólico o evolucionista o conexionista parecem completamente diferentes mas como é que a pessoa pode unificar estas coisas mas aquilo que nós sabemos hoje que não sabíamos há 20 anos é que a um nível mais profundo estes métodos são todos extremamente simples extremamente semelhantes na simplicidade todos eles aliás isto é engraçado porque há milhares e milhares de algoritmos de aprendizagem hoje em dia e todos os anos saem mais dezenas de milhares mas todos têm as três mesmas componentes e nós percebemos o que é que são estas componentes é o primeiro e de certa forma o mais importante passo o primeiro componente é a representação é a linguagem matemática que nós utilizamos para representar os conceitos que vamos aprender os seres humanos temos as linguagens como a portuguesa e o inglês etc na programação há o Java o Python o C nem necessidade de sala há certas linguagens de representação incluindo as redes neuronais as redes bayesianas estas coisas portanto há a questão da linguagem portanto nós temos que unificar a representação essa parte do problema hoje em dia está essencialmente completamente resolvida nós sabemos como unificar completamente não foi fácil e houve muito quem dissesse que era impossível por exemplo para unificar o simbolismo e o bayesianismo é preciso unificar a lógica e a probabilidade que é um problema que já preocupa os filósofos e os matemáticos há centenas de anos e eu falei com pessoas ao longo do tempo é impossível há razões fundamentais porque não é possível unificar a lógica e a probabilidade unificámos esse problema está resolvido aliás a grande parte dos prémios que eu ganhei etc foi precisamente por ter unificado a lógica e a probabilidade que eu fiz com este objetivo mas que obviamente tem implicações para a matemática para a lógica para a filosofia etc portanto unificar estas cinco representações está feito o passo seguinte é a avaliação é qual é a função que diz quais é que são os modelos melhores e os piores por exemplo estás a cometer muito erros ou poucos ou qual é a quantidade de erro etc etc essas também temos que unificar mas essa parte é relativamente fácil por exemplo a probabilidade posterior dos baysianos tem basicamente as outras medidas como casos especiais simplificando um pouco essa parte não é fácil e finalmente há a parte da procura que é neste espaço de hipótese definido pela minha representação com essa função objetiva chama-se mesmo a função objetiva há um processo de procura ou de otimização para encontrar a melhor e agora os diferentes paradigmas usam diferentes métodos por exemplo a procura discreta o gradient descent que é uma forma de procura contínua que usam os redes neurnais o crossover que é o que usa os algoritmos genéticos portanto também temos que unificar esses e há mais uma vez maneiras de fazer isso tudo portanto neste momento já estás a ver que unificar os cinco paradigmas se calhar não é assim tão difícil
José Maria Pimentel 00:53:29.86mas como é que tu unificas por exemplo paradigmas tão diferentes como o conectivista e o simbolista ou seja o conectivista que é o do GCPT impressiona-nos quando a pessoa começa a fazer perguntas e percebe que sai de lá uma resposta escorreita mas como tu explicavas há bocadinho aquilo é um modelo aquilo não tem por base aquilo que nós poderíamos chamar um entendimento análogo ao entendimento humano aquilo é simplesmente um modelo que vai procurar a palavra mais provável de surgir a seguir o modelo simbolista é completamente diferente disto porque é o modelo mais próximo lá está da lógica e de conceitos abstratos e tem por base a dedução invertida que tu falas no livro eu estou a perguntar isto porque há aqui uma pergunta mais profunda embutida nesta é que a minha intuição é que isto é muito a maneira como o nosso cérebro funciona é precisamente a combinação entre estas duas coisas se quiseres as heurísticas baseadas na nossa experiência com uma camada de lógica por cima e é do diálogo entre estas duas que resulta a razão humana mas não faço ideia como é que o nosso cérebro faz isto e muito menos sei como é que algoritmicamente se pode fazer isto aliás
Pedro Domingos 00:54:27.36a ideia básica é muito simples e é a seguinte a representação básica nos métodos simbólicos são as regras as regras são coisas do tipo se A e B e C e D então é por exemplo se o paciente tem este sintoma e aquele e aquele então o problema é a diabetes portanto regras é a representação fundamental nas redes neuronais a representação fundamental é o neurónio e o neurónio o que faz é multiplica os inputs por pesos e se estiver acima de um determinado limiar dá 1 se não dá 0 e agora a questão é como é que unificas estas duas coisas muito simplesmente a regra é um caso especial do neurónio eu com o neurónio consigo implementar qualquer regra e posso ainda mais ter pesos e a implementação é a seguinte os meus sintomas dou o mesmo peso a todos eles portanto é um caso muito simples somo e se tenho 10 sintomas a soma tem que ser 10 e isto implementou a regra portanto eu sei como implementar regras simbólicas com neurónios portanto estas duas representações que parecem a partir de muito diferentes regras simbólicas e neurónios no seu cérebro intuitivamente são muito diferentes matematicamente não são matematicamente são extremamente parecidas portanto este é um exemplo pequeno há depois como eu ouvi uma série de outras questões mas este é um pequeno exemplo de como é que este processo é feito então deixa-me fazer outra pergunta que de certa maneira
José Maria Pimentel 00:55:42.54relacionada com esta mas liga àquilo que tu falavas há bocadinho da dificuldade destes algoritmos em generalizar olhando para este desafio de encontrar um algoritmo mestre por outra perspectiva ou seja esquecendo por momentos estes 5 paradigmas e pensando como é que consegues replicar o cérebro humano o nosso cérebro parece mesmo com as suas muitas imperfeições ter essa capacidade que estes modelos de tipo chat GPT não têm de dar saltos na paisagem aquilo que tu chamavas generalizar chegar a uma conclusão que é diferente daquilo que aconteceu nos últimos 20 minutos o exemplo da condução que tu davas há bocadinho estás a guiar acontece uma coisa completamente diferente do que tu aconteceu nos últimos 100 dias e tu consegues na mesma lidar com ela porque consegues dar esse salto lógico como é que tu consegues combinar no fundo esse parece-me ser o grande desafio como é que tu consegues combinar as propriedades destes modelos de linguagem com essa capacidade lógica de generalizar
Pedro Domingos 00:56:32.68precisamente portanto todos estes métodos são capazes de generalizar senão não era aprendizagem o que define a aprendizagem automática é generalizar portanto se tu tens uma base de dados de pacientes e dos seus sintomas diagnósticos e a única coisa que faz é ir buscar então isso é uma base de dados não é indigência artificial claro indigência artificial é quando tens agora a questão é qual é de generalizar para longe se quiser de generalizar para longe precisamente o problema de todos em cada um destes paradigmas os melhores algoritmos que nós temos hoje só generalizam para perto e por isso é que eu penso nem toda a gente concorda mas para mim parece-me relativamente claro que mesmo que nós consigamos unificar os melhores algoritmos de todos estes paradigmas é melhor do que cada um deles individualmente mas continua só a generalizar para perto e agora a grande questão é precisamente mas generalizar para longe o que é que falta exato isto é uma questão para mim fascinante porque dá 70 anos desde o princípio do campo que nós temos andado sempre o que é natural a adaptar ideias de outros campos para este campo de ansiedade artificial mas eu penso que finalmente as ideias fundamentais da ansiedade artificial não vão vir de um desses campos têm que ser inventadas autonomamente digamos assim mas obviamente isso é muito mais difícil agora como é que isso poderá ser feito uma das áreas em que eu estou a trabalhar é precisamente uma abordagem nesse sentido nós podemos aprender transformações por exemplo mudar a cor de um objeto é uma transformação era azul e pintei vermelho mudar a forma é outra transformação pôr umas costas num banco e transformar numa cadeira é uma transformação e há uma área da matemática chamada área da simetria que lida com a combinação de transformações e aliás é uma das áreas centrais na matemática hoje em dia e centrais na física a física moderna existe à base destas chamadas simetrias por exemplo uma simetria de um quadrado é rodal de 90 graus 180 270 360 uma simetria de um círculo é rodal de qualquer ângulo porque rodal de qualquer ângulo deixa-o na mesma figura portanto esta ideia de simetrias é extremamente importante na física e na matemática aliás este modelo que eu estava a falar o Standard Model que é a base da física hoje em dia é basicamente um conjunto de simetrias portanto o que eu estou a fazer é aplicar essas ideias no contexto da aprendizagem automática em que a ideia é nós vamos descobrir transformações a partir dos dados por exemplo isto é uma caneca é vermelha mas se eu mudar o vermelho para azul continua a ser uma caneca mas se lhe tirar a pega passa a ser um copo e o ponto essencial é o seguinte aprender transformações individuais a partir de dados razoáveis não é difícil tu comparas duas coisas que são ambas canecas e dizem ah então esta transformação não faz diferença tu comparas por exemplo a minha cara assim com a minha cara rodada de 20 graus e diz ah isto continua a ser a tua cara portanto isto nós sabemos hoje fazer agora o ponto essencial é que com esta teoria dos grupos de simetria eu agora posso fazer a composição das transformações eu digo assim ah eu vi ali uma caneca que era verde em vez de vermelha mas eu já sei que mudar a cor não faz mal e também vi aqui uma caneca que era estreita em vez de longa mas também se não faz mal e agora eu vi pela primeira vez uma caneca que é estreita em vez de longa e verde em vez de vermelha mas combinando essas duas coisas eu sei que uma caneca verde e estreita também é uma caneca e agora esta combinação de duas transformações eu posso fazer uma combinação de centenas de transformações e o que eu tenho ao fim dessas centenas de transformações é um objeto que parece completamente diferente do inicial superficialmente mas eu tenho razões fortes para saber que é o mesmo portanto descobrirmos estas transformações e depois fazer a sua composição é uma maneira de fazer relacionações muito mais longe por exemplo imagens de gatos é um caso ainda hoje em dia é difícil reconhecer gatos porque os gatos são um exemplo famoso porque o YouTube está cheio de vídeos de gatos porque as pessoas gostam de vídeos de gatos eu sei disso eu por acaso
José Maria Pimentel 01:00:30.08nunca apanhei esses vídeos mas ouço sempre dizer isso
Pedro Domingos 01:00:32.18o que é bom portanto mas o problema é que mesmo com esses milhões de vídeos de gatos reconhecer gatos continua a ser extremamente difícil porque os gatos são incrivelmente flexíveis os gatos podem-se pôr em posições completamente esquisitas e tu quando olhas para uma imagem de um gato numa posição esquisita imediatamente és capaz de dizer lá isto sim é um gato ou não isto é uma imagem esquisita generada pelo mid-journey num gato que é fisicamente impossível como é que tu fizeste isso? 01:00:59.90Tu sabes que há movimentos das articulações que são permitidos e outros que não são e esse movimento é uma transformação é uma destas simetrias portanto eu quando giro o meu cotovelo continuo a ser eu mas se o girar na direção errada só se eu tiver partido nós sabemos quais é que são essas possibilidades e agora fazendo
José Maria Pimentel 01:01:17.70a composição e tu conheces isso desculpa interromper tu conheces isso não só de olhar para gatos conheces isso de olhar para todo tipo de animais mesmo para objetos quer dizer da tua experiência no dia a dia
Pedro Domingos 01:01:26.84não mas precisamente outro exemplo de transformação é eu vi estas coisas aplicarem-se a vacas e agora estou a ver um cavalo ou um elefante eu vejo pela primeira vez um hipopótamo nunca tinha visto um hipopótamo mas por ver a semelhante a centuripopótamo e o elefante e o rinoceronte imediatamente aplico uma série de coisas como por exemplo quais é que são os movimentos possíveis ao hipopótamo que eu sabia aplicarem-se ao elefante e por exemplo no caso de um gato posso ver um gato numa posição completamente diferente das anteriores que eu vi que eu já tinha visto porque é uma combinação de movimentos dos diferentes membros da cor do pelo da cara etc etc que eu não tinha visto mas eu vi cada uma delas e sei que são compatíveis portanto eu penso que desta forma e agora obviamente há algoritmos concretos para fazer isto nós vamos conseguir aliás já estamos a conseguir descobrir formas de fazer generalização que vão muitíssimo mais longe fazem saltos muito maiores na paisagem do que os métodos atuais
José Maria Pimentel 01:02:21.14esse é um método pelo que tu descreves parece que justamente o método pode ter muito potencial nos carros de condução automática por exemplo
Pedro Domingos 01:02:27.18e na robótica aliás eu penso
José Maria Pimentel 01:02:28.68mas já me parece ter menos utilidade noutros campos mais enfim intelectuais chamemos-lhe assim quer dizer ou seja para dar o exemplo óbvio quando se escuta este tema eu acho que os exemplos mais comuns é pensar um algoritmo ao qual tivesse sido fornecida a mesma informação que o cérebro do Einstein por exemplo recebeu seria capaz de descobrir a teoria da relatividade seria capaz de dar aquele salto e de propor uma explicação que e este é um exemplo bom porque na verdade era uma explicação que não existia nem estava em certo sentido próxima das opiniões que existia ou seja é um bom exemplo porque é um daqueles raros casos na ciência que não é um salto incremental que é um salto bastante grande e isso será suficiente intuitivamente parece-me que não mas enfim eu também não sou desta área
Pedro Domingos 01:03:08.04não eu diria intuitivamente parece-me que sim aliás eu penso que precisamente a ideia de aliás hoje em dia uma área popular aliás já dá muitas décadas mas hoje em dia ainda mais popular de tentar fazer descobertas científicas utilizando algoritmos de aprendizagem sim e por exemplo as leis de Kepler já foram redescobertas por algoritmos de aprendizagem
José Maria Pimentel 01:03:27.22ah não sabia disso interessante
Pedro Domingos 01:03:28.62mas não as leis de Newton mas eu tenho um método que é capaz de descobrir as leis de Newton e aliás uma das coisas que está na minha lista de coisas a tentar fazer é redescobrir a teoria da relatividade o que a maior parte das pessoas diriam que é impossível mas precisamente por exemplo o Douglas Hofstadter que é uma pessoa muito famosa um dos analogistas mais conhecidos ele tem um livro em que um dos capítulos é mostrar como as grandes descobertas da ciência foram feitas por analogia e é verdade incluindo a relatividade incluindo a relatividade sim sim nós já sabemos se nós tivermos sobrevamos fazer analogia pelo menos um certo tipo de analogia em princípio somos capazes de descobrir a teoria de relatividade só utilizando a analogia na prática além da analogia é preciso outros componentes portanto mais uma vez
José Maria Pimentel 01:04:12.44pois mas é que não era só a analogia no fundo era a analogia combinada com com a lógica desde logo
Pedro Domingos 01:04:16.62mas nós sabemos combinar a analogia com a lógica pois lá está pois lá está sim certo
José Maria Pimentel 01:04:22.88mas é verdade sim sim a analogia tem um peso tem um peso gigante não é suficiente por si só aliás ando a ler a biografia do Da Vinci do Walter Isaacson exatamente do Walter Isaacson e é muito giro e o Da Vinci era um exemplo muito interessante um tipo que tinha uma capacidade de criar analogias quase super-humana mas depois faltava-lhe faltava-lhe a parte matemática desde logo e faltava-lhe uma literacia científica que o impediram de ir mais longe mas ao mesmo tempo é incrível a capacidade que ele tinha para traçar analogias
Pedro Domingos 01:04:49.66a ideia do Douglas of Statter e aliás este termo analogizer ou analogizante ou analogista em português que eu utilizo no livro foi ele que criou esse termo e ele considera-se assim próprio um analogista e a teoria da lei aliás essa é a teoria do livro é que tudo desde o senso comum as coisas mais pequenas no dia-a-dia até às grandes aspectos científicos é apenas analogia eu penso que isso é um exagero mas a energia claramente é um dos componentes essenciais incontornáveis mesmo o Jeff Hinton disse que as redes neuronais são melhores do que os métodos simbólicos porque fazem raciocínio analógico mas depois não explica como é que fazem o raciocínio analógico portanto há aí uma falha qualquer mas tu estavas a dizer nestas descobertas com uma relatividade a coisa que impressiona é o salto como é que foi dado esse salto e o salto é dado por analogia a pessoa vai a estas descobertas aliás há muitas outras que o Douglas of Statter não fala no livro e o que levou a pessoa a dar o salto foi a certa altura reparou numa semelhança entre duas coisas que anteriormente ninguém tinha relacionado por exemplo entre a eletricidade e o magnetismo ou no caso de Newton entre o que se passa no céu e o que se passa na terra a unificação que ele fez foi entre a mecânica celeste e a terrestre que supostamente eram completamente diferentes e o que o levou o salto dele às vezes as pessoas não sabem isso pensam lá ah caiu uma maçã aliás mesmo que tivesse sido cair a maçã o salto dele foi dizer lá ah isto é uma história apócrifa mas usando a história apócrica por efeitos ilustrativos qual é o salto é dar-se conta da semelhança entre a maçã e a lua e dizer ah tanto a maçã como a lua estão a ser influenciadas por gravidade na realidade a maneira como ele fez o salto que tem a ver com o teu ponto também é preciso o cálculo ele sabia qual é que era o valor da aceleração na superfície da terra já o Galileu tinha medida etc etc portanto e ele também sabia qual era o valor na sua teoria que ele nessa altura já tinha mecânica qual era a aceleração da lua ao rodar em torno da terra portanto a direção mas essas acelerações são diferentes o grande passo o salto foi quando disse ah mas se a gente pegasse na lua e começasse a aproximar da terra e ela continuava a orbitar quando ela estivesse à superfície da terra qual é que era a aceleração e de subito revelou-se que a aceleração era a mesma da maçã e nesse maçã ah então se calhar a força a que está sujeita à lua e a força é a mesma portanto houve um salto analógico mas foi um salto analógico fundado no cálculo
José Maria Pimentel 01:07:16.30lá está exatamente é essa combinação e do ponto de vista psicológico enfim é difícil imaginar outra maneira de dar esses saltos na paisagem que não há analogia não é? 01:07:25.42exato não há milagres é a ponte exatamente não há milagres é aquilo que te permite fazer a ponte de uma e eu acho que se nós pensarmos na maior parte das ideias que nós temos individualmente vêm todas desse tipo de analogia de repente enfim aliás na verdade parte do nome deste podcast perguntam-me muitas vezes tem a ver eu não lhe chamo de analogias mas chamo-lhe intersecções entre áreas diferentes porque às vezes ao estás a discutir uma área tens insights que são úteis para outros e a inteligência artificial é um bom exemplo disso como tu explicas estes cinco paradigmas sim estes cinco paradigmas têm todos inspiração noutras áreas Pedro olha para acabar havia um tema que não queria deixar de falar até porque sei que tens uma opinião forte em relação a ele que é da questão dos perigos da inteligência artificial que tem sido muito discutido agora e depois tem sempre muita visibilidade dos médias porque depois tens alguns exemplos muito vistosos como aquele tipo que era engenheiro da Google e que em 2022 disse que aquele chatbot deles o Lambda que era senciente ou seja ele não disse que tinha consciência mas que sentia depois tens o Yuval no arar e tens o depois o Elon Musk com declarações do género enfim há sempre toda esta conversa em torno até do chamado conceito da singularidade que é de repente no fundo é quase o contrário do que nós estivemos a dizer porque nós estivemos a falar das dificuldades em chegar a uma inteligência geral e aqui é achar que aquilo que já existe pode produzir essa espécie de mega inteligência pela propriedade de se conseguir ir reproduzindo e portanto uma vez atingindo esse estado tornar-se incontrolável a ideia que eu tenho é que este termo e esta ideia é mais discutida fora da área da inteligência artificial do que propriamente por quem está dentro dela apesar destes exemplos mais vistosos
Pedro Domingos 01:08:57.80precisamente a grande preocupação com os perigos de inteligência artificial vem das pessoas que não sabem nada de inteligência artificial
José Maria Pimentel 01:09:02.88o que não quer dizer atenção desculpa interromper o que não quer dizer que não devam ser ouvidas acho eu ou seja o que quer dizer é esse ponto é importante o ponto que estás a fazer diz-nos alguma coisa o facto dos principais críticos virem de fora não quer dizer imediatamente que eles não devam ser ouvidos mas
Pedro Domingos 01:09:14.90e além disso hoje em dia e isso é diferente daqui a alguns anos já há críticos pelo menos pessoas a preocuparem-se com isto que vêm de dentro do campo que é também o que tem levado a esta atenção portanto uma parte da atenção vem do facto de pessoas como Elon Musk que são muito famosas preocuparem-se com isso mas outra parte vem de pessoas como por exemplo Joshua Benji e o Jeff Hinton que são dois grandes líderes precisamente do conexionismo manifestarem esta preocupação ah isto se calhar é perigoso portanto a pessoa também deve compreender porque é que estas pessoas que sabem de inteligência artificial se começam a preocupar com isto mas a realidade é que 99% das pessoas em inteligência artificial fazem trabalho dia-a-dia que está muito longe destas preocupações todas e por boa razão a ideia de que isto vai conduzir a alguma catástrofe é absurda mas eu acho que é importante nós compreendemos quais é que são os perigos reais e os perigos imaginários o meu ponto não é que não há perigos reais porque há é que atualmente as pessoas estão preocupadas com os imaginários e isso distrai-nos dos reais e pior ainda há uma panóplia de perigos com que as pessoas se preocupam desde os de muito longo prazo que é a extinção e a singularidade e o terminator e essas coisas até os de muito curto prazo que é a desinformação a perca de empregos enviesamentos etc, etc e portanto estes são perigos muito diferentes cada um deles tem que ser discutido individualmente mas a solução geral ironicamente é sempre temos que pôr limites na inteligência artificial temos que regulamentar temos que fazer moratórias temos que não deixar e o que é irónico é que os perigos reais da inteligência artificial derivam todos da inteligência artificial ser demasiado estúpida a estupidez é que é perigosa o que é que queres dizer com isso? 01:10:58.98é porque os problemas da inteligência artificial derivam dos sistemas de IA não serem suficientemente inteligentes eles cometem erros desde os mais curto prazo aos mais longo prazo potencialmente porque são demasiado estúpidos e aliás nós podemos já ver alguns exemplos concretos disso mas o meu ponto é o seguinte esta ideia de limitar a inteligência artificial para conter os perigos é precisamente o oposto do necessário para diminuir os perigos da inteligência artificial o que nós temos que fazer é torná-lo o mais inteligente possível por exemplo aliás escolhe vamos falar primeiro dos perigos de curto prazo
José Maria Pimentel 01:11:32.78ou dos de longo prazo talvez curto prazo
Pedro Domingos 01:11:34.72curto prazo por exemplo os enviesamentos aliás isto já é uma coisa que é muito falada daqui a 10 anos portanto a desinformação e o desemprego é mais recente mas a ideia dos enviesamentos é que os sistemas de limites artificial têm enviesamentos que perpetuam os enviesamentos humanos em relação à raça em relação ao sexo etc e há uma série de exemplos que devemos ter visto porque estão sempre a aparecer nos mídias antigos em que ah olha este sistema de reconhecimento facial discrimina contra os negros porque dá resultados piores do que para os brancos o problema não é que o sistema tem enviesamentos o problema é que o sistema tem menos dados e é mais difícil reconhecer caras escuras porque o contraste e a cor são extremamente importantes portanto o que nós precisamos não é como agora o AI Act que a União Europeia vai passar proíbe a utilização de entesias de arte social para reconhecimento de facial é uma estupidez inacreditável o que nós queremos não é proibir porque isso tem de facto montes de aplicações e outras o que temos é que melhorar esses temas para saberem reconhecer cada indivíduo o melhor possível independentemente da raça ou do sexo ou seja o que for portanto e um exemplo ainda mais mundano quando eu hoje faço um pedido de crédito cartão de crédito ou de empréstimo para comprar uma casa etc etc pelo menos aqui na América hoje em dia a análise disso é feito por algoritmos de aprendizagem que aprendem a prever se tu vais pagar as tuas dívidas ou não a partir dos dados e mais uma vez isso é uma área portanto com uma grande história de dizer lá ah tu tens preconceitos contra as pessoas desta raça porque não lhe das empréstimos ou das empréstimos aos homens mas não às mulheres mas tipicamente o que acontece neste caso é sempre que o sistema é demasiado estúpido não tem senso comum o sistema nem sequer sabe o que é raça ou sexo ou o que é uma casa não sabe nada isto é assim fez uma regressão linear caso mais simples e o problema é que uma regressão linear
José Maria Pimentel 01:13:27.66tem uma inteligência limitada mas oh Pedro eu acho que pode ser mais do que isso eu concordo com o teu ponto enfim e até do ponto de vista genérico irrita-me sempre quando se tenta proibir quando se pode melhorar mas neste caso pode haver algumas situações em que quer dizer no fundo o que estes algoritmos fazem não é muito diferente da mente humana não é muito diferente daquilo que nós fazemos estereotipando e o problema dos estereótipos é que são-nos muito úteis aliás nós não vivíamos estereótipos sem esse tipo de heurísticas só que depois podem perpetuar discriminações porque se tu vives num mundo em que pessoas com determinada característica são prejudicadas e se tu mantiveres esses estereótipos vais mantê-los e portanto não me choca que tu em algumas situações possas impedir a utilização de determinadas ferramentas que serão sempre estereotipantes independentemente dos dados não é?
Pedro Domingos 01:14:12.52não, mas precisamente os órgãos de aprendizagem não são sempre estereotipantes independente dos dados
José Maria Pimentel 01:14:18.66ou seja, o que eu quero dizer é imagina que tu tens os Estados Unidos é um exemplo óbvio os negros têm em média o rendimento inferior ao dos brancos claro que essa coisa de negros e brancos é muito discutível mas enfim usando essa simplificação um algoritmo de um banco se usar a cor da pele como variável vai tender a dar em média pior nota a um negro do que a um branco e tu dir-me ah sim, mas pode-se tornar um modelo mais complexo introduzindo outras variáveis claro, não é? 01:14:41.90eu estou a falar do serão sempre casos pontuais mas não me choca que em alguns casos tu possas limitar quer dizer, porque no fundo é um objetivo maior
Pedro Domingos 01:14:48.58não, mas precisamente isso é um ótimo exemplo é um exemplo muito simples e muito claro penso eu portanto qual é o problema e qual é a solução? 01:14:55.48o princípio geral que eu estou aqui a dizer é que a maré de resolver o problema é tornar o sistema de licença social mais inteligente e não menos sim neste caso tornamos o sistema mais inteligente se por exemplo se a variável licencial é o rendimento então o que nós queremos é que o sistema utiliza essa variável como um dos inputs e depois prevê a partir do rendimento e ignora a cor da pele ah, claro pronto, pronto porque o rendimento uma vez condicionado a cor da pele torna-se irrelevante sim isto é aliás um exemplo perfeito se o que nós queremos é não discriminar na base da raça ao estarmos a proibir isto o que estamos a fazer é causar a discriminação em vez de evitar aliás estou a omitir aqui uma parte importante que é o seguinte historicamente nos Estados Unidos havia muita discriminação na base da raça e depois isso foi proibido por lei nos anos 60 mas depois havia o fenómeno chamado redlining que é eu quero discriminar contra ti por ser negro e vou utilizar o teu rendimento como uma proxy da tua raça e então as leis proíbem utilizar essas coisas como por exemplo o código postal diz assim isto é um exemplo real não podes usar o código postal para fazer a previsão de se deves ter um empréstimo para comprar porque isso é uma proxy da raça mas agora olhando para isto do ponto de vista de um sistema de exenso artificial eu quero utilizar o código postal porque é utilizando o que torna a raça irrelevante se eu proíbo utilizar o código postal causa o resultado mais racista
José Maria Pimentel 01:16:16.76não, o que eles não queriam era que utilizasse nenhum dos dois
Pedro Domingos 01:16:18.68não, mas aqui vem outra questão importante que é a seguinte eu quero utilizar eu banco eu não sou racista eu quero apenas prever se tu vais pagar o teu empréstimo ou não e o código postal é uma variável relevante independentemente da raça e o rendimento é uma variável importante independente da raça portanto eu devo utilizá-las para tomar boas decisões agora se há correlações entre essas variáveis e a raça isso é outra questão não sei qual é as expressões em português mas estas são na América de disparate impact que é os resultados são diferentes para raças diferentes o disparate impact não implica discriminação não confundir a correlação com a causalidade claro claro este é um erro aliás nestes artigos todos a falar de investimentos sistematicamente as pessoas fazem esta confusão entre a correlação e a causalidade há um resultado diferente para diferentes raças que não é causado por racismo e se a gente tenta resolver o problema proibindo o sistema ou tentando mais uma vez há uma data de investigação nisto que é modificar o sistema para não ser racista o que nós estamos a fazer é modificar o sistema para ser racista na outra direção o que nós devemos fazer é fazer o sistema que faz a decisão prevê a variável decisão baseada nas variáveis relevantes utilizando por exemplo o método de baseano e aliás há aqui outra decisão extremamente importante que as pessoas nunca fazem isso aqui é a seguinte tem a ver com essa ideia que está a dizer portanto da perpétua aos envisamentos se os dados de que eu estou a aprender se o meu conjunto de treino são as decisões tomadas por seres humanos e o que eu estou a aprender é reproduzir as decisões deles obviamente vou copiar os enviasamentos deles isso é má ideia às vezes é o mais fácil a boa ideia é eu estou a fazer a previsão de na realidade a pessoa pagou o empréstimo ou não e a realidade é a realidade
José Maria Pimentel 01:18:05.20mas a realidade também pode traduzir enviasamentos sociais digamos assim
Pedro Domingos 01:18:08.82pois pode mas isso é um problema diferente aliás não compete a intensidade artificial resolver esse problema claro que não compete aliás isto é o que eu defendo algumas pessoas discordam mas é o que nós pretendemos da aprendizagem automática é que nos dê uma imagem correta do mundo modificar o mundo para ser o que a gente quer isso é diferente
José Maria Pimentel 01:18:30.16claro e depois podes decidir o que fazes com essa imagem não é?
Pedro Domingos 01:18:34.02aliás se eu quero resolver esse problema por exemplo de haver preconceitos que levaram a pessoas de raças terem menos empréstimos ou terem menos dinheiro o primeiro passo é o ter dados e modelos que mostram exatamente o problema e o que ele é e a dimensão do problema não é modificar os dados criando modelos que fazem de conta que o problema não existe que é uma ideia absurda mas é uma ideia muito difundida hoje as googles e as facebook etc todas têm grupos que estão a tentar pôr estas ideias nos produtos deles
José Maria Pimentel 01:19:01.30e depois há outro perigo que eu acho que é um tópico bom para fazer a ponta entre estes perigos de curto prazo e de longo prazo porque de certa forma está nos dois campos que é o perigo dos algoritmos serem controlados por pessoas com mais intenções digamos assim o exemplo mais óbvio são governos de países que são ditaduras por exemplo e aí já é possível argumentar que mesmo os algoritmos atuais e sobretudo algoritmos futuros se controlados por pessoas mal intencionadas podem ter ou organizações mal intencionadas podem ter efeitos negativos mesmo os atuais no caso de fake news por exemplo mais óbvio mas sobretudo assumindo algoritmos mais desenvolvidos isso pode acontecer independentemente de nós comprarmos a tese da singularidade ou seja isto não pressupõe no fundo o ponto é este argumento não pressupõe haver um takeover do próprio algoritmo tipo 2001 ou Odisseia no espaço
Pedro Domingos 01:19:47.82não é? 01:19:48.46não mas precisamente nos perigos de longo prazo a grande preocupação das pessoas como Elon Musk etc etc é as máquinas tornarem-se espontaneamente más 2001 é o perfeito exemplo Terminator os filmes de Hollywood estão cheios das entidades sociais espontaneamente más e dos robôs do X-Machina etc etc mas esse é o perigo imaginário as máquinas propriamente projetadas e nós podemos discutir isso não se podem fisicamente tornar espontaneamente más isto é fisicamente matematicamente impossível o perigo real é precisamente estes dois é as máquinas serem utilizadas por pessoas com más intenções quer sejam criminosos ou regimes totalitários etc etc ou a indecência artificial que faz coisas más por não compreender o que é que deve fazer que mais uma vez o problema é demasiada estupidez e não demasiada inteligência portanto as pessoas estão preocupadas com as máquinas decidirem espontaneamente matar as pessoas porque querem ser elas donas do planeta isto é ficção científica a solução a solução para este problema imaginário é limitar a inteligência o problema real é a máquina não perceber o que é que deve fazer e fazer grandes disparates a solução para isso é tornar as máquinas mais inteligentes não menos
José Maria Pimentel 01:21:01.88ou seja recapitulando no que toca a singularidade ou seja no que toca a haver uma espécie de takeover das máquinas o teu ponto é que isso é matematicamente impossível pela razão de que isso não está na função objetiva deste algoritmo ou seja estão restringidos a sequer seguir esse caminho e portanto isso não pode ocorrer para geração espontânea
Pedro Domingos 01:21:17.28precisamente isto é assim as pessoas que se preocupam com isto tanto os leigos como os especialistas o que lhes dá assim uma certa trepidação é esta ideia de que quando as máquinas aprendem e essa é que é a ideia da singularidade é a máquina produz uma máquina mais inteligente depois produz outra ainda mais inteligente e agora vão-se tornar infinitamente inteligentes e nós perdemos completamente o controle das máquinas mas o primeiro ponto importante é a inteligência e o controle são coisas completamente diferentes nós podemos ter uma inteligência infinita que está completamente controlada via essa função objetiva portanto as pessoas que não sabem que os sistemas de inteligência social são controlados por uma função objetiva têm grandes confusões as pessoas que sabem o que nós estamos a fazer em aprendizagem como já falámos há pouco é evolução acelerada e a evolução para as máquinas nos servirem a cada momento em cada geração as máquinas os programas que não nos servem morrem aliás uma analogia simples é a seguinte se tu tens cão não preocupas que o teu cão te vai matar esta noite de repente o que é um cão o cão é um lobo domesticado e os lobos matam pessoas agora nós evoluímos os lobos para se tornarem cães e por isso não temos mais eles agora se tu não tens medo do teu cão porque é que havias ter medo de um robô que foi ainda muito mais completamente evoluído por nós para nos servir
José Maria Pimentel 01:22:37.50pois é que eu acho que o teu ponto vai mais longe do que isso porque o cão enfim eu tenho duas cadelas e tenho a certeza no sentido heurístico de que elas não vão fazer nada mas não é impossível há casos de cães que agredem os donos porque lá está tem às vezes até por ter um tumor no cérebro ou qualquer coisa não é? 01:22:52.96quer dizer isso é possível o teu ponto é que aqui é impossível
Pedro Domingos 01:22:55.52não é impossível mas não é razão para não termos cães ou para nos preocuparmos que não nos vão matar e aliás se eles têm tumores é precisamente um mau funcionamento portanto estas coisas podem acontecer por mau funcionamento agora fisicamente é possível por exemplo é possível esta caneca agora de repente saltar para o ar as leis da termodinâmica não poluídem que a caneca salte para o ar mas a probabilidade é tão pequena que é uma perda de tempo que nós preocuparmos com ela
José Maria Pimentel 01:23:20.58desculpa interromper-te mas no paradigma atual sim mas no paradigma e tu desenvolvas um algoritmo mestre mesmo um risco pequeno tem um impacto tão grande que justifica considerá-lo não é? 01:23:30.82não, mas isto é assim a não ser que o risco seja zero aí já não justifica precisamente
Pedro Domingos 01:23:35.28isso é um ponto importante aliás penso que todos concordamos o risco destas coisas acontecerem é pequeno mas não é zero agora aqui a duas questões é quanto mais pequeno menos nos vamos preocupar com ele e agora quanto menor a probabilidade e portanto eu diria que a probabilidade de uma destas coisas acontecer é 0,00 mas há quem diga que é 0,1 e há quem diga que é 10%
José Maria Pimentel 01:23:57.84mas tu estás desculpa Pedro tu estás a falar aqui especificamente do sistema ganhar autonomia?
Pedro Domingos 01:24:01.44não, não por exemplo do sistema aliás os sistemas internacional por natureza própria têm sempre alguma autonomia e o que as pessoas dizem ah mas esse sistema nós portanto vamos agora para a ocupação das pessoas que são mais socialistas portanto ah sim, sim nós dissemos quais é que são os objetivos do sistema mas o sistema depois escolhe os seus sub-objetivos ou interpreta mal sim, sim precisamente mas interpretar mal é precisamente estupidez a cura para o interpretar mal não é limitar a inteligência é aumentava precisamente o risco e esse não é probabilidade zero isso acontece todos os dias é o sistema interpretar mal o que é muito pouco provável é o sistema espontaneamente decidir que ah, eu agora quero ser senhor do mundo isso é baseado numa má analogia entre as máquinas e as pessoas
José Maria Pimentel 01:24:47.20mas desculpa existir neste ponto é muito pouco provável ou é impossível porque o meu entendimento é que é impossível porque não está na função objetiva e portanto não mas se calhar estou a ser mais papista que o Papa não é impossível
Pedro Domingos 01:24:57.76porque por exemplo pode haver bugs pode haver uma onda de radiação que modificam os bits portanto ao nível do fisicamente impossível estas coisas todas podem acontecer é inverosímil mas não é impossível exato é inverosímil mas não é impossível mas a questão importante é a seguinte nós quando decidimos o que é que queremos fazer com a sociedade social temos que ver quais é que são os perigos e quais é que são as oportunidades e as probabilidades e a quantidade de benefício estes perigos mesmo que nós os aceitemos como reais são insignificantes comparados com os benefícios potenciais aliás uma das coisas irónicas para mim é o seguinte é que as pessoas dizem ah mas a intensidade social pode causar a extinção da humanidade é muito mais provável que a intensidade social salve a humanidade da extinção do que a causa eu percebo
José Maria Pimentel 01:25:42.54eu percebo o teu ponto mas um dos viésos do nosso cérebro é o viés da negatividade e que não vem não surge do nada nós temos mais falsos positivos do que falsos negativos porque se olharmos para o lado e na savana e parece que vimos um leão mas não é um leão se calhar tivemos ali uma libertação da adrenalina escusada mas se tiver um leão ao nosso lado e nós não virmos o leão vamos dar-se para melhor portanto nós temos um preocupa-nos mais a negatividade porque dizendo de outra forma o risco de um extermínio da humanidade não é recuperável e o benefício de teres mais gente no mundo ou de um aumento da longevidade é bom mas não é simétrico é o que eu quero dizer
Pedro Domingos 01:26:17.40precisamente mas continuando com essa analogia que acho que é uma boa analogia aliás não é uma analogia este fenómeno todo vem precisamente da nossa amígdala a disparar com o instinto do medo que vem precisamente disso é mais vale ter medo dos arbustos quando eram só arbustos do que não ter medo quando estava lá o leão leão te mata mas agora repara há aqui dois aspectos é a evolução calibrou esse fenómeno se tu tivesses tanto medo de tudo o tempo todo que nem sequer saias da tua caverna morrias de fome claro, claro absolutamente sim, sim portanto a gente tem que fazer essa alimentação
José Maria Pimentel 01:26:52.30não é limitado claro, claro exato mas o meu ponto é que não é absurdo tu temeres por muito improvável que seja um outcome que levasse ao fim da humanidade
Pedro Domingos 01:27:00.14não, não é absurdo não é absurdo mas há outra questão em que é importante é o nosso cérebro foi condicionado para a evolução para um estado do mundo muito diferente do atual e na evolução na pré-história os benefícios possíveis eram muito limitados nós hoje em dia podem acontecer coisas que melhoram o mundo dez vezes mais mil vezes mais nós evolucionamos só pensávamos no medo porque o melhor que nos podia acontecer era alimentávamos reproduzíamos morríamos
José Maria Pimentel 01:27:26.00o upside era limitado sim
Pedro Domingos 01:27:27.44em certo inicial tem maiores downsides mas também tem maiores upsides e nós temos que tomar ambos em consideração
José Maria Pimentel 01:27:33.14sim, sim absolutamente sim, sim bom Pedro só esta parte estava um episódio por si só mas eu não quero tomar mais o teu tempo sei que tens um livro para recomendar não sei qual é nem sei se está estritamente relacionado com o tema enfim o teu livro já está implicitamente recomendado mas para lá disso não sei o que é que vais recomendar o que é que nos traz
Pedro Domingos 01:27:49.92um livro que eu recomendo que eu gostei que eu gostei imenso e que está relacionado com a indecência artificial embora não seja sobre a indecência artificial é precisamente deste autor o Douglas Alstatter o livro mais famoso dela é um livro chamado God of Lesherbach An Eternal Golden Brake e é um livro muito famoso que saiu nos anos 70 e eu conheço uma série de pessoas que se tornaram investigadores em indecência artificial por terem lido este livro
José Maria Pimentel 01:28:09.92pois eu tenho a ideia que é muito influente nesta área
Pedro Domingos 01:28:12.12eu quando o li já me tinha decidido ir para a indecência artificial portanto não teve esse efeito mas é um livro fascinante o livro é basicamente sobre o Teorema de Godel
José Maria Pimentel 01:28:20.46tens de explicar o que é o Teorema de Godel
Pedro Domingos 01:28:21.96aliás toca em vários pontos em que a gente aqui falou mas portanto o Teorema de Godel é um teorema aliás ele tem vários teoremas mas o Teorema mais conhecido é um teorema que mostra que há teoremas que são verdade mas não podem ser provados é um teorema fundamental na matemática porque no princípio dos séculos 20 o grande objetivo da matemática enunciado pelo Hilbert que era o maior matemático dessa altura etc era nós vamos automatizar tudo aliás automatizar é uma versão moderna disto era a ideia é todas as verdades matemáticas do universo nós vamos prová-las
José Maria Pimentel 01:28:56.66prová-los axiomas sim
Pedro Domingos 01:28:58.44temos axiomas e depois provamos a partir dos axiomas o que o Godel provou que deixou as pessoas completamente estarecidas eu estou a omitir aqui alguns por nós importantes mas simplificando o que ele mostrou foi que há coisas que são verdade matematicamente verdade há verdades matemáticas que não podem ser provadas isto é uma coisa que é preciso da pessoa pelo menos para quem sabe a matemática é mais banal é um bocado como é que isso pode ser possível como é que pode ser possível provar tal coisa existe um teorema que é um teorema portanto há um sistema formal há certos axiomas e o que ele mostrou para ser um bocadinho mais preciso aliás relevante para a instituição social é que os sistemas de axiomas que nós utilizamos na matemática todos têm certas coisas em comum básicas por exemplo a existência de números naturais a partir do momento em que tu presumes que existem números naturais que vão até ao infinito em qualquer sistema que tenha este axioma há teoremas verdadeiros que são indemonstráveis verdadeiros mas indemonstráveis portanto isto foi um terramoto na matemática e há também muita gente que diga que ah a intensidade de sala é impossível por causa do teorema de Goddell o que é um disparate completo mas isso é outra conversa mas portanto é um teorema fascinante em si mesmo e com montes de ramificações e implicações e o livro basicamente Goddell Escherbach é o Goddell e o Escher e o Bach e o que ele faz é uma analogia entre o teorema de Goddell e a arte do Escher e a música do Bach na realidade na realidade o que ele usa é a arte do Escher e a música do Bach para explicar o teorema de Goddell quer dizer o livro em si é divertidíssimo porque tem diálogos entre Aquiles e a tartaruga quer dizer é um livro extraordinariamente imaginativo e tem puzzles matemáticos e faz uma coisa extraordinária que é o livro lógica e como demonstrar a teoria mas que é uma coisa que tu pensas que é demasiado extremamente seca chata e ele torna-me numa coisa completamente fechante e ao mesmo tempo explica as coisas a sério como deve ser tu sabes ao contrário muitos livros de divulgação que pronto fazem assim umas analogias e a pessoa pensa que percebeu mas não percebeu é um livro é um livro em que tu percebes aquilo a sério e vês também pronto e depois ele passa uma grande parte a falar da inteligência social em parte por causa da relação com isto e em parte porque pronto ele também sim interessa é um livro extremamente divertido de se ler e em que tu aprendes uma quantidade enorme de coisas sobre várias áreas desde a matemática até a inteligência social até a música até a arte
José Maria Pimentel 01:31:24.08sim que giro e ele tem o mais recente que é precisamente sobre a analogia não é?
Pedro Domingos 01:31:27.96sim portanto ele tem vários livros o que o tornou famoso foi o Godelashabach e é um dos grandes bestsellers de sempre este livro mais recente que eu falei dele chama-se Surfaces and Essences e o subtítulo é Analogy as the Fuel and Fire Thinking portanto a analogia como o combustível de um fogo do pensamento e o que é engraçado é que o Godelashabach saiu nos anos 70 quando dominava a inteligência artificial simbólica e é 100% sobre a inteligência artificial simbólica e sobre simbolismo é sobre lógica e precisamente como é que se manipulam símbolos para chegar a conclusões e a semântica e a sintaxe mas o livro em si é uma analogia e 20 anos depois ele publica um livro a mostrar que isto é tudo analogia portanto o germe da analogia já estava suposto que era sobre simbolismo e lógica e etc aqui estava no título é exatamente o título é Analogia entre os três
José Maria Pimentel 01:32:19.52e por acaso agora só para terminar é onde cheguei a perguntar há bocado aquele tipo da Google que em meados do ano passado ainda não tinha saído sequer o 7GPT era sobre o 7Bot deles que veio dizer que ele se tinha tornado senciente qual é a tua interpretação é o que é que parece uma coisa muito bizarra vista de fora
Pedro Domingos 01:32:34.02parece bizarra vista de fora mas eu sei o que é que aconteceu aliás é bastante simples que é o seguinte portanto aliás quando ele diz sentente o que ele quer dizer com isso é consciente
José Maria Pimentel 01:32:42.88consciente o que ele disse o que ele disse
Pedro Domingos 01:32:44.24foi que eu estou a falar com uma pessoa isto não é um computador e ele mostrava os diálogos que tive é impossível ter um diálogo destes com algo que não tenha consciência portanto tem consciência e agora a revelação etc etc agora porquê que isto aconteceu? 01:33:01.14por uma combinação de coisas muito interessante a primeira coisa que nós já falámos é que estes sistemas portanto era parecido com a chat GPT tem uma capacidade inacreditável de parecer humanos eles estão apenas a gerar a palavra seguinte mas estão a gerar imitando os seres humanos e tem uma capacidade enorme de fazer isto portanto voltando mais uma vez ao Markov Bot do meu filho não deve surpreender ninguém que quando tu falas com um destes temas ele te parece humano porque foi otimizado para parecer humano
José Maria Pimentel 01:33:28.54ele em certo sentido parece mais humano do que muitos humanos porque é a média e agora
Pedro Domingos 01:33:33.06o que tu faz e o que ele fez é tu projetas sobre este sistema qualidades que os humanos têm mas que o sistema não tem incluindo a consciência as emoções os desejos as intenções essas coisas todas portanto esse é o primeiro passo e que é muito relevante hoje em dia portanto as pessoas continuam a fazer esta confusão mas também começam a descobrir as maneiras todas como o chat GPT na realidade não funciona como ser humano depois tu vais usando mais e percebes as limitações o que é ótimo aliás isso é que é bom que está a acontecer isso é muito salutar mas o outro passo foi que o passo final mas eu vou agora antecipar foi uma jornalista do Washington Post muito esperta que pegou neste tipo e fez uma história fez um grande escarcel disse engenheiro da Google declara que o sistema emergencial é consciente e a reação das pessoas é ah se isto é um engenheiro da Google não é um imbecil qualquer tem credibilidade e a partir daí pronto para ela foi um sucesso enorme centenas de histórias sobre isto portanto esperteza dela ou boa capacidade jornalística digamos assim mas porquê que isto aconteceu porque esse engenheiro da Google não foi um dos engenheiros da Google que são especialistas em aprendizagem automática porque os que são especialistas em aprendizagem automática aliás essas pessoas riram-se como eu morri quando todos nos rimos quando eu vi essa história caí da cadeira a rir esse foi um engenheiro da Google do grupo precisamente da Ethical AI ela queria entrevistar uma pessoa sobre isto foi o grupo da Ética de Inocência Social que é precisamente o pessoal que data destas coisas dos enviesamentos e não sei quantos que são pessoas que em geral não são especialistas em Inocência Social pelo menos a este nível e essas pessoas não quiseram portanto encaminharam a jornalista para este engenheiro que é apenas um engenheiro de baixo nível e francamente um imbecil que estava ali a fazer umas coisas aliás penso que nem sequer era um empregado permanente ou não sei muito bem qual era a posição dele mas portanto é um tipo muito mais ignorante sobre a Inocência Social do que as pessoas pensam que ele era portanto as pessoas deram à história dele uma credibilidade que ela de baixo e depois obviamente perdoe-me por aí mas enfim
José Maria Pimentel 01:35:36.54devia ter tido mais cuidado isto é o que sempre acontece nestas coisas e lá está ou estás descrevendo apenas como engenheiro a pessoa depois preenche o resto
Pedro Domingos 01:35:44.72precisamente as pessoas preencheram essas preencheram o resto erradamente e o que é muito importante porque sem isso não funcionava
José Maria Pimentel 01:35:52.48sim sim sem isso não vivíamos sem isso não dá exato Pedro olha obrigadíssimo ótima conversa exato e desafiamos-se obrigado obrigado este episódio foi editado por Hugo Oliveira contribua para a continuidade e crescimento deste projeto no site 45goraospodcast.com selecione a opção apoiar para ver como contribuir diretamente ou através do Patreon bem como os benefícios associados a cada modalidade o que é um vídeo-se no site o que é um vídeo-se no site o que é um vídeo-se no site o que é um vídeo-se no site o que é um vídeo-se no site o que é um vídeo-se no site