Hugo Penedones: A revolução da IA na Ciência (e a incrível história de um Prémio Nobel)

Data: Wed, 05 Mar 2025 06:30:00 +0000  ·  Duração: 01:38:09

Clica em qualquer parte da transcrição para saltar para esse momento no vídeo.

Hugo Penedones 00:00:00.00Toda a comunidade científica tinha acesso ao mesmo dataset. 00:00:03.26Este dataset do Protein Data Bank é público e todas as universidades do mundo têm acesso a isto. 00:00:09.90Se os simuladores numéricos que tiveres disponíveis forem suficientemente bons, tu podias, à partida, gerar dados infinitos e com qualidade quase infinita, não é? 00:00:18.84Não tenho, assim, especialmente InsideInfo, mas esse exemplo que deste do AlphaCell é um exemplo, digamos, público da Isomorphic Labs, que é esta spin-off da DeepMind, em que eles têm a ambição de conseguir modelar basicamente ao nível de uma célula.
José Maria Pimentel 00:00:37.48Olá, o meu nome é José Maria Pimentel e este é o 45 Graus, agora na rede de podcasts do Expresso. 00:00:43.78Apesar de já ter falado muito de inteligência artificial aqui no podcast, ainda não tinha explorado um tema que tem dado muito que falar. 00:00:50.92O impacto que ela está a ter, e vai continuar a ter, na descoberta científica. 00:00:54.98Os novos modelos de Deep Learning estão a revolucionar a ciência em várias áreas, desde a biologia, a física, meteorologia, engenharia de materiais. 00:01:03.66Este impacto da inteligência artificial faz sentido, na verdade, porque se nós olharmos para trás, os períodos de grande progresso na ciência estiveram sempre associados a novas tecnologias que vieram abrir novas fronteiras inexploradas em várias áreas. 00:01:16.82E, portanto, isto está a acontecer neste momento e vai continuar a acontecer no futuro. 00:01:20.90E dificilmente poderia ter melhor pessoa para falar do tema do que o convidado de hoje. 00:01:24.92O Hugo Penedones é licenciado em Engenharia Informática e Computação pela Universidade do Porto e é cofundador e atualmente CTO da Inductiva AI, que é uma empresa, como o nome indica, de inteligência artificial aplicada à ciência e à engenharia. 00:01:39.68Além disso, ele antes trabalhou na Google DeepMind, uma empresa de investigação nesta área, sediada no Reino Unido, onde ele esteve na génese de uma das maiores inovações nesta área, talvez a maior, o projeto AlphaFold, que é um algoritmo de previsão de estruturas de proteínas, que era até aqui um grande desafio da ciência, que levou em poucos anos à atribuição do Prémio Nobel da Química deste ano a Demis Assabis e a John Jumper. 00:02:03.70O Hugo foi membro fundador deste projeto, é aliás um dos autores do primeiro paper publicado sobre o AlphaFold. 00:02:09.26E como vão ouvir, o projeto tem uma história engraçada por trás. 00:02:13.06Porque começou quase como uma brincadeira, como parte de um hackathon, que é uma maratona de programação na DeepMind, quando o Hugo e colegas decidiram, por que não, dedicar-se ao problema de tentar adivinhar, através de algoritmos, a estrutura das proteínas. 00:02:27.66E o resto, como se costuma dizer, é a história. 00:02:30.40Durante a nossa conversa, falámos desta e de outras áreas em que a inteligência artificial está a gerar novas descobertas, desde melhorar a previsão do tempo, ao desenvolvimento de materiais inovadores, como supercondutores, e até ajudar a desenvolver reatores fiáveis de fusão nuclear, que é a eterna promessa que nos daria uma energia limpa e completamente ilimitada. 00:02:50.96Para além de tentar perceber em que áreas a inteligência artificial está a ter este impacto, tentei também, nesta conversa, compreender porquê. 00:02:57.86Porquê é que estes algoritmos estão a ajudar os cientistas? 00:03:00.58O que é que eles fazem de diferente do que os cientistas conseguiam fazer até aqui? 00:03:04.64E isto levou-nos a explorar uma questão inevitável. 00:03:06.86Até que ponto a inteligência artificial pode vir, no futuro, a substituir os cientistas no seu papel mais fulcral, mais elementar, que é o papel criativo da formação de novas hipóteses científicas, que, no fundo, é o que move a descoberta em frente. 00:03:19.86Se gostam de ciência e de tecnologia, este episódio é para vocês. 00:03:23.64E agora deixo-vos com o Hugo Penedones. 00:03:26.02Até à próxima.
Hugo Penedones 00:03:46.02Hugo Penedones, muito bem-vindo
José Maria Pimentel 00:03:55.78ao 45 Graus. 00:03:57.56Obrigadíssimo, José. 00:03:58.30É um prazer estar aqui. 00:03:59.18Nesta nova versão. 00:04:01.48Tu, já agora, não tem nada a ver com o tema de hoje, mas Penedones parece um apelido espanhol.
Hugo Penedones 00:04:07.52É? 00:04:08.36Não, é português, mas é muito específico. 00:04:12.54Eu penso que só pessoas da minha família têm esse sobrenome e pode ter tido origem numa pequena aldeia entre as os montes de algum antecedente meu ter vivido lá, mas é um nome português. 00:04:24.76É engraçado.
José Maria Pimentel 00:04:25.80Dá jeito, seria a tua família a única que tem esse apelido.
Hugo Penedones 00:04:28.74É muito prático para as pesquisas na Google, não é só fácil de encontrar. 00:04:32.90É só escrever Penedones. 00:04:34.64Ou Penedones. 00:04:36.18Bom, olhe, nós vamos falar de
José Maria Pimentel 00:04:37.74inteligência artificial na ciência, que é um tema que eu ainda não abordei diretamente aqui no podcast, embora já tenha falado muito de inteligência artificial, sendo que, na verdade, um dos enormes impactos que a inteligência artificial está a ter é precisamente na ciência, ou seja, nas descobertas científicas. 00:04:55.44Eu acho que, se calhar ainda não é muito conhecido, começou a ser conhecido este ano, porque houve basicamente quase 2 barra 3 prémios, Nobel que foram para esta área, mas ainda é uma área que está a emergir, com a qual tu tiveste um contacto muito direto logo de início, na DeepMind e com o projeto do AlphaFold ligado às proteínas, já lá vamos, e que deu depois origem a um prémio Nobel, e agora na tua empresa na Indutiva. 00:05:20.16Mas antes disso, explica-me e a quem está a ouvir o que é que é exatamente a inteligência artificial para a ciência e o que é que tem sido feito nesta área.
Hugo Penedones 00:05:27.28Exatamente. 00:05:27.82Então, a inteligência artificial é uma área de investigação com tradição já bastante antiga, não é? 00:05:33.32Tem, se calhar, pelo menos 8 décadas já, já vem dos tempos do Alan Turing, ali na década de 1940, e inicialmente relacionava-se com a questão de será que conseguimos ter máquinas, computadores, que replicam algumas destas propriedades que os humanos e os animais também demonstram que, por enquanto, sobretudo na altura, não se tinha conseguido replicar por máquinas. 00:06:03.50E essas capacidades são ligadas, por exemplo, à perceção visual, não é? 00:06:09.16Perceber o mundo à nossa volta, à compreensão do som e da linguagem e também à capacidade motora, não é? 00:06:19.10De conseguirmos locomotora. 00:06:23.54Pronto, isso era o holy grail, não é? 00:06:26.94O grande objetivo da inteligência artificial conseguir ter máquinas ou até robôs que estejam mais assim num espaço físico que tenham essas características. 00:06:35.48Mas nós, como humanos, também usamos a nossa capacidade cognitiva para outros processos um bocadinho mais elaborados como, por exemplo, fazer ciência, não é? 00:06:44.28Ou descobrir mais coisas sobre o mundo. 00:06:46.28Sim, um bocadinho mais elaborados, por ser verdade. 00:06:50.20E então, agora, mais recentemente, começa a haver muito interesse em aplicar estes mesmos métodos de inteligência artificial que inicialmente se calhar foram desenvolvidos, já está para fazer, sei lá, reconhecimento de objetos ou geração de fala, não é? 00:07:09.10Para problemas científicos. 00:07:11.48Por exemplo, o exemplo que mencionaste num projeto que eu trabalhei que foi o AlphaFold era um problema de biologia, ou seja, perceber qual era a estrutura das proteínas, ou seja, dada uma sequência de aminoácidos conseguir prever a sua estrutura tridimensional, que é isto que vai determinar a função que esta proteína tem no corpo. 00:07:31.02Por exemplo, há proteínas especializadas no transporte de moléculas, por exemplo, a hemoglobina. 00:07:37.56Há proteínas especializadas que fazem parte do sistema imunitário, por exemplo, os anticorpos são proteínas, ou enzimas, enzimas ajudam na catálise de novas reações químicas. 00:07:48.94Na verdade,
José Maria Pimentel 00:07:49.56é quase tudo proteínas. 00:07:50.38É quase tudo proteínas. 00:07:51.50Então,
Hugo Penedones 00:07:51.88a partir do mesmo alfabeto básico de aminoácidos, que só existem 20 ou 21 diferentes, da maneira como
José Maria Pimentel 00:08:00.38são encadeados numa sequência longa de aminoácidos, pode dar origem a proteínas com estruturas diferentes e que vão ter funções radicalmente diferentes nas células. 00:08:10.32E isso é, desculpa interromper-te, isso é um tema engraçado porque as proteínas, como tu estavas a dizer, são quase a matéria prima da vida complexa, não é? 00:08:20.26Ou seja, o nosso corpo, no fundo, quase todas as funções ou todas as funções têm por base proteínas. 00:08:26.62E uma especificidade das proteínas, que eu acho que é relativamente pouco conhecida por quem está fora do meio, é que elas são tridimensionais e a maneira como elas estão construídas, como elas se dobram, daí o nome alfa-fold, é fundamental para a função que elas têm. 00:08:41.14E o desafio que existia aí, se eu entendo, é que tu até aqui não conseguias prever ou previas de uma maneira muito limitada a estrutura que as proteínas tinham, conhecendo só os aminoácidos, portanto as moléculas complexas estavam na sua base. 00:08:53.30Era isso, basicamente. 00:08:55.00Exatamente. 00:08:55.72Não se sabia
Hugo Penedones 00:08:56.52a partir da sequência de aminoácidos, que podemos imaginar como sendo uma sequência de letras prever qual seria a sua estrutura dimensional, ou seja, as coordenadas de todos os átomos envolvidos. 00:09:11.22O único método que existia era determinar isso experimentalmente, ou seja, em laboratório, mas isto é um processo lento e caro. 00:09:18.64Tentativa e erro. 00:09:20.34E então, durante algumas décadas, a comunidade científica foi acumulando uma base de dados, chama-se o Protein Data Bank, onde foram angariando estes resultados experimentais, para esta proteína, com esta sequência, a estrutura que se foi determinada experimentalmente foi esta. 00:09:37.44E tem lá as coordenadas de todos os átomos, etc. 00:09:40.46Mas isto foi feito para algumas dezenas de milhares de proteínas durante várias décadas, décadas, mas o número de sequências de proteínas conhecidas em células de seres vivos era mais da ordem dos 2 milhões. 00:09:54.90Ou seja, havia muitas proteínas para as quais a estrutura não era conhecida e para a qual não havia nenhum método computacional que fosse suficientemente preciso para fazer essa previsão com um nível semelhante ao que seria obtido experimentalmente. 00:10:11.58Até que finalmente o AlphaFold, em particular a segunda versão, o AlphaFold 2, conseguiu começar a fazer previsões com um nível de accuracy muito próximo da experiência em laboratório.
José Maria Pimentel 00:10:29.02E antes de irmos ao como, como é que isto foi feito, qual é a vantagem de ter acesso a este conhecimento? 00:10:35.90Ou seja, porquê é que nós precisamos de saber, de conseguir prever a estrutura das proteínas com base nos aminoácidos? 00:10:41.42Que problemas é que isso está a permitir resolver ou vai permitir resolver?
Hugo Penedones 00:10:45.68Pode acabar por ter várias aplicações, incluindo no desenho de novos fármacos para curar doenças, em particular com estas versões mais recentes em que, para além da previsão da estrutura da proteína, se começa a conseguir prever como é que ela interage com outras biomoléculas, seja DNA ou RNA ou uma pequena molécula de um fármaco que se está a tentar ver se se liga com essa proteína. 00:11:12.06Ou seja, este AlphaFold 2 já foi bastante importante só para permitir que a comunidade científica, todos os biólogos, tenham acesso a isto e possam construir mais conhecimento por cima, mas em particular nas aplicações que podem ter relevância para a saúde humana, por exemplo, o desenho de novos fármacos, exige este passo ainda adicional de saber como é que elas interagem, ou seja, não é só aquela visão estática da estrutura, é ver como é que ela se liga com outras moléculas e como é que interagem.
José Maria Pimentel 00:11:46.32seja com outras moléculas do corpo, seja com fármacos, não é? 00:11:49.54Sim, exatamente. 00:11:50.32E aliás, há uma série de doenças neurodegenerativas, por exemplo, que têm que ver com a acumulação de determinado tipo de proteína numa zona do cérebro, eu presumo que seja fundamental tu perceberes exatamente como é que são essas proteínas e como é que elas interagem depois com tratamentos potenciais, basicamente. 00:12:06.38a tendência atual tem sido
Hugo Penedones 00:12:08.34uma certa digitalização também deste mundo físico, não é? 00:12:13.82Ou seja, a partir do momento em que nós conseguirmos gradualmente simular o comportamento destas moléculas, destas macromoléculas orgânicas, de modo muito mais rápido e controlado num computador, vai acelerar muito o processo por comparação a um processo experimental no laboratório que pode demorar semanas ou meses ou num desenho de novo fármaco que pode ser um processo que demora anos, não é? 00:12:37.28Sim. 00:12:38.14Agora começa a haver muitas empresas de o que eles chamam AI Drug Design em que tentam acelerar este processo por terem métodos computacionais que conseguem ser suficientemente precisos e eficientes e rápidos para evitar parte do esforço que se faria em nível no laboratório.
José Maria Pimentel 00:12:56.76Entre outras coisas devem permitir que tu testes pelo menos numa primeira fase esses fármacos potenciais através de simulações por exemplo, não é? 00:13:06.10Ou seja, sem teres de fazer um ensaio clínico.
Hugo Penedones 00:13:08.68Exatamente. 00:13:10.16E um modelo de machine learning pode ainda fazer previsões mais rápidas do que ter que fazer uma simulação e falaremos mais à frente de simulações, não é? 00:13:19.78Neste domínio o tipo de simulações que se fazem que se chama dinâmica molecular tem mesmo que representar todos os átomos da molécula e tipicamente pôr muitos átomos de água à volta dessa molécula por exemplo uma proteína e simular em muito detalhe no próximo 10 levantado a menos 9 segundos qual é o passinho que isto vai dar. 00:13:47.68Então estas simulações tipicamente são muito muito pesadas. 00:13:51.66Os métodos de machine learning podem ajudar a fazer previsões muito mais rápidas sem ter que fazer uma simulação da dinâmica temporal toda permitindo que se faça uma triagem inicial dos fármacos mais promissores para depois se tivesse que se fazer simulações mais pesadas e com mais precisão já se faça sobre um número mais reduzido das coisas mais promissoras e só a partir daí também se passa para o próximo nível de fazer in vitro ou seja fazer no laboratório e depois testes em animais humanos etc mas é basicamente fundamentalmente é alargar a base da pirâmide em que pode-se explorar um número maior de candidatos potenciais para por exemplo um fármaco de modo muito rápido e passar para a fase seguinte para este funil só as coisas mais promissoras
José Maria Pimentel 00:14:39.26Sim, isso é interessante e já vamos falar mais à frente do impacto de machine learning especificamente aqui mas eu neste caso eu acho que é interessante depois vamos falar também de outros casos mas no caso do AlphaFold até porque tu tiveste envolvido de início já lá vamos perceber como é que funcionava este modelo o modelo de inteligência artificial que está por trás do AlphaFold como é que compara por exemplo com os modelos que hoje em dia estão na cabeça de toda a gente os chamados large language models os LLMs como o 7GPT o Cloud Gemini e afins como é que a arquitetura daquele modelo compara com estes modelos que são basicamente redes neuronais e depois com aquele tipo de algoritmo do Transformer por cima como é que eles comparam sim pronto
Hugo Penedones 00:15:22.52o AlphaFold também teve várias versões eu se calhar falo até primeiro da versão 1 que foi na qual eu estive envolvido em que a versão inicial era uma combinação entre previsões do modelo machine learning e um processo de otimização ou seja pesquisa ou seja o que fazia inicialmente era tentar alterar um segmento da proteína ou seja focando só imaginemos em 10 aminoácidos nesta região vou alterar um bocadinho a forma a minha previsão para esta estrutura aqui só localmente e perguntava-se dada esta nova configuração perguntava-se o que se chama uma função de energia baseada em digamos em leis da física será que isto ficou melhor ou pior e basicamente isso é calculado em função de sei lá se houver ali coisas que deviam sentir forças repulsivas por causa do campo eletromagnético ou não consegue-se saber que aquilo não é uma boa configuração ou seja é difícil encontrar a boa configuração mas não é assim tão difícil avaliar a energia isso pode-se calcular então é por isso que pode-se ser visto inicialmente como um processo de otimização é só tenho que ir alterando gradualmente a forma da proteína para ir encontrar a configuração de energia mínima o problema é que isto é super combinatorial as formas possíveis que eu posso dar daqueles ângulos todos entre aminoácidos é tão grande que por um processo um bocadinho ingénuo de pesquisa é quase impossível então a primeira versão do Alpha Fold foi um bocadinho inspirada pelo sucesso anterior até do Alpha Go que era para aqueles jogos de estratégia de tabuleiro
José Maria Pimentel 00:17:08.74é um jogo chinês sabe o erro o gol que foi durante muito tempo era o próximo passo depois de ter conseguido bater o no xadrez o gol como é o jogo mais complexo era o passo seguinte e depois o Alpha Go conseguiu ganhar os seres humanos no fundo exatamente
Hugo Penedones 00:17:27.26o gol era mais complexo por ter mais um número de jogadas possíveis a cada instante superior ao xadrez e então a árvore de pesquisa começa a ficar enorme mesmo pronto então a ideia era tentamos ter aqui um modelo de machine learning a informar de modo digamos mais inteligente menos ingênuo que alterações é que são razoáveis de imaginar ok esta sequência diminuasse é mais ou menos parecida a outras que ele viu nos dados de treino então talvez seja aqui uma forma uma forma hélice ou aqui seja mais plana etc mas isto tem a desvantagem de ser um processo mais lento tem que estar a fazer constantemente previsões e avaliar se ficou melhor rejeitar se ficou pior etc a grande vantagem do no alfa fold 2 foi que se conseguiu fazer um treino que se chama mais end to end ou seja a rede neuronal agora conseguia diretamente prever a partir da sequência de aminoácidos prever as coordenadas dos átomos todos sem ter que estar a fazer este processo iterativo de otimização e alguns dos componentes desta arquitetura da rede neuronal do alfa go do alfa fold 2 são parecidos a estes lares de línguas models por exemplo tem lá uma coisa parecida a um transformer mas também tem coisas mais específicas à biologia por exemplo para além da sequência de aminoácidos também se passa como input alguma informação que se chama multiple sequence alignment ou seja informação de outras sequências de proteínas conhecidas e algumas correlações estatísticas basicamente é para saber se aquela proteína tem muitas semelhanças com outras proteínas que se conhecem de outras células de animais ou de seres vivos e essa informação também é agregada e depois há coisas que se exploram na representação em si da proteína ou seja aqui nós não estamos a prever a próxima palavra a previsão que se está a fazer é tipicamente ou todos os ângulos entre cada aminoácido ou seja ali um ou dois graus de liberdade entre cada aminoácido consecutivo e tem que se prever pode ser representado por um ângulo então quando se faz esse tipo de previsões que são quantidades mais numéricas ou neste caso até mais geométricas também se podem embutir na rede neuronal que ela tem que respeitar algumas propriedades geométricas por exemplo a desigualdade triangular é uma propriedade matemática ou algumas mas quer dizer o que? 00:20:16.04explica lá basicamente quer dizer que a soma de dois lados de um triângulo é sempre maior ou igual que o comprimento do outro lado que sobra ou seja porque se a soma destes dois fosse maior do que a aresta que falta não era um triângulo certo ou seja é uma restrição que consegue garantir que não está a produzir dados que fazem sentido é uma restrição geométrica que se a rede neuronal não tivesse a respeitar e a prever coisas que estão desconexas basicamente os aminoácidos não iam estar ligados de forma realística deixa-me perguntar uma coisa
José Maria Pimentel 00:20:52.02este modelo do Alpha Fold e outras áreas que nós vamos falar porque na verdade está a ver imenso progresso em áreas completamente diferentes desde a química à física ao desenho de materiais até à previsão do tempo áreas completamente diferentes isto tem a ver com no rasgo de alguém que se dedicou a este projeto e inventou uma maneira nova de fazer com a tecnologia existente ou tem a ver com o facto de hoje em dia haver algoritmos de AI nomeadamente de machine learning que não havia antes e que permitem fazer este trabalho e no fundo interpretar estes dados de uma maneira que não era possível antes não isto exige muita experimentação ou seja o Alpha Fold foi feito
Hugo Penedones 00:21:38.00por uma equipa e que foi evoluindo e foi crescendo no Alpha Fold 1 inicialmente éramos 5 6 pessoas depois chegou até 10 15 e no Alpha Fold 2 se fores ver a lista dos coautores acho que é 35 ou seja é um trabalho é um projeto grande durante vários anos em que dezenas de pessoas estão a experimentar imensas ideias e a maior parte delas não vão não vão resultar e algumas vão falhar e vão vão vão resultar e vão ser combinadas com outras ideias e fazer um progresso gradual ou seja nós desde o início do projeto íamos medindo uma métrica que basicamente te diz quão boa é a tua previsão atual num conjunto de dados escondidos que não estamos a usar para treinos e aquilo o progresso foi muito gradual não foi não foi nada miraculoso foi tipo quase semana a semana ir subindo um bocadinho ir subindo está melhor a 1% agora tivemos aqui uma ideia melhorou a 2% e e porque o que é que isto demonstra toda a comunidade científica tinha acesso ao mesmo dataset este dataset do Protein Data Bank é público e todas as universidades do mundo têm acesso a isto e essas arquiteturas de redes neuronais mesmo os transformers e outras também eram do conhecimento público então porquê que não houve outro grupo a fazer algo imediatamente com o mesmo sucesso
José Maria Pimentel 00:23:07.28é porque aquilo exige muito trabalho específico para este problema mas os transformers é de 2018 sabe o erro é uma coisa 2017 sim ou seja é uma coisa muito recente em termos científicos
Hugo Penedones 00:23:18.10sim mas o o projeto AlphaFold começou em 2016 foi curiosamente começou informalmente num projeto hackathon em que dois colegas juntamente comigo começamos a brincar com a ideia e depois tornou-se o nosso projeto full time conta-lhe essa história
José Maria Pimentel 00:23:37.86que essa história é muito gira ou seja para quem nos está a ouvir acho que já ficou claro mas tu tiveste envolvido no início deste projeto AlphaFold que depois veio a dar origem ao prémio Nobel deste ano exatamente em reconhecimento do progresso científico que se fez na descoberta da forma das proteínas e tu tiveste depois enfim que foste à tua vida mas quando estavas na Google DeepMight tiveste envolvido no início mesmo no início do projeto e és um dos coautores do primeiro paper salvo erro do primeiro paper certo e isso começou dessa maneira completamente informal que vocês estavam a fazer um hackathon que no fundo para quem até ouvir é uma espécie de um jogo de programação um desafio de programação
Hugo Penedones 00:24:20.24Exato nas empresas de tecnologia existe muito este tipo de eventos internos que chamam hackathon em que durante três ou quatro dias se dá liberdade total aos engenheiros ou aos investigadores de escolher um tema de um projeto arbitrário e trabalhar naquilo e fazer depois um pequeno demo uma apresentação sobre aquilo e então nós houve o meu colega Rich Evans que até já tinha trabalhado comigo também na Microsoft anteriormente e o Marek Barinsky tivemos esta ideia de trabalhar no problema de protein folding porque havia um jogo feito pela Universidade de Washington no grupo de David Baker que foi o outro laureado com o prémio Nobel de Química em 2024 em que eles estavam a testar o conceito de gamification do problema de protein folding ou seja havia uma interface gráfica em que os humanos podiam ir carregar no currato no ecrã e alterando a forma da proteína e vendo aquele score aquela pontuação baseada na tal função de energia se estava a aumentar ou a diminuir era um bocadinho um conceito assim experimental será que os humanos conseguem desenvolver a intuição para isto e abordar o problema como sendo um jogo e como a DeepMind tinha tido sucesso nesta área de treinar modelos de machine learning para jogar jogos inicialmente naquela console Atari que tem muitos joguinhos tipo Space Invaders Montezuma Revenge etc e depois no Go a nós pareceu-nos natural olha vamos experimentar aplicar a este jogo que tem por trás um problema científico pronto obviamente durante aqueles 3 dias não se fez nenhuma descoberta científica nenhum breakthrough mas gerou o suficiente entusiasmo para a liderança da empresa inclusive o Demis Asavis e o Mustafa Solman que também era um dos fundadores decidirem que nós íamos começar a trabalhar aquilo na tempo inteiro e juntaram-se mais duas ou três pessoas que tinham trabalhado no AlphaGo ou trabalhado em análise de fala etc
José Maria Pimentel 00:26:29.38ou seja vocês pegaram nesse jogo que tinha sido desenvolvido para seres humanos para ir mexendo nos parâmetros e perceber se a forma da proteína era mais estável ou mais instável não é se cumprir essa equação e vocês meteram a inteligência artificial a fazer isso exatamente que tem um poder de computação muito maior do que nós é uma destas ideias que em retrospectiva é um bocado óbvio como todas as boas ideias sim
Hugo Penedones 00:26:56.82aquilo depois o AlphaFold 1 e 2 na prática deixaram de usar esse jogo porque a representação da proteína como digamos uma imagem através de todos os seus pixels que é o que os humanos consomem para o computador é um bocadinho ineficiente há representações
José Maria Pimentel 00:27:12.28muito mais compactas e melhores estás a gastar demasiado espaço escusadamente
Hugo Penedones 00:27:17.26mas foi foi um bom um bom ponto de arranque para gerar entusiasmo e começar a trabalhar aquilo a sério pronto o que foi também engraçado é que nós não tínhamos experiência nenhuma em biologia não é? 00:27:34.36ou seja eram pessoas que vinham de porque não é a tua área o meu background é engenharia informática e computação e os meus colegas também tinham backgrounds semelhantes nós na altura só tivemos aconselhamento de um professor de bioinformática de Londres da UCL o David Jones que basicamente nos deu umas noções básicas sobre o problema e algumas dicas de de coisas a evitar não é? 00:28:03.42como fazer uma avaliação rigorosa do nosso sistema etc então quando surgiu o primeiro resultado público porque há uma cada dois anos há uma competição mundial para comparar estes métodos computacionais de previsão de estruturas de proteínas quando os resultados aí acho que foram já não me lembro se foi anunciado em 2020 ou foi não acho que foi já em 2018 já não tenho certeza foi bastante surpreendente para a comunidade científica porque estávamos ali como um bocadinho os outsiders não é? 00:28:38.00não são biólogos ou bioinformáticos a fazer isto e obtivemos logo a primeira posição digamos nessa competição e a segunda edição no Alphafold 2 a melhoria ainda foi um salto incrível de performance que foi esse salto que depois justificou a atribuição do Prémio Nobel ao Demisa Sabes que é o CEO da DeepMind mas também estava envolvido na coordenação deste projeto e ao John Jumper que foi pronto um dos cientistas um dos investigadores principais neste projeto sim e o terceiro foi o que tu referiste há bocado o David Baker que é da Universidade de Washington que estava a trabalhar num problema quer dizer ele trabalha em tudo relacionado com proteomics mas em particular o Prémio Nobel foi atribuído mais ao progresso que ele fez no problema de protein design que é quase um bocadinho o problema inverso
José Maria Pimentel 00:29:39.00que não tem a ver
Hugo Penedones 00:29:43.40com prever qual é a forma a partir de uma sequência tem mais a ver quase com descobrir qual seria a sequência que ia gerar aquela forma desejada portanto se quisermos desenhar uma proteína com uma forma específica que vai ter uma certa função qual é a sequência de aminoácidos que nós temos que sintetizar para aquilo acontecer é ao contrário enquanto o alfafold
José Maria Pimentel 00:30:05.48tens a sequência de aminoácidos como é que consegues prever a forma da proteína que vai resultar ali esta é uma área engraçada porque é uma área não sei se isso é o futuro da ciência uma coisa aliás que já falei aqui no 45 graus algumas vezes mas é uma área ultra interdisciplinada porque junta no caso da biologia ou da química o que lhe quisermos chamar junta biólogos e lá está pessoas de programação que em muitos casos não têm nada a ver com aquela área originalmente portanto é por natureza uma área completamente interdisciplinada
Hugo Penedones 00:30:38.28sim por exemplo na DeepMind agora existe um grupo exclusivamente dedicado a isso a estes problemas de ciência e eu partilhei contigo alguns links para além do AlphaFold que era aplicado a biologia computacional existe esforços para coisas mais de química não orgânica por exemplo o desenho de novos materiais existem esforços para o controle de reatores de fusão nuclear ou seja perceber aprender a controlar o campo magnético que mantém o plasma estável
José Maria Pimentel 00:31:13.54sim que é uma coisa ultra delicada
Hugo Penedones 00:31:15.22exato ou seja existem tipicamente dois designs para estes reatores de fusão nuclear há uns que se chamam os Tokamaks são aqueles que têm forma de donut e há os accelerators que têm umas formas são mais fáceis de controlar mas têm umas formas muito esquisitas então o problema de design é mais difícil mas o de controle é mais fácil pronto mas no o que a DeepMind já trabalhou e tem um paper sobre isso é no Tokamak em que aí o problema é como é que se altera muito rapidamente o campo elétrico magnético que está à volta deste donut para a reação que está a correr ali para o plasma se manter no estado desejado e então aqui é quase de novo um jogo ou seja o estado do mundo é o que se pode medir sobre o estado do plasma a pontuação que eu estou a tentar maximizar neste caso é quanto tempo é que consigo manter isto estável e as ações ou seja os botões que eu posso carregar no joystick é como é que eu vou alterar este campo magnético aqui no reator
José Maria Pimentel 00:32:25.54isso é um número é um número imenso de parâmetros e como tu dizias que atuam que tem que ser calibrados em milésimos menos de milésimos de segundos
Hugo Penedones 00:32:34.80exato e então o que eles fizeram neste caso foi até existem simuladores para isto foi até em conjunto com um grupo na EPFL ou seja a Universidade Suíça em Lausanne que tinham conhecimento nesta área e tinham um simulador e a DeepMind fez a parte de aprender o modelo que controla o campo magnético sim mas agora existem as mais diversas aplicações em outras áreas por exemplo Weather Forecasting ou seja a previsão do tempo o eterno problema em que foi também uma aplicação fascinante porquê? 00:33:11.88porque atualmente para fazer essa previsão para o futuro nos próximos sei lá uma escala temporal por exemplo de 10 dias é preciso fazer simulações numéricas muito pesadas que podem envolver ter mesmo um supercomputador muitos computadores de forma coordenada a fazerem esses cálculos mas o que a DeepMind fez foi um modelo chamado Graphcasting que partiu de dados históricos que envolviam uma combinação entre simulação e medições experimentais da pressão da temperatura etc em diferentes partes do globo e aprendeu uma rede neuronal que consegue a partir do estado atual do mundo ou seja do que assumimos que fosse a pressão temperatura velocidades do vento etc no planeta prever qual será o estado do mundo daqui a 6 horas e essa previsão a partir do momento em que o modelo está treinado e bem treinado consegue ser feita tipo num minuto ou menos num computador quase normal e então isso permite fazer previsões muito mais rápidas e até simular um leque de possibilidades por exemplo quando tem um tornado um furacão que está ali a desenvolver na zona das caraíbas ou assim há sempre a questão onde é que isto vai para onde é que isto vai dirigir daqui a uns dias para poder avisar a população mas se envolve e há sempre alguma incerteza não é de quais são as condições iniciais e esses sistemas de fenómenos atmosféricos são ter aquela propriedade de serem caóticos ou seja pequenas perturbações às condições iniciais podem gerar resultados bastante diferentes então para uma pessoa ter a ideia de onde é que é mais provável aquilo ir parar convém fazer várias simulações perturbando um bocadinho as condições iniciais mas se cada simulação for muito lenta
José Maria Pimentel 00:35:07.16é difícil fazer muitas enquanto que se tivermos um modelo de machine learning que faz essas previsões muito rápido pode-se testar centenas ou milhares de trajetórias possíveis e ter uma estimativa de incerteza melhor esse caso eu acho um caso fascinante porque eu acho que mostra bem o potencial deste tipo de modelos e tem paralelos grandes com a maneira como os chat GPT funcionam e parecem ter aquela inteligência exuberante em algumas áreas é que pelo que eu entendo a maneira como tu fazias isto do modo clássico era no fundo não era com a inteligência artificial era de uma maneira matemática em que tu estimavas todas as equações estruturais que determinavam o clima tinhas de ter os parâmetros certos em cada equação estrutural e não só era um processo altamente lento e exigente em termos computacionais como ainda por cima depende muito da exatidão como é caótico como tu dizias da exatidão com que está a medida cada um daqueles parâmetros uma ligeira diferença já vai provocar um impacto completamente diferente e de repente vêm estes modelos de machine learning e o que fazem é uma coisa completamente diferente não vão estimar o modelo bottom-up dessa maneira estrutural vão sim olhar para os dados ao longo do tempo e estimar e detectar padrões exatamente e no fundo detectam padrões mas eles não estão verdadeiramente a estimar eu tenho estado a pensar
Hugo Penedones 00:36:22.80como é que explicaria isto com um exemplo suficientemente simples vou fazer aqui a experiência contigo para ver se funciona que é nós por exemplo quando estamos na escola secundária e aprendemos assim física de Newton há uma coisa que se aprende básica que é quando se um projétil ou seja mando digamos uma pedra uma bala com este ângulo inicial em relação ao chão e com uma dada velocidade digamos que é um ângulo de 45 graus 45 graus exatamente como é um problema tão simples e se abstrairmos todas as complexidades ou de atrito do ar ou de não haver objetos é uma coisa que se pode resolver analiticamente ou seja resolve-se uma equação e pode dizer ok isto vai cair aquela distância e vai cair naquele ponto então isto é uma solução analítica para um problema mas se agora mesmo tornar-se isto ligeiramente mais complexo ou seja agora estás a tirar uma pedra mas estás no meio de uma floresta já não há nenhuma equação analítica que tu possas resolver para dizer onde é que a pedra vai cair porque se mandares um bocadinho para o lado pode bater numa árvore e que aí já não vai até lá ao fundo ou se mandares com um ângulo um bocadinho diferente já não vai bater em nada e vai para ali ou seja terias de ter melhores equações no fundo ou seja já não há uma coisa que possas ter uma equação limpinha já tem esta complexidade aos objetos vai haver interação de objetos então aí passas para o regime de física computacional ou seja consegues simular e aí como é que consegues simular usas na mesma a mesma equação mas agora não assumes que consegues extrapolar até ao final da trajetória só vai extrapolar olha vou simular o que é que acontece daqui a 0,1 segundos e como aí ainda estás a assumir que não há interação com mais nada consegues saber qual é o próximo passo e se tivesse uma representação sei lá dos objetos que há ali à volta das árvores etc a cada passinho deste 0,1 segundo podes-lhe perguntar olha será que estou a colidir com uma árvore e se sim aplicas ali outra rega pronto isto agora já não vai em frente vai vai sofrer esta força de reação e vai cair ou seja simulação numérica em física envolve usar as mesmas equações mas estar a dar passinhos pequenos porque pode haver ali coisas a interagir umas com as outras num mundo mais complexo em que já não é só estás a mandar um projeto ele no vazio sem atrito sem obstáculos agora a analogia de machine learning seria não sabes as regras das físicas nem estás a simular passinho a passinho mas vou-te dar imagina 10 mil fotografias de sítios que têm árvores diferentes e uma representação com uma seta diferente de onde é que a pedra saiu e com que velocidade e tu vais aprender a dar a resposta
José Maria Pimentel 00:39:19.62instantaneamente exato e que é muito parecido enfim obviamente que eu vejo isto de fora mas tem de facto um paralelo grande com a maneira como os LLMs funcionam com os modelos de linguagem que durante muito tempo tu andaste a tentar ensinar naquela inteligência artificial mais clássica tentar programar colocando no modelo aspectos gramaticais lexicais etc para ele conseguir no fundo ter uma inteligência análoga à nossa e raciocinar da mesma forma e de repente acabaste por resolver o problema de uma maneira que não tem nada a ver que foi com estas redes neuronais em que no fundo o modelo está a detectar padrões e está a detectar a palavra seguinte e não está focado em tentar compreender bottom up de onde é que aquilo vem está simplesmente está a detectar padrões de uma maneira que é por um lado muito mais eficiente em termos de recursos porque se tu se tu programasses bottom up qualquer calculatória daquelas exigiria muito mais tempo e também é mais eficaz acaba por ter e estes modelos de previsão de tempo parecem pelo menos pela maneira como são descritos ser mais eficazes não é só serem mais rápidos e exigiria menos recursos parecem ser de facto mais eficazes do que os modelos clássicos
Hugo Penedones 00:40:26.04pode acontecer que sejam sim em ambos os casos tanto nas LLMs como nestes modelos para a realidade física são tipicamente treinados por aprendizagem supervisionada ou seja dá-se um certo input e garante-se que o modelo está a prever o output certo que era conhecido no caso da linguagem isto cria-se um bocadinho artificialmente no que se chama agora aprendizagem auto-supervisionada simplesmente por dizer vou prever a próxima palavra do texto e então a supervisão vem de graça porque a coisa que eu quero prever é simplesmente o que está a seguir no caso do dos dados por exemplo do weather forecasting prevê-se os pontos em todos numa grelha à volta do globo valores de pressão temperatura velocidade do vento etc pode às vezes ficar melhor do que a simulação em si às vezes até por beneficiar também de dados reais ou seja para um modelo de machine learning sejam dados sintéticos que estamos a passar ou dados reais experimentais para o modelo é a mesma coisa ele vai aprender não é? 00:41:44.64então se houver alguma limitação no modelo de simulação numérica em que não capta realmente a realidade ou seja sempre uma aproximação e conseguirmos complementar isso com dados reais experimentais o modelo de machine learning realmente pode até ser melhor do que a simulação porque beneficiou mais dos dados experimentais em que a simulação ainda não modelava muito bem por exemplo imaginemos que o simulador que se usa para isso não modela todos os fenómenos de turbulência no ar a um nível de detalhe suficiente porque senão seria computacionalmente impossível então a pessoa que escreve os cientistas que escrevem esse simulador dos fenómenos atmosféricos vão fazer simplificações vão ignorar olha eu só vou modelar cada espaço cada ponto do espaço dimensional com um cubo de sei lá um quilómetro por um quilómetro lá dentro vou assumir que é uniforme não há turbulência etc quer dizer que eles estão a fazer simplificações no simulador numérico e que portanto não vai simular exatamente a realidade mas o modelo de machine learning que é treinado a seguir podia combinar tanto os dados numéricos como os dados experimentais da realidade medições de balões que estão ali na atmosfera ou termómetros pelo mundo fora e aprender a combinar isso melhor
José Maria Pimentel 00:43:04.28e portanto é possível que até excedam a... 00:43:07.50os artigos no site da DeepMind dizem que sim mas enfim são os próprios estão a dar a notícia portanto não sei até que ponto é que vai ter-se há de verificar outra área em que tem em que há aqui um grande potencial é na detecção de novos materiais não é? 00:43:28.16ou seja usar estes modelos para detetar novos materiais que são usados hoje em dia em tecnologias de ponta desde a própria computação até sei lá painéis solares etc como é que isto funciona? 00:43:39.96porque as notícias dão conta da detecção de milhões de novos materiais potenciais claro que depois desse há só uma amostra pequena que pode ter real potencial mas fala-se até do potencial de coisa que eu tinha pedido para explicar materiais supercondutores que é um bocado também o santo grau a uma temperatura baixa como é que isto funciona?
Hugo Penedones 00:44:02.96vou só dar aqui a ressalva que obviamente eu não sou da área eu sou de informática não sou da área de química ou engenharia de materiais mas basicamente em química existe este espaço combinatorial de possibilidades enormes ou seja cada átomo pode interagir com um conjunto de outros átomos e criar novas moléculas então isto é o número de combinações possíveis para moléculas que poderiam existir e com propriedades diferentes é enorme se nós tivéssemos que tentar sintetizar estas moléculas uma a uma para descobrir uma que seja melhor em termos de alguma propriedade que seja desejável pronto seria um processo muito lento a partir do momento em que se tem métodos computacionais para fazer isto e foi o que a DeepMind também tentou fazer pode-se acelerar muito esse processo em particular no artigo que eles já publicaram acho que por enquanto só estão a prever quase uma medida de estabilidade ou seja será que este tipo de material é mais ou menos estável ou seja não se vai degenerar naturalmente mas a extensão natural desta investigação é conseguir prever mais propriedades do material por exemplo a sua condutividade mas espera desculpa antes diz aí explica-me só como é que isto funciona ou seja
José Maria Pimentel 00:45:22.34até aqui a ciência funcionava e nós conhecemos vários casos disso tentando recombinar até a nível atómico para desenvolver novos materiais quase uma coisa tentativa e erro porque é que de repente a inteligência artificial consegue fazer isto a uma escala muito maior que dados é que eles usam e como é que eles os tratam para descobrir estes materiais potenciais ou seja basicamente eles testam todas as combinações possíveis e depois vão ver se eles são estáveis ou não é isso? 00:45:48.98exato e conseguem fazer uma previsão de se é estável ou não
Hugo Penedones 00:45:52.40e conseguem por exemplo prever uma pequena alteração a esse material que tenha mais probabilidade de ser estável ou não e então fica de novo um bocadinho análogo ao problema do AlphaGo que é um espaço combinatório de muitas possibilidades exato em que eu consigo aprender treinar o sistema para dar a coisa um movimento mais provável e mais mais inteligente para aquele momento e tenho uma função de avaliação no jogo do AlphaGo do Go por exemplo no final quem ganhou a quem é que perdeu aqui teria que se aprender essa função objetiva mais em relação a essa probabilidade por exemplo é estável ou não e tinha que serenar o modelo com bases de dados de materiais já conhecidos que são estáveis e que não são para poder conseguir fazer essa previsão pronto mas lá está acho que agora a ambição deles é conseguir prever mais propriedades um material supercondutor seria um que tem basicamente resistência zero à passagem de eletricidade e que pronto poderia de novo eu não sou da área mas poderia ter muitas aplicações um dos exemplos mencionados às vezes é reduz muito o desperdício na transmissão de energia ou seja se eu tivesse uma central acho que o Demi já sabe estava a dar esse exemplo no outro dia se tivéssemos uma central fotovoltaica no deserto do Sara e quiséssemos transmitir a energia por cabo se calhar para a Europa há ali muita dissipação de energia porque os cabos vão aquecendo etc
José Maria Pimentel 00:47:27.02é uma coisa que a pessoa desculpa que o leigo não pensa mas de facto faz sentido
Hugo Penedones 00:47:30.68e o mesmo pronto então se tivéssemos materiais ainda por cima se fosse a room temperature à temperatura ambiente supercondutores esse desperdício não aconteceria e isso aplica-se também por exemplo ao desenho de novos computadores os data centers aquecem muito porque os computadores todos que estão ali a fazer contas estão a aquecer se tivéssemos materiais mais supercondutores que não tivessem a desperdiçar alguma de energia envolvida na computação sobre a forma de calor isso também não acontecia interessante sim
José Maria Pimentel 00:48:07.16porque aquilo exato porque o facto dos computadores aquecer é a energia que está a ser desperdiçada que está a sair exatamente ou seja primeiro teria poupar energia e por outro lado minimizar alguns efeitos secundários dessa energia que é desperdiçada como por exemplo teres de ter imagino eu a refrigeração desses data centers e afins isso é muito interessante lá está aqui o número de aplicações potenciais pelo menos ao dia de hoje é incrível tu há bocado falaste da questão da fusão nuclear é um tema que eu já abordei aqui no 45 graus algumas vezes com o Luís Silva e depois com o Nuno Loureiro e eu lembro de hoje falar exatamente nisso o desafio no fundo o grande desafio talvez o principal desafio da fusão nuclear que no fundo é outro santo grau que é tu teres uma tecnologia limpa com um potencial muito maior do que as tecnologias atuais e completamente limpa e o grande desafio é tu conseguires suster aquela reação durante um tempo minimamente aceitável e não consegues porque basicamente a reação bate nas paredes e as reações e a reação para e aqui de repente tu consegues usar machine learning para resolver aquele problema ultra complexo que no fundo tem um número gigantesco de dados e um número brutal de parâmetros é que tu tens de dar estrutura e há aqui um potencial de facto gigante a pergunta que eu me faço e acho que é uma imagino que não seja a primeira pessoa a fazer essa pergunta é até que ponto é que estes modelos podem fazer um trabalho análogo ao dos cientistas na parte da causalidade propriamente dita e na parte da formulação de hipóteses por exemplo porque isto tudo que nós estamos a falar trata-se no fundo de resolver problemas a nível de dados o que costumas dizer que o grande desafio da ciência ou o grande arte da ciência é fazer a pergunta certa e portanto aliás foi o que vocês fizeram no caso de AlphaFold vocês fizeram a pergunta certa e se nós testássemos este jogo com estes algoritmos de inteligência artificial e isso no fundo é o que está por trás do progresso científico tu achas que estes modelos vão conseguir fazer também a pergunta certa ou seja vão conseguir colocar hipóteses novas para depois serem exploradas sim é uma boa pergunta mas eu acho que temos que diferenciar há muitos tipos também de ciência diferentes há esta ciência mais fundamental
Hugo Penedones 00:50:18.68mais ligada quase à física teórica que é descobrir as leis fundamentais quais são as forças básicas e quais são as equações que governam isso mas também existe muito este aspecto computacional ou seja não adianta saber ou não é suficiente saber compreender as leis básicas se depois eu não consegui fazer previsões em tempo útil com elas e aí isso é um bocado o regime em que estamos é que embora já se saibam as leis da mecânica quântica ou da gravitação há ali uns debates por exemplo o meu irmão trabalha nisso há ali uns debates sobre a unificação destas destas duas leis fundamentais etc mas no dia a dia para as coisas mais práticas isso não é tanto uma limitação o que é uma limitação é será que eu consigo calcular em tempo útil coisas baseadas nisto e por exemplo voltando ao exemplo dos materiais envolve ali fenómenos fenómenos quânticos mas não conseguimos simular ou fazer previsões computacionais suficientemente rápido para fazer lá está a descoberta de materiais para novas baterias ou painéis celulares em tempo útil então isso também também é ciência no sentido de mais ciência computacional ou seja não vamos estar a descobrir novas leis fundamentais mas vamos estar a conseguir fazer previsões sobre sistemas maiores muito mais complexos em tempo útil e então a pergunta aí aberta é mais quase mais do lado de computer science qual é o método computacional que consegue fazer isso de modo mais eficiente com suficiente precisão na questão mesmo de formular hipóteses se calhar há áreas em que isso é mais claro por exemplo em matemática provar um teorema de certo modo é algo também bastante criativo porque aquilo pode ter bastantes estratégias diferentes fundamentalmente é encontrar um caminho entre os axiomas básicos e aquela proposição aquela hipótese que estamos a tentar provar e a encontrar um caminho em que se seguem só se respeitam pequenas regras lógicas não é? 00:52:26.24porque é que isto é tão difícil? 00:52:27.36porque não houve um espaço de combinatório muito grande ou seja quando alguém lê uma demonstração principalmente se for um matemático pode passo a passo ir compreendendo e validar que está certa mas criá-la de raiz é muito mais difícil claro claro ou seja é muito mais difícil encontrar um caminho num espaço de possibilidades enormes do que depois alguém olhar para o caminho e dizer sim o caminho está certo exatamente que este na verdade este é um dos grandes problemas em aberto é um daqueles Millennium Prizes para ciências da computação é o problema P versus NP que fundamentalmente é isto não está aprovado ainda em ciências da computação se o esforço exigido para encontrar uma solução tem mesmo que ser maior do que o esforço exigido para verificá-la mas basicamente toda a gente acredita que sim ou seja a comunidade toda está convencida que efetivamente verificar uma solução é fundamentalmente mais rápido para uma classe de problemas importantes mais combinatóricos do que encontrar a solução mas ainda não há uma prova para isto é um dos problemas em aberto
José Maria Pimentel 00:53:34.30quando tu dizes não há uma prova ou seja o nosso raciocínio indutivo sugere que é assim porque todos os casos que conhecemos são assim mas não foi provado ainda
Hugo Penedones 00:53:43.54que isso é uma lei universal digamos assim não foi provado ainda matematicamente mas pronto em geral toda a comunidade de cientistas da computação acredita que sim e intuitivamente faz sentido mesmo fora da ciência ou seja quase toda a gente consegue apreciar por exemplo uma obra de arte conseguimos ver que algo é belo mas tipicamente nós não conseguimos se não formos um artista ou um pintor bom gerar isso ou seja é muito mais fácil apreciar ou até no desporto eu posso ser entre aspas um treinador de bancada e ver que o Messi e o Cristiano Ronaldo são bons a jogar e consigo diferenciar ele é melhor do que aquele outro jogador mas uma coisa diferente é conseguir ser esse jogador e mais do que isso
José Maria Pimentel 00:54:28.04até porque aí há uma questão de técnica e capacidade física que nós não conseguimos controlar mas por exemplo tu consegues explicar porque é que aquela equipa ganhou o jogo mas seria muito mais difícil ter-te ocorrido aquela tática específica para ganhar o jogo sendo que em muitos casos somos vítimas do chamado viés da retrospectiva portanto estamos a explicar encontrar uma explicação ao posterior mas a verdade é que isso é mais fácil de fazer da frente para trás enquanto de trás para a frente há quase uma infinidade de táticas no futebol quer dizer se tu pensares que podes mudar a equipa podes mudar a posição de cada jogador no campo a ação que cada um deles tem quer dizer aquilo é um espaço quase infinito ou seja parece-me que eu tenho um paralelo interessante com o que estás a falar mas o meu ponto há bocadinho naquela pergunta sobre a formação de hipóteses e o trabalho do cientista não era no sentido de dizer que isto não é ciência pelo contrário claramente isto é ciência eu estava a pensar qual é o papel que sobra para os cientistas com esta mudança de paradigma porque estes progressos que estão a ser feitos que são incríveis parecem ter tem qualquer coisa em comum não é por acaso que são engenheiros a trabalhar nesta área porque isto são quase problemas de engenharia embora não pareçam são áreas muito diferentes são problemas de engenharia e portanto dir-se-ia que os cientistas continuam a ter um papel fundamental lá está na formulação de hipóteses e no fundo na na relação de conhecimento de áreas diferentes para produzir novas hipóteses ou não mas também é possível é possível que não é possível que estes modelos comecem a substituir os cientistas também nessa parte de formular novas hipóteses de formular novas explicações em determinadas áreas para o lado disto que é altamente exuberante embora não seja ainda isso de no fundo resolver estes problemas numéricos gigantescos sim
Hugo Penedones 00:56:27.86é uma possibilidade eu acho que nos próximos anos ainda estamos neste regime de lá está o cientista tem o papel principal está ali no volante do condutor e estes métodos são no fundo ferramentas para se conseguir fazer progresso mais rápido ou para resolver problemas em que é preciso analisar tantos dados em que um humano não ia fazer isso com facilidade mas sim através destes modelos de linguagem natural já se começa um bocadinho a ver essa possibilidade de eles ajudarem mesmo no processo criativo às vezes eu quero fazer isto por exemplo estou a programar às vezes tenho que escolher um bom nome para um método ou para uma variável que seja compacto mas que seja preciso eu pergunto quero fazer isto isto e isto diz-me uma lista de bons nomes isto já está a ajudar um bocadinho neste processo criativo e é possível imaginável que isto comece a acontecer mais ajuda-me a formular aqui uma hipótese que depois vou tentar validar experimentalmente não é garantido que quer dizer não é nada é garantido que isto funcionasse bem no sentido em que se estes modelos forem treinados com um conjunto de dados históricos pode não ser os dados ideais para ajudá-lo a extrapolar a criar novas hipóteses exato mas agora a nova geração de de LLMs etc começam a ser nesta linha de integrar também com pesquisa ou seja não ser só uma previsão da próxima palavra mas também ter este processo computacional mais pesado por trás de novo a analogia ao Go e AlphaGo de visitar uma árvore de possibilidades e ter uma função à avaliação que lhe diz qual é o trajeto melhor aí começa a ser mais natural acreditar que também vão começar a ter esta propriedade de extrapolar mais porque este processo de pesquisa é mesmo isso é quase imaginação o que acontece se eu fizer isto isto e isto e algumas destas hipóteses ou destes pensamentos não levam a nada e há outros
José Maria Pimentel 00:58:36.54que são mais razoáveis sim, claro exatamente
Hugo Penedones 00:58:39.16mas pronto depois em ciência nós podemos imaginar que isto até se pudesse ligar depois com validação experimental ou seja já existe também este santo grau de ter experiências em laboratório quase automatizadas que eu agora vou lá está fazer uma previsão sobre a proteína que eu devia sintetizar para fazer isto e depois temos efetivamente o robô que consegue fazer isso e fazer uma medição em laboratório para confirmar ou invalidar aquilo e dar o feedback para o sistema que está a fazer a previsão da próxima coisa ou para gerar materiais se conseguisse automatizar esse processo podia-se ter o modelo de machine learning a fazer a previsão sobre o que é que faria sentido fazer a seguir experimentar em laboratório e fechar o loop com a informação
José Maria Pimentel 00:59:28.96Sim, exatamente No fundo é esta integração que estás a falar E há outra coisa que também se fala nesta área e sempre que se fala de inteligência artificial na ciência que é aquela questão destes modelos serem caixas negras ou seja estes modelos e de novo o paralelo com os LLMs é óbvio eles detectam padrões e conseguem produzir-te um output mas tu não sabes exatamente o que é que se passa lá dentro o que significa que em muitos casos as pessoas podem usá-los de uma maneira irrefletida tu podes ter imagina há um destes modelos que é muito potente numa determinada área e tu aplica-lo de repente numa área diferente sem saber se ele vai ser igualmente bom naquela área ou não ou naquele problema mais ou menos parecido e como tu não consegues ver o que está lá dentro podes ter muitos cientistas a usá-lo quase automaticamente ou irrefletidamente quando ele na verdade já não está provado que seja bom num outro problema relativamente próximo mas que se calhar é diferente num determinado aspecto e ele já não vai ser bom
Hugo Penedones 01:00:33.98Sim pronto tem que ter sempre esse cuidado de aplicar um modelo no âmbito para o que ele foi treinado e no âmbito em que ele pode funcionar mas às vezes esta dicotomia de os modelos as redes neuronais serem muito black box também não é bem assim um cérebro humano ainda é uma black box maior porque no caso das redes neuronais é mais black box do que nós às vezes achamos há muito que se passa debaixo das superfícies Exatamente porque numa rede neuronal nós conseguimos inspecionar e saber exatamente os valores numéricos que estão ali reproduzir o mesmo output em função dos mesmos inputs mais tarde conseguimos inspecionar tudo num cérebro humano isso é um bocadinho o domínio da neurociência não é fazer ressonâncias magnéticas medir algumas coisas mas é um nível de detalhe muito mais baixo Mas o ponto
José Maria Pimentel 01:01:27.64desculpa interromper-te uma paralela não era com o cérebro humano é mais com a com a tal ciência mais clássica feita com as equações em que tu percebes porque é que isto está a resultar naquilo e estes modelos atuais precisamente são de um tipo diferente em que tu não tens lá esse esqueleto mas calhar isso não é um problema assim tão grande atenção
Hugo Penedones 01:01:45.82Exato Eu acho que não é um problema tão grande porque estes modelos não estão a tentar substituir as equações ou seja as equações estão lá só estão a tentar modelar sistemas muito mais complexos em que embora nós saibamos as equações seriam muito difíceis de de prever propriedades sobre esse sistema a partir das equações diretamente ou seja foi o que eu disse há bocado envolve simulação numérica envolve muito cálculo é um processo computacional muito pesado e estes modelos machine learning estão a aprender quase um atalho um atalho computacional para fazer essas previsões mais rápido Então deixa-me
José Maria Pimentel 01:02:24.76fazer uma pergunta mais concreta vamos pegar no voltar ao exemplo da meteorologia estes modelos novos que seguem lá está o tal atalho baseado basicamente em padrões que eles detectam na evolução da temperatura ao longo do tempo e no espaço informam de alguma maneira os modelos clássicos ou seja tu testas estes novos modelos desenvolves estes estes novos modelos eles são mais eficientes são potencialmente também mais eficazes mas eles podem ser uma caixa negra ou não ou tu consegues a partir destes novos modelos também tirar relações para compreender melhor o próprio fenómeno meteorológico para além de ter para além de ter uma previsão mais eficaz porque há aqui duas quer dizer no fundo a pessoa pode separar a previsão que é quase um resolver um problema prático concreto da compreensão do sistema estes modelos resolvem a previsão portanto dão-nos o que nós queremos mas resolvem o problema ou não ou seja desculpa dão-nos mais compreensão daquele fenómeno ou não
Hugo Penedones 01:03:18.28assim não necessariamente mas acho que isso não é não é problemático tipicamente lá está as regras fundamentais da física estão bem compreendidas não é? 01:03:29.52agora o problema o problema é que quando se fazem métodos computacionais tipicamente fazem-se simplificações não se modela tudo claro como estava a dizer há bocado pode-se não modelar na dinâmica de fluidos ignora-se um bocadinho o comportamento da turbulência ou se eu estiver a modelar o comportamento do oceano ou a trajetória ou a hidrodinâmica de água num rio se calhar vai haver um modelo para a forma do fundo do leito do rio mas vai ignorar que de vez em quando aquilo vai abaixo e a terra desmorona se ela é um buraco e que é ou seja nem tudo é incorporado nos modelos de simulação numérica só porque se tivessem que levar tudo em conta era a complexidade demais e não era prático então os modelos de machine learning podem através da agregação de dados experimentais aprender indiretamente a não ignorar tanto isso imagina estava a falar agora da hidrodinâmica se houvesse imagina que estava a tentar prever alguma coisa aqui no comportamento do rio Tejo e estou a assumir que o leito tem aquela forma o fundo do rio é assim mas se os dados experimentais não estão bem calibrados não estão alinhados com o resultado da simulação numérica é porque há ali outro processo que a simulação numérica não está a levar em conta e potencialmente o modelo machine learning mesmo não sabendo o que é que era podia conseguir prever isso sim mas só ia trazer conhecimento no sentido de dizer olha há realmente ali alguma coisa que nós não estamos a modelar podemos ter que ir investigar e ver o que é que é para tentarmos incluir nos modelos de simulação numérica mas sim mas sim não seria não seria auto-explicativo ou seja o modelo em princípio não ia dizer por linguagem natural olha foi isto isto e isto a não ser que fossem agora treinados explicitamente para isso para ter capacidade introspectiva não é? 01:05:28.22mas isso já tinhas que combinar aqui os modelos de geração de linguagem com toda a modulação física
José Maria Pimentel 01:05:33.06olha e por falar nisso em simulações e a machine learning eu queria também que falasse um bocadinho da inductiva que é aquilo que tens dedicado nos últimos anos e vocês trabalham exatamente nesta área de simulações numéricas e de da aplicação de machine learning a simulações numéricas
Hugo Penedones 01:05:51.18exatamente então a inductiva é uma startup que nós criamos em 2021 juntamente com o meu sócio o Luís Sarmento e a Clara Clara Gonçalves e desde o início por causa da minha inicialmente da minha experiência no AlphaFold tivemos o interesse desta área de AI for Science mas ao contrário do que aconteceu no AlphaFold em que havia uma base de dados muito boa com dados experimentais sobre as estruturas de proteínas há muitas outras áreas de ciência e engenharia em que não existe necessariamente um dataset muito bom por exemplo nós estávamos a tentar fazer coisas relacionadas com hidrodinâmica por exemplo simular as ondas no mar numa zona costeira para por exemplo ver qual é o efeito se eu fizer aqui esta estrutura de proteção costeira tipo um paradão qual vai ser o efeito por exemplo e não havia dados para isso não vai haver dados com nível de detalhe do género aqui estão mil zonas costeiras diferentes no mundo com profundidades ali do mar diferentes com alturas de ondas diferentes com o vento de direções diferentes e aqui está exatamente o comportamento segundo a segundo de todas as ondas que observamos etc isto não vai existir então nós deparamos-nos com a necessidade de ter que gerar sinteticamente estes datasets justamente usando simuladores numéricos que embora não venham da comunidade de machine learning foram feitos pela comunidade física computacional etc ao longo de décadas e são muito bons no que fazem para cada domínio específico então nós começamos a pensar ok então vamos usar estes simuladores numéricos para gerar dados e depois podemos treinar os modelos de machine learning por cima e no processo de fazermos isto apercebermos que na verdade o bottleneck estava mesmo nesta parte de conseguir usar os simuladores numéricos em grande escala e de modo fácil porque tipicamente eles foram desenvolvidos alguns sei lá 20 30 anos atrás foram escritos em linguagens de programação tipo FORTRAN não foram escritos para ser executado na cloud e ter centenas de computadores em paralelo a gerar dados então ou seja o bottleneck o gargalo estava antes do machine learning exato então nós fizemos uma espécie quase de pivot na empresa para dizermos olha embora o nosso background seja de machine learning vamos agora focar em fazer um upgrade à área de simulação numérica e então o que nós estamos a fazer é uma plataforma em que vamos integrando dezenas destes simuladores desde dinâmica de fluidos moléculas simular combustão simular materiais simular proteínas etc que tipicamente são é software open source feito por universidades e pelo mundo fora e que as licenças permitem que ser usado tanto para fins académicos como comerciais e nós integramos isto de forma unificada em que passa a ser muito fácil uma pessoa dizer ok eu quero lançar 100 computadores na cloud com estas especificações tem GPUs ou só CPUs etc e vou querer correr este simulador lá por exemplo dinâmica molecular com estes inputs e nós orquestramos isto tudo ou seja fazemos acontecer o utilizador que neste caso é um cientista ou engenheiro tem que escrever basicamente sei lá 10 linhas de código em Python ou seja uma coisa muito simples e o que está depois a acontecer na prática em termos computacionais é bastante elaborado estão máquinas virtuais na Google Cloud a serem lançadas o simulador a aparecer lá já instalado os inputs necessários a aparecerem lá tudo a correr tudo a ser monitorizado detectar falhas etc ao ponto que o esforço de agora nós podermos dizer vou gerar um dataset para ter um modelo de machine learning é reduzidíssimo nós já fizemos isso por exemplo para um exemplo de um túnel de vento em que pegamos geramos imensas formas de carros diferentes e corremos uma simulação de um túnel de vento simulado com uma dada velocidade de vento em que no final dá para medir propriedades como a pressão em todos os pontos da superfície do objeto ou o drag coefficient não sei como é que se diz em português mas pronto é uma dica de arrasto não sei mas é o que?
José Maria Pimentel 01:10:18.60mas é o que? 01:10:19.62pronto
Hugo Penedones 01:10:19.76é uma indicação de quão é aerodinâmico ou não o carro é da resistência do fundo do ar sim e lá está um programinha inscrito em Python que é neste momento a linguagem de programação mais usada no mundo conseguir gerar este volume de dados enorme o que estava a ser o fator limitante para nós ou seja como é que nós vamos conseguir fazer isto em escala e agora cada simulador é diferente como é que ocorre isto na cloud etc portanto a nossa visão tem duas fases esta primeira fase isto é imediatamente útil para os engenheiros de hoje em dia que estão a correr simulações numéricas e por enquanto eles nem sequer estão interessados muito em modelos de machine learning porque se eles forem fazer um novo parque eólico vão querer-se fazer simulações numéricas se quiserem desenhar a nova forma de um carro vão fazer simulações numéricas então o estado do mundo ainda na indústria é correr simulações numéricas e com boa precisão e correr muitas destas simulações então é aí que nós já estamos diretamente a ajudar vocês estão a resolver um problema ainda do paradigma anterior que no fundo perceberam que ainda não estava resolvido que ainda não estava bem resolvido com o nível de conveniência que a comunidade de machine learning já tinha porque as ferramentas de software tipo PyTorch TensorFlow são muito mais modernas e muito mais fáceis de usar ou seja as bibliotecas de software que são usadas para ter redes neuronais são bastante sofisticadas e bastante fáceis de usar enquanto que este mundo mais da simulação numérica mais clássica tinha ficado assim um bocadinho para trás então nós agora estamos a dar aqui um boost um upgrade para antecipar este futuro em que os dois mundos se vão fundir gradualmente ou seja vamos gerar muitos dados de simulação numérica e treinar modelos de machine learning e às vezes os próprios modelos de machine learning vão ser incorporados de novo na simulação numérica por exemplo um exemplo pode ser de dinâmica molecular quando se está a simular o que é que vai acontecer no próximo instante a cada átomo tem que se calcular ali as forças que cada átomo está a sentir em função dos seus vizinhos mas de novo tipicamente se fazem-se simplificações e ignoram-se os tais efeitos quânticos ou basicamente ignora-se as posições dos eletrões é como se os eletrões fosse só ali uma média tivesse a ser ignorada mas se nós corrêssemos simulações muito mais pesadas que não ignoram isso e depois treinássemos um modelo de machine learning que agora já aprendeu a levar em conta os efeitos quânticos este componente pode ser utilizado na simulação de dinâmica molecular para prever cada passo ou seja é substituir algo ao exemplo da meteorologia que falávamos há bocadinho
José Maria Pimentel 01:13:07.60de certa forma podes conseguir equilibrar o início
Hugo Penedones 01:13:12.74exato ou seja mas aqui começa a haver soluções híbridas ou seja simuladores numéricos em que alguns componentes muito específicos em que antes eram escritos manualmente começam a ser substituídos por uma pequena rede numeral que faz aquela previsão mas depois ainda assim tem muito o resto do código que é numérico e que é explicitamente programada ou seja começa a haver sistemas híbridos mesmo já este nível de detalhe mas no vosso caso para voltar ao exemplo que estavas a dar imagina uma simulação feita para na indústria automóvel para produzir um novo carro
José Maria Pimentel 01:13:46.06por exemplo onde é que entraria o machine learning vocês agora estão a ajudar com as simulações e onde é que entra o que é que o machine learning faria ou fará
Hugo Penedones 01:13:53.90pronto seria muito análogo àquele exemplo que eu dei do desenho de novos fármacos em que se alargaria a base da pirâmide ou deste funil de coisas que tem que se experimentar em que se tivéssemos a decidir qual era a forma do carro a controlar os parâmetros por exemplo em relação à forma dos espelhos ou qualquer coisa em que queríamos testar muitas possibilidades podíamos começar por perguntar ao modelo de machine learning se já estivesse bem treinado no passado para fazer uma previsão muito rápida e depois só as formas mais promissoras nós iríamos fazer simulações mais pesadas por cima o que permite em vez de analisarmos imagina 50 ou 100 possibilidades com simulações começaríamos por analisar 100 mil com previsões muito mais baratas de machine learning e depois só dessas escolher as tais 50 mais promissoras para fazer simulações numéricas mais pesadas por cima e essas possibilidades
José Maria Pimentel 01:14:52.40teriam que ver no caso dos espelhos tinha que ver com os vários ângulos das várias faces no fundo do espelho e a maneira como o modelo era treinado é que tu tinhas de um lado esses ângulos do outro lado o impacto na aerodinâmica vamos supor e portanto o modelo era treinado a detectar esse padrão lá está e portanto tu podias lhe perguntar olha e se eu fizesse este ângulo desta forma
Hugo Penedones 01:15:11.56exato isso nós até já fizemos esse exemplo em que o input é mesmo uma malha tridimensional que descreve a forma toda do carro é tipo na comunidade de computação gráfica vê-se às vezes aqueles triangulozinhos quando tu removes a textura do objeto vês que está representado por pequenas superfícies triangulares ligadas os triângulos ligados uns aos outros é uma malha tridimensional isso é o input para o modelo e ele prevê por exemplo esse coeficiente drag coefficient e essa previsão pode ser feita depois de ter sido treinado que pode ser computacionalmente pesado mas a partir do momento em que está treinado depois para uma nova previsão pode ser feita por exemplo em 50 milissegundos enquanto corre uma simulação podia ser uma hora ou mais ou seja já estou a perceber que até permite em alguns casos teres muito mais interatividade para o engenheiro ou engenheiro ou seja quase teres a previsão instantânea podias estar a editar numa interface gráfica a forma do carro e teres a previsão quase instantânea o feedback sem ter que esperar uma hora pela simulação quando chegas a esse regime de teres previsões tão rápidas até permite isto é real time previsões em tempo real para o engenheiro
José Maria Pimentel 01:16:25.30é muito mais eficiente lá está muito mais eficiente que interessante isso e diz-me uma coisa uma pergunta relacionada qual é o impacto
Hugo Penedones 01:16:32.56que poderá ter a computação quântica no meio disto tudo sim computação quântica podia ter o impacto sobretudo na simulação de coisas que envolvem estas escalas pequenas ou seja moléculas tudo que tem a ver com simulação de materiais ou essas pequenas biomoléculas orgânicas
José Maria Pimentel 01:16:50.50podiam beneficiar de computação quântica mas agora explica te faz a gente começar por aí qual é o potencial dos computadores quânticos face à computação clássica que nós temos hoje disponível pronto de novo o que eles podem mudar isto é uma área enorme
Hugo Penedones 01:17:06.92da qual eu nunca fui investigador nem nada mas o que sabe da realidade física é que existem estes ao mais baixo nível da matéria a mais pequena escala existe é governado pelas leis da física quântica em que uma um estado cada partícula é representado por uma esta função de onda ou seja não estamos a assumir que tem uma posição a uma velocidade fixa existe uma uma distribuição de probabilidades onde é que ela pode estar e se se isto tiver que ser modelado por computação clássica de novo torna-se um processo computacional muito pesado mas se tivesse ser diretamente modelado por um computador quântico em que o modo como ele opera já é exatamente o mesmo que governa as leis da matéria ele não tem basicamente não tem que estar a simular isto comporta-se diretamente como a realidade portanto é como se na prática ele estivesse a analisar muitas possibilidades em paralelo e em termos teóricos computacionais ainda não está também provado que haja coisas fundamentais que o computador quântico possa fazer e que seja realmente impossível um clássico não fazer ainda não há certeza existem alguns algoritmos tipo Groves algoritmo para procurar um item numa lista etc ou para a fatorização de primos em que os computadores quânticos já se sabe que existem algoritmos quânticos que são melhores do que o melhor conhecido clássico mas ainda não é evidente que nunca pudesse haver um clássico que o fizesse mas eles são diferentes em que desculpa ou seja esta é uma
José Maria Pimentel 01:18:53.44pergunta básica mas faz sentido começar por aí em que é que um computador quântico ou um sistema quântico é superior a um clássico
Hugo Penedones 01:19:00.74é sim é que pronto eu não sei se consigo explicar isto bem eu não sou da área ainda por cima explicar de modo acessível é complicado mas é assim num sistema quântico tens tipicamente duas fases uma em que o sistema está a evoluir sem estares a medir sem estares a fazer uma medição e tens uma altura em que fazes uma medição e é o que eles chamam o colapso da função de onda ou seja agora extraíste esta medição esta parte de deixares o sistema evoluir sem estás a interferir com ele sem estás a medir na prática é como se estivesse a explorar imensos mundos em paralelo ao mesmo tempo e depois no final fazes uma medição e aquilo tipo colapsa num mundo que tu vais observar isto aqui é se estás a modelar o fenómeno ao mais nível básico da matéria com átomos e moléculas é o que realmente acontece na realidade e o computador quântico faz esse processo naturalmente ao nível do hardware ou seja não é uma coisa que tu tens que programar ou simular é simplesmente estar a seguir o mesmo processo sim ok
José Maria Pimentel 01:20:09.20acho que acho que é uma boa explicação mas sim
Hugo Penedones 01:20:12.72é assim eu lamento eu também não sou investigador nesta área portanto já era difícil saber em detalhe quanto mais explicar com nível de audiência genérica sim
José Maria Pimentel 01:20:24.94eu nunca já a vi explicar várias vezes e acho que talvez tenha sido a vez que eu vi mais ou menos explicado porque não é acho que não é muito fácil de explicar diz-me outra coisa passando nós para um paradigma em que tu tens modelos que conseguem tratar um número gigantesco de dados isso por outro lado tem este potencial brutal que nós temos estado a falar mas por outro lado também está muito dependente da qualidade desses dados e por exemplo mesmo nas simulações em que tu de certa forma produzes dados de maneira sintética tens de ter dados de partida tens de ter dados medições indicadores válidos de partida quão grande é este desafio nesta área hoje em dia da qualidade dos dados
Hugo Penedones 01:21:03.50está-se a dizer em particular nas áreas de ciência sim nesta área
José Maria Pimentel 01:21:07.54de inteligência artificial aplicada à ciência porque no fundo o raciocínio que eu estou aqui a fazer mas pode estar errado é que é essencial que tu tenhas dados de qualidade ou seja com pouco ruído para alimentar este algoritmo senão é aquela história do garbage in garbage out sim
Hugo Penedones 01:21:23.10depende muito de área para área mas aqui acaba sempre por quase ser um trade-off entre entre a quantidade de computação que tens disponível e quantos dados consegues gerar porque em termos de obter dados de forma experimental estás limitado quanto é que os humanos conseguem ir para o laboratório e medir coisas mas se os simuladores numéricos que tiveres disponíveis forem suficientemente bons tu podias à partida gerar dados infinitos e com qualidade quase infinita o problema é que para simular coisas com suficientemente precisão pode ser computacionalmente muito pesado então por exemplo para esta área sei lá imagina dos materiais se calhar conseguem-se fazer simulações ou das pequenas moléculas para moléculas até um certo número de átomos a partida de dada altura aquilo se calhar simular o comportamento de uma molécula com um bocadinho maior já terias que mesmo num supercomputador esperar imagina dois anos já deixa de ser fazível deixa de ser prático poderes gerar um dataset dessa maneira porque tinhas que ter todos os computadores no mundo não sei quantos anos a gerar aquilo um bocadinho o que se espera que machine learning consiga fazer é que sendo treinado com configurações do sistema relativamente pequenas em que ainda é possível gerar dados com qualidade o modelo machine learning consiga extrapolar para sistemas um bocadinho ligeiramente maiores e mantendo a precisão porque se isso acontecer depois consegueste ter um feedback positivo ou seja usei inicialmente um modelo de simulação numérica e levei um bocado ao limite da computação que podia fazer e agora treinei um modelo de machine learning que é mais rápido e que tem capacidade de generalização suficiente para prever coisas de sistemas ligeiramente maiores do que eu consegui simular e se conseguiste fazer isso depois conseguias usar esse sistema para gerar mais dados e ir expandido na fronteira do tamanho do sistema que consegues fazer no paper de DeepMind conseguiram ter evidência inicial sobre isto disto acontecer também já em matemática aconteceu um bocadinho isso por exemplo há sistemas de prova automática de teoremas com métodos mais ou menos clássicos foram programados por matemáticos ou informáticos e que estão a testar muitas possibilidades e podem conseguir provar o teorema houve um exemplo de investigadores que treinaram um modelo de machine learning para replicar este sistema e depois conseguiram aplicá-lo a provas um bocadinho mais exigentes que o sistema original não tinha conseguido ou seja essa ideia de gerar dados a partir de um sistema que chegou a uma certa escala e agora este novo sistema como é mais rápido consegue ir a uma escala um bocadinho superior se conseguisses fazer isso com suficiente precisão que a coisa não se está a degradar conseguiste fazer o desafio
José Maria Pimentel 01:24:20.32esse é o grande desafio mas diz uma coisa houve só uma coisa que tu disseste que eu fiquei com uma dúvida tu dizias se tiveres um bom simulador tu consegues gerar dados apenas limitados por essa capacidade de computação mas tu tens de ter dados reais em algum momento nesse sistema ou seja porque o próprio simulador é alimentado tem que ser alimentado por dados precisos aliás
Hugo Penedones 01:24:45.02o simulador tipicamente é escrito a partir das leis físicas já conhecidas ou seja os dados foram os dados foram recolhidos pelo Galileu pelo Kepler ou pelo Newton que fizeram observações e conseguiram destilar aquilo já para uma leis física a partir daí a pessoa que escreve o simulador numérico já assume que saiba sei lá as leis de Newton ok
José Maria Pimentel 01:25:09.96mas aí estás a falar isso é um mapa de possibilidades dos dados mas depois tu precisas de perceber que dados é que correspondem ao mundo real sim mas o que eu estou a dizer é que o simulador o simulador numérico
Hugo Penedones 01:25:23.12tipicamente tem conhecimentos explícitos das leis físicas que está a modelar por exemplo se for para a dinâmica de fluidos estão lá em algum sítio escritas quais são as equações de Navier-Stokes que é as equações que governam esse comportamento de fluidos mas espera mas desculpe imagina na biologia por exemplo que é uma área porque a física de facto é uma área muito mais precisa nesse aspecto mas na biologia que é bastante mais complexa e há muito mais interação isso já não será assim tão fácil já não podes pôr mas a biologia é física a biologia é só física com sistemas mais complexos claro portanto no caso por exemplo das proteínas etc numa caixa de água que simulasse por exemplo o ambiente celular aquilo é só átomos ou seja é só física a dificuldade é que tendo tantos átomos
José Maria Pimentel 01:26:14.22não podes simular aquilo tudo
Hugo Penedones 01:26:15.38pode ser difícil simular sem estar a ignorar alguns dos efeitos que são conhecidos e por isso é que se fazem algumas simplificações mas em teoria se tivéssemos poder computacional ilimitado podia-se simular uma proteína a partir de primeiros princípios regras da mecânica quântica
José Maria Pimentel 01:26:34.82e uma célula também
Hugo Penedones 01:26:36.22e uma célula quer dizer assumindo que mas o problema é que tu ainda não conheces
José Maria Pimentel 01:26:40.64completamente o funcionamento da célula
Hugo Penedones 01:26:42.02funcionamento não tinhas de conseguir ter o snapshot ou seja saber inicialmente todos os átomos que compõem essa célula se conseguir para moléculas mas isso requer
José Maria Pimentel 01:26:53.30uma boa medição lá está sim
Hugo Penedones 01:26:56.12mas para uma proteína não precisas porque sabes todos os átomos que fazem parte de cada aminoácido e tens lá a informação toda só tens que simular um bocadinho o ambiente celular pondo moléculas da água e ter o nível certo de pH e coisas do género mas uma célula em teoria seria só um sistema igual a esse mas muito maior com muito mais coisas lá dentro e depois se tivesses poder computacional infinito podias simular isso a partir de regras fundamentais da física sem...
José Maria Pimentel 01:27:23.84claro mas é isso é um sistema muito maior e tu tinhas de conseguir tê-lo todo bem medido e por exemplo no caso das células é uma estrutura muito mais complexa do que parece hoje em dia falam-se até muito de DNA e mais recentemente de RNA mas na verdade a célula é muito mais complexa do que isso e há uma série de coisas que nós nem compreendemos ainda bem sim mas o que nós
Hugo Penedones 01:27:43.38não compreendemos lá está é o nível da abstração já mais elevado mas o que realmente está a passar por baixo que é só física nós percebemos mas é o nível
José Maria Pimentel 01:27:53.42da abstração mais elevado que nos interessa para os processos biológicos exato é por isso que eu digo que acaba sempre
Hugo Penedones 01:27:58.04por ser uma questão computacional porque o que está mesmo por baixo no nível mais fundamental está percebido o problema é que chega-se a sistemas que são tão grandes e tão complexos já não conseguimos simular e então tem que se começar a fazer às vezes simplificações na nossa modelação não é?
José Maria Pimentel 01:28:15.84mas isso também é saber quais as simplificações que podes fazer é em si mesmo esse trabalho esse progresso de conhecimento porque tu precisas de perceber onde é que que simplificações é que podes fazer sem grande erro ou até quase sem erro nenhum ou seja com erros que depois se cancelam mutuamente e outras simplificações podem ser fatais mesmo na física
Hugo Penedones 01:28:38.70já é assim porque lá está dinâmica de fluidos ou hidrodinâmica simular o comportamento da água ou do ar em teoria é tudo na mesma átomos podia-se fazer tudo a partir de física quântica só que é muito mais eficiente dizer olha aqui estes efeitos quânticos são negligíveis isto é um fluido é compressível ou não e usar regras muito mais básicas quase de mecânica clássica para modelar aquele comportamento macro porque a pessoa não se interessa se aquela moléculazinha da água está mais à direita ou à esquerda uma pessoa só se interessa pelos comportamentos de uma escala muito mais elevada e portanto mesmo na física às vezes já são só níveis de abstração diferentes e então quando se passa para química passa-se a falar de sistemas que têm um certo número de átomos e como é que eles interagem e biologia são moléculas ainda maior e como é que elas interagem e a cada nível tipicamente para fazer algo útil e pragmático que se consiga calcular vão-se fazendo algumas simplificações algumas assumptions alguns pressupostos que nem sempre são verdade mas pode ser possível que até com a ajuda destes métodos de machine learning se consiga fazer isso que é aprender modelos a partir das coisas mais básicas e o que se passa para cima já foi aprendido a partir das regras fundamentais e já não envolveu tantos pressupostos ou tantas regras tantas heurísticas humanas sim esse é um ponto interessante sim consegues no fundo
José Maria Pimentel 01:30:12.32tratar o problema de uma base mais segura e potencialmente um nível abaixo que interessante olha para terminar quero-te fazer uma pergunta que eu costumo fazer neste tipo de episódios este tipo de episódios em que estamos a falar de ciência e de áreas em que tem havido um progresso muito recente e o que é engraçado aqui é quase tudo isto que nós estivemos a falar nesta conversa são desenvolvimentos com anos com muito poucos anos aliás o Alfa falou que tu tiveste envolvido o paper foi de 2020 salvo erro e o projeto como tu dizias há bocadinho começou em 2016 isto é tudo muito recente com menos de 10 anos imagina que nós voltávamos aqui daqui a 10 anos para falar e estaríamos a falar dos desenvolvimentos que houve entretanto dos progressos que houve entretanto que palpita é que tu consegues dar em relação àquilo de que estaremos a falar daqui a 10 anos o que é que nós daqui a 10 anos estaremos a falar a nível de inteligência artificial e machine learning em particular na ciência que progresso é que vai haver é a questão dos materiais é a questão da meteorologia é a questão da da compreensão do funcionamento da nossa biologia é a questão dos fármacos
Hugo Penedones 01:31:19.44são outras áreas que nem sequer estão aqui se calhar sei lá neurociências por exemplo o que é que tu achas que vem aí nos próximos 10 anos sim é sempre difícil extrapolar mas eu acho que se nota que o progresso parece estar a acelerar parece parece estar a acontecer a um ritmo até surpreendentemente elevado mesmo para a gente da comunidade não é? 01:31:40.10eu penso que estes grandes grupos de investigação por exemplo da Google DeepMind e em particular o grupo de Science da DeepMind tendem a focar-se nestes problemas que eles chamam root node problems ou seja aqueles que são tão fundamentais que se houver progresso nesse problema vai desencadear vai disputar muito mais progresso em coisas que se constroem por cima deles portanto é por isso que eles estão a trabalhar nestas coisas de desenho de novos materiais no desenho de novos fármacos em problemas também ligados a matemática e raciocínio portanto eu aí acho que vai ser em dúvida haver progresso mas algumas coisas são imprevisíveis a história da inteligência artificial tem sido assim um bocadinho engraçada porque mesmo até há 5 anos atrás acreditava-se muito que o progresso vinha através de deep reinforcement learning ou seja agentes embebidos interagindo com um ambiente por exemplo um jogo e que gradualmente iria ter mais regras físicas e que a inteligência surgiria deste quase embodiment ou seja ter a interação com o mundo físico cada vez mais realístico e na verdade estes modelos de linguagem natural acabaram por ser tem zero interação com o mundo físico tem zero interação com o mundo físico e acabaram por conseguir perceber intuitivamente alguma da realidade física só através de processar texto o que foi bastante surpreendente ainda no outro dia estava a ouvir uma entrevista do Demis a falar da Sábios a falar sobre isso em que um grande problema em aberto décadas atrás era o problema do grounding problem que era quando se fizeram modelos simbólicos de inteligência artificial há 50 anos atrás notou-se que estavam-se a programar ali regras lógicas e conceitos assim abstratos mas depois aquilo era completamente desconexo da realidade física ou seja o sistema podia estar a dizer um cão tem quatro patas etc mas nunca tinha visto a fotografia de um cão e não sabia o que aquilo queria dizer era só manipular símbolos então não estava ground ou seja não havia uma ligação com a realidade e o que foi surpreendente efetivamente com os modelos de linguagem natural é que mesmo sem ligação à realidade física só a treinar em texto eles conseguiram nas suas representações internas da rede neuronal aprender o suficiente para dizer coisas que fazem sentido em que dá a impressão que alguma coisa eles perceberam da realidade física não dizem só coisas desconexas e agora com a incorporação destes modelos mais multimodais em que dá para treinar com imagens com vídeo ao mesmo tempo que o texto já começa a haver mais essa informação do grounding porque já pode ser treinado de forma conjunta para falar do que é que é um cão e ao mesmo tempo também tem imagens de cães ou de vídeos de cães então começa a poder a rede neuronal aprender representações muito mais precisas e que conectam diferentes modalidades são as imagens etc mas isto tudo para dizer que foi muito surpreendente para a comunidade científica que coisas que pensávamos que ia ser mais difícil toda a gente achou que ia ser mais fácil automatizar o trabalho sei lá numa fábrica que era um trabalho assim mecânico pouco qualificado entre aspas do que automatizar o trabalho de um programador ou de um artista que era uma coisa considerada criativa e da esfera intelectual e na verdade o que aconteceu foi que agora estas LLMs até estão a conseguir automatizar o trabalho dos programadores ou dos artistas criativos muito melhor do que os robôs que supostamente podiam fazer o nosso trabalho pouco qualificado então há sempre um bocadinho estas surpresas e aqui no domínio da ciência também pode haver surpresas porque é difícil ter uma intuição eu não consigo dizer será mais fácil encontrar um material supercondutor ou desenvolver um sistema que faz provas de teoremas matemáticos melhor do que o melhor matemático do mundo então mas deixa-me perguntar de outra forma
José Maria Pimentel 01:35:57.48então tu não te queres atravessar por áreas específicas dentro destas grandes áreas que nós falámos mas será que pode haver outras áreas que ainda não foram parar às notícias ou seja outros algoritmos de sei lá de outro tipo de problemas biológicos ou de ou até enfim eventualmente ciências sociais de outras áreas em que alguém esteja a trabalhar e possam vir parar às notícias um dia destes temos o Alpha qualquer coisa o Alpha Brain ou uma coisa qualquer diferente do que ou o Alpha Cell sei lá qualquer coisa que tu sabes que se está a trabalhar mas ainda não foi parar às notícias
Hugo Penedones 01:36:32.64não tenho assim especialmente Inside Info mas esse exemplo que veste do Alpha Cell é um exemplo digamos público da Isomorphic Labs que é esta spin-off da DeepMind em que eles têm a ambição de conseguir modelar basicamente ao nível de uma célula ou seja passar do nível de modelar simplesmente uma proteína e pequenas interações com outras moléculas para conseguir simular uma célula inteira isso aí seria de novo um desses santos graus em que se passava para uma digitalização total deste processo de investigação da biologia em que se podiam testar hipóteses totalmente de modo exato diretamente no simulador diretamente de forma computacional eu não sei quanto tempo é que isso demorará é um grande desafio de 7-10 anos talvez logo vemos
José Maria Pimentel 01:37:27.622035 cá estaremos para ver isso Hugo obrigado foi uma obrigado eu José uma conversa desafiante
Hugo Penedones 01:37:35.34mas esta é uma área muito interessante para mim também não é sempre fácil tentar comunicar de forma clara e para uma audiência alargada que é a audiência do podcast alguns destes conceitos mas espero que tenha conseguido estão habituados a ser desafiados olha obrigado
José Maria Pimentel 01:37:50.96este episódio teve a sonoplastia de João Ribeiro ouça e veja outros podcasts em expresso.pt e veja como seguir o 45 graus em josemariapimentel.pt até ao próximo episódio