#140 Nuno Barbosa Morais - Vieses cognitivos, incentivos perversos, Big data, e outros desafios à boa Ciência

Data: Thu, 02 Mar 2023 · Duração: 01:47:15

Clica em qualquer parte da transcrição para saltar para esse momento no vídeo.

José Maria Pimentel 00:00:00.00Olá, o meu nome é José Maria Pimentel e este é o 45 Graus. 00:00:10.52Muito obrigado aos novos mecenas do podcast, no último mês, na verdade, porque me esqueci de agradecer no último episódio. 00:00:16.62São eles Miguel M. 00:00:16.62Cabral, Fernando Pereira, Nuno Costa, André Soares, Elsa Caetano. 00:00:22.34Agradeço também à Sandra Ferreira e à Ilsa Barbosa, ao Rui Caetano Garcês, à Márcia Serra, ao António Nascimento, à Inês Águas e obrigado também ao Pedro Lemos Silva, à Margarida Pontes, à Rita Noronha e à Cristiana Campos. 00:00:36.82E com isto, vamos ao episódio de hoje. 00:00:39.24Este episódio tem uma origem peculiar. 00:00:41.76No verão passado, estive no Instituto de Medicina Molecular da Universidade de Lisboa a gravar o episódio com a Luísa Lopes, que foi, como se lembram, sobre neurobiologia. 00:00:49.76No final da gravação, a Luísa convidou-me simpaticamente para uma espécie de convívio de fim de tarde que eles ali fazem regularmente com todos os investigadores e que, por acaso, calhava na calia. 00:00:59.64Foi um fim de tarde inesperado e muito bem passado e descobri por lá vários ouvintes do 45 Graus. 00:01:04.32Uma dessas pessoas foi o convidado deste episódio, Nuno Barbosa Moraes, que coordena no IMM um laboratório dedicado à chamada Biologia Computacional. 00:01:12.76O Nuno é licenciado em Engenharia Física Tecnológica pelo Técnico e é doutorado em Ciências Biomédicas pela Faculdade de Medicina de Lisboa. 00:01:19.94Leciona também, na mesma faculdade, cursos de Biologia Computacional a vários mestrados. 00:01:24.30Desde 2015, o Nuno lidera no IMM o Laboratório de Transcritómica de Doença. 00:01:29.72Este é um tipo de laboratório muito diferente dos laboratórios normais nesta área. 00:01:33.22é aquilo a que, no jargão desta área, se chama um dry lab, um laboratório seco. 00:01:37.50Ou seja, isto porque a equipa do Nuno não trabalha com tubos de ensaio ou microscópios, aquilo a que nos habituamos a associar ao trabalho de um cientista. 00:01:44.38Utilizam, sim, dados e informação gerada nos laboratórios tradicionais, que se chamam, adivinharam, wet labs, e processam esses dados através de programas informáticos que permitem ajudar a tirar conclusões. 00:01:55.24O Nuno é, por isso, um, entre aspas, homem dos números a trabalhar em Biologia. 00:02:00.14E isso dá-lhe uma perspectiva interdisciplinar e muito singular, sobre os desafios de fazer ciência e que, por vezes, dão lugar a má ciência. 00:02:07.40Sobretudo hoje, em que a ciência é cada vez mais competitiva e quem a faz utiliza cada vez mais o chamado Big Data e programas informáticos complexos. 00:02:15.30Por isso, naquele fim de tarde, mal começámos a conversar, percebi rapidamente que a minha defesa da necessidade do pensamento crítico e dos méritos da interdisciplinaridade, que vocês conhecem bem quando estão vindo-os do 45 Graus, estava muito alinhada com as preocupações que o Nuno foi desenvolvendo a partir da experiência dele enquanto cientista de dados no meio de biólogos e das ideias que ele foi formando em relação a estes desafios. 00:02:36.44E assim nasceu este episódio. 00:02:38.52Na conversa que vão ouvir, o Nuno identifica uma série de desafios barra obstáculos à boa ciência, que eu diria que se podem dividir em dois tipos, os de sempre e aqueles que se foram tornando mais agudos nas últimas décadas devido a algumas mudanças quer técnicas, quer institucionais, que afetam o modo como hoje se faz ciência. 00:02:56.12O primeiro tipo de desafios, os de sempre, tem que ver com a maior dificuldade da ciência enquanto atividade, que é conseguir compreender o mundo, identificar leis da natureza, tendo acesso apenas a dados sempre parcelares e imperfeitos e contando apenas com a mente dos cientistas, que é uma mente humana e, por isso, cheia de limitações e vieses. 00:03:14.24Para contrariar essas limitações cognitivas e também os nossos defeitos morais, criou-se ao longo do tempo uma arquitetura institucional com uma série de válvulas de segurança para garantir o rigor científico. 00:03:24.16Por exemplo, um trabalho científico só é publicado depois de ser revisto por outros cientistas e a ciência é feita de forma aberta, de modo a que um cientista esteja sempre sujeito a que as suas conclusões sejam invalidadas por outros investigadores. 00:03:37.02E para conseguir decidir entre o que conta e o que não conta, o que é válido ou não é válido como descoberta científica, a partir dos tais dados limitados, foi preciso criar um método aceito por todos que pudesse decidir em relação à significância das conclusões. 00:03:50.28Instituíram-se então testes de inferência estatística, os chamados testes de hipóteses, o mais conhecido dos quais é o célebre p-value, valor p, de que falamos bastante na conversa. 00:04:00.08Só que estes testes são apenas uma via indireta de inferir conclusões. 00:04:04.12Como não é possível nunca conseguir ter a certeza absoluta em relação à nossa hipótese para explicar determinado fenómeno, o máximo que estes testes fazem é rejeitar a hipótese de não existir naqueles dados fenómeno nenhum. 00:04:15.94E depois há outro problema, esse sim mais grave. 00:04:18.50É que uma vez estabelecendo-se um referencial para determinar o que conta e o que não conta como descoberta científica, criam-se, acho que já adivinharam, incentivos para que os cientistas façam tudo por tudo, consciente ou inconscientemente, para que os seus resultados fiquem dentro desse referencial. 00:04:33.12Por causa destes métodos estatísticos imperfeitos e das limitações da nossa mente, a ciência foi sempre uma atividade muito complexa. 00:04:40.20Mas nas últimas décadas, algumas mudanças vieram a tornar estes obstáculos ainda mais pronunciados. 00:04:45.02Por um lado, o sistema de publicação de artigos científicos tem-se vindo a tornar cada vez mais competitivo, gerando incentivos para publicar resultados o mais vistosos possível, mesmo que para isso seja necessário abdicar do rigor. 00:04:56.26Por outro lado, a ciência, em particular a área do convidado, as ciências biomédicas, tornou-se cada vez mais complexa e informatizada devido à ascensão do chamado Big Data e da utilização de programas bioinformáticos. 00:05:07.68E isto criou desafios adicionais a quem utiliza estas ferramentas, sem, em muitos casos, as compreender completamente. 00:05:13.52Estes obstáculos, e outros que foram surgindo na conversa, provocaram aquilo a que se tem chamado a crise da replicação da ciência, em que várias conclusões aparentemente sólidas, sobretudo nas áreas da biomedicina e da psicologia, têm sido invalidadas por estudos posteriores. 00:05:28.22Esta crise tem feito correr muita tinta nos últimos anos, com já vários livros publicados sobre o assunto. 00:05:33.82E foi precisamente por aí que começámos a nossa conversa, na qual percorremos as causas e consequências destes desafios e obstáculos. 00:05:40.54No final, pedi ao Nuno para apontar soluções para resolver estes desafios, os antigos e, sobretudo, os novos. 00:05:47.12Como vão ver, ele tem muitas ideias e interessantes em relação a este assunto. 00:05:51.68E agora, deixo-vos com esta bela conversa com Nuno Barbosa Moraes. 00:05:57.26Nuno, bem-vindo ao 45 Graus. 00:05:59.30Obrigado, José Maria. 00:06:00.26A ciência, em certo sentido, bastante argumentável que nunca se fez tanta ciência e nunca se fez, em grande medida, tão boa ciência, no sentido de com métodos tão complexos e explorar fronteiras do conhecimento tão avançadas. 00:06:12.22Mas, por outro lado, existem hoje vários obstáculos à ciência. 00:06:15.76Alguns deles já vêm de trás, outros são mais recentes, que são obstáculos à boa ciência, se quisermos. 00:06:20.58Ou seja, são obstáculos a fazer boa ciência. 00:06:22.66Alguns são institucionais, outros são cognitivos que sempre existiram, mas que hoje em dia se calhar se tornaram mais complicados e outros que têm a ver com novos métodos e com questões mais específicas de cada área, mas que são coisas que implicam que, ao contrário do que seria de esperar, nem sempre se esteja a fazer boa ciência. 00:06:37.42E se calhar o sintoma mais óbvio disso, que toda a gente já ouviu falar, é o caso da chamada crise da replicação. 00:06:41.96Tanto do lado da biologia e da biomédica, como do lado da psicologia, se começou a perceber que havia uma série de experiências que tinham sido feitas. 00:06:47.94Aliás, e não por acaso, muitas delas com conclusões surpreendentes e que, de repente, ao tentar replicar-se, não se conseguiu obter os mesmos resultados. 00:06:55.04Sendo que a replicação é fundamental para a ciência. 00:06:57.32A replicação é que está na base da ciência. 00:06:58.80Não é, ao contrário do que muitas vezes parece ler jornais, não é uma descoberta que faz a ciência, é a validação dessa descoberta ou não falsificação dessa descoberta que faz a ciência. 00:07:08.24Portanto, isto é um desafio grande. 00:07:09.50Qual é a tua explicação para isto? 00:07:10.64Ou seja, para este problema mais geral e, sobretudo, se calhar focando na questão da replicação?

Nuno Barbosa Morais 00:07:14.56A minha explicação é que a ciência é feita por humanos e, portanto, pregando nos vieses, ou seja, eu acho que mesmo os outros problemas que mencionaste, incluindo os institucionais, são uma consequência de vieses cognitivos associados ao facto da ciência ser praticada, digamos assim, por humanos. 00:07:30.06Portanto, a ciência, definindo-a como esta empreitada coletiva de gerar e organizar, estruturar novo conhecimento, assenta, em primeiro lugar, e como tu já mencionaste, na ideia de hipóteses testáveis, portanto, da nossa capacidade para testarmos hipóteses e observações que sejam reprodutíveis. 00:07:50.34Portanto, para testarmos essas hipóteses, recolhermos informação, se quiseres adquirir-nos dados, que nos permitam garantir que o que estamos a ver é reprodutível e vai acontecer outra vez quando fizermos a nova experiência.

José Maria Pimentel 00:08:03.12A hipótese, no fundo, para quem está a ouvir, não é bem a mesma coisa, mas é uma teoria, no fundo.

Nuno Barbosa Morais 00:08:07.46Normalmente, a maior parte das hipóteses também são motivadas por observações prévias, não é? 00:08:11.70Ou seja, tu olhas para a natureza, observas algo que te surpreende, tens uma ideia do que pode explicar aquela observação, tens uma hipótese e vais fazer experiências que permitam testar essa hipótese e recolher informação suficiente para esse teste. 00:08:25.98O que é que acontece? 00:08:27.02E aqui, voltando à ideia de que a ciência é feita por humanos, o que motiva os cientistas para trabalhar em ciência é bastante diverso, mas tu encontras uma motivação muito comum nos cientistas que é a vontade de fazer uma grande descoberta ou de ter uma ideia sobre o que pode estar a acontecer na natureza e validar essa ideia, confirmar essa ideia experimentalmente. 00:08:51.04Obviamente que isso é potencialmente uma fonte de viés, porque se tu estás muito entusiasmado com a tua hipótese, vais ter tendência a, sempre que faz uma observação que é compatível para a tua hipótese, achar que estás a provar a tua hipótese. 00:09:05.90Obviamente que os cientistas têm noção disso e também têm, em primeiro lugar, noção que a ciência é uma empreitada coletiva, é uma construção social, a forma de fazer ciência e, portanto, há algumas normas, ou se quiseres, alguns princípios deontológicos que garantem que os cientistas se apoiam uns aos outros no sentido de escrutinarem a ciência que todos fazemos para evitar, precisamente, que caiamos nesses viés cognitivos. 00:09:33.02E um dos principais princípios deontológicos é o do ceticismo organizado, que é a revisão por partes. 00:09:38.66E começamos por aí. 00:09:40.30Portanto, esse é um mecanismo, se quiseres, social de controle de qualidade da ciência. 00:09:45.16Mas há, sobretudo, no método científico, alguns princípios lógicos importantes. 00:09:49.80Um muito importante em relação à ideia de termos hipóteses estáveis é bem enunciado pelo Karl Popper que é a ideia das hipóteses falsificáveis. 00:09:58.30Ou seja, nós nunca provamos a nossa hipótese, nós vamos nos aproximando da prova da nossa hipótese, recolhendo informação suficiente para descartar, rejeitar hipóteses alternativas. 00:10:08.66à nossa. 00:10:09.88Portanto, o processo, o método científico passa, sobretudo, por testar hipóteses falsificáveis. 00:10:16.80E, passando ao segundo aspecto, que é o das observações reprodutivas, a ideia é que, se nós queremos testar a nossa hipótese, desenhamos uma experiência que permita recolher informação, observações de dados suficientes, para descartar uma hipótese alternativa à nossa, ou várias hipóteses alternativas à nossa. 00:10:35.94Agora, a pergunta, e a questão que se coloca é, quando é que temos observações suficientes, dados suficientes, para descartar uma hipótese contrária à nossa, e o que é que é suficiente? 00:10:47.68Pronto, a estatística, se quiseres, a história da teoria das probabilidades e da estatística, mostra que a construção destes alicerces conceptuais e formais, ou seja, da linguagem estatística, foi feita na base, precisamente, de percebermos o que é que pode estar a acontecer por acaso. 00:11:05.78Portanto, foi, no fundo, procurarmos quantificar o acaso, e isto, voltando à questão dos testes de hipóteses, no fundo, quando estamos a tentar recolher informação suficiente para rejeitar uma hipótese contrária à nossa, se a hipótese contrária à nossa foi de não está a acontecer nada, ou estas observações que me fizeram pensar nesta hipótese, são fruto do acaso, como é que eu testo isto?

José Maria Pimentel 00:11:28.88Sim, sempre, no fundo, a lógica é que tu podes encontrar um efeito, para dar o exemplo mais óbvio de todos, não é? 00:11:33.24De, nós sabemos que se lançares um dado, há um sexto de probabilidade de calhar cada uma das faces, não é? 00:11:37.08Exatamente. 00:11:37.66Mas pode acontecer que se eu lançar aqui dez vezes o dado, aliás, é provável, aliás, é impossível que saia um sexto porque não é um número inteiro, não é? 00:11:43.96Sim. 00:11:44.14Mas é provável que mesmo que eu lance doze vezes os dados, não vá sair duas vezes cada uma das faces, não é?

Nuno Barbosa Morais 00:11:49.24Exatamente, exatamente. 00:11:50.24E até não é impossível que saia muitas vezes a mesma face por acaso.

José Maria Pimentel 00:11:54.02Sim, portanto, no fundo, aí foi um acaso e, portanto, cria-se testes estatísticos

Nuno Barbosa Morais 00:11:57.28para perceber. 00:11:58.12Exatamente, portanto, a ideia mesmo é essa, ou seja, se tu lançares o dado muitas vezes e te parecer que o dado está enviesado, quanto é que é evidência suficiente para poderes dizer que vais descartar a hipótese de que o dado não é enviesado, que o dado é legítimo. 00:12:14.14E, aliás, é curioso porque, embora a história da teoria das probabilidades e isso comece no tempo dos romanos e da antiga civilização chinesa, o grande impulso à estatística vem mais ou menos do século XVI do Cardano, que precisamente se tornou um jogador exímio e fez dinheiro a jogar porque começou a tentar estimar as probabilidades de determinados resultados nos jogos que, embora fossem vistos como aleatórios e frutos da sorte e do azar, ele sabia que

José Maria Pimentel 00:12:42.00havia determinadas jogadas que tinham mais probabilidades de sucesso, como os jogadores de póquer sabem. 00:12:45.92Não era completamente random.

Nuno Barbosa Morais 00:12:47.26Exatamente, não era completamente random. 00:12:48.92No nosso caso, o problema em biologia é que, até ao século XX, eu diria, ou até ao século XIX, a biologia envolveu pouca quantificação e pouca estatística devido à sua complexidade. 00:12:59.16Portanto, os grandes avanços de biologia assentavam em conhecimento que era, de alguma forma, descritivo. 00:13:03.90E só no século XIX, com o Gregor Mendel e as experiências com as ervilhas em Burnham, é que se procurou... 00:13:11.22Entra a genética no fundo. 00:13:12.10Entra a genética, exatamente. 00:13:13.88Portanto, se procura quantificar um pouco, digamos, da influência genética, no caso era a cor das ervilhas, não é? 00:13:20.98E podemos dizer que aí é que começa a genética populacional, que já tem quantificação associada. 00:13:26.08Mas, em particular, e isto é muito curioso, que o uso da estatística em biologia aparece provavelmente com o estatístico mais influente da primeira metade do século XX, que era um biostatístico, que era o Ronald Fisher, que é conhecido, nomeadamente, pela análise de variância, pelo teste que tem o seu nome, e pelo valor p, ou p-value, que é precisamente esse conceito de qual é a probabilidade que eu tenho de rejeitar a hipótese nula quando ela é verdadeira. 00:13:55.50Ou seja, qual é a probabilidade de eu enganar-me, de eu cometer um erro, aquilo que se chama um falso positivo, ao rejeitar uma hipótese verdadeira. 00:14:04.32Ou seja, no caso é, qual é a probabilidade de eu achar que a observação que eu estou a fazer não é por acaso, quando ela é por acaso. 00:14:11.94Ou qual é a probabilidade de, aleatoriamente, eu observar resultados mais extremos do que o acaso...

José Maria Pimentel 00:14:17.66Sim, sim, sim. 00:14:18.18Ou seja, para dar um caso concreto, imagina, nutrição, estás a ver o efeito do... 00:14:22.66If an apple, they keep the doctor away, não é? 00:14:24.78Exatamente. 00:14:25.28E portanto, tens uma amostra com pessoas que comem uma maçã diariamente e outras que não comem, não é? 00:14:29.42E no fundo isso dá-te a probabilidade, e vamos admitir que as pessoas que comem uma maçã diariamente, de facto, têm menos problemas de saúde, não é? 00:14:34.80O p-value dá-te a probabilidade desse efeito que tu estás a identificar, não ser o efeito real, mas ser fruto do acaso. 00:14:40.54Do acaso, é exatamente isso. 00:14:42.26E portanto quanto mais baixo for, melhor. 00:14:44.10E normalmente o limiar está nos 5%.

Nuno Barbosa Morais 00:14:45.72O que é interessante é que o Fischer, que aliás trabalhava, eu disse que era biostatístico porque ele trabalhava com dados de colheitas em Rothamsted, que é Norte de Londres, era um instituto que ainda existe, agrónomo, passou várias décadas, eu diria que o grande foco intelectual dele foi precisamente quando é que eu tenho evidência suficiente para acreditar que isto não é por acaso. 00:15:04.86A história mais emblemática e com a qual ele arranca provavelmente o livro mais famoso dele que se chama Desenho de Experiências, portanto, meados dos anos 30, em que ele dá aos cientistas, aos investigadores, um manual de como desenhar experiências otimizadas para fazer testes legítimos de hipóteses e a respectiva quantificação. 00:15:25.86E o primeiro exemplo que ele dá nesse livro é a história da Muriel Bristol, que era uma colega dele, bióloga de algas, que gostava muito de chá e primeiro afirmava que o leite devia ser colocado no chá depois de estar na chávena e afirmava que conseguia distinguir uma chávena de chá em que o leite tinha entrado primeiro ou entrado depois no chá. 00:15:47.42E a história é engraçada porque o Fischer não acreditava que ela fosse capaz de distinguir e desenhou uma experiência que permitisse testar isso e então combinaram que iam preparar oito chávenas de chá, quatro em que o chá era colocado por cima do leite e quatro em que o leite entrava no chá. 00:16:06.50E a senhora realmente percebia do assunto porque acertou todos, portanto acertou os oito. 00:16:11.46E o motivo, hoje sabe-se cientificamente, eu ia sugerir que o Nuno Maulido incluísse a explicação num dos próximos livros, sabe-se que as primeiras gotas de leite a entrar no chá quente, devido à hidrofobicidade da gordura e das proteínas que lá estão, formam os aglomerados e as proteínas desses aglomerados dentro da água quente desnaturam pela temperatura, o que dá até um sabor caramelizado ou aglomerado. 00:16:33.10Ah, engraçado. 00:16:33.52Isso não acontece quando o chá cai por cima do leite. 00:16:36.62A questão é que depois de ver o sucesso da colega, ainda assim o Fischer questionou-se se aquilo era fruto do acaso ou não e calculou as probabilidades dela acertar. 00:16:44.42Por acaso, as probabilidades eram de 1 em 70, portanto 1,4%, ele ficou satisfeito, mas mesmo assim em praticamente tudo o que fazia ele ficava a pensar se de facto estava a testar bem a hipótese e portanto foi daí dessas reflexões dele e dessas quantificações que se desenvolveu o conceito do Pivel. 00:17:00.70E depois veio limiar dos 5%. 00:17:02.16E depois veio limiar dos 5%. 00:17:03.42O que é que acontece aqui é que o Fischer diz também num destes livros de apoio ao desenho experimental e às estatísticas de análise do resultado experimental, diz que só considera dar relevância a observações quando a probabilidade de rejeitar a hipótese do acaso for inferior a 5%, portanto quando este valor P for inferior a 5%. 00:17:25.72Mas nos mesmos livros ele diz isto é totalmente arbitrário e o cientista é que deve decidir qual o erro que está disposto a aceitar. 00:17:34.56O que acontece em biologia é que há aqui dois fenómenos, que é, em primeiro lugar, os biólogos não se preocupam, ou seja, aqueles que não sabem muito a estatística, que infelizmente provavelmente é a maioria, não se concentra muito em interpretar o valor P e em comprometer-se com uma tomada de decisão em relação ao que é que é um erro aceitável e aceita este limiar totalmente arbitrário que já está nos livros há quase 100 anos de 5%. 00:18:03.30Portanto, é uma convenção, é uma convenção, ou seja, aceitaram esta convenção.

José Maria Pimentel 00:18:07.12Desculpa, mas também tem algumas vantagens, não é? 00:18:08.72Porque essa convenção permite que tu compares, não só entre outros papers publicados nesta altura, como até ao longo do tempo, não é? 00:18:14.96Tens um estándar.

Nuno Barbosa Morais 00:18:15.92Tens, mas eu, parte do problema é precisamente que o estándar não é bom e eu já lá vou. 00:18:22.98Sim, é um estándar muito laço. 00:18:25.04Portanto, quando tu perguntas às pessoas porquê que usam 0.05 e mesmo depois de lhes explicares de lhes explicares que isto é arbitrário, portanto, probabilidade, se quiseres declamar um efeito, quando ele não é verdadeiro, de 1 em 20, a resposta é, é conveniente usar um critério bastante liberal porque nos permite ter mais resultados positivos, ainda que depois não é grande argumento. 00:18:48.06Mas é esse o argumento, é permite ver mais coisas potencialmente relevantes e, portanto, dá mais margem de manobra para fazer avançar os estudos por cima de determinadas hipóteses, ainda que a probabilidade dessas hipóteses serem verdadeiras seja um pouco mais baixa ou o risco de estarmos a trabalhar em cima de uma falsificação mal feita ser mais alto. 00:19:10.04E há aqui uma outra questão importante que a maior parte dos cientistas das ciências da vida têm aquilo que se chama uma mente descontínua, no sentido em que gosta de dividir as entidades em caixas. 00:19:21.54E o mesmo se aplica aqui à questão da análise da significância estatística dos resultados, que é vamos dividir os nossos resultados em significativo e não significativo. 00:19:32.38Quando, obviamente... 00:19:34.12Devia ser um contínuo, não é? 00:19:35.10Devia ser um contínuo e devíamos nos comprometer com a interpretação desse contínuo.

José Maria Pimentel 00:19:39.02Comprometer no sentido de porque é que estamos a escolher aqueles... 00:19:41.54Exatamente. 00:19:42.34E depende de quê? 00:19:42.98Ou seja, de que é que deveria depender, em teoria, a escolha do limiar próprio velho? 00:19:46.48Ou a variação desse limiar, não é?

Nuno Barbosa Morais 00:19:47.68Sim. 00:19:47.68A minha opinião é que nunca deveríamos escolher um limiar, mas o motivo pelo qual se escolhe um limiar tem a ver com uma conveniência prática, não é? 00:19:55.58Que é que eu tenho que avançar com experiências e não posso testar tudo, então vou testar aquilo que me parece mais relevante. 00:20:03.20E, num certo sentido, daquilo que deve depender esta escolha de limiar é quais são as consequências práticas e até morais de eu ser mais ou menos conservador. 00:20:13.32Por exemplo, se um falso positivo, ou seja, eu rejeitar a hipótese nula quando ela é verdadeira, puder implicar alguém morrer, obviamente que não vou correr esse risco. 00:20:25.58E vou arranjar um valor P muito mais baixo e muito mais conservador. 00:20:29.04Sem limiar mais apertado. 00:20:29.44Mais apertado. 00:20:30.42Mas se não houver nenhum preço a pagar por avançar com estudos numa observação que pode ser falsa, então eu prefiro trabalhar em cima de mais observações potencialmente falsas porque me dão mais oportunidades de descobrir algo interessante. 00:20:45.70Sim. 00:20:45.92E, portanto, não há nada de muito perverso nisto.

José Maria Pimentel 00:20:48.02E se o sistema funcionar, alguém vai falsificar aquela hipótese, não é?

Nuno Barbosa Morais 00:20:50.54Exatamente, exatamente. 00:20:51.80E, portanto, em teoria, esta ética até nem é muito questionável. 00:20:56.96Curiosamente, historicamente, houve quem pensasse de uma forma um pouco diferente. 00:21:00.46Por exemplo, o Jacob Bernoulli, que é o autor da Lei dos Grandes Números, digamos assim, acabou por nunca dar grande utilidade prática à formulação matemática que hoje em dia é aplicada em sondagens, por exemplo, não é? 00:21:13.06Para estimar uma determinada probabilidade com uma determinada confiança e uma determinada margem de erro. 00:21:17.18Quantos indivíduos é que eu tenho que amostrar? 00:21:19.40Portanto, esta base estatística das sondagens começa com os trabalhos do Jacob Bernoulli. 00:21:24.76Mas ele nunca deu uma aplicação prática a isto porque ele achava que tinha o dever moral de trabalhar com 99,9%, ou seja, com 0,1% de probabilidade de falsos positivos. 00:21:37.24E, portanto, nunca deu uma aplicação prática. 00:21:38.58E precisas de uma amostra muito maior, não é? 00:21:40.06Precisas de uma amostra muito maior e podemos falar sobre isto. 00:21:42.10Mesmo no caso, por exemplo, quando foi anunciada a descoberta do bosão de X, os cientistas do CERN decidiram trabalhar com uma significância superior, portanto, um valor P inferior a 1 em 10 milhões. 00:21:53.94Portanto, nada comparável a 1 em 20, não é? 00:21:57.48Sim. 00:21:57.88Precisamente por isso, porque não queriam fazer, não queriam anunciar, não queriam especular sobre a existência do bosão sem ter uma certeza quase absoluta do que estavam a ver

José Maria Pimentel 00:22:07.92era a consequência da existência do bosão de X. 00:22:10.36E aí tinham até uma teoria muito forte por trás, já, não é? 00:22:13.08Ou seja, a hipótese estava muito sustentada. 00:22:15.24Sim, sim. 00:22:15.28O que nos leva, sobretudo, à base teórica da crise da reportabilidade.

Nuno Barbosa Morais 00:22:18.86Portanto, estávamos a dizer que isto é discutido há 15, 20 anos. 00:22:21.72Há um artigo na Plos Medicine de 2005, do Ioannidis, que é um metacientista, e que tem este título bombástico, que é a maioria, digamos, das observações publicadas são falsas. 00:22:33.20A base, para o Ioannidis dizer isto, até é mais teórica do que empírica, ainda que possamos discutir depois que há evidência empírica para a tal crise da reportabilidade. 00:22:44.60E qual é a base? 00:22:45.22A base parte, precisamente, da convenção do valor P de 0,05, que é o seguinte. 00:22:50.70Imagina que tu és um cientista que tem uma hipótese e decide testá-la com uma significância de 0,05, portanto, de 1 em 20, de probabilidade de achar que a tua hipótese é verdadeira porque rejeitaste mal a hipótese nula. 00:23:03.68Agora, imagina que são 20 cientistas, ou 19 outros, que estão, tal como tu, a testar a mesma hipótese com a mesma significância. 00:23:12.08O que vai acontecer é que se há uma probabilidade de 1 em 20 de haver um falso positivo, assumindo que a hipótese é falsa, há um cientista que vai fazer uma observação, portanto, vai recolher dados suficientes ou evidência suficiente para achar que rejeitou a hipótese

José Maria Pimentel 00:23:26.14nula e que, portanto, a sua hipótese está no bom caminho.

Nuno Barbosa Morais 00:23:29.74O que acontece aqui é que só ele é que vai publicar essa observação. 00:23:34.86Os outros 19, como vão ficar desapontados com o resultado, vão, provavelmente, guardar o resultado na gaveta, aquilo que se chama o file drawer effect, que é, isto não é

José Maria Pimentel 00:23:45.98relevante, não fazem nada com esse resultado.

Nuno Barbosa Morais 00:23:50.16E, portanto, se pensarmos que não só os cientistas que fazem a experiência desvalorizam resultados negativos, ou seja, resultados que não ajudam a validar a sua hipótese, também quem avalia os resultados, portanto, a revisão por partes, também está enviesada nesse sentido, que é, as revistas científicas também não têm muito interesse em publicar resultados negativos, porque diríamos que são desinteressantes, não correspondem a um avanço do conhecimento.

José Maria Pimentel 00:24:17.50Aqui negativos no sentido de não se ter provado determinada hipótese. 00:24:21.96Exatamente.

Nuno Barbosa Morais 00:24:23.24No fundo, o que o Ioannidis diz, é isso mesmo, se nós assumirmos que isto acontece muito frequentemente, nós estamos a publicar muitos falsos positivos, porque não temos a noção de todas as experiências que se fazem, que não validam a hipótese e que são descartadas ou guardadas na gaveta.

José Maria Pimentel 00:24:39.80E o ponto dele é que isso resulta em parte da natureza humana e em parte dos incentivos criados pelo sistema de publicação. 00:24:46.30No artigo ele não chega, isso podemos nós agora discutir dos incentivos, está implícito,

Nuno Barbosa Morais 00:24:51.80no artigo isso está implícito, o que ele diz é só isso, que é, nós só publicamos o que é um resultado positivo, portanto, aquilo que alinha com a nossa hipótese, e usamos

José Maria Pimentel 00:25:00.90um critério de significância de tão lado, que há muitos falsos positivos e é isso que vai parar. 00:25:05.60E é isso que nós estamos a ver, sim. 00:25:06.98Isso lembra-me um caso, que não sei se é verdade, se é uma história, de alguém que usou hábilmente, não sei como é que lhe é de chamar, essa limitação social, não na ciência, mas nos mercados financeiros, que era um tipo qualquer que era corretor ou alguma coisa do género, ou consultor de investimentos, e enviou o e-mail para, vamos supor, sei lá, mil pessoas. 00:25:25.38E para 500 enviou uma previsão de, sei lá, que as ações da Tesla iam subir e no outro de que as ações da Tesla iam descer. 00:25:32.12E depois aconteceu qualquer coisa, as ações da Tesla, vamos supor, que subiram, ele pegou nos 500 para que tinha dito que ia subir, voltou a dividir entre 50 e 50 e voltou a prever, fazer outra previsão qualquer para cima e para baixo. 00:25:42.2450% resultou, 50% não resultou, ele foi estreitando a amostra, até que, ao fim, como diria o Guterres a fazer os contos, mas ao fim de uma série de iterações, tu tens uma pessoa para quem ele fez 10 ou 20 previsões em que acertou sempre. 00:25:55.64Sim, exatamente. 00:25:56.14Então, do ponto de vista daquela pessoa, ele é o maior corretor do mundo, não é? 00:25:59.82Na verdade, não é, não é? 00:26:00.86Não, não, exatamente. 00:26:01.28É exatamente o mesmo efeito.

Nuno Barbosa Morais 00:26:02.34Não, é, isso, neste caso, podemos discutir isso melhor, mas é uma das grandes consequências dos grandes dados hoje em dia, é precisamente essa, não é? 00:26:11.70Mas eu já vou, deixa-me só completar. 00:26:13.08Sim, sim, sim. 00:26:13.68Aqui a ideia de que este artigo do Ioannidis lançou, eu não diria controvérsia, mas lançou a discussão, porque há contra-argumentos. 00:26:20.46E o contra-argumento que muitos colegas usaram é, isto era verdade se todas as hipóteses fossem igualmente prováveis, mas os cientistas, e como tu referiste, trabalham em cima de, não é, standing in the soldiers of giants, não é, trabalham em cima de conclusões anteriores, e, portanto, a plausibilidade das hipóteses que os cientistas colocam quando as vão testar é grande. 00:26:42.18Ainda que este argumento tenha algum mérito, se quiseres na intenção dos cientistas, ele tem algumas fraquezas. 00:26:48.80E eu acho que a maior parte das fraquezas é uma combinação de uma série de vieses cognitivos, novamente. 00:26:54.30Um deles eu costumo chamar-lhe, não sei se é um bom termo, a maldição da erudição. 00:26:58.76E o que é que é a maldição da erudição? 00:27:00.26Que se manifesta muito, sobretudo, em biologia. 00:27:02.46Ou seja, como os sistemas biológicos são muito complexos, não é, por exemplo, estão identificados cerca de 20 mil genes codificantes de proteínas e, portanto, têm uma função, vamos supor, em seres humanos. 00:27:14.04E já houve muitas interações estudadas entre eles. 00:27:16.76O volume de conhecimento acumulado e publicado e que as pessoas estudam em biologia é muito grande. 00:27:23.54E o que podemos pensar é que se associarmos a isso aquilo a que se chama o viés de disponibilidade, que é a tua predisposição para, nesse vasto volume de conhecimento, te lembrares mais do conhecimento que alinha com a tua hipótese, haverá sempre uma tendência a colocares hipóteses que assentam em conhecimento que não é o conhecimento todo, mas o conhecimento

José Maria Pimentel 00:27:47.56ou que tu leste mais ou que te parece fazer mais sentido. 00:27:50.08Claro, ou da tua área de especialização. 00:27:50.68Sim, sim, pronto.

Nuno Barbosa Morais 00:27:52.04E, a somar a isto, temos o efeito linda, não é, que é a falácia da conjunção que o Daniel Kármán e o Amos Tversky estudaram, que faz com que... 00:28:01.78E que o Zidério Mouros falou aqui no podcast. 00:28:03.26Sim, exatamente, que faz muitas vezes com que determinadas condições específicas ou hipóteses mais específicas sejam na cabeça dos cientistas consideradas mais plausíveis que hipóteses mais gerais. 00:28:12.58Isto porque, precisamente, na mente de um cientista que está entusiasmado com a hipótese, ela faz todo o sentido. 00:28:19.92E, portanto, se nós somarmos estes efeitos todos...

José Maria Pimentel 00:28:22.50E haverá, desculpa, e haverá, se calhar, também ainda outro, que é o facto daquilo que tu aludias no início, da pessoa querer fazer grandes descobertas, não é? 00:28:30.20Exatamente. 00:28:30.56Porque a crise da replicação afetou, sobretudo, pelo menos na psicologia, isto é verdade, não tenho certeza que seja verdade na biologia e nas ciências biomédicas em geral, que afetou, sobretudo, previsões mais inesperadas. 00:28:41.28Sim, sim, exatamente. 00:28:42.16E, portanto, que, lá está, por serem inesperadas, deram mais nas vistas quando foram descobertas, mas, lá está, partiam de uma premissa que não se estava, se calhar, tão assenta assim nas conclusões anteriores.

Nuno Barbosa Morais 00:28:51.90Não, exatamente, aliás, e essa é uma nota, digamos, de cuidado que todos os cientistas devem ter, que é, quando é bom demais para ser verdade, provavelmente não é verdade. 00:29:00.76Há um caso muito típico na nossa área. 00:29:02.44Aliás, eu tinha chegado há pouco tempo ao IMM, quando comecei a trabalhar no Instituto, quando saiu na Nature um artigo de um grupo japonês, de um Instituto RIKEN, que é um dos mais consagrados institutos de investigação japoneses em biologia, que reportava conseguirmos transformar células diferenciadas em células estaminais com um banho de ácido cítrico. 00:29:26.50Uma coisa muito simples, que era quase banho-maria.

José Maria Pimentel 00:29:28.94E isto era uma bomba, porque... 00:29:30.90Maravilha, não é? 00:29:31.32Era uma maravilha, porque...

Nuno Barbosa Morais 00:29:32.90Não, exatamente, como é que ninguém tinha reparado que era só dar este banhinho às células? 00:29:36.22Porquê? 00:29:36.68Porque, nessa altura, já sabia ser possível reverter a diferenciação solar, mas foram décadas de trabalho para descobrir aquilo a se chamam os fatores Yamanaka. 00:29:48.76Aliás, o Yamanaka e o John Gurdon receberam o Nobel da Medicina e da Fisiologia em 2012, precisamente por terem mostrado este processo ou esta possibilidade de se reverter a diferenciação solar e transformarmos células diferenciadas em células estaminais, ou pelo menos pluripotentes, jogando com estes quatro fatores de transcrição, mas que é tecnicamente bastante exigente. 00:30:10.10Agora, os cientistas já sabem como fazê-lo, mas era difícil. 00:30:14.64E, de repente, aparece este grupo que diz, não, não, não, isto é um banhinho de ácido cítrico e revertemos a diferenciação. 00:30:20.94E eu lembro-me dos meus colegas no IMM torcerem logo o nariz e pensarem, isto vai dar bronca, porque não pode ser assim tão fácil. 00:30:28.82E provou-se, neste caso, era um caso mesmo de fraude, não é? 00:30:32.30E, rapidamente, se demonstrou não ser verdade. 00:30:34.78Mas há, no fundo, isso que é uma vontade tal de fazer a próxima grande descoberta, que as hipóteses, se quiseres mais sexys, se tornam, na mente dos cientistas, as mais plausíveis. 00:30:46.44Totalmente de acordo.

José Maria Pimentel 00:30:47.52E tu dizias, este artigo de 2005. 00:30:49.60E o Anidis, sim. 00:30:50.32E o Anidis, que foi o que, no fundo, lançou esta discussão. 00:30:53.00Mas este era um artigo, sobretudo, teórico, não é? 00:30:54.42Mas tem havido outros artigos que têm comprovado isto, como tu dizias há bocado, de uma maneira mais empírica, não é?

Nuno Barbosa Morais 00:30:58.40Exatamente, exatamente. 00:30:59.38Portanto, isso é aquilo que chamamos a metaciência, que são colegas nossos que se dedicam, precisamente, a estudar estas dinâmicas.

José Maria Pimentel 00:31:06.96Estudar a ciência. 00:31:07.72Estudar a ciência, sim. 00:31:09.00Como é que nós sabemos...

Nuno Barbosa Morais 00:31:10.68Sim, é uma área... 00:31:11.34Eu não conheço nenhum metacientista em Portugal, senão até o recomendava como convidado. 00:31:15.04Provavelmente não há, porque precisa de uma massa crítica. 00:31:17.36Exatamente. 00:31:17.94E falaria disto muito melhor do que eu, e para além de que não é visto como uma especialidade, se quiseres. 00:31:22.82Portanto, é uma coisa muito mais transversal. 00:31:24.80Mas há quatro ou cinco demonstrações engraçadas. 00:31:28.40de que este problema existe. 00:31:29.74Portanto, são meta-estudos que fizeram o seguinte. 00:31:32.06Aliás, na sequência da conversa que tivemos sobre estatística, nós conseguimos prever facilmente que a dispersão do tamanho, da magnitude dos efeitos que são medidos, em vários estudos que procuram olhar ou testar hipóteses parecidas, deveria diminuir à medida que o número, se quiseres, da amostra, aumenta. 00:31:54.28Ou seja, se tu num gráfico puseres, vamos supor, no eixo do X, a magnitude dos efeitos que estás a testar, e no eixo do Y, no tamanho da amostra, em princípio, vês um funil, porque vês muito menos dispersão para grandes amostras.

José Maria Pimentel 00:32:08.30Ou seja, com amostras pequenas, tu vais tender a ter valores uns muito positivos, outros muito negativos, e à medida que as amostras vão aumentando... 00:32:12.74Exatamente, ou seja, imagina que tu estás a... 00:32:15.34No fundo, vou convergindo para o valor central, não é?

Nuno Barbosa Morais 00:32:17.58Para o valor central, exatamente. 00:32:18.84Portanto, a ideia é exatamente essa. 00:32:19.72É o Bernoulli outra vez. 00:32:20.68E, aliás, por isso é que é importante fazer meta-estudos, que é pegarem muitos estudos pequenos, pôr os dados todos juntos, e tens muito mais robustez estatística, se os olhaste para eles todos juntos, do que de outra forma. 00:32:30.34Mas é exatamente isso. 00:32:31.40Ou seja, se houver muita gente ou muitos grupos a testar o efeito com amostras pequenas, o efeito medido, ou o efeito estimado, vai ter uma variabilidade muito grande, que, como tu estás a dizer, alguns grupos medem um efeito positivo ou alto, outros um efeito positivo ou baixo, outros um efeito negativo ou alto, etc. 00:32:46.10Se os estudos tiverem muita potência estatística, digamos assim, porque usam muitas amostras, em princípio, esses vários estudos com amostras grandes vão estimar efeitos todos muito próximos uns dos outros, que é a melhor estimativa do efeito real. 00:32:59.94Quando tu pesquisas a literatura para estes estudos e fazes o tal gráfico, o que tu verificas é que não vês um funil, mas vês que faltam efeitos negativos ou nulos em estudos com amostras pequenas. 00:33:13.94Isto é a primeira evidência do tal viés de publicação, que diz que um cientista, quando faz uma experiência com uma amostra pequena e não obtém um resultado que considera relevante, não o reporta.

José Maria Pimentel 00:33:25.54E, portanto, tu tens uma depleção de resultados negativos da literatura. 00:33:29.94Há um outro estudo que mostra uma coisa também muito curiosa, que, aliás, me fez lembrar

Nuno Barbosa Morais 00:33:33.56as notícias na altura dos vistos gold de um pico de preços nas casas, imediatamente acima do meio milhão de euros. 00:33:41.36E tu tens exatamente a mesma coisa quando faz um meta-estudo da significância das experiências, que é, tens um pico imediatamente abaixo do 0.05 de significância. 00:33:50.40Está ali tudo no 0.048, 49. 00:33:52.32Exatamente, está lá tudo encostado. 00:33:54.08E a questão é exatamente essa. 00:33:55.70É que o que se mostra é que isto resulta, por exemplo, de, se numa amostra, ou no número de amostra, uma amostra que é que impede o pivélio de baixar dos 0.05, tipicamente há um instinto de a considerar a normal, um outlier, de a remover, não necessariamente com má fé, mas porque, se essa amostra se portar um pouco diferente das outras, vai haver uma intuição no cientista de dizer, ah, neste dia em que eu fiz esta experiência, algo correu mal. 00:34:26.42Provavelmente não é credível. 00:34:28.22Obviamente que isto devia ser feito antes de se ver o resultado e não depois, mas a outra hipótese é, se tu tiveres dois ou três testes estatísticos que te consideras que de alguma forma testam a mesma coisa, provavelmente tendes a escolher aquele que te der o resultado mais significativo e é esse que reportas. 00:34:44.64Claro que se estás a usar testes diferentes e dão resultados diferentes, isto significa que eles não estão a testar a mesma coisa e aquele que dá o resultado mais significativo não é necessariamente aquele que melhor reflete a tua pergunta. 00:34:57.04Depois há uma senhora, Annie Franco, fez um estudo muito engraçado, é que foi ver em projetos financiados o que é que estava escrito quando as pessoas se candidataram a financiamento e foi ver o que aconteceu a esses estudos nas publicações e há uma diferença brutal entre o que se disse que se ia fazer e o que depois é feito e reportado, o que faz pensar que as hipóteses que eram para ser testadas inicialmente não deram os resultados desejados, mas se encontraram-se outras observações para as quais se arranja uma explicação que permitiu o inventário. 00:35:29.70Exatamente, é o chamado Harking.

José Maria Pimentel 00:35:32.40Hypothesizing after results are known. 00:35:34.78O problema disso é que isso não é muito diferente dos 20 cientistas a fazer a mesma experiência que tu falavas há bocadinho. 00:35:39.36No fundo é uma coisa análoga, não é? 00:35:40.60Porque se tu estás a testar indiscriminadamente diferentes hipóteses, tens uma 5% de probabilidade de encontrar uma... 00:35:46.52De encontrar uma por aca.

Nuno Barbosa Morais 00:35:48.34Sim, e este problema agrava-se à medida que nós vamos trabalhando com dados de dimensões maiores, ou seja, com cada vez mais dados. 00:35:54.86Há ainda mais dois, lembrei-me aqui de dois estudos engraçados. 00:35:57.56Um é o que, se não estou em erro, foi em 2005 o Comitê Internacional de Revistas Médicas, precisamente inspirado nestes estudos que mostrava uma grande discrepância entre o que era anunciado ou registado e o que se fazia, que exigiu precisamente disso, ou seja, os objetivos dos ensaios clínicos tinham de ser registados antes de arrancar para se candidatarem a serem publicados nestas boas revistas médicas. 00:36:18.96Portanto, ninguém podia publicar sem ter registado previamente o que é que ia fazer nos ensaios clínicos. 00:36:23.22E o Ben Goldacre, que aliás é o ator de outro livro famoso chamado Bad Science, mostrou que, antes disto, apenas 15% dos estudos reportavam o que tinham proposto que tinham a fazer, mas descobriu uma coisa muito mais engraçada, que foi o número de resultados que eram considerados positivos, mas que não estavam associados à hipótese proposta, era comparável ao número de resultados não publicados. 00:36:46.92Portanto, o que nós estamos aqui a dizer é que 85% das duas uma ou não validava a hipótese inicial... 00:36:54.56Ou validava a outra. 00:36:55.32Ou validava a outra. 00:36:56.16E, portanto, o que faz pensar novamente num efeito semelhante ao de Harkin, que é eu testei uma coisa, vi resultados que me sugerem outra e vou contar a história ao contrário. 00:37:03.88E há uma mais comum, que esta é observada por nós quase cotidianamente, que é o chamado efeito crisálida, que é a metamorfose do conteúdo científico de uma tese, por exemplo, de doutoramento, quando passa para a forma de artigo. 00:37:16.88Ou seja, um estudante de doutoramento desenvolve durante 4 anos um projeto em torno de testar uma hipótese e o que é interessante é que as teses de doutoramento normalmente são bastante honestas e bastante completas em relação ao que foi feito e às dificuldades encontradas e... mas depois, quando é necessário publicar esses resultados numa revista científica, revista por pares, o que se verifica é que é tudo muito mais limpinho, o potencial impacto dos resultados

José Maria Pimentel 00:37:45.16está enfatizado. 00:37:46.76Portanto, isso é... 00:37:47.72Isso já depois de peer review, não é? 00:37:49.20Já depois da revisão... 00:37:50.20Isso já depois da revisão por pares, mas o que nós não sabemos é quando o artigo

Nuno Barbosa Morais 00:37:53.76foi submetido, se já não ia também com uma estrutura diferente.

José Maria Pimentel 00:37:58.36Portanto... 00:37:58.40Não, não, não, desculpa, a minha pergunta não é também relevante, mas a minha pergunta era no sentido de se esperar que uma revisão por pares fosse tão ou a mais rígida, tão ou a mais exigente quanto a revisão implícita na tese de doutoramento, que no fundo seria do orientador, não é?

Nuno Barbosa Morais 00:38:13.98Não, e é exatamente esse o problema, ou seja, estes viesses que eu descrevi, os pares que veem artigos são cientistas, são colegas, não é? 00:38:21.18E, por outro lado, e a Maria Mota falou disto quando teve a conversa contigo, quem publica são revistas que têm critérios editoriais de impacto, ou se quiseres, de sexiness, não é? 00:38:35.14De quão sexy é esta descoberta... 00:38:37.06Sim, quando com o revolucionário é... 00:38:38.16Quão revolucionário é, portanto, quando disruptiva é esta descoberta. 00:38:41.82E a revisão por pares e o próprio critério editorial não é apenas de qualidade científica no sentido de robustez dos métodos e de seguir à risca o método científico. 00:38:53.44Há muita preocupação de, para a nossa revista, vamos selecionar descobertas que a comunidade vai considerar revolucionárias. 00:39:01.56Tem mais impacto. 00:39:02.16E, portanto, o que acontece é que passa a haver um esforço dos autores para enfatizar o potencial impacto das suas descobertas. 00:39:11.64E como estão cientes de que vai haver este tipo de crivo, todos os resultados são reportados de uma forma enviesada para enfatizar esse impacto. 00:39:21.12Aliás, há um estudo, voltando à metaciência, há um estudo que mostra que entre 1974 e 2015, o número de palavras de termos positivos, ou seja, que dão um ênfase positivo às descobertas, por exemplo, uma que se vê muito outstandingly nos antigos, e eu estou a dizer em inglês porque a literatura científica é em inglês, portanto, o estudo mostra que a frequência destas palavras de ênfase positivo aumentou nove vezes nesses 41 anos, ok? 00:39:52.14Portanto, isto é extraordinário. 00:39:53.18Mas há outros estudos que mostram uma coisa ainda mais engraçada, que é que ensaios clínicos com resultados negativos, e negativos no sentido de não se demonstrar o efeito que ia ser testado, cerca de dois terços desses estudos ainda assim publicam efeitos benéficos, e uma forma de contornar, de conseguirem publicar ou reportar efeitos benéficos, mesmo quando os ensaios não o demonstram, é, por exemplo, usar termos do género... 00:40:19.90Mais amigos, não é? 00:40:20.82Sim, do género. 00:40:21.56Aqui vemos uma tendência quase significativa. 00:40:24.62Portanto, isto é comum em alguns desses estudos. 00:40:28.02Isto também mostra o problema de andarmos com limiares, não é? 00:40:30.40Também é legítimo, porque se limiar é arbitrário. 00:40:32.42Se limiar é arbitrário, exatamente. 00:40:33.56E esse é o problema da arbitrariedade do limiar, mas isto também é algo que é um esforço diário para nós cientistas e para nós também formadores de jovens cientistas, explicar, por exemplo, a cientistas menos experientes que é muito fácil ver as tendências que queremos por acaso. 00:40:50.86E, portanto, há que manter sempre este ceticismo. 00:40:53.50Mas isto só para explicar o porquê, ou seja, como é que nós sabemos que, de facto, estamos a exagerar um pouco, ou muito, o impacto das descobertas que fazemos na literatura.

José Maria Pimentel 00:41:05.24Parte das causas, como tu já o disto várias vezes, tem a ver com a maneira como o próprio sistema está construído. 00:41:09.28E já lá vamos. 00:41:09.92Mas eu acho que antes era interessante tirar a outro aspecto que eu também já referiste, que é o impacto que tem tido também, sobretudo nos últimos anos, o surgimento do chamado Big Data, não é? 00:41:18.72De repente passaste a ter muito mais dados. 00:41:20.54E, ao mesmo tempo, também digo eu a complexificação dos modelos. 00:41:24.54Seja modelos estatísticos que se tornaram mais complexos, ou seja, métodos estatísticos mais complexos, ou depois a entrada em cena da inteligência artificial. 00:41:31.34Tu achas que isto, sobretudo nestas áreas, cujo objeto de estudo está muito distante desta quantificação, não é? 00:41:36.40Como, por exemplo, a biologia e a medicina, e, portanto, cujos cientistas, se calhar, também não têm essa formação de base tão forte, tu achas que isto tem sido um desafio adicional, não é? 00:41:45.30Sim, sim, é um desafio grande.

Nuno Barbosa Morais 00:41:46.46Portanto, isto tudo, de alguma forma, amplifica o problema. 00:41:49.48Digamos que, sobretudo, a biologia solar e molecular sofreu, nos últimos 20 anos, dores de crescimento, nesse sentido. 00:41:55.50O que é que eu quero dizer com isto? 00:41:56.84Nós, a partir de, sim, de finais dos anos 90, começamos a conseguir, eu aqui vou dar como exemplo aquilo que é mais próximo ao meu trabalho, mas, essencialmente, como eu tinha dito, os humanos têm cerca de 20 mil genes codificantes de proteínas, digamos, que são unidades estruturais e funcionais dos nossos organismos, e, mais ou menos, a partir de meados dos anos 90, com uma tecnologia que eu não consigo traduzir para português, os brasileiros chamam-lhe microarranjos, que é os microarrays. 00:42:23.32Nós conseguimos começar a sondar a atividade de todos os genes, ou da grande maioria dos genes, conseguimos começar a medir a atividade de todos os genes ao mesmo tempo. 00:42:33.38Ou seja, conseguíamos pegar numa amostra de um tecido humano e, de alguma forma, tirar uma fotografia a todos ao mesmo tempo. 00:42:41.36E isto, no início, como estas tecnologias eram caras, tu podias fazer isto, mas não podias fazer isto com muitas amostras. 00:42:48.42Então, o que é que acontecia? 00:42:49.50Tu tinhas a possibilidade de testar, vamos supor, se estivesse a olhar para a atividade de 20 mil genes, testar 20 mil hipóteses ao mesmo tempo, mas com uma amostra relativamente pequena. 00:43:02.98E isso, por exemplo, leva muito àquilo que, já falamos aqui do Harkin, não é? 00:43:07.60De, ok, eu vou testar, vamos supor, vou comparar aqui amostras de tecido doente com amostras de tecido saudável, vou perguntar que genes é que mudam a sua atividade entre tecidos doentes e tecidos saudáveis e depois logo me preocupo com a explicação. 00:43:24.88Pronto. 00:43:25.20É exatamente isso. 00:43:26.60E, sabendo disto, em estatística tu deves fazer, quando fazes isso, é corrigir para testes múltiplos, ou seja, é controlares para o facto de se testares muitas vezes, digamos, o pi vale individual, o valor P individual, só vale para um teste, temos que o corrigir para o facto de estarmos a fazer isto muitas vezes. 00:43:42.82Mas, mas, e eu aqui posso dar alguns exemplos, o que acontece é que tu podes sempre fazer os 20 mil testes, ver quais é que te dão o valor P abaixo de 0.5 e depois, de alguma forma, pensar, ah, eu tenho aqui uma boa hipótese para isto e contar a história ao contrário.

José Maria Pimentel 00:44:00.34Ou seja, de alguma forma, fazes de conta que sempre tiveste aquela hipótese e que só foste testar aquela. 00:44:06.00Era só aquela.

Nuno Barbosa Morais 00:44:06.86Curiosamente, um investigador português de trabalho em Inglaterra, o João Pedro Magalhães, escreveu um artigo muito engraçado aqui há uns anos, em que ele mostra, por pesquisas na literatura, que praticamente todos os genes humanos são associados a cancro, de uma forma ou de outra. 00:44:19.00Tu encontras sempre evidência. 00:44:20.46Pronto. 00:44:21.34E isto eu semanalmente recebo para rever, e agora já não consigo dar conta do recado e já me recuso a fazê-lo, vários pedidos de revisão de artigos, em que se mostra que um determinado gene tem valor prognóstico num determinado tipo de cancro. 00:44:37.18Aliás, eu posso dizer que um dos meus projetos para os próximos tempos é eu fazer uma análise em larga escala de dados para mostrar que se pode encontrar para cada tipo de cancro milhares de genes com valor prognóstico, sem que isso seja relevante. 00:44:51.68E, aliás, uma consequência disto é, precisamente, a taxa de sucesso de ensaios clínicos em cancro e em outras áreas ser baixos, precisamente porque estamos a levar em ensaio muitos falos

José Maria Pimentel 00:45:00.84positivos que não fazem sentido. 00:45:02.44E, na verdade, isso mostra porquê que esta área é tão desafiante e, enfim, está envolvida nesta crise, chamemos-lhe assim, porque tu tens os tais 20 mil genes que codificam para proteínas e eles não se expressam isoladamente, não é? 00:45:13.20Sim. 00:45:13.40Espeçam-se em conjugação uns com os outros. 00:45:14.70Sim. 00:45:14.84E depois ainda tens os fatores ambientais, não é? 00:45:16.54Exatamente.

Nuno Barbosa Morais 00:45:17.26Mas só o que tu disseste, eles se expressarem em conjunto, o que acontece é que cada gene

José Maria Pimentel 00:45:21.16pode estar envolvida em muitas atividades, ou seja, digamos, a atividade interage em uns

Nuno Barbosa Morais 00:45:25.78com os outros e há genes que estão, aquilo que nós chamamos vias de sinalização, estão envolvidas, um mesmo gene pode estar envolvido em muitas coisas. 00:45:32.90E aí voltámos outra vez ao viés de disponibilidade, que é, se de repente um gene que te aparece está envolvido numa via de sinalização que te interessa e a probabilidade de estar envolvida em qualquer uma é muito alta, tu vais arranjar uma explicação. 00:45:45.34Por exemplo, se na maior parte das vezes ao analisares dados, tu vês genes associados a Alzheimer ou a Parkinson, que também estão em vias de sinalização imunitárias muito importantes, não é? 00:45:56.20E portanto, tu consegues sempre ir aos resultados, buscar informação que de alguma forma se relaciona com a tua hipótese ou o teu interesse. 00:46:05.04Portanto, este problema do Harkin é muito comum quando tu fazes muitos testes e sobretudo

José Maria Pimentel 00:46:09.66quando fazes com amostras pequenas.

Nuno Barbosa Morais 00:46:11.34Um exemplo fortíssimo do problema de reputabilidade associado a isto de testarmos muitas vezes com amostras pequenas é bem exemplificado pelos primeiros estudos de associação de genes com doenças. 00:46:23.94Ou seja, a partir do momento em que nós passamos a ter a capacidade de sequenciar DNA de indivíduos, nós já somos capazes de sequenciar DNA graças ao trabalho liderado pelo Fred Sanger há 50 ou 60 anos, mas a capacidade de sequenciar muitos genes ao mesmo tempo vem de há 20 anos. 00:46:42.84Portanto, o primeiro rascunho, digamos, da sequência do genoma humano foi publicado em 2001 e essa é a altura em que tornou-se mais acessível essa tecnologia. 00:46:52.02Mas, novamente, sendo uma tecnologia cara, ainda não estávamos em condições de sequenciar muitas amostras para os grandes estudos. 00:46:59.66E, então, uma das primeiras aplicações desta capacidade de sequenciar todos os nossos genes foi procurar genes cujas variantes genéticas estivessem associadas a doenças. 00:47:10.50Ou seja, procurar para determinadas doenças mutações, ou nós chamamos de polimorfismos, que pudessem estar associados a essas doenças e, de alguma forma, dar uma base genética para um possível mecanismo e, eventualmente, até para uma abordagem terapêutica. 00:47:27.10E, quando se fizeram os primeiros estudos, e a maior parte deles até eram do foro da neurologia, portanto, os genes associados à esquizofrenia, por exemplo, foram encontrados bastantes genes e com efeitos bastante fortes, de acordo com esses estudos. 00:47:42.06Mas o que aconteceu depois, portanto, nessa altura houve um grande entusiasmo, agora que conseguimos sequenciar genomas, vamos descobrir as causas genéticas de todas as doenças, etc. 00:47:52.10Mas o que aconteceu foi que estas tecnologias que nos permitem olhar para o nosso genoma na sua escala completa se foram tornando mais baratas, mais acessíveis, foram-se acumulando dados e, quando estes estudos, digamos, de procura de genes candidatos a estarem associados com a doença, passaram a envolver amostras muito maiores, o que aconteceu foi que os efeitos que tinham sido reportados inicialmente não se verificaram. 00:48:15.38Ou seja, eram falsos positivos.

José Maria Pimentel 00:48:16.92Estava-se a fazer essa seleção... 00:48:18.44Estava-se a fazer isto, ou seja, estava-se a fazer... 00:48:20.66Voltando ao funil, estavas a escolher só o lado direito, não é? 00:48:23.22Estava-se a escolher o lado dos grandes efeitos. 00:48:25.94Exatamente.

Nuno Barbosa Morais 00:48:26.80E, portanto, o que aconteceu foi exatamente isso. 00:48:28.84E isto até revela uma certa ingenuidade de quem se entusiasmou com os primeiros efeitos, porque os sistemas biológicos são muito complexos e já há 100 anos o Fischer postulava que a maior parte dos efeitos eram poligénicos, ou seja, que a maior parte do que nós observamos é o coletivo de efeitos pequenos de muitos genes. 00:48:49.10E hoje a grande dificuldade em estudar a base genética das doenças é precisamente essa. 00:48:53.86É que a maior parte delas, a maior parte das coisas que correm mal nas nossas células e nos nossos organismos, se tiverem uma base genética, não têm um gene causador,

José Maria Pimentel 00:49:02.16têm pequenos efeitos de muitos genes juntos. 00:49:05.22Sim, por isso é que aquela revolução do CRISPR não teve tanto impacto como se esperava inicialmente, porque há um ou outro caso em que tu consegues alterar o gene e, de facto, ele está diretamente associado à doença, mas na maior parte dos casos, terias que alterar muitos e depois, acrescento eu, não tenho certeza se é verdade, provavelmente é, mesmo que conseguisse encontrar, descobrir os genes associados a determinada doença, se fosse alterá-los todos, terias outros efeitos colunários que, se calhar, também não são desejáveis. 00:49:27.92Não, exatamente. 00:49:28.38Ou pelo menos imprevisíveis. 00:49:29.14E, voltando ao Fischer, o Fischer até foi a primeira pessoa que deu uma base mais quantitativa

Nuno Barbosa Morais 00:49:33.92à teoria da seleção natural do Darwin. 00:49:36.50E uma das coisas que ele também concluiu, acho que não explicitamente, mas que se inferia dos trabalhos dele e que hoje se sabe, é que uma alteração genética que tem um efeito muito forte, sobretudo negativo, nunca será selecionada, não é? 00:49:49.50Portanto, era altamente improvável encontrarmos um gene causador da doença com um efeito muito forte na população. 00:49:57.12Pronto, portanto, às vezes, voltamos a estes viés, há um entusiasmo que até não é

José Maria Pimentel 00:50:01.70justificado ao olhar... 00:50:04.12Até à luz da própria lógica, não é? 00:50:05.78Sim.

Nuno Barbosa Morais 00:50:06.14Há aqui uma outra, só para responder de forma mais completa à tua pergunta, das consequências do crescimento do número de dados, mas também das dificuldades estatísticas.

José Maria Pimentel 00:50:15.62No fundo, a evolução das metodologias quantitativas, não é?

Nuno Barbosa Morais 00:50:18.28Voltando ainda um bocadinho atrás a esta questão do tamanho da amostra e da significância, um dos grandes problemas, até quase éticos e morais, com o qual lidamos nesta crise de reportabilidade tem a ver com a experimentação animal, por exemplo. 00:50:32.84Ou seja, há uma preocupação entre os cientistas de minimizar o número de animais usados em experiências e sacrificados em experiências quando é necessário. 00:50:42.42E então, o que acontece muitas vezes é, quando tu vais ver o que está publicado usando animais, só 0,7% dos estudos, portanto, menos de 1 em 100, é que explicam como calcularam o número de animais necessários para testar um determinado efeito. 00:50:59.10E, portanto, o que acontece é que nós temos a maior parte dos estudos que envolvem animais, precisamente por um bom motivo, ou seja, a preocupação de sacrificar o mínimo possível, não têm poder estatístico suficiente.

José Maria Pimentel 00:51:11.72Ou seja, é muito comum ser 3 contra 3, por exemplo. 00:51:14.92Isso é menos que o exemplo do chá.

Nuno Barbosa Morais 00:51:16.36É, é muito menos que o exemplo do chá e do leite, exatamente. 00:51:19.20E então, o que acontece é que, a isto eu ainda posso, se quiseres, somar alguns outros problemas, como só cerca de 25% é que tem um design aleatório, só 30% é que fazem, digamos, os ensaios de forma cega, que é a pessoa que está a fazer a experiência de não saber quais são os grupos envolvidos e qual a pergunta, mas o problema que aqui se coloca, voltamos ao funil, não é? 00:51:43.50É que, quando fazes estudos com muito poucos animais, tu só reportas resultados fortes. 00:51:49.84E porquê também? 00:51:50.76Porque, para atingires uma significância estatística, o tal P de 0.05, com poucas amostras, precisas de um efeito mais forte. 00:52:00.36Ou seja, se tens menos evidência para um efeito, para afirmares o efeito, o efeito tem que ser mais forte. 00:52:06.46Ora, qual é o problema disto? 00:52:07.86É que, um pouco como os genes candidatos no estudo da Associação Genética, o que tu estás a reportar são efeitos falsamente fortes, mas que servem de base para estimar a potência estatística dos estudos subsequentes. 00:52:22.18E, portanto, se tu, num estudo que se inspira, no outro que reportou um efeito forte, tu vais desenhar um estudo com menos amostras do que é que seria necessário, porque estás a sobreestimar o efeito. 00:52:33.64E se estás a sobreestimar o efeito, não precisas de uma amostra tão grande. 00:52:38.72Isto, no fundo, é um problema, porque, na prática, provavelmente na experimentação animal, nós devíamos, eventualmente, fazer menos estudos com mais animais, ou seja, aceitar que, para fazer um bom estudo, sacrificamos mais animais, mas não fazer tantos pequenos estudos que não têm potência estatística. 00:52:56.74Depois, tens, é o problema ao contrário, que é, quando tu fazes crescer muito o número de amostras, qualquer efeito diminuto tem significância estatística. 00:53:06.82Porque, na maior parte destes testes de hipóteses, sob o ponto de vista, se quiseres, quantitativa ou matemática, a hipótese nula é não estar a acontecer nada, mas 0.000 efeito. 00:53:17.10Ora, se tu acumulares uma amostra muito grande, tu vais ter potência estatística para atribuir significância a efeitos... 00:53:26.06Mesmo muito pequenos. 00:53:26.76Muito pequenos. 00:53:27.62Aliás, na natureza, nenhum efeito é 0. 00:53:29.72Nada é 0.000.

José Maria Pimentel 00:53:31.20Pronto. 00:53:31.38Já agora explica só, matematicamente, porquê que isso acontece. 00:53:33.74Para quem nos está a ouvir. 00:53:34.36Ou seja, porquê que a significância aumenta para o mesmo efeito que o aumento da amostra? 00:53:37.34Isso tem a ver com o facto do desvio padrão diminuir.

Nuno Barbosa Morais 00:53:38.92Sim, o teu grau de incerteza sobre o que estás a medir vai diminuindo à medida que tu aumentas o tamanho da amostra. 00:53:45.98Portanto, se estives a medir uma diferença, vamos supor, entre dois grupos, a precisão com que medes o que está a acontecer em cada um dos grupos é muito alta. 00:53:55.52E, portanto, se a diferença observada for superior à precisão, tu podes dizer que essa diferença é significativa. 00:54:04.10Agora, com amostras muito grandes, podemos estar a falar de uma alteração de 0,1%, por exemplo, na atividade de um gene. 00:54:12.02Ora, nunca ninguém em biologia fez uma experiência a demonstrar que perturbar em 0,1% da atividade de um gene tem qualquer efeito relevante, ainda que seja significativo.

José Maria Pimentel 00:54:22.40E o que passa a acontecer... 00:54:22.98E agora, desculpa interromper-te outra vez, mas é importante, acho eu, para quem está a ouvir, diferenciar estes dois conceitos, não é? 00:54:27.80Porque uma questão é a dimensão do efeito, se vai voltando àquele meu exemplo meio tosco de comer uma maçã por dia, não é? 00:54:34.80Exatamente. 00:54:35.28Uma questão tem a ver com quantos mais anos de vida tu terás de comer uma maçã diariamente e o outro, a significância, tem a ver com esse efeito ser estatisticamente significativo no sentido de nós acharmos que ele não surgiu por acaso nesta amostra. 00:54:48.62Que ele não surgiu por acaso e que é reprodutível. 00:54:50.44Ou seja, por outras causas quaisquer ou por ser livre. 00:54:52.76Exatamente.

Nuno Barbosa Morais 00:54:53.36Mas aqui há a tal questão que é, nós queremos ter observações reprodutíveis, mas os efeitos que estamos a testar, nós estamos a testá-los na assunção de que eles são relevantes, não são só uma observação reprodutível. 00:55:04.84Sim, sim. 00:55:05.36Pronto. 00:55:05.86E o que acontece, nós muitas vezes dizemos precisamente que a dimensão do efeito é o elefante na sala, quando se trabalha com grandes dados, é que se a hipótese do investigador passar por demonstrar significância na rejeição da hipótese alternativa, a dada altura o investigador agarra-se à significância e esquece que provavelmente o efeito que demonstrou ser significativo não é suficientemente forte para ter qualquer relevância.

José Maria Pimentel 00:55:34.48Esquece o que devia ser mais importante, não é? 00:55:35.36Esquece o que devia ser mais importante. 00:55:36.30Ou seja, na prática as duas são importantes, aliás, o que nós... 00:55:38.72O ponto não é mais importante, o ponto de partida, não é?

Nuno Barbosa Morais 00:55:40.38O ponto de partida devia ser esse, exatamente. 00:55:41.96O que nós fazemos, aliás, quando olhamos para estes tipos de dados, é fazer o... 00:55:45.48Nós chamamos os gráficos de vulcão, os volcano plots, que é colocar no eixo do X o efeito e no eixo do Y a significância. 00:55:53.68E porquê é que nós chamamos o vulcão? 00:55:56.66É porque, em princípio, consideramos no eixo X efeitos positivos e negativos, mas, em princípio, tu esperas que quanto mais extremos, ou seja, o efeito, maior também a significância. 00:56:07.52Quando há esta proporcionalidade, em princípio, o que tu tens é um gráfico quase em forma de V, que te faz lembrar um vulcão em erupção, se for desenhado com muitos pontos, e o que te interessa é buscar os cantos superiores deste gráfico, que é, eu tenho evidência, estatisticamente significativa, de que este é um efeito forte. 00:56:24.30E esses seriam, em teoria, os... 00:56:26.72E na prática, efetivamente, é o que se mostra, os efeitos mais relevantes. 00:56:30.34Portanto, os que, de facto, têm forte probabilidade de serem biologicamente relevantes e são reprodutíveis, são estatisticamente muito significativos. 00:56:38.62Digamos, todas estas dificuldades em lidar com a estatística agravam-se com os grandes dados e agravam-se de várias maneiras. 00:56:46.60Depois entram os vieses outra vez também. 00:56:47.74Entram outro tipo de vieses, exatamente. 00:56:49.40Portanto, um deles é... 00:56:50.98Referi agora, não é? 00:56:51.90Significância de efeitos diminutos. 00:56:53.22A outra é, por exemplo, aquilo que se chama o overfitting, que é tu tens muitos dados, queres explicar os dados, então vais à procura de um modelo que explique os dados. 00:57:04.48Mas, maiormente em biologia, os dados são bastante ruidosos e se nós exagerarmos nesta preocupação de encontrar um modelo que explique os dados, a dada altura estamos a encontrar um modelo para o ruído dos dados. 00:57:17.84O que é que isso significa? 00:57:18.66Significa que quando aplicarmos o nosso modelo a novos dados da mesma natureza, ele já não vai encaixar nos novos dados. 00:57:25.34Portanto, este é um dos problemas.

José Maria Pimentel 00:57:26.88E isso tem a ver, não é muito diferente, não é a mesma coisa, mas não é muito diferente de novo daquela questão dos 20 cientistas a fazer a mesma experiência ou de testar várias hipóteses, como tu não tens uma hipótese de base. 00:57:37.44Sim. 00:57:38.04Tu estás a fazer a coisa retroativamente, não é? 00:57:40.04Estás a olhar para os dados e a tentar arranjar um modelo que encaixes ali, não é? 00:57:43.38Sim.

Nuno Barbosa Morais 00:57:43.40A natureza da crise da reportabilidade passa por aí, que é, de repente, nós somos inundados com dados e vamos à procura de alguma coisa interessante. 00:57:50.44E testamos tudo até aparecer qualquer coisa interessante. 00:57:54.32E a mesma coisa é, se tivermos que explicar os dados. 00:57:56.88Vamos à procura sempre de um modelo que os explique e vamos à procura de algo que depois se possa dizer faz sentido. 00:58:03.42Aliás, eu já fiz, uma outra vez, maldades a alguns colegas meus só pelo prazer de testar isto academicamente, que foi tornar resultados de uma análise aleatórias e dar a colegas meus para interpretar e eles encontravam explicações até bastante coerentes com o que estava na literatura para o que estava a acontecer. 00:58:21.42Precisamente porque não estavam cientes de que todos estes viés os pudessem fazer encontrar coisas explicáveis em resultados aleatórios. 00:58:31.26E isto também é muito, esta tendência humana, acho que se chama apofenia, não é? 00:58:35.58De encontrarmos padrões em tudo, não é? 00:58:38.76De vermos um cavalinho quando olhamos para uma nuvem, etc. 00:58:44.04Aplica-se muito com dados de grandes dimensões, quando, por exemplo, os pomos em gráfico e vemos padrões que nos parecem ser resultado, digamos, de um efeito, no nosso caso, por exemplo, biológico, mas que resultam do acaso. 00:58:58.92Há um exemplo histórico, mas eu também te vou dar um exemplo nosso, digamos, da investigação biométrica. 00:59:04.02Um exemplo histórico foi quando, durante a Segunda Guerra Mundial, os ingleses olharam para o padrão de incidência das bombas alemãs, se não estou em erro, foi mesmo em Londres, e quando olhavam para o mapa elas pareciam concentrar-se em zonas estratégicas e gerou-se o pânico que, afinal, os alemães já tinham uma tecnologia de direcionamento nos bombardeamentos muito avançada. 00:59:24.82E depois vieram os estatistas e disseram, não, não, fiquem tranquilos que este padrão é compatível com a leitoriedade e eles estão a disparar ao acaso e é onde acertar. 00:59:33.74Tu tens uma coisa que acontece, por exemplo, quando fazes mapas de incidência de doenças, por exemplo, cancro, mapas geográficos desta incidência, e, pelo acaso, um conselho vai ser sempre uma incidência um bocadinho maior ou um bocadinho menor que no conselho ao lado, ou uma freguesia vai ter uma incidência maior que a freguesia ao lado. 00:59:50.94Sim, sim, porque se a distribuição for aleatória vai ser em forma de sino, não é?

José Maria Pimentel 00:59:53.86Portanto, vai ter os casos sempre. 00:59:54.88Exatamente, vai ter os casos sempre, vai ter freguesias ou conselhos, etc.

Nuno Barbosa Morais 00:59:57.56E esta aleatoriedade muitas vezes não é bem percebida e, então, começam os epidemiologistas mais incautos, ou provavelmente os epidemiologistas, não tanto porque já estão formados, mas colegas que não estão habituados a estes estudos, a questionar-se porquê é que aquele conselho tem uma incidência mais alta, porquê é que ele tem uma incidência mais baixa, e à procura, e aí entra novamente esta questão de ir procurar explicações, e de certeza que se vai encontrar uma explicação, ainda que não válida para isso, porque obviamente há muitas diferenças entre conselhos e freguesias que tu podes associar a estas incidências mesmo que não sejam verdade, ou seja, correlação não é causalidade neste sentido. 01:00:32.60Um outro problema associado, no fundo, a este acumular de dados e, de alguma forma, à má formação, a estatística dos cientistas, tem a ver depois com o próprio uso dos computadores e do software de apoio a estas análises, não é? 01:00:46.90Ou seja, há um problema que é a utilização deste software como caixas negras. 01:00:51.54Eu sou dos que advoga softwares de análise como sistemas de apoio à decisão, no sentido em que o programa nunca dá resposta, está lá apenas para fornecer boa informação ao investigador para tomar decisões e encontrar a resposta, mas, obviamente, que se usarmos um programa como uma caixa negra, fazemos entrar os dados e podemos até otimizar os parâmetros do programa sem saber exatamente o que é que estamos a fazer, até darem algo que nos

José Maria Pimentel 01:01:23.22parece uma boa resposta. 01:01:25.32Porque é mais análogo, no fundo estes programas são mais análogos, é um programa estatístico que propriamente é um instrumento de medição, por exemplo.

Nuno Barbosa Morais 01:01:30.60Exatamente, exatamente. 01:01:30.60E, portanto, a questão, aliás, tenho tido muito essa preocupação quando apresento o nosso trabalho, dizer o seguinte, quer dizer, se dois programas que é suposto testar a mesma coisa não vos derem a mesma resposta, claramente não estão a testar a mesma coisa nem a fazer a mesma pergunta e, portanto, é importante perceber, mesmo continuem a usar os programas e tirar proveito do processamento dos computadores, como é que cada passo de uma análise informática traduz a pergunta científica. 01:01:51.92Esse é um aspecto muito importante e, portanto, isto agrava-se ainda mais quando começamos a entrar pela utilização de algoritmos de aprendizagem automática, inteligência artificial, para classificar coisas e encontrar padrões nos dados que nos permitam fazer previsões, etc.

José Maria Pimentel 01:02:11.34E não sabes mesmo o que está a passar lá dentro.

Nuno Barbosa Morais 01:02:13.46Sim, não sabes o que está a passar lá dentro. 01:02:13.46E, portanto, nós acontecemos, em biologia acontece-se muitas vezes a ver este tipo de problemas da caixa negra em que o que nós questionamos a olhar para os resultados, essa qualidade dos dados que entram, ou que temos que questionar sempre, por exemplo, quando usamos algoritmos de aprendizagem automática e de inteligência artificial, é se a qualidade dos dados é o suficientemente boa, por exemplo, para não refletir os nossos próprios viés, ou seja, não estarmos a ensinar a máquina a pensar com os mesmos viés

José Maria Pimentel 01:02:42.50que nós temos. 01:02:43.16É aquela expressão do garbage in.

Nuno Barbosa Morais 01:02:44.56Garbage in, garbage in, garbage in, garbage in, exatamente. 01:02:44.56E, para quem nos está a ouvir, há exemplos. 01:02:48.46A maior parte dos exemplos mais engraçados são, por exemplo, algoritmos de análise de imagem para um caso, assim, mais mundano. 01:02:52.44Foi um algoritmo de análise de imagem desenvolvido para distinguir cães de lobos a partir de fotografias. 01:02:57.36E foi um algoritmo que foi treinado, portanto, com muitas fotografias de cães e muitas fotografias de lobos e que tinha uma performance extraordinária. 01:03:08.06Mas houve um dia em que o algoritmo falha porque lhe foi dada a fotografia de um husky e ele chamou-lhe lobo. 01:03:13.76E foi-se ver o que é que estava a acontecer. 01:03:13.76Pronto, os huskies até são relativamente parecidos com lobos. 01:03:18.00Digamos, quando se abriu a caixa negra, o que se descobriu é que o algoritmo não estava a classificar o animal, mas estava a classificar o ambiente envolvente. 01:03:22.86Ou seja, porquê? 01:03:27.34Porque todos os lobos eram fotografados no estado selvagem e todos os cães tinham sido fotografados ou em ambiente doméstico, em jardins, etc. Este husky, curiosamente, estava na neve e, portanto, como a maior parte de fotografias com canídeos na neve eram lobos,

José Maria Pimentel 01:03:42.82assumiu que eram lobos. 01:03:42.82Isto pode acontecer... 01:03:43.98Isso é um caso de overfitting, no fundo, não é? 01:03:45.34Isto é um caso... 01:03:45.82Ele teve a interpretar ruído como sinal, não é?

Nuno Barbosa Morais 01:03:48.18Sim, sim, sim. 01:03:48.18Ou então, eu não diria que é bem de overfitting. 01:03:48.18Este teve a interpretar foi um sinal que estava confundido com o sinal que se cria. 01:03:54.78E isso é um problema experimental. 01:03:54.78Esta questão dos efeitos de confusão, de confounding, são muito comuns. 01:04:00.12Daí a questão também, como estávamos a discutir, do correlação não ser causalidade.

José Maria Pimentel 01:04:06.32Sim, sim. 01:04:06.32Eu apanhei outro exemplo muito parecido com esse, que era com vacas, que as imagens que tinham sido fornecidas ao algoritmo eram todas de vacas, são ver, eram todas de vacas, quer dizer, brancas com pitas pretas. 01:04:15.18E, portanto, o que o algoritmo estava a apanhar como significando vacas era, entre outras coisas, e se calhar sobretudo, esse padrão da coloração do pelo, não é? 01:04:24.04Sim, sim. 01:04:24.42E, de repente, depois uma vaca castanha, que nós sabemos que é uma vaca na mesma, mas que não tem aquela cor, e ele não apanha como sendo uma vaca.

Nuno Barbosa Morais 01:04:30.14Sim, ou um cão atrás da sombra de um gradeamento ser classificado como um tigre, não é? 01:04:35.00Sim, exato. 01:04:35.20Porque as riscas, por causa das riscas, é muito comum. 01:04:38.66Mas estes exemplos engraçados chamam a atenção para isso, é que a utilização destes algoritmos poderosos, a boa utilização até depende mais da qualidade dos dados do propriamente da qualidade dos algoritmos. 01:04:49.34Exato. 01:04:49.92E, portanto, temos que estar muito atentos a como treinamos esses algoritmos nas nossas análises. 01:04:56.02Sim.

José Maria Pimentel 01:04:59.56Contribua para a continuidade e crescimento deste projeto no site 45gurauspodcast.com. 01:05:04.86Seleciona a opção Apoiar para ver como contribuir, diretamente ou através do Patreon, bem como os benefícios associados a cada modalidade. 01:05:14.70Eu queria voltar àquilo que nós falámos mais no início, dos aspectos mais institucionais, ou seja, da maneira como a ciência está organizada, porque isso depois também nos leva às soluções, enfim, para estes desafios, para a restos problemas, para lá daquilo que nós já fomos falando, que tem mais que ver com literacia quantitativa. 01:05:28.36Antes disso, há uma explicação possível para este fenómeno, que nós ainda não falámos e que, de certa forma, desculpabiliza os outros fatores que nós fomos falando até aqui, seja da negligência ou destes incentivos que o sistema de publicações cria. 01:05:41.22É possível que a ciência tenha, de certa forma, não digo esgotado, mas pelo menos já tenha consumido a maioria daquilo que se chama o low-hanging fruit, com aquela analogia de uma árvore, tens os frutos que estão acessíveis pela tua mão, tu passas e tira-los, enquanto os outros que estão lá em cima, dão muito mais trabalho, tens que fazer uma escada, quer dizer, admitindo aqui nesta analogia que não tens uma escada à mão, ou no mínimo tens que subir a escada, tens que esticar mais, tens que andar à procura, porque eles estão escondidos atrás da folhagem, dá muito mais trabalho. 01:06:06.08E a verdade é que há, e depois para o início das referências, ainda há pouco tempo apanhei um estudo de metaciência, na verdade na altura não pensei que seria de metaciência, mas era de metacientistas de certeza, que analisava em várias áreas, eu sei que incluía as ciências naturais e as ciências sociais, o impacto das descobertas, não sei como é que eles quantificavam a questão do impacto, mas o gráfico era interessante porque era uma linha descendente, que não era a mesma para todas as áreas, mas tinha em comum o facto dessa tendência descendente, ou seja, no fundo, com o passar das décadas, o low-hanging fruit tinha sido colhido, portanto aquelas descobertas com maior impacto, e agora o que tu estavas a descobrir eram descobertas com um impacto mais pequeno, não é? 01:06:40.32Será que isso pode explicar o que está a passar aqui também?

Nuno Barbosa Morais 01:06:42.30Sim, eu acho que sim. 01:06:43.68A questão aqui é que há muito mais publicações do que havia no passado, há muito mais gente a fazer ciência e provavelmente o número total de grandes descobertas não cresceu tanto, ou seja, eu acho que esse efeito é sobretudo um efeito proporcional.

José Maria Pimentel 01:06:58.78Então não é o número total, é o impacto médio? 01:07:01.32É, o impacto médio, sim, sim, sim. 01:07:02.76Por acaso não tenho certeza, mas é possível, sim. 01:07:04.20Continua, eu acho que sei a que estudo estás a referir e o que parece acontecer é que

Nuno Barbosa Morais 01:07:08.90nós aumentamos muito o número de cientistas, de instituições a fazer ciência, mas continuam a ser as mesmas, ou mais ou menos o mesmo volume de cientistas a que poderíamos fazer as grandes descobertas. 01:07:19.72Curioso. 01:07:20.02Mas esse, se estamos a pensar no mesmo estudo, também é preciso interpretar esses dados com algum cuidado, por exemplo, porque uma parte da avaliação de qual o impacto das descobertas passa também pela análise de citações, não é? 01:07:32.60E, por exemplo, se eu estivesse a medir, como falei há pouco, expressão génica com tecnologia de microarrays e passar a medir consequenciação, os artigos de microarrays deixam de ser citados. 01:07:44.42Portanto, há aqui um fenómeno importante que é, nós temos que perceber, por exemplo, nesta dinâmica de medir impacto com base em citações, se há fenómenos destes. 01:07:53.54É, mudou-se a tecnologia... 01:07:55.04Criou uma descontinuidade. 01:07:55.82Criou uma descontinuidade, pronto. 01:07:57.46Isso é verdade. 01:07:58.22No entanto, eu sinto que em termos proporcionais, ou seja, o número de descobertas importantes não acompanha o crescimento da comunidade e, portanto, nisso eu não tenho grandes dúvidas. 01:08:08.50Mas isso é normal, sim. 01:08:09.58Isso é normal, não é? 01:08:10.34Sim. 01:08:10.60Agora, o que acontece é exatamente isso, é que, com algumas exceções, portanto, não é para generalizar, com algumas exceções, as grandes descobertas, e que tu podes chamar as low-hanging fruit, num estado atual, agora toda a fruta está muito alta.

José Maria Pimentel 01:08:24.88Exato, sim. 01:08:25.46Pronto.

Nuno Barbosa Morais 01:08:25.76Mas o que eu digo é que, normalmente, o que acontece é que há grandes descobertas quando, por exemplo, uma tecnologia permite mudar a escala com que se mede qualquer coisa. 01:08:33.98No caso da investigação biomédica, a partir do momento, como eu disse, em que tínhamos a capacidade de medir a atividade de todos os genes ou sequenciar todos os genes, há alguns avanços importantes que se fazem, precisamente agarrando essa low-hanging fruit. 01:08:48.02E há algumas exceções interessantes que até são circunstanciais. 01:08:52.16Por exemplo, as vacinas de RNA que nos ajudaram a resolver o problema da pandemia não foram desenvolvidas, a tecnologia não foi desenvolvida especificamente para o SARS-CoV-2, não é? 01:09:05.12As vacinas de RNA estavam a ser desenvolvidas a pensar, sobretudo, em cancro, mas ainda não tínhamos chegado a um ponto em que conseguíamos demonstrar eficácia e essa tecnologia foi adaptada e mostrou ser muito mais eficaz a resolver esta pandemia por um vírus. 01:09:22.56Portanto, muitas das vezes até já há tecnologias potencialmente disruptivas, no bom sentido, digamos a serem marinadas nos laboratórios, mas a aplicação que permite essa revolução não está presente. 01:09:34.68Mas o problema aqui é o seguinte, é que precisamente porque é, como tu dizes, mais difícil chegar à fruta alta, há também algo que, na minha opinião, é contraproducente, que é a tendência para os cientistas se hiperespecializarem a irem à procura do tal nicho distante, focarem-se numa fruta que está lá muito em cima na árvore e arranjar, digamos, a sua zona de conforto para fazer investigação em torno desse nicho. 01:10:01.22Obviamente que isto faz, e aqui usando a mesma analogia, se quiseres da ciência procurar estender os limites do conhecimento e se olharmos para este conhecimento e pensássemos nesse conhecimento como uma esfera, na prática o que estamos a fazer é com que os limites de conhecimento estejam a expandir-se mais à moda de um ouriço. 01:10:20.28Sim. 01:10:20.64Não é?

José Maria Pimentel 01:10:21.00Até podemos manter na analogia, pode ser a copa da árvore, não é? 01:10:24.10Ou a copa da árvore, exatamente. 01:10:24.98Estás a ir a alguns pontos da copa, mas há outros que estão lá muito bem.

Nuno Barbosa Morais 01:10:27.62Sim, mas num certo sentido a copa, ou pelo menos os galhos que estão mais longe, provavelmente têm menos folhagem, portanto dão por daí esse aspecto ouriço, porque não conseguimos com esta capilaridade cobrir toda a fronteira. 01:10:38.48E ao mesmo tempo, na minha opinião, ficam também com esta especialização, ou seja, passa a haver vazios entre os galhos e provavelmente até ficam buracos na base, pronto. 01:10:48.14Qual é o problema disto? 01:10:49.60É que muitas das grandes descobertas resultam de empreitadas coletivas. 01:10:54.98Não é? 01:10:55.60De sinergia entre pessoas com formação diferente ou de pessoas que têm uma formação mais horizontal que fazem pontes entre áreas. 01:11:02.96E na minha opinião, o que está a acontecer é que a maior parte dos estímulos que temos em investigação, não só não promovem muito a colaboração entre disciplinas, mas também não provovem a formação transversal e interdisciplinar. 01:11:15.94Promovem uma hiperspecialização dos cientistas. 01:11:17.68Uma hiperspecialização, e não, e provoca sobretudo algo que nós tivemos a discutir nesta conversa, que é, tomando os exemplos da estatística ou dos algoritmos, para usar bem estatística em biologia, tu precisas de pessoas que saibam de estatística, mas que percebam a natureza dos dados biológicos. 01:11:35.04Ou seja, precisas de estatísticos muito interessados em biologia ou de biólogos muito interessados em estatística. 01:11:40.28Se tu quiseres, e isto é muito na linha do que nós fazemos no IAMM, aquilo que se chama de biologia computacional ou bioinformática, se tu quiseres aplicar algoritmos a dados biológicos, tens que ser um biólogo que percebe bem os algoritmos em que te interessa, ou um cientista da computação que tem muito interesse pela biologia e pela estrutura daqueles dados. 01:12:00.04E este é um caminho difícil. 01:12:01.08É um caminho difícil e o que acontece, infelizmente, é exatamente isso. 01:12:05.30Uma das fontes desta crise de reportabilidade no que é publicado está associada precisamente à revisão por pares falhar, por exemplo, na parte estatística. 01:12:14.52E falha porque não há gente suficiente para rever todos estes artigos com essa preocupação.

José Maria Pimentel 01:12:20.08Sim, no fundo há pessoas que consigam rever um paper de biologia avançada, chamemos-lhe assim, e que tenham também competências avançadas da parte quantitativa.

Nuno Barbosa Morais 01:12:26.92Exatamente, e muitas vezes também aqui há uma crítica implícita aos meus colegas mais biólogos, mas há também o contrário, ou seja, há, muitas vezes, dá-se um artigo para rever um estatístico e, não havendo um interesse muito grande no problema biológico, há uma série de assunções em relação à forma como os dados são gerados, etc., que não estão corretas e, portanto, há críticas muito injustas porque não se perceberam os dados. 01:12:53.50Eu posso dar um exemplo muito simples. 01:12:55.42Eu sou muitas vezes convidado para fazer arguências de teses de mestrado em que o estudante, o candidato, trabalhou com orientação de uma pessoa de biologia e uma pessoa, vamos supor, de informática e o trabalho envolvia análises de grandes dados biológicos. 01:13:13.98Eu trabalho muito com dados de RNA e o que acontece, quando nós trabalhamos com estas tecnologias, com dados de sequenciação para medir a atividade de genes, as medidas são relativas, ou seja, não são absolutas. 01:13:27.56Eu não consigo dizer exatamente quantas moléculas de RNA de um determinado gene estavam dentro de um tecido, mas consigo dizer relativamente às moléculas de RNA de outro gene no mesmo tecido. 01:13:40.48Mas não consigo comparar os números diretamente. 01:13:42.88E, portanto, para eu tornar... 01:13:43.86Porquê? 01:13:44.58Porque o tamanho da mostragem de moléculas não é o mesmo da amostra para amostra. 01:13:49.10Portanto, eu tenho que normalizar para o número de leituras, para o número de moléculas que é... 01:13:53.36Tudo bem. 01:13:53.36Estatisticamente ou matematicamente, isto não tem dificuldade de fazer... 01:13:57.82O processo chama-se normalizar os dados, que é tornar os dados comparáveis. 01:14:01.76Só com o RNA, há aqui um aspecto muito curioso, que é... 01:14:05.36Tu podes normalizar para o peso total do RNA, ou seja, qual era a massa do RNA que estava no tecido e porquê é que pode ser importante fazer isto. 01:14:15.00Porque quando tu sequencias, os RNAs são partidos em fragmentos, todos mais ou menos com o mesmo tamanho, e uma molécula longa vai ter mais fragmentos sequenciados, portanto, mais informação que uma curta. 01:14:26.50Ou podes normalizar para o número total de moléculas. 01:14:30.80Isto são coisas diferentes, porque se uma amostra tiver uma tendência para ter moléculas de RNA mais longos e outra mais curtos, vai fazer toda a diferença normalizar para o peso total ou para o número de moléculas. 01:14:42.98Repetidamente, quando eu vou fazer estes exames, eu pergunto que normalização foi feita e porquê. 01:14:48.28E o que me apercebo é que muitas vezes não recebo resposta, porque o orientador de biologia confiou no colega que é bom analisar dados e, portanto, nem sequer se fez essa pergunta. 01:15:00.58Será que ele está a normalizar para o número total de moléculas ou para a massa? 01:15:04.08E o outro não tinha noção. 01:15:05.04E o outro não tinha noção de que isto era importante e correu a normalização, que era mais elegante ou mais limpa ou que matematicamente fazia sentido, sem ter pensado que isto é muito importante. 01:15:14.40Pronto, o que tu precisas, tipicamente, é um exemplo de faltar ali, eu quase diria, uma empatia entre os dois lados. 01:15:22.04E isto, no fundo, é, numa escala diferente, também o problema das duas culturas do Charles Quartz e Snow, não é? 01:15:28.74Que é, nós olhamos sempre para o outro especialista como alguém que está na outra área. 01:15:33.50É muito curioso, eu sendo biólogo computacional, eu faço uma, isto é em jeito de piada, mas eu faço, é muito engraçado, que eu digo que os colegas que mais me respeitam me chamam especialista e os colegas que menos me respeitam me chamam generalista. 01:15:45.92Porque, como o ser generalista é visto como uma coisa negativa e o ser especialista é que é visto como uma virtude. 01:15:52.68Portanto, na prática, para alguém que me vê como diferente, eu sou especialista de outra coisa, ou alguém que não acha muita piada a esta superficialidade, ou aparente superficialidade, de alguém que cobre muitas áreas, como se faltar, no fundo é verdade, não é? 01:16:06.24Nosso cérebro é limitado. 01:16:07.64Sim, sim. 01:16:07.88E o teu conhecimento pode ser mais horizontal ou mais aprofundado. 01:16:11.78Mas isto tudo...

José Maria Pimentel 01:16:12.16A profundidade é que perdes as ligações, não é? 01:16:13.62Exatamente, é um pouco isso. 01:16:15.08Portanto, há espaço para todos, no fundo é a mensagem. 01:16:16.76Sim, sim, sim. 01:16:17.72E, no fundo, esse era um aspecto institucional que nós não tínhamos falado no início. 01:16:21.16E, portanto, é a ponto perfeita para nós falarmos desses aspectos institucionais. 01:16:24.40Porque essa tendência para a hiperespecialização, que existe em todas as áreas da ciência, naturais ou sociais, no fundo aqui, neste caso, provoca que o cientista que está a fazer o trabalho, muitas vezes não tem noção de determinados factos que precisaria de saber. 01:16:38.02E quem está a avaliar esse trabalho, seja os orientadores da tese, seja os peer reviewers, os pares que estão a fazer a revisão, muitas vezes também eles próprios têm essa miopia, eles próprios têm as sanguílias mortas e isso, no fundo, isso explica, ou ajuda a explicar porque é que este sistema de revisão por pares, que é um, como tu explicaste logo no início da nossa conversa, é um dos alicerces da ciência moderna, por vezes não está a funcionar bem, não é? 01:16:59.18Sim, sim, exatamente. 01:17:00.24E, no fundo, explica, a par destes desafios da estatística, explica, enfim, explica esta crise, chamemos assim, ou pelo menos o facto de, de repente, haver conhecimento que se julgava estar acumulado e não corresponder exatamente a conhecimento.

Nuno Barbosa Morais 01:17:12.82Sim, estás a pegar num dos, chamamos-lhe, estímulos perversos que gera este problema, não é? 01:17:17.92Que é o estímulo à publicação, mas há aquela primeira parte de que eu já falei, não é? 01:17:22.12Que há um viés para só publicarmos resultados considerados positivos, mas depois nós temos que perceber que a carreira de um cientista, quando em carreira quer em termos de posições académicas ou de cargos académicos, quer em termos de financiamento para a sua investigação, está muito dependente das publicações e está dependente dessas publicações a vários níveis. 01:17:42.96Podemos pensar, digamos, em várias dimensões do problema. 01:17:46.08Uma é o número de artigos, não é? 01:17:48.32Portanto, há uma tendência a valorizar quem publicou muito numa determinada área. 01:17:53.26Isto faz com que as pessoas façam, digamos, fatiem aquilo que vão publicando em muitos artigos para criar uma ideia de um grande corpo de conhecimento

José Maria Pimentel 01:18:02.38na área em que os próprios estão envolvidos. 01:18:05.82E fará também com que as pessoas, tendo essa pressão para publicar, publiquem mais rápido e, portanto, sem ter...

Nuno Barbosa Morais 01:18:10.62Sim, e era aí que eu queria chegar. 01:18:11.82Portanto, isto é imediatamente um fator para baixar a qualidade do que é publicado, porque, primeiro, há uma pressa em publicar, portanto, as pessoas acabam por ser, de forma não intencional, mais negligentes com o que lançam para a publicação. 01:18:22.36Como há uma avalanche de artigos, há uma indisponibilidade de tempo dos revisores para fazerem uma boa revisão, portanto, a qualidade da revisão baixa. 01:18:29.80Há também o aparecimento de revistas chamadas revistas predatórias, não é? 01:18:33.26Revistas que, desde que pagas, publicam o que tu quiseres e tu despachas o assunto, colocando na literatura um artigo que não foi bem revisto. 01:18:41.40Portanto, esse é um problema e aqui eu ainda poderia, nós ainda poderemos decompô-lo mais, no caso da biologia, por exemplo, a ordem dos autores conta. 01:18:50.36E, portanto, normalmente assume-se que o último autor coordenou o estudo, o primeiro autor foi quem fez a maior parte do trabalho e depois a ordem dos autores vai das pontas para o meio, por ordem decrescente ou de quantidade de trabalho ou de grau de senioridade nos artigos. 01:19:04.36E são muito mais valorizados, numa fase júnior, o número de artigos como primeiro autor e, numa fase sénior, os artigos como último autor. 01:19:12.24Por outro lado, há a questão do impacto dos artigos. 01:19:15.28Tu podes me dizer, ah, tu publicas muitos artigos, mas se forem uma porcaria, ninguém te os vai valorizar. 01:19:20.12E, então, como é que nós medimos se um artigo é bom ou não? 01:19:24.70E o que acontece é que há duas formas. 01:19:27.76Uma é olharmos para o fator de impacto da revista onde é publicado. 01:19:31.44Portanto, a Maria Mota explicou isso bem, não é? 01:19:33.86Há revistas que têm um prestígio muito maior. 01:19:35.92A Nature Science. 01:19:36.84A Nature Science, no nosso caso a Cell também. 01:19:39.56E, portanto, tu almejas publicar numa dessas grandes revistas porque coloca-te a tal medalha, o tal selo de impacto no teu trabalho. 01:19:47.68Mas, obviamente, voltamos à conversa inicial, isto é um estímulo a exagerares a importância do teu trabalho e o impacto. 01:19:54.76Então, não só este avalanche de artigos, mas também esta questão do fator de impacto da revista em que se publica fez com que se pensasse, bom, vamos, então, medir o impacto de cada artigo pelo número de citações. 01:20:06.40Ou seja, pelo reconhecimento pelos pares. 01:20:08.90E, aliás, criou-se uma métrica chamada o H-Index, não é? 01:20:11.80Que, basicamente, procura este equilíbrio entre publicares muito e bem, não é? 01:20:15.56Teres bastantes artigos muito citados. 01:20:19.04E, porque, se tu fizeres uma análise de citações na literatura, um terço dos artigos nunca são citados e mais de metade são citados para aí uma vez e, provavelmente, são citados por um amigo ou pelo próprio. 01:20:31.80E, portanto, o que acontece... 01:20:32.68É uma distribuição de power, não é? 01:20:33.54É uma distribuição, exatamente. 01:20:34.68É uma coisa muito próxima disso. 01:20:36.12O que significa que há uma minoria de artigos que são considerados relevantes. 01:20:39.82Portanto, há muitos artigos irrelevantes. 01:20:41.96E, então, passou a haver uma preocupação de estimular as pessoas a produzirem artigos que, de facto, venham a ser citados porque são sólidos e porque têm descobertas reprodutivas, etc. 01:20:53.58Mas, obviamente, que isto também criou fenómenos de cartel entre autores e revistas. 01:20:59.92Porque, obviamente, normalmente os editores das melhores revistas... 01:21:02.56Não estou a falar dos editores profissionais que são contratados pelas revistas, mas, de determinadas revistas, têm uma equipa editorial alargada de cientistas de nome na área que ajudam neste processo de seleção dos melhores artigos. 01:21:14.00E, portanto, obviamente... 01:21:14.50Uma espécie de conselho consultivo, não é? 01:21:15.60Uma espécie de conselho consultivo, sim, exatamente. 01:21:17.40E, por exemplo, escolher quem são os melhores revisores para um artigo, etc. 01:21:20.58Portanto, todo este trabalho também gera, dá poder a quem está numa posição de editor ou de revisor até. 01:21:27.10Aliás, é muito comum submeteres um artigo para revisão e, com base nas revisões, saber quem foi o revisor porque te pede para citar. 01:21:34.10Está a faltar a citação ao seu próprio artigo. 01:21:36.74Este tipo de cartéis. 01:21:37.88Portanto, os estímulos à publicação, neste caso, estão associados precisamente a isto. 01:21:42.90É que a tua carreira depende do número e do impacto e das citações dos teus artigos. 01:21:47.98O financiamento para a tua investigação também depende deste teu currículo. 01:21:52.16E, depois, isto gera círculos viciosos porque o que passa a acontecer é que tu entras naquilo que se chama efeito Matthew de Mateus, não é? 01:22:00.88Que é da parábola dos talentos de São Mateus, que é os ricos ficarem mais ricos. 01:22:05.36Ou seja, publicaste na Nature, às tantas consegues uma posição académica mais elevada e financiamento e entras na Elite. 01:22:10.94E o que passa a acontecer é que quem quer entrar no clube dos ricos, novamente, passa a ter estímulos perversos para exagerar os seus...

José Maria Pimentel 01:22:19.62Sim, para tentar dar o máximo, arriscar mais no fundo. 01:22:21.46Para tentar arriscar mais porque não tem nada a perder. 01:22:23.46E, ao mesmo tempo, deixas de ter um level playing field, não é? 01:22:25.92Deixas de ter uma concorrência justa porque é quase como se tivesse uma oligarquia, não é?

Nuno Barbosa Morais 01:22:31.42Exatamente. 01:22:31.42Aliás, eu ia falar nisso porque aqui há dois aspectos muito interessantes. 01:22:35.56O primeiro é que tu podes argumentar que há alguma correlação entre o mérito, a qualidade científica dos cientistas e o sucesso que alcançam a este nível. 01:22:46.76E há, obviamente, mas não é perfeita. 01:22:49.34E há estudos que mostram que, em candidaturas a financiamento por parte, digamos, de cientistas, quando se faz a sua seriação com base na qualidade que foi atribuída pelos revisores, mais ou menos no terço mais bem classificado, não há grande associação entre a seriação e a produtividade futura. 01:23:10.14O que é que isto quer dizer? 01:23:11.18Quer dizer que há um grupo de cientistas muito fortes cuja qualidade não é disto nível e agora imaginarmos... 01:23:19.24Não consegues prever, pura e simplesmente. 01:23:20.80Não consegues prever com base nessa seriação. 01:23:22.62E agora imagina um cenário em que 30% dos candidatos são realmente muito sólidos, mas só há dinheiro para 15%. 01:23:30.40O que se mostra é que é extremamente injusto e mais-valia tirar à sorte quem do terço melhor recebe financiamento porque o que acontece é que esta perceção de que mesmo entre os melhores há uma seriação de mérito, novamente incita o cientista, quando prepara uma candidatura, trabalhar todos os aspectos que acham que para lá da qualidade científica e da robustez do método, etc., podem criar nos revisores uma percepção para ser selecionado. 01:24:01.72Portanto, novamente um estímulo a exagerar o impacto, etc. 01:24:05.38Sim, sim, sim. 01:24:05.38Voltando a esta questão, este efeito de Mateus dos ricos ficarem mais ricos, isto foi cunhado pelo sociólogo Robert Merton, mas ele tem um bocado associado um viés, que aliás foi bem descrito pelo Melvin Lerner, que era o pai da Psicologia da Justiça, de nós sermos muito influenciados pelos sinais exteriores de sucesso, não é? 01:24:26.00Nós avaliarmos o mérito relativo, neste caso dos cientistas, pelos sinais exteriores de sucesso prévio que têm.

José Maria Pimentel 01:24:33.82Usamos essa heurística, no fundo. 01:24:34.78Usamos essa heurística, exatamente.

Nuno Barbosa Morais 01:24:35.80Isto cria o tal efeito de oligarquia, de dinastia em ciência, que é, se eu conseguir fazer o doutoramento com um professor famoso de Harvard, provavelmente consigo publicar na Nature, e quando for concorrer ao emprego seguinte, vou artilhado com sinais exteriores de que pertenço ao clube dos ricos,

José Maria Pimentel 01:24:54.72e portanto vou ser... 01:24:55.58Dinastia é até um melhor termo do que...

Nuno Barbosa Morais 01:24:57.46É, aliás, há um termo que eu ainda gosto mais, que é pedigree. 01:24:59.64Pedigree, sim. 01:25:00.30Porque se tu fores a uma conferência e fizeres uma sondagem informal a investigadores a transitar para a independência e lhes perguntares qual é que eles acham que é o fator que mais contribui para o sucesso nesse processo, eles dizem sempre a palavra é pedigree. 01:25:13.20E eu posso dizer, pessoalmente, que beneficiem muito do pedigree das pessoas com quem trabalhei em determinadas fases da carreira. 01:25:20.54E isto é bastante perverso. 01:25:22.48Aliás, o outro exemplo clássico é a infalibilidade dos prémios Nobel, não é? 01:25:28.40O endeusamento de quem recebe o prémio Nobel. 01:25:30.88E, na minha ótica, a vantagem, ou seja, o mérito do prémio Nobel é chamar a atenção para a descoberta. 01:25:36.54Mas as pessoas concentram-se muito... 01:25:38.74Na pessoa. 01:25:39.20Na pessoa. 01:25:39.70E isto é normal, porque nós tendemos sempre a procurar uma pessoa que simbolize qualquer coisa. 01:25:45.66Mas depois acabamos por lhe atribuir uma autoridade exagerada. 01:25:51.66No exemplo da pandemia tivemos o caso do virólogo Luc Montagnier, que faleceu recentemente, não é? 01:25:56.66Que recebeu o Nobel por causa do vírus do HIV, mas que fez uma série de afirmações durante a pandemia que não tinham qualquer suporte científico. 01:26:06.64Mas, por ser um Nobel, ainda por cima, em virologia, foi considerado como uma autoridade e foi muito... 01:26:14.90As suas opiniões foram muito usadas, até por, vamos supor, por anti-vaxxers, como quase dando um selo de validade científica, porque até aquele Nobel diz... 01:26:24.46Isto é normal, porque os cientistas são humanos, alguns são vaidosos, e para além disso, obviamente, que se tu começas a ser mais mediatizado, começas a ter mais prémios, mais reconhecimento, Passas a ser visto como uma autoridade e enviezas a percepção que as pessoas têm de ti. 01:26:42.20Uma das preocupações, como formador de jovens cientistas que eu tenho, é quando assistimos a um seminário por alguém já com grande prestígio na área, é chamar a atenção para os meus alunos de o espírito crítico em relação ao escrutínio rigoroso do que vocês estão a ouvir no seminário. 01:27:00.46Não deve baixar, porque alguém é mais famoso. 01:27:00.46Recentemente, tivemos no IMM um seminário de alguém já com uma remotação forte na área, que arrancou o seminário, ou segundo ou terceiro slide, tinha uma análise completamente ilegítima de dados, por negligência, não por má-fé, mas que eram aqueles resultados falsos, eram a base de uma história incrível. 01:27:24.38Mas ele construiu a história toda por cima disso. 01:27:25.52Construiu uma história fantástica e, no final, sobretudo, os cientistas mais jovens que idolatravam um pouco aquela pessoa estavam entusiasmadíssimos com a história e depois eu comecei a fazer-lhes perguntas sobre aquele slide e, rapidamente, o castelo de cartas ruiu. 01:27:39.62Tudo isto que eu estou a dizer é muito difícil de concretizar, não é? 01:27:39.62Nós todos estamos sujeitos a viés. 01:27:44.02Mas este efeito de atribuirmos mérito com base nos sinais exteriores de sucesso e não numa avaliação criteriosa das valências é um efeito que também está presente em ciência.

José Maria Pimentel 01:27:57.02Sim, sim. 01:27:57.02No fundo, há aqui um problema que permeia tudo isto, que é um problema de... é um desafio de informação e de transmissão da informação, não é? 01:28:03.10Isso está presente na revisão pelos pares, não é? 01:28:03.10No fundo, é uma maneira de perceber se aquela informação está correta ou não está correta. 01:28:09.42Está presente na expressão para publicar e publicar várias vezes e publicar coisas que têm mais nas vistas, não é? 01:28:14.48Em tudo isto e também está presente neste caso, por exemplo, de essa heurística que nós usamos. 01:28:19.00Usamos-a porque ela é útil, não é? 01:28:19.00É muito mais rápido. 01:28:20.98Tu pensares, ok, este tipo, eu conheço, eu sei que ele é um bom cientista, vou ler o que ele escreveu, do que teres que ler de fio a pavio determinado artigo para perceber se ela é válida ou não é. 01:28:29.56Tu não tens tempo a ler tantos artigos por dia, não é? 01:28:31.38Não, não, e esse é o problema, sim. 01:28:32.88Agora, na ciência moderna, isso depois tem uma série de problemas, não é? 01:28:36.02Porque rapidamente, ou seja, tens que arranjar métodos que permitam combinar da melhor forma a incerteza que existe sempre na qualidade da informação, mas garantindo que pelo menos minimizas os maiores estragos, não é? 01:28:46.30Exatamente. 01:28:47.00É isso. 01:28:47.00Olha, um bom ponto para nos encaminharmos para o fim da conversa, que já vai longa, eu não sei se tens mais alguma sugestão de melhorias do sistema, não é? 01:28:54.56No fundo, já falámos aqui, enfim, parte delas são quase uma questão de mentalidade, não é? 01:28:59.30E de remoção de alguns incentivos perversos do sistema. 01:29:02.72Há outro aspecto que tu falaste, que eu acho que é talvez dos mais importantes, e que acha que tem feito o seu caminho de publicar também os resultados negativos? 01:29:09.60Sim. 01:29:09.80Ou seja, não só os resultados estatisticamente significantes, mas também os negativos. 01:29:13.78Depois há também até, eu não sei se isso já é verdade em todo lado, mas é aquela obrigatoriedade de registar as experiências. 01:29:19.68Exatamente. 01:29:20.04De maneira a que depois não possas ir só publicar de novo aqueles que foram estatisticamente significantes, mas mesmo que não publiques os resultados não estatisticamente significantes, há uma espécie de repositório oficial das experiências que permite ir perceber o que é que...

Nuno Barbosa Morais 01:29:30.66Mas eu ia até argumentaria que não só deves fazer sempre o pré-registro do que vais fazer, mas se trabalhares com o dinheiro ou as amostras de outros, deves publicar o que foi feito, qualquer que seja o resultado.

José Maria Pimentel 01:29:44.20Sim, sim, sim. 01:29:44.80Pronto, ou seja, deve haver essa obrigatoriedade, é uma obrigação moral, mas deve ser formalizada,

Nuno Barbosa Morais 01:29:50.42de tudo o que vais fazer com dinheiro ou material biológico de terceiros...

José Maria Pimentel 01:29:55.32Deve ser sempre publicado. 01:29:56.18Deve ser sempre publicado, mesmo que corra mal. 01:29:57.76Claro, o pré-registro, no fundo, é uma válvula de segurança para quem não fizer isso, não é? 01:30:00.30Exatamente, é mesmo isso. 01:30:01.52É isso, é isso. 01:30:02.66Tens mais alguma sugestão que nós tenhamos falado?

Nuno Barbosa Morais 01:30:04.18Sim, não, acho que podemos só rapidamente ir às principais fontes. 01:30:07.28Na parte das publicações, para além de permitirmos a publicação dos chamados resultados negativos, uma parte da solução que está a ser estudada é que a revisão por pares seja feita à montante da escolha da revista para a qual vai o artigo. 01:30:21.46Ou seja, neste momento já estes repositórios dos chamados preprints, que é os rascunhos do artigo, ainda antes de serem revistos por pares, já são tornados públicos. 01:30:29.86E haver eventualmente, já existe, eu vou dar um exemplo que se chama Review Commons, que é financiada por algumas agências financiadoras, que é uma agência, não é uma agência porque não é comercial, mas é uma entidade que centraliza a revisão de artigos, eu já revi artigos para a Review Commons, sem saber para que revista vai o artigo, porque a ideia aqui é que tu revejas os artigos apenas e só com base na sua qualidade científica, e a qualidade científica não dependem do resultado, dependem da robusteira. 01:30:59.92É a significância mesmo, é quão bem está calculada. 01:31:01.26A significância não no sentido estatístico só, porque a questão, a minha ideia é que a qualidade científica tu vês, sobretudo no desenho experimental.

José Maria Pimentel 01:31:09.28Claro, claro, ou seja, tudo o que alimenta a significância é a maneira como ela está calculada. 01:31:12.50Como ela está calculada. 01:31:13.30Mas não o impacto, o impacto entra a seguir, não é?

Nuno Barbosa Morais 01:31:15.80O impacto entra a seguir e não deve ser o revisor que toma decisões a esse nível. 01:31:21.42E, portanto, já há quem proponha, e estou a fazer experiências nesse sentido, por exemplo isto, ou seja, tu tornares o teu trabalho público quando vai para a revisão por pares, e depois ires publicando essas revisões, ires atualizando o artigo, e quando tu, autor, com o beneplácito dos revisores, achares que está pronto, depois, no fundo, haver um leilão entre revistas para quem é que fica com os artigos que considerarem maior impacto. 01:31:47.44Mas, pelo menos, não eliminas completamente estas questões de prestígio, mas já matas, pelo menos, grande parte do viés no processo de revisão. 01:31:55.36Sim, sim, sim. 01:31:55.50A Maria falou-te do outro exemplo, que é, eventualmente, agências de financiamento que estão a decidir não permitir a publicação de trabalhos que são financiados por essas agências em editoras com fins lucrativos.

José Maria Pimentel 01:32:07.40Ela falou disso, mas essa é outra questão, não é? 01:32:09.00Essa é uma questão mais moral, quase se quisermos. 01:32:11.54Não afeta necessariamente a qualidade da...

Nuno Barbosa Morais 01:32:12.98Não afeta porque promove o exagero do impacto, ou seja, revistas como a Nature só publicam coisas que considerem ser pedradas no charco. 01:32:22.24E, portanto, que tu quisesse esse selo de prestígio é um contributo fortíssimo para o exagero na forma como tu escreves um artigo.

José Maria Pimentel 01:32:30.56Eu percebo, mas a Nature publica, ou a Science, ou a Cell, foram especialmente afetadas por estes casos de má ciência, ou seja, de ciência que você se levanta nisso, foi?

Nuno Barbosa Morais 01:32:39.06Sim, sim, sim, bastante. 01:32:39.96Eu dei o exemplo das células estaminais.

José Maria Pimentel 01:32:42.30Vamos lá ver. 01:32:43.08Ah, isso foi publicado lá, ok. 01:32:44.14Isso foi publicado na Nature. 01:32:44.86Não, porque eles têm, a partida também tem uma reputação em jogo, não é?

Nuno Barbosa Morais 01:32:47.82Tem, tem, tem, mas a questão é exatamente essa, é que esta ideia da descoberta bombástica que vai evolucionar, o que estas revistas procuram fazer é, vamos garantir que este artigo é revisto pelos principais especialistas na área. 01:33:02.48E, a partir do momento em que três ou quatro especialistas na área dizem o artigo está bom, os editores da revista não têm conhecimento científico suficiente para duvidar. 01:33:12.10Claro, claro, claro, claro. 01:33:12.62Pronto, e isto aconteceu, eu creio que discutiste isto com a Luísa Lopes, o caso da hipótese da ação da beta-amiloide na doença de Alzheimer. 01:33:19.26O artigo original também é publicado, há um artigo que estabelece uma relação funcional entre a acumulação de placas beta-amiloide nos cérebros das pessoas com doença de Alzheimer e a própria doença, em termos funcionais, e que se demonstrou muitos anos depois e muito investimento depois, que era uma fraude, mas que não só, na altura, passou a revisão por pares, como foi muito, muito citado nos anos subsequentes, porque toda a comunidade gostava daquela hipótese, porque parecia uma hipótese plausível. 01:33:46.68É verdade que eu diria... 01:33:47.90E era, de facto, não é? 01:33:48.58A hipótese era muito plausível. 01:33:49.86Neste momento não há evidência suficiente para que seja válida, mas era plausível. 01:33:53.50Mas o que é demonstrável pelo grau de exigência destas revistas é que, efetivamente, provavelmente há menos falsos positivos nestas revistas do que noutras em que o processo é menos exigente. 01:34:04.84Mas, ao mesmo tempo, há mais exagero...

José Maria Pimentel 01:34:08.42Quando surgem os falsos positivos, são mais graves.

Nuno Barbosa Morais 01:34:10.80Não, e mesmo os verdadeiros positivos parecem ser mais positivos de confissão, pondo a coisa nesses termos. 01:34:18.02Em relação a outras coisas que a comunidade pode fazer, eu poderia dizer que há uma parte que tem a ver também com as agências de financiamento, já discutimos a ideia do que se chama aleatorização focalizada, que é, no fundo, decidir que, entre os melhores, se sorteia o financiamento... 01:34:33.78Faz uma primeira triagem. 01:34:34.72Uma primeira triagem e vai. 01:34:36.38E, eventualmente, também tornar, que me parece uma das coisas mais perversas em ciência, ou na forma como apoiamos a ciência neste momento, há um foco muito grande no indivíduo, o que leva a tal hiperspecialização e, portanto, procurarmos... 01:34:48.92E a se dar nas vistas, não é? 01:34:50.08Sim, a se dar nas vistas, procurarmos tornar o financiamento mais coletivo, da parte dos empregadores, por exemplo, as universidades, os institutos de investigação, dar mais peso à boa cidadania científica de quem é recrutado, nomeadamente procurar perceber qual é a solidez do trabalho feito, quanto investimento e tempo é que a pessoa dedica a colaborar, por exemplo, e, num certo sentido, a servir à comunidade. 01:35:14.32E, aqui, sem querer ser advogado em causa própria, também promover mais pessoas com uma formação mais transversal ou interdisciplinar, que muitas vezes não têm uma especialidade tão bem definida, ou não são famosos por um tema sexy muito específico, mas que permitem fazer todas estas pontes. 01:35:32.68E, talvez, já a pensar um bocadinho no futuro, há dois aspectos que eu acho que vão ser muito importantes aqui. 01:35:38.12O primeiro são também os algoritmos de inteligência artificial a apoiar o processo de revisão. 01:35:45.52Já há algoritmos que automatizam a verificação estatística dos artigos. 01:35:51.72Há um que se chama StatCheck, mas há um de que eu gosto particularmente, que se chama Grim, que está associado à granularidade das médias. 01:35:58.74O que é que eu quero dizer com isto? 01:36:00.60Se tu fizeres a média de quatro números inteiros, ela vai ser sempre múltipla de 0.25, de um quarto. 01:36:08.76Ora, este algoritmo deteta médias inconsistentes com esta granularidade. 01:36:14.06E, portanto, já há vários estudos... 01:36:15.36É um algoritmo de metaciência também. 01:36:16.78É um algoritmo de metaciência. 01:36:18.10Um outro exemplo, agora muito presente, principalmente para cientistas nacionais na área biomédica, a Fundação La Caixa, que é um dos nossos mais importantes financiadores, no último concurso para financiamento de projetos em investigação biomédica, implementou esta fórmula de que há um algoritmo, um pouco à moda do ChatCPT, baseado em estrutura de linguagem natural, mas específica de linguagem biomédica. 01:36:45.22Aliás, as bases chamam-se, acho que se chamam BioBert e BioElectra. 01:36:48.70Aqui não é importante. 01:36:49.46Mas o que é que este algoritmo faz? 01:36:51.32Vai às caixas de texto das candidaturas, isto é muito importante, ignorando o currículo dos candidatos e vai classificá-los e ela, a Caixa, o que vai fazer é dizer o pior terço das candidaturas ainda vão passar por um crivo humano, mas, em princípio, não são elegíveis. 01:37:09.06E é o algoritmo que faz essa primeira triagem. 01:37:11.34E como é que o algoritmo foi treinado? 01:37:12.68O algoritmo foi treinado com as classificações atribuídas nos anos anteriores, ou melhor, nos anos anteriores, exceto o ano passado. 01:37:19.66O ano passado destou-se e, de facto, a classificação atribuída pelo algoritmo batia muito certo com as dos revisores humanos.

José Maria Pimentel 01:37:27.08Portanto, pode substituí-los, embora partilhe os mesmos vieses, caso eles existam, não é?

Nuno Barbosa Morais 01:37:30.70Exatamente, exatamente. 01:37:31.40É isso que eu ia dizer. 01:37:32.02Ou seja, estes algoritmos vão herdar uma parte dos vieses humanos, mas, por exemplo, este modelo da La Caixa há, pelo menos, a garantia de que o algoritmo não está enviesado pela leitura do currículo. 01:37:43.68Agora, tu podes sempre argumentar que as pessoas mais habilidosas e com melhores currículos também já desenvolveram, ainda que não conscientemente, formas de escrever que também as favorecem, certamente. 01:37:55.14E, aliás, o que nos leva também à possibilidade de começarmos a fazer isto passar para o domínio da revisão por pares de artigos científicos, não é? 01:38:04.26Neste momento fala-se muito do chat GPT para gerar texto, não é? 01:38:09.06Ou seja, estes algoritmos que já permitem escrever coisas que são bastante eloquentes, aliás, que têm o perigo de tornar mentiras convincentes, não é? 01:38:17.16Muitas vezes. 01:38:18.24Mas nós podemos começar a pensar que, tal como a La Caixa fez para o financiamento, as revistas comecem a apostar nestes algoritmos que dissecam a linguagem e, digamos, a transformam numa estrutura de conceitos e depois procuram inconsistências nesta estrutura.

José Maria Pimentel 01:38:32.58E, provavelmente, não sei se estou a ver isto também, mas é provável que isso também crie um efeito de segunda ordem interessante de criar uma pressão maior para os estudos terem mais informação sobre a maneira como foram construídas as experiências e uma série de informação que é necessária.

Nuno Barbosa Morais 01:38:45.36Aliás, o que vai ser curioso, pode haver depois um efeito perverso que é depois nós desenvolvermos algoritmos para enganar o algoritmo de coisas, mas o que vai ser curioso é que, exatamente, arms race, uma corrida às armas, mas o que vai ser curioso aqui é que, e poderá ser muito produtivo, é que mesmo o cientista corra o mesmo algoritmo antes de submeter o artigo. 01:39:05.82E sabe automaticamente, ou quase automaticamente, aliás, há um antigo colega meu, o Florian Markovitz, que advoga que a melhor forma de resolvermos isto é convencermos os cientistas mais ambiciosos, egoístas e, digamos, com motivações mais perversas, que isto também é bom para eles, porque lhes poupa tempo, porque lhes melhora a reputação, etc. 01:39:26.76Portanto, este é um aspecto muito importante, e só como nota colateral, que mesmo quando a comunidade está ciente que há um problema, nós temos que perceber que quem tem poder de decisão, normalmente são colegas que beneficiaram, chegaram a cargos mais elevados, beneficiaram do sistema, e embora sejam conscientes do problema, instintivamente atribui-nos a outros e não têm uma perceção...

José Maria Pimentel 01:39:49.06E têm incentivos para não querer mudar o status quo.

Nuno Barbosa Morais 01:39:51.06E temos incentivos, mas nem é só para ir, provavelmente não têm sensibilidade para a natureza do problema... 01:39:56.18Ok, porque não têm essa experiência. 01:39:56.92Porque não têm essa experiência. 01:39:58.46Só para fechar, a resposta à tua pergunta é em relação a coisas que podemos fazer e pensando agora no futuro. 01:40:02.78Portanto, para além da questão dos algoritmos, tem a ver com algo em que a Maria Mota também tocou quando conversou contigo, que é uma espécie de mudança geracional nas motivações e nos interesses dos cientistas, não é? 01:40:15.08Há estudos, estes são americanos, portanto eu não quero extrapolar para Portugal, que sugerem que aquilo que são agora os jovens académicos, eu diria que da idade dos nossos estudantes de doutoramento, vêm com uma pior saúde mental, no sentido em que vêm mais pressionados para obter resultados, com mais incerteza em relação ao futuro, mas também muito mais cientes dos problemas de saúde mental e atribuir muito menos estigma a esta questão. 01:40:39.68E porquê é que eu estou a falar na questão da saúde mental dos jovens cientistas? 01:40:43.32Porque obviamente eles vão ser muito mais reativos à perceção de injustiças em carreiras científicas, na atribuição de financiamento, etc. 01:40:52.84E portanto, eu aqui vejo duas formas de utilizarmos esta alerta maior na nova geração de cientistas e o facto de eles já não tolerarem injustiças e serem mais contestatários a coisas que não estão bem, aliás, espero que continuem ativos em questões de, digamos, do clima, etc. 01:41:11.14Eu acho que há aqui duas formas de ajudar. 01:41:14.16Uma que tu partilhas muito comigo, que é instituir formação em pensamento crítico. 01:41:21.30Ou seja, isto é algo que é, claro, neste momento a maioria dos cientistas nunca estudou filosofia da ciência, nunca discutiu verdadeiramente estes viés cognitivos e o impacto que tem na forma como abordam estatisticamente os problemas, etc. 01:41:35.76Portanto, eu advogo que devemos começar desde cedo, portanto, formar os jovens cientistas em pensamento crítico. 01:41:42.20E depois haver um segundo aspecto mais indireto é, uma vez feita esta formação e aproveitando esta maior preocupação deles com fazerem um trabalho de que gostem e sejam felizes, etc., que alguns cientistas sénios que estejam mais preocupados com isso começam a fazer uma espécie de statement, ou seja, que determinados laboratórios digam, nós não vamos publicar. 01:42:05.18Dar o exemplo. 01:42:05.90Vamos dar o exemplo e não vamos publicar em revistas de editoras com fins lucrativos, mas o que prometemos é rigor, boa formação em espírito crítico, liberdade académica, etc. 01:42:17.74E o que é curioso é que, se tu fores às páginas web dos laboratórios de investigação, incluindo a do meu laboratório, que ainda não tem lá nada disso, nenhuma tem este tipo de compromisso. 01:42:28.76E o que acontece é que se nós tornarmos explícito este tipo de compromisso, o que vai acontecer é que no processo de recrutamento dos jovens cientistas vamos estar a fazer um filtro, no sentido em que vamos só ter connosco aqueles que querem realmente fazer a ciência por bons motivos, mas vamos também dar uma ferramenta a todos para, por exemplo, questionar os cientistas mais sénios de porquê que as coisas são feitas como são. 01:42:55.02Eu converso muito, desde há muito tempo, ainda quando estava fora, que vou conversando com estudantes de doutoramento, por exemplo, e quando vejo alguns insatisfeitos, perguntar-lhes porquê, e muitas vezes a motivação, ou motivo para a insatisfação, é esta sensação de que, quase um bocado um síndrome do impostor associado a sentir que o que estão a fazer não é muito sólido. 01:43:16.50E normalmente eu pergunto-lhes, então, e já questionaste o teu orientador sobre isso? 01:43:20.60E eles dizem-me, sim, sim, mas ele respondeu-me que são as leis do jogo, não é? 01:43:24.32E que tem que ser assim. 01:43:25.66Ora, se de antemão souberem que não, e atenção, há colegas meus, sénios, que acham que os melhores cientistas também são aqueles que jogam melhor o jogo, ou que acham que para ser bom cientista tem que ser hipercompetitivo da atitude, se nós conseguirmos, tivermos exemplos de que não é necessariamente assim, eu acho que vamos começar a ter os... 01:43:45.28Conseguir reverter. 01:43:46.00A conseguir reverter e a ter os melhores cientistas a trabalhar mais de acordo, digamos, com os princípios deontológicos do que deve ser a atividade de um cientista.

José Maria Pimentel 01:43:52.98Boa. 01:43:53.70Nuno, grande conversa. 01:43:55.22É verdade. 01:43:56.00Olha, sei que tens dois livros para recomendar.

Nuno Barbosa Morais 01:43:58.28Sim, sim. 01:43:58.88Aliás, teria muitos, não é? 01:44:00.06Sim. 01:44:00.30Mas o primeiro, e esta é a minha recomendação mais forte, chama-se The Drunkard's Walk, do Leonor Melodinau. 01:44:08.08Infelizmente, acho que há uma tradução para português do Brasil. 01:44:10.94O caminhar do bêbado, creio, mas que não é fácil arranjar, portanto, é muito mais fácil e mais barato arranjar em inglês. 01:44:17.04E o título deste livro é uma analogia com o Random Walk, o chamado movimento browniano,

José Maria Pimentel 01:44:22.56que é um conceito da física estatística. 01:44:24.46É uma distribuição aleatória, não é? 01:44:25.88Sim.

Nuno Barbosa Morais 01:44:26.26No fundo, esta é a ideia do movimento de uma partícula, por exemplo, num gás a chocar com outras partículas. 01:44:31.26Mas é que a ideia é que nós não conseguimos prever o comportamento de cada partícula individualmente, mas conseguimos modelar estatisticamente o comportamento do coletivo, e daí que vem as equações de difusão, etc. 01:44:42.40Mas aqui, a ideia do livro é mostrar, é no fundo, leva-nos pela história da teoria das probabilidades e da estatística, sempre em paralelo com os nossos viesses cognitivos e em como nós tendemos a ver ordem e padrões em dados aleatórios. 01:44:57.40Sim, é aquilo que tu falavas há bocadinho. 01:44:59.20É aquilo que tu falavas há bocadinho. 01:44:59.82Portanto, este livro é acessível em termos conceptuais a toda a gente, portanto, não precisam de formação matemática nem nenhuma. 01:45:06.24E para aqueles que não souberem inglês, apesar de tudo, há um livro bastante citado no The Drunker's Walk, que está traduzido em português, que é o Pensar de Pressa Devagar, do Daniel Kahneman, sobre os viesses cognitivos. 01:45:17.06O segundo livro que eu recomendo...

José Maria Pimentel 01:45:18.94Da maneira como meteste aí o segundo livro dentro do primeiro.

Nuno Barbosa Morais 01:45:21.52Dentro do primeiro, mas com a culpa de estar a recomendá-los em inglês. 01:45:26.66Não há limites, não há limites. 01:45:26.92E aqui a culpa manifesta-se também na minha segunda recomendação, que é, para quem tiver interesse em metaciência e nas causas deste problema da reportabilidade, chamado Science Fictions, do Stuart Ritchie, também não está traduzido em português, como eu disse, e em que, no fundo, é feita uma viagem pelas causas dos problemas de reportabilidade. 01:45:46.54Aliás, o Stuart Ritchie divide-as em quatro domínios, a fraude, a negligência, o hype, portanto, o exagero, e aquilo que é, para mim, mais importante, que é o viés. 01:45:56.64No fundo, são estes viés que estivemos a falar.

José Maria Pimentel 01:45:58.84Olha, e já agora vou recomendar-me também desta vez, que nós já falámos, que é um livro que tem várias ligações com esses e com muito daquilo que nós falámos aqui. 01:46:06.34Tem um título provocador, chama-se Calling Bullshit. 01:46:08.54O subtítulo é, enfim, agora vou traduzir, é Arte do Ceticismo no Mundo Dominado por Dados. 01:46:13.08É de dois professores da Universidade de Washington, é o Carl Bergstrom e o Javin West. 01:46:18.30E, na verdade, aquilo teve origem numa cadeira que eles davam na faculdade, e que, aliás, está no YouTube. 01:46:22.42Um barolivro seja... 01:46:23.48É melhor do que a cadeira, porque está mais bem tratado, ou seja, aquilo depois foi brilado. 01:46:26.52E é muito tempo que toca, enfim, toca várias coisas que nós falámos aqui hoje, desde bullshit num sentido mais abrangente de fake news, até à fraude, ou pelo menos à negligência, e aos viés que entram no domínio da ciência. 01:46:37.86Olha, Nuno, foi, bem, como eu esperava, uma conversa bem longa e, sobretudo, enfim, onde tocámos numa série de coisas e mesmo assim ficaram coisas por falar. 01:46:45.68Por falar, é verdade. 01:46:46.42Este tema presta-se a isso. 01:46:47.80Obrigado. 01:46:48.24Este episódio foi editado por Hugo Oliveira. 01:46:52.58Contribua para a continuidade e crescimento deste projeto no site 45corauspodcast.com. 01:46:57.72Selecione a opção Apoiar para ver como contribuir, diretamente ou através do Patreon, bem como os benefícios associados a cada modalidade.