Pedro Carneiro (parte 2): Os professores deviam ser avaliados pelos resultados dos alunos?

Data: Wed, 29 Jul 2026 16:30:00 +0000  ·  Duração: 00:46:46

Clica em qualquer parte da transcrição para saltar para esse momento no vídeo.

José Maria Pimentel 00:00:00.00Olá, nesta segunda parte da conversa com o Pedro Carneiro, professor no University College London sobre políticas na educação, começámos por falar de outra investigação do Pedro, esta sobre o impacto dos professores. 00:00:13.92Esta investigação estuda o impacto que têm os professores no futuro daquelas crianças e também como é que nós podemos medir, como é que nós podemos distinguir um bom professor de um professor, enfim, menos bom. 00:00:25.76Isto levou-nos a outro tema, um tema às vezes controverso, que é até que ponto é que nós devemos fazer resultar a avaliação dos professores do impacto que eles têm medido por testes dos alunos, por determinadas maneiras de avaliar a performance dos alunos. 00:00:41.20É um tema controverso, mas onde na verdade a investigação é bastante contundente. 00:00:44.98Falamos também de outra investigação do Pedro sobre o impacto da educação, mas neste caso não tanto no desempenho académico, mas mais em aspectos não cognitivos e mais comportamentais. 00:00:55.24Um estudo no Brasil muito interessante, sobretudo pelos resultados diferentes que teve entre rapazes e raparigas. 00:01:00.50E no final o Pedro partilhou uma ideia que para mim foi talvez o principal momento desta conversa. 00:01:05.96Ele propõe que, tal como nós temos no caso da medicina, no caso dos medicamentos, devíamos ter para as políticas públicas nesta área uma espécie de infarmed que regulamentasse a maneira como são testadas diferentes medidas e nos permite perceber exatamente cirurgicamente o que é que funciona, o que é que não funciona e depois, obviamente, implementar o que funciona. 00:01:25.36Segundo ele, é algo que falta nesta área onde a investigação já tem avançado muito, mas falta depois este maior rigor na ponta entre as conclusões da investigação e aquilo que pode ser aplicado na prática. 00:01:35.34É uma ótima ideia. 00:01:36.48Espero que alguém desse lado, com possibilidade de a pôr em prática, esteja a ouvir. 00:01:40.74Voltamos a ver-nos em setembro. 00:01:42.94Boas férias para todos, se for o caso.
Pedro Carneiro 00:04:28.30Não tinham controle nenhum, porque o estudo foi feito com uma instituição que se chama Interamerican Development Bank, que tinha um contacto muito próximo com o Ministério da Educação e que convenceu o Ministério da Educação que este estudo era muito importante e o Ministério da Educação foi muito exigente com as colegas, e disseram, olha, mesmo se a sua família for aí chatear, vocês não podem mudar as crianças de sala. 00:04:52.16E o que nos prometiu ver, olha, nós tínhamos os professores e havia o professor A e o professor B, por exemplo, numa escola que tinha duas salas para a primeira classe, tinha o professor A e o professor B, e nós conseguíamos ver assim qual era o impacto de ter o professor A e o professor B. 00:05:07.50E havia um professor que era muito melhor, tinha resultados muito melhores ao fim do ano do que o outro professor. 00:05:13.32Então, uma maneira de identificar a qualidade é um bocadinho tautológico. 00:05:17.52Olha, se este professor no final do ano atingiu muito melhores resultados que o outro professor, com os mesmos alunos, na média, este professor deve ser muito melhor. 00:05:28.60Nós conseguíamos quantificar. 00:05:29.68E depois nós conseguíamos ver, olha, há outras medidas de qualidade de professor que confirma isto. 00:05:37.80Nós filmámos os professores a darem aulas e nós víamos, olha, realmente este professor nos filmes parece que faz melhor trabalho, porque há umas pessoas que percebem de pedagogia e que olhavam para os filmes e diziam, olha, o professor é bom, o professor é mau, há formas rigorosas de fazer isso, há protocolos, protocolos. 00:05:59.76Agora, cada vez mais, a minha experiência é poder-se fazer isso com a inteligência artificial, ensinar a inteligência artificial, olhar para vídeos e classificar a qualidade dos professores. 00:06:08.60Mas na altura foram humanos que olharam para os vídeos e tinham um protocolo, olha, o professor dá feedback aos alunos, o professor grita com eles, o professor está a ler o jornal, etc, etc. 00:06:21.20E ter um professor melhor fazia diferença no resultado dos alunos.
Pedro Carneiro 00:07:08.58Tentar perceber. 00:07:09.40Depois explicava um bocadinho, não explicava tantos como nós pensávamos. 00:07:12.34E os professores melhores não só melhoravam matemática e espanhol, melhoravam, por exemplo, memória, capacidade de atenção, autocontrole. 00:07:24.68Outras capacidades que às vezes não são coisas ensinadas no currículo, mas que fazem imensa diferença para a vida das crianças. 00:07:32.06Agora, estes estudos, as pessoas usam de duas maneiras. 00:07:34.62Uma é tentar identificar se há o que nós conseguimos ver, o que é que neste professor faz com que ele seja bom ou mau. 00:07:41.70Mas há países, nos Estados Unidos, em que eles nem sequer vão... 00:07:45.36Eles usam este estudo mesmo a pagar professores. 00:07:46.52Este tipo de avaliações, por exemplo, eles que têm dados administrativos muito grandes e calculam, mesmo sem os alunos, sem autorizados, eles convenceram-se que... 00:07:56.98Não, mas não é, não tem... 00:07:58.48Esse aqui foi feito por investigadores muito bons, que convenceram-se que se nós controlarmos pelos resultados dos alunos do ano anterior, é como se fôssemos autorizar os professores. 00:08:11.76Se nós olharmos só para o crescimento dos resultados em matemática, o que se chama valor acrescentado, não é? 00:08:19.28É quase tão bom como aleatorizar os professores. 00:08:22.66Então, nós podemos usar estas medidas para avaliar a professores. 00:08:26.82Um professor em que este ano os resultados cresceram muito é um professor bom. 00:08:30.36Então, merece receber um bônus. 00:08:32.50Um outro professor, se calhar, merece ir para a lista ali, se calhar damos mais um ano, mas se não melhorar, vai para a rua no ano a seguir. 00:08:37.02E há vários estados nos Estados Unidos que incorporam estas medidas para retenção, pagamento e despedimento de professores. 00:08:46.00Não é a única medida, obviamente. 00:08:48.08Vai num pacote, com outras medidas de avaliação de professores, mas é uma medida bastante importante.
Pedro Carneiro 00:16:44.46Eram professores que interageiam melhor com as crianças. 00:16:46.72Respondiam melhor a feedback, tinham melhor empatia, tinham um plano, tinham um bom plano para lidar com distúrbios. 00:16:55.20Olha, não sou tão reativo. 00:16:57.50Não sou, eram mais proativos. 00:16:59.08Tipo, eu estou a ver que isto vai destrambolhar agora. 00:17:03.16Se calhar vou fazer um intervalo, ou vou parar aqui. 00:17:06.28Quando aquilo destrambolhava, não reagiam. 00:17:09.48Reagiam, mas de uma maneira estruturada. 00:17:11.64eu sei exatamente o que vou fazer quando aquele der um murro ao outro. 00:17:16.00Não vou dar um berro, não sei. 00:17:18.62Vou reagir desta maneira. 00:17:19.94Já está tudo planeado. 00:17:21.04São as pessoas que tinham um plano. 00:17:22.52E não eram os professores que eram muito bons a ensinar matemática. 00:17:26.00Isso aí era a coisa menos importante. 00:17:28.38Era? 00:17:28.78Era. 00:17:29.14Que engraçado. 00:17:29.60Porque eles não eram muito bons a ensinar matemática, de qualquer maneira. 00:17:33.84Pode ser porque eles não eram muito bons em geral, ou porque não faziam muita diferença. 00:17:39.60Tinha a ver mais contratações. 00:17:40.96Agora, por outro lado, eu conto uma história desse artigo que é uma história um bocado deprimente. 00:17:46.38Mas nós estávamos tão animados com isso que o Equador tem uma coisa engraçada. 00:17:51.28Tem a zona, para quem não conhece, tem a zona da montanha, tem a zona da costa. 00:17:55.68E como aquilo é? 00:17:56.28No Equador, eles têm dois anos escolares no mesmo país, que é um bocadinho desorganizado. 00:18:00.84A última metade do país é de janeiro a setembro, o ano académico. 00:18:03.74E o outro é de outubro a junho. 00:18:10.12Então, por razões logísticas de recolha de dados, etc., nós fizemos o estudo só na costa. 00:18:16.20Porque não podíamos estar a recolher dados matemáticos no fim do ano. 00:18:19.98Então, nas montanhas, nós não estamos animados, que disseram, então, agora, o que nós vamos fazer é o que tu disseste. 00:18:25.96Estes comportamentos parecem ser bons. 00:18:27.94Nós vamos é treinar os professores. 00:18:29.48Vamos lá meter um coach em cada escola. 00:18:31.60Ora aí está. 00:18:32.32Ora aí está. 00:18:33.34Isso aí. 00:18:34.10O efeito foi negativo. 00:18:35.74A sério? 00:18:39.12Então,
Pedro Carneiro 00:22:30.56Então, este estudo há um economista brasileiro, por acaso, tem o mesmo orientador que eu, mas ele não virou académico, mas virou um dos economistas mais importantes na América Latina no desenho de programas sociais no Brasil e toda a América Latina. 00:22:43.36Chama-se Ricardo Paes de Barros, que queria olhar para creches há muito tempo. 00:22:48.48Mas ele queria ter alguma experiência para olhar para isto. 00:22:51.78E ele, no Rio de Janeiro, tinha algum... 00:22:54.90Tinha bastante credibilidade. 00:22:56.08Lá na altura, as creches eram responsabilidades de ir ao município. 00:22:59.80E ele tinha alguma credibilidade com a secretária da educação e tentava lá impingir a ideia dele. 00:23:05.26Ele nunca conseguia. 00:23:05.86Quando não conseguia, disse, olha, já sei como é que vou fazer. 00:23:07.98Ele fez um inquérito aos diretores das creches e perguntou, olha, como é que vocês alocam vagas a crianças? 00:23:16.50Porque creche pública era sete cães a um osso. 00:23:19.08Havia pouquíssimas e milhões de pessoas queriam ir para a creche pública. 00:23:22.84Então havia listas de espera gigantescas. 00:23:25.58E a conclusão do inquérito, olha, nós damos... 00:23:27.68a prioridade é... 00:23:30.30a prioridade número um é ser filho de funcionário de creche. 00:23:35.18E ele disse, ó secretária, vocês estão a dar serviço a vocês próprios. 00:23:40.04Então, a secretária disse, então está bem, podes fazer a tua lotaria. 00:23:44.40E depois ficavam tão entusiasmados que eles refinaram a lotaria. 00:23:46.96Até hoje tem a lotaria, só que agora não é bem a lotaria porque é completamente determinado pela vulnerabilidade social da família. 00:23:55.02Então deixou de ter aspecto de lotaria.
Pedro Carneiro 00:24:26.50Não, mas no ano que nós fizemos foi lotaria. 00:24:29.36Ah, ok. 00:24:30.28Havia 24 mil vagas e depois só havia... 00:24:35.08Desculpa, havia 24 mil crianças a querer ir para a creche a dizer aos três mas só havia 10 mil vagas. 00:24:40.72E não havia lotaria em todas as vagas porque faziam lotaria consoante... 00:24:44.96Era por idade e por creche. 00:24:47.66Então, se houvesse vagas suficientes para aquela idade e para aquela creche não havia lotaria. 00:24:51.36Mesmo assim para imensas crianças houve lotaria. 00:24:53.00Então nós conseguimos construir o grupo que ganhou lotaria e que não ganhou lotaria. 00:24:56.86Mesmo quem perdeu lotaria quem ganhou lotaria quase toda a gente foi para a creche. 00:25:00.46Quem perdeu metade conseguiu arranjar a maneira de ir para a creche. 00:25:04.88Mas mesmo assim há uma grande diferença no acesso à creche entre quem ganhou e quem perdeu. 00:25:10.04E depois nós conseguimos... 00:25:12.10Eu não estava no estudo ao princípio mas começávamos a recolher dados. 00:25:16.60Primeiro sobre se as mães iam trabalhar e iam... 00:25:20.92Aliás, não eram tantas mães naquele caso que as mães já trabalhavam muito eram sobretudo as avós porque teve imensa graça porque nas famílias em que tinham a avó a tratar da criança era mais um adulto a ganhar dinheiro pelo menos durante aqueles quatro anos exato. 00:25:33.40Foi um efeito muito grande nos recursos das crianças e depois começámos a recolher dados também em nutrição peso e altura e alguns dados de coeficiente de inteligência melhorou um bocadinho no curto prazo de coeficiente de inteligência os efeitos mais persistentes foram em peso e altura que as crianças comiam muito melhor na creche eram crianças muito pobres sobretudo de favelas e depois mais tarde fizemos este estudo com a capacidade de decisão nós tínhamos três medidas isso foi feito até com outra equipa um colaborador do Banco Mundial e um investigador em USC e uma aluna portuguesa que estava lá a visitar o UCL era a aluna da Nova que estava a visitar o UCL em que jogámos uns jogos com as crianças e as crianças tinham uns tablets em que tinham que fazer umas escolhas o tipo de escolhas que se faz normalmente há vários tipos de decisões que nós podemos olhar um é se fazem decisões racionais se tem racionalidade na decisão as crianças não eram assim tão pequenas na altura já tinham 13, 14 anos de idade não é e se por exemplo 13, 14 ah porque isto foi avaliado já depois já foi avaliado já tinham 12 anos de idade pelo menos porque elas entraram na creche em 2008 então tinham dos 0 aos 13 em 2008 e estes dados são 2016 então 8 anos mais tarde tinham de 8 a 12 anos de idade não é então tínhamos algumas coisas se tinham se faziam escolhas racionais por exemplo mas as coisas mais interessantes tinham a ver com a tolerância à desigualdade então normalmente nós temos uns jogos em que nós temos assim olha tu tens aqui por exemplo 4 euros e tens ali outra pessoa o que é que tu preferes 2 euros para cada um ou um para ti 3 para o outro 3 para o outro um para ti etc então comparam locações e depois nós vemos há pessoas que não que têm que ser 2 para cada um para ser justo ou 3 para mim e um para o outro nós conseguimos ver tolerância à desigualdade e as crianças que foram para a creche nós conseguimos ver olha se foram mais ou menos tolerantes à desigualdade o resultado mais interessante é que para meninas elas ficaram muito mais tolerantes à desigualdade a dizer olha não tenho que dar sempre 2 para cada um tipo se eu receber 3 e o outro receber um azar se calhar eu prefiro isso não é e o que elas não gostavam mesmo é estar por baixo por exemplo se eu lhes oferecia olha 2 para cada um ou então um para ti e 3 para o outro e elas aí é que se não fossem para a creche eram muito mais tolerantes a isso ou seja
José Maria Pimentel 00:29:06.60e pode ter
José Maria Pimentel 00:32:09.60naturais
Pedro Carneiro 00:32:47.82é uma fase posterior a investigação base é feita lá no laboratório com outros métodos agora o que eu vou ver é se este tratamento realmente é eficaz eu acho que nas ciências sociais aquilo ainda está tudo meio misturado não é porque não e eu eu prefiro assim eu acho que na investigação fundamental tem que haver muitos métodos diferentes porque é impossível fazer experiências para tudo não é e há coisas por exemplo estavas a perguntar mecanismos olha às vezes fizeste-me essas perguntas de mecanismos que eu não conseguia responder e que com experiências é impossível experiência eu dou o tratamento e o outro não recebe depois eu vejo o que acontece se eu quero aprender sobre mecanismos tem que usar uma coisa que não vem só da experiência natural não é tem que olhar para os caminhos que são umas coisas é impossível eu ter experiências de todos os mecanismos possíveis não é então eu tenho que usar uns métodos que não são experimentais não é eu acho muito haver uma confluência de métodos o que não há se calhar tanto em termos de políticas é que não há olha por exemplo se eu quero implementar um tratamento eu tenho que estar aprovado pelo Infarmed e o Infarmed diz eu só vou aprovar isto se houve um ensaio clínico se calhar o governo eu tenho esta ideia vou fazer reforma curricular não há um Infarmed de educação que diga você não pode fazer isso porque não é aprovado que é eficaz acho que isso é que é uma grande diferença entre o que há em medicina e o que há nas políticas sociais não só em educação mas em outras áreas e achas que pode haver? 00:34:25.60acho que pode haver acho que pode haver acho que porque não eu acho que pode haver porque isto apareceu na medicina de algum lado
José Maria Pimentel 00:38:11.34eu acho que aí
Pedro Carneiro 00:39:45.66eu não estou a par de tudo mas eu acho que por exemplo começar por a primeira infância não é? 00:39:54.06primeira infância eu acho que há há evidência muito forte de que se nós olha se nós quisermos mesmo ajudar crianças muito pobres há uns programas que são muito caros mas que mudam a vida de crianças mas que por exemplo programas mais universais de acesso a criança são programas muito populares para famílias porque as mães podem ir trabalhar e tem todo o sentido não é? 00:40:22.22os pais podem ir trabalhar os avós se calhar ficam mais livres ter acesso a creche pública é muito bom mas não é necessariamente ótimo para crianças isso aí eu acho que há bastante evidência de que não há resultados muito bons de creches públicas não é? 00:40:40.20mas que há resultados muito bons de oferecer programas muito bons a crianças e muito pobres depois um bocadinho mais tarde coisas que funcionem em escolas assim sem grande controvérsia por exemplo reduzir tamanhos de salas dá-la se for uma redução gigante realmente aumenta os resultados das crianças vale a pena imagino que eu reduzo para uma data tem que contratar o dobro dos professores e deve ser incomportável para qualquer país os resultados das crianças não mudam assim tanto acho eu quer dizer se calhar mas acho eu no longo prazo não se vê efeitos muito grandes nos salários das crianças mas são eficazes aquilo no inframédio dizia olha isto aqui aumenta um bocadinho os resultados das crianças mas passa custo se for como uma política mas por exemplo