Continuam a surgir pedidos (exigências?) da sua suspensão e revogação dos efeitos, com base na presunção de uma “má” avaliação, que teria gerado muitos “falsos negativos” – centros que merecem passar à fase seguinte e ao financiamento que a ela está associado.
Num texto anterior e no post do Pedro Magalhães e do Luis Aguiar-Conraria, o aspecto mais saliente do actual processo de avaliação foi a importância de ser um centro grande, intencional ou não. Normalmente, a ideia de centros maiores recolherem economias de escala e com isso conseguirem melhores resultados da sua investigação está presente, de forma implícita ou explícita, nas discussões sobre os centros de investigação. A avaliação em curso está a dar um sinal claro para que os centros de menor dimensão se juntem. A pergunta natural é que evidência existe sobre essa “hipótese” de quanto maior for o centro de investigação mais produtivo (por investigador) em média.
Um aspecto associado a este é a capacidade de os centros de investigação aumentarem o número de membros com ele associados juntando investigadores a tempo parcial. Ter investigadores a tempo parcial num centro poderá trazer a vantagem da diversidade de visões (aumentando a produtividade de quem participar no centro) e a desvantagem de dispersão (reduzindo essa produtividade). Se a desvantagem for mais forte que a vantagem, o sinal dado pela Fundação para a Ciência e a Tecnologia para centros de investigação maiores (com mais membros) poderá resultar na adição de investigadores a tempo parcial e com um efeito final negativo. Por isso, é necessário também saber mais sobre que resultados são obtidos pelos centros de investigação.
A primeira dificuldade está logo em definir o que é a “produção” de um centro de investigação. O conjunto de dados coligidos por Pedro Magalhães e Luis Aguiar-Conraria permite ter três indicadores diferentes (pelo menos): total de publicações, citações e índice-h (h publicações citadas pelo menos h vezes). Embora os resultados possam diferir de acordo com o indicador escolhido, existe forte correlação entre eles (quadro 1 abaixo), pelo que vou usar publicações e um
índice compósito dos três, obtido como a primeira componente extraída numa análise de componentes principais (basicamente, uma forma de resumir a informação dos três indicadores num só).
Para ver o papel dos investigadores a tempo parcial, tendo os membros de cada centro de investigação, como publicado na avaliação da FCT, e o seu equivalente em tempo integral, através dos dados recolhidos por Pedro Magalhães e Luis Aguiar-Conraria, o rácio dá uma medida da importância dos investigadores a tempo parcial – quanto maior rácio, maior essa importância (só um centro não terá investigadores a tempo parcial, mas é pequeno – 11 membros), logo a importância não é ter ou não ter, é a extensão em que se tem.
Recuperando as análises estatísticas de Pedro Magalhães e Luis Aguiar-Conraria, e adicionando apenas a variável “parcial” (= membros do centro / equivalente em tempo integral), resulta de forma clara um efeito negativo e presente em todas essas variantes (quadros 2 a 4 abaixo). Daqui sai que os centros com maior número de investigadores a tempo parcial têm menor probabilidade de passar à segunda fase, e tiveram em média pior avaliação. Os avaliadores não deram preferência à diversidade, prevalecendo, na minha interpretação, as desvantagens da dispersão. Ou, numa visão mais céptica, aumentar a dimensão dos centros de forma artificial, aumentando os seus membros mas não em termos de dedicação efectiva, não produzirá efeitos em termos de melhor avaliação.
Mas estes são resultados referentes a avaliação, nada dizendo quanto à produção dos centros e sobre se maior número de investigadores se traduz em maior produção por investigador. Tomando as publicações como indicador de produção, e diferenciando entre diferentes práticas entre áreas científicas – não só as diferenças entre publicar artigos curtos e artigos longos, como a prática de quem assina esses artigos, e o papel de outras publicações – o argumento pode ser analisado através do conceito de elasticidade – se um aumento de x% no número de investigadores produzir um aumento de y% (> x%) então a lógica de maior dimensão levar a maior produtividade por investigador recebe suporte dos dados. Tomando análise de regressão com as variáveis em logaritmos, o coeficiente de regressão dá directamente esta relação (∆y%/∆x%), sendo que se for superior a 1 tem-se suporte de “economias de escala” no número de investigadores.
Como os centros de investigação mais pequenos podem ter um comportamento diferente, é feita a distinção entre os centros com menos de 25 FTE e os que têm mais. É feita também uma regressão linear (variáveis expressas em logaritmos) e uma análise de fronteira estocástica (uma forma de reconhecer a possibilidade de ineficiências). A distinção entre áreas científicas é feita usando as informações da base de dados de Pedro Magalhães e Luís Aguiar-Conraria (que tem a característica de um mesmo centro poder estar em duas áreas diferentes – 35 centros surgem em duas áreas, e 11 em três áreas).
Destas análises resultou que a estimativa pontual para a elasticidade publicações – FTE é inferior a 1, embora não se rejeite a hipótese de ser igual 1, no caso dos centros de investigação com igual ou menos de 25 FTE (quadro 1). Para os centros de investigação com mais de 25 FTE, o resultado é essencialmente o mesmo – a estimativa pontual é inferior a 1, mas não se rejeita que seja igual a 1 (quadros 7 a 9). Ou seja, pelo menos em termos de publicações não se encontram os efeitos esperados de dimensão sobre a produtividade dos investigadores
Se forem usados como indicadores de produção o número de citações e o índice-h, o que se encontra? para os centros de investigação com igual número ou menos de 25 FTE não há relação entre dimensão e citações ou índice-h; para os maiores de 25 FTE, a elasticidade é unitária no caso das citações e inferior a esse valor para o índice-h. Não há qualquer evidência de vantagem de dimensão absoluta para a produtividade individual dos investigadores.
Usando uma estimações de fronteira estocástica, e apenas para a variável publicações, dividindo novamente entre centros grandes e centros pequenos (FTE maior ou menor que 25), as estimativas obtidas são suficientemente próximas de 1 para que não se rejeite essa hipótese. Ou seja, mesmo procurando distinguir os centros de investigação mais eficientes (no sentido de mais publicações para os mesmos FTE) não há evidência que aumentar a dimensão dos centros se traduza em maior produtividade por membro do centro de investigação. (quadros 5 e 6)
Estas explorações colocam em dúvida a razoabilidade de uma estratégia de financiamento ou avaliação de centros de investigação que conduza a centros de maior dimensão com o objectivo de gerar mais output científico se medido pelas publicações científicas. A dimensão poderá ter outras vantagens, mas nesse caso deverão ser tornadas quais as que se esperam obter. Uma nota de curiosidade para o efeito de ter mais membros em tempo parcial para os grandes centros de investigação – surgem com um efeito positivo na fronteira, implicando que centros de investigação que sejam eficientes em termos de produção científica medida por publicações tendem a beneficiar do efeito de diversidade.
Em suma, a avaliação da FCT deu maior probabilidade de passagem à fase seguinte a centros de investigação maiores, havendo uma penalização dos que aumentaram a dimensão por inclusão de proporcionalmente mais investigadores a tempo parcial.
Implícita a essa característica estará a visão de que maior dimensão ajuda à produtividade da investigação. Usando dados publicamente disponíveis sobre publicações no período 2008-2012 como medida de produção científica, não se encontra evidência que sustente essa visão. Ou as vantagens da dimensão são outras, e devem ser explicitadas, ou está-se a partir de uma premissa errada quanto aos factores que determinam a produtividade dos investigadores.
Num artigo do jornal Público de 30 de Julho, André Freire insurge-se – mais uma voz – contra a avaliação da Fundação para a Ciência e a Tecnologia, por o respectivo centro de investigação – CIES-IUL – não ter passado à segunda fase. Só por curiosidade fui verificar, de acordo com os modelos estatísticos, qual o valor da probabilidade de passar à segunda fase dadas as características do centro em causa. Se for um valor baixo, significa que face à comparação com os restantes centros, a decisão de não passar estará bem dentro do quadro geral; se for um valor elevado, significará que é provavelmente um falso negativo – em comparação com outros centros de investigação de características observáveis similares nestas bases de dados sobre a avaliação e sobre os centros, a decisão surge como estranha. (quadro 11)
Destes cálculos, usando o modelo de identificação das características de passagem à segunda fase de Pedro Magalhães e Luís Aguiar-Conraria, a versão adicional que usei acima, ou outras variantes, a probabilidade encontrada esteve sempre acima dos 90%. Ou seja, será uma das unidades a merecer uma apreciação cuidada do resultado da primeira fase.
Notas: Definição das variáveis usadas – loutput= ln(publicações 2008-2012), lfte=ln (FTE- full time equivalent), parcial = membros/FTE, restantes variáveis – ver o post de Pedro Magalhães e Luis Aguiar-Conraria.
Quadro 1: Correlação entre medidas alternativas de produção cientifica
Quadro 2 – regressão logistica para a nota atribuída
Quadro 3 – Decisão de passagem à 2ª fase (modelo probit)
Quadro 4 – modelo de regressão linear de passagem à 2ª fase
Quadro 5 – Fronteira escolástica, publicações cientificas como medida de resultado, centros grandes (FTE > 25)
Quadro 6 – Fronteira escolástica, publicações cientificas como medida de resultado, centros pequenos (FTE ≤ 25)
Quadro 7 – regressão linear – produção cientifica vs FTE, centros pequenos
Quadro 8 – regressão produção científica vs FTE, centros grandes
Quadro 9 – regressão produção cientifica vs FTE, todos os centros
Quadro 10 – centros abrangidos por mais de um painel, na base de dados Pedro Magalhães – Luis Aguiar-Conraria
Quadro 11 – A verde a decisão sobre o CIES-IUL; a laranja a probabilidade de passagem à 2ª fase de acordo com o modelo de regularidade de decisão
Momentos económicos... e não só 