Momentos económicos… e não só


Deixe um comentário

Ainda os centros de investigação da FCT e a sua avaliação

Continuam a surgir pedidos (exigências?) da sua suspensão e revogação dos efeitos, com base na presunção de uma “má” avaliação, que teria gerado muitos “falsos negativos” – centros que merecem passar à fase seguinte e ao financiamento que a ela está associado.

Num texto anterior e no post do Pedro Magalhães e do Luis Aguiar-Conraria, o aspecto mais saliente do actual processo de avaliação foi a importância de ser um centro grande, intencional ou não. Normalmente, a ideia de centros maiores recolherem economias de escala e com isso conseguirem melhores resultados da sua investigação está presente, de forma implícita ou explícita, nas discussões sobre os centros de investigação. A avaliação em curso está a dar um sinal claro para que os centros de menor dimensão se juntem. A pergunta natural é que evidência existe sobre essa “hipótese” de quanto maior for o centro de investigação mais produtivo (por investigador) em média.

Um aspecto associado a este é a capacidade de os centros de investigação aumentarem o número de membros com ele associados juntando investigadores a tempo parcial. Ter investigadores a tempo parcial num centro poderá trazer a vantagem da diversidade de visões (aumentando a produtividade de quem participar no centro) e a desvantagem de dispersão (reduzindo essa produtividade). Se a desvantagem for mais forte que a vantagem, o sinal dado pela Fundação para a Ciência e a Tecnologia para centros de investigação maiores (com mais membros) poderá resultar na adição de investigadores a tempo parcial e com um efeito final negativo. Por isso, é necessário também saber mais sobre que resultados são obtidos pelos centros de investigação.

A primeira dificuldade está logo em definir o que é a “produção” de um centro de investigação. O conjunto de dados coligidos por Pedro Magalhães e Luis Aguiar-Conraria permite ter três indicadores diferentes (pelo menos): total de publicações, citações e índice-h (h publicações citadas pelo menos h vezes). Embora os resultados possam diferir de acordo com o indicador escolhido, existe forte correlação entre eles (quadro 1 abaixo), pelo que vou usar publicações e um

índice compósito dos três, obtido como a primeira componente extraída numa análise de componentes principais (basicamente, uma forma de resumir a informação dos três indicadores num só).

Para ver o papel dos investigadores a tempo parcial, tendo os membros de cada centro de investigação, como publicado na avaliação da FCT, e o seu equivalente em tempo integral, através dos dados recolhidos por Pedro Magalhães e Luis Aguiar-Conraria, o rácio dá uma medida da importância dos investigadores a tempo parcial – quanto maior rácio, maior essa importância (só um centro não terá investigadores a tempo parcial, mas é pequeno – 11 membros), logo a importância não é ter ou não ter, é a extensão em que se tem.

Recuperando as análises estatísticas de Pedro Magalhães e Luis Aguiar-Conraria, e adicionando apenas a variável “parcial” (= membros do centro / equivalente em tempo integral), resulta de forma clara um efeito negativo e presente em todas essas variantes (quadros 2 a 4 abaixo). Daqui sai que os centros com maior número de investigadores a tempo parcial têm menor probabilidade de passar à segunda fase, e tiveram em média pior avaliação. Os avaliadores não deram preferência à diversidade, prevalecendo, na minha interpretação, as desvantagens da dispersão. Ou, numa visão mais céptica, aumentar a dimensão dos centros de forma artificial, aumentando os seus membros mas não em termos de dedicação efectiva, não produzirá efeitos em termos de melhor avaliação.

Mas estes são resultados referentes a avaliação, nada dizendo quanto à produção dos centros e sobre se maior número de investigadores se traduz em maior produção por investigador. Tomando as publicações como indicador de produção, e diferenciando entre diferentes práticas entre áreas científicas – não só as diferenças entre publicar artigos curtos e artigos longos, como a prática de quem assina esses artigos, e o papel de outras publicações – o argumento pode ser analisado através do conceito de elasticidade – se um aumento de x% no número de investigadores produzir um aumento de y% (> x%) então a lógica de maior dimensão levar a maior produtividade por investigador recebe suporte dos dados. Tomando análise de regressão com as variáveis em logaritmos, o coeficiente de regressão dá directamente esta relação (∆y%/∆x%), sendo que se for superior a 1 tem-se suporte de “economias de escala” no número de investigadores.

Como os centros de investigação mais pequenos podem ter um comportamento diferente, é feita a distinção entre os centros com menos de 25 FTE e os que têm mais. É feita também uma regressão linear (variáveis expressas em logaritmos) e uma análise de fronteira estocástica (uma forma de reconhecer a possibilidade de ineficiências). A distinção entre áreas científicas é feita usando as informações da base de dados de Pedro Magalhães e Luís Aguiar-Conraria (que tem a característica de um mesmo centro poder estar em duas áreas diferentes – 35 centros surgem em duas áreas, e 11 em três áreas).

Destas análises resultou que a estimativa pontual para a elasticidade publicações – FTE é inferior a 1, embora não se rejeite a hipótese de ser igual 1, no caso dos centros de investigação com igual ou menos de 25 FTE (quadro 1). Para os centros de investigação com mais de 25 FTE, o resultado é essencialmente o mesmo – a estimativa pontual é inferior a 1, mas não se rejeita que seja igual a 1 (quadros 7 a 9). Ou seja, pelo menos em termos de publicações não se encontram os efeitos esperados de dimensão sobre a produtividade dos investigadores

Se forem usados como indicadores de produção o número de citações e o índice-h, o que se encontra? para os centros de investigação com igual número ou menos de 25 FTE não há relação entre dimensão e citações ou índice-h; para os maiores de 25 FTE, a elasticidade é unitária no caso das citações e inferior a esse valor para o índice-h. Não há qualquer evidência de vantagem de dimensão absoluta para a produtividade individual dos investigadores.

Usando uma estimações de fronteira estocástica, e apenas para a variável publicações, dividindo novamente entre centros grandes e centros pequenos (FTE maior ou menor que 25), as estimativas obtidas são suficientemente próximas de 1 para que não se rejeite essa hipótese. Ou seja, mesmo procurando distinguir os centros de investigação mais eficientes (no sentido de mais publicações para os mesmos FTE) não há evidência que aumentar a dimensão dos centros se traduza em maior produtividade por membro do centro de investigação. (quadros 5 e 6)

Estas explorações colocam em dúvida a razoabilidade de uma estratégia de financiamento ou avaliação de centros de investigação que conduza a centros de maior dimensão com o objectivo de gerar mais output científico se medido pelas publicações científicas. A dimensão poderá ter outras vantagens, mas nesse caso deverão ser tornadas quais as que se esperam obter. Uma nota de curiosidade para o efeito de ter mais membros em tempo parcial para os grandes centros de investigação – surgem com um efeito positivo na fronteira, implicando que centros de investigação que sejam eficientes em termos de produção científica medida por publicações tendem a beneficiar do efeito de diversidade.

Em suma, a avaliação da FCT deu maior probabilidade de passagem à fase seguinte a centros de investigação maiores, havendo uma penalização dos que aumentaram a dimensão por inclusão de proporcionalmente mais investigadores a tempo parcial.

Implícita a essa característica estará a visão de que maior dimensão ajuda à produtividade da investigação. Usando dados publicamente disponíveis sobre publicações no período 2008-2012 como medida de produção científica, não se encontra evidência que sustente essa visão. Ou as vantagens da dimensão são outras, e devem ser explicitadas, ou está-se a partir de uma premissa errada quanto aos factores que determinam a produtividade dos investigadores.

Num artigo do jornal Público de 30 de Julho, André Freire insurge-se – mais uma voz – contra a avaliação da Fundação para a Ciência e a Tecnologia, por o respectivo centro de investigação – CIES-IUL – não ter passado à segunda fase. Só por curiosidade fui verificar, de acordo com os modelos estatísticos, qual o valor da probabilidade de passar à segunda fase dadas as características do centro em causa. Se for um valor baixo, significa que face à comparação com os restantes centros, a decisão de não passar estará bem dentro do quadro geral; se for um valor elevado, significará que é provavelmente um falso negativo – em comparação com outros centros de investigação de características observáveis similares nestas bases de dados sobre a avaliação e sobre os centros, a decisão surge como estranha. (quadro 11)

Destes cálculos, usando o modelo de identificação das características de passagem à segunda fase de Pedro Magalhães e Luís Aguiar-Conraria, a versão adicional que usei acima, ou outras variantes, a probabilidade encontrada esteve sempre acima dos 90%. Ou seja, será uma das unidades a merecer uma apreciação cuidada do resultado da primeira fase.

Notas: Definição das variáveis usadas – loutput= ln(publicações 2008-2012), lfte=ln (FTE- full time equivalent), parcial = membros/FTE, restantes variáveis – ver o post de Pedro Magalhães e Luis Aguiar-Conraria.

 

Correlação entre medidas alternativas de produção cientifica

Quadro 1: Correlação entre medidas alternativas de produção cientifica

Figura 1

Quadro 2 – regressão logistica para a nota atribuída

Screen Shot 2014-07-30 at 10.03.24

Quadro 3 – Decisão de passagem à 2ª fase (modelo probit)

Screen Shot 2014-07-30 at 10.03.33

Quadro 4 – modelo de regressão linear de passagem à 2ª fase

Quadro 5 – Fronteira escolástica, publicações cientificas como medida de resultado, centros grandes (FTE > 25)

Screen Shot 2014-07-30 at 18.46.56

Quadro 6 – Fronteira escolástica, publicações cientificas como medida de resultado, centros pequenos (FTE ≤ 25)

Screen Shot 2014-07-30 at 18.34.15

Quadro 7 – regressão linear – produção cientifica vs FTE, centros pequenos

Screen Shot 2014-07-30 at 18.28.32

Quadro 8 – regressão produção científica vs FTE, centros grandes

Screen Shot 2014-07-30 at 18.28.25

Quadro 9 – regressão produção cientifica vs FTE, todos os centros

Screen Shot 2014-07-30 at 10.44.45

Quadro 10 – centros abrangidos por mais de um painel, na base de dados Pedro Magalhães – Luis Aguiar-Conraria

fig8-cies

Quadro 11 – A verde a decisão sobre o CIES-IUL; a laranja a probabilidade de passagem à 2ª fase de acordo com o modelo de regularidade de decisão

Anúncios


9 comentários

sobre a avaliação dos centros de investigação,

que levou a tanta insatisfação pública dos avaliados negativamente, de acordo com o que se vai lendo nos jornais, há alguns aspectos que não têm sido devidamente analisados, com o detalhe que merecem. O que fica na memória das diferentes notícias, entrevistas, reportagens, é a ideia de que esta avaliação procura destruir o sistema de ciência nacional. Curioso é que não haja o cuidado metodológico de análise do que foram os resultados da avaliação que se exige na produção de conhecimento científico.

Primeiro aspecto importante: nesta primeira fase da avaliação, foram seleccionados centros de investigação para uma segunda fase. Como há incertezas e erros, é natural que existam falsos negativos (casos que deveriam passar à segunda fase, e não o foram) como falsos positivos (centros que passam à segunda fase, sem que tal se justifique). Para os primeiros, prevê-se o mecanismo de contestação, para os segundos existe a possibilidade  de ver  baixar a sua avaliação na segunda fase. Exigir-se que esta segunda possibilidade não esteja presente é admitir que a avaliação de primeira fase terá sido infalível, não havendo então lugar a discordar por haver centros que não passaram à segunda fase. Ou ainda mais estranho querer-se afirmar que o sistema de avaliação só falhará em identificar adequadamente centros de investigação num dos sentidos. Não me parece haver nada que o justifique.

Segundo aspecto, diz-se que metade do sistema cientifico deixa de ser apoiado – há aqui uma grande imprecisão, resultante de uma característica que tem passado em grande medida ao largo da discussão – os centros de investigação de maior dimensão, recolhendo eventualmente dimensão crítica para melhorar o seu desempenho, tiveram maior probabilidade de passar à segunda fase. Isto faz com que se em número de centros quase 50% não tenham passado à segunda fase, esses mesmos centros representam apenas 33% do total de investigadores abrangidos pelos 322 centros avaliados.

A principal característica desta avaliação foi a de encontrar, em média, uma forte associação entre a dimensão do centro de investigação e a passagem à segunda fase – ou seja, centros maiores tendem a ser melhores; ou dito de outro modo, há muitos centros de investigação de baixa dimensão, com menos de 25 investigadores, que acabam por não seguir em frente na avaliação. Não é claro que a solução para esses centros seja a extinção, poderá haver a alternativa de se juntarem a outros similares, atingindo massa crítica.

Não significa que não tenham existidos erros de avaliação, e que não tenham existido erros na comunicação e tratamento dos resultados. Contudo, a defesa de que todos os centros são, ou têm de ser, excelentes e financiados de forma igual, apenas por existirem, como parece estar implícito, não é provavelmente defensável. A questão central que se coloca é como dar o salto seguinte de melhoria de todo o sistema de investigação, e se a maior dimensão traz de facto vantagens. Esse traço presente nos resultados tem estado fora da discussão, mas não haverá realmente centros de investigação demasiados e de dimensão insuficiente?

Para dar suporte às afirmações acima sobre o papel da dimensão dos centros avaliados, basta ir buscar a informação publicamente disponível no site da Fundação para a Ciência e a Tecnologia (ficheiro excel disponível aqui). Com base nesta informação, retira-se, tratando todos os centros por igual e sem atender às diferentes áreas científicas (por essa informação não constar do ficheiro disponibilizado), que

a) os centros que passam à fase 2 (variável passar=1) são 53% do total e abrangem 2/3 dos investigadores:

Centros que passam à segunda fase

Centros que passam à segunda fase

 

 

 

 

 

 

 

 

b) 118 centros (em 322) têm menos de 25 investigadores (média de 16 investigadores por centro, mínimo de 10), e 103 têm entre 25 e 50 investigadores – ou seja, um pouco mais de 2/3 dos centros têm 50 ou menos investigadores.

Número de investigadores por centro, por grupo de dimensão

Número de investigadores por centro, por grupo de dimensão

 

 

 

 

 

 

 

 

 

 

c) a percentagem de centros que passou à segunda fase é maior nos grupos de dimensão superior do número de membros do centro; há uma relação clara entre ter maior dimensão e maior probabilidade de passar à segunda fase, mas para todas as classes de dimensão, há centros de dimensão que passam à fase 2 e centros que não passam.

percentagem de passagem à fase 2 segundo a dimensão do centro

percentagem de passagem à fase 2 segundo a dimensão do centro

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

d) dos centros de investigação que não passaram à segunda fase, houve a classificação de “poor” – “fair” – “good”, e mais uma vez existe uma associação entre maior dimensão do centro de investigação e melhor nota.

Dimensão média dos centros, segundo a classificação atribuída (para os que não passaram à fase 2)

Dimensão média dos centros, segundo a classificação atribuída (para os que não passaram à fase 2)

 

 

 

 

 

 

 

 

 

e) um teste simples sobre a diferença do número de membros entre os centros de investigação que passam à fase 2 e os que não passam confirmam que em média os que passaram são maiores.

Teste de diferença de médias de dimensão (número de membros)

Teste de diferença de médias de dimensão (número de membros)


1 Comentário

Human Development Report 2014

disponibilizado pelas Nações Unidas, aqui. Este ano sobre a importância de construir a capacidade das sociedades responderem a situações e choques adversos, uma vez que não será possível evitar choques imprevisíveis, como catástrofes naturais mas  não só. É uma mudança  de perspectiva sobre a intervenção pública.


Deixe um comentário

em ritmo de entrada em férias,

leitura sugerida sobre a ligação PT – BES como reflexo de um problema mais profundo das empresas portuguesas, por Ricardo Reis, aqui


Deixe um comentário

ouvido na rádio,

algo como 21 mil milhões de euros para entrar em Portugal nos próximos anos. Apesar das tentativas de novos mecanismos, é de esperar que haja um novo “assalto” aos fundos comunitários, com o aparecimento das empresas especialistas em fazer candidaturas, e governantes especializados em anunciar linhas e apostas estratégicas. Quatro ideias para lidar com este presente envenenado (e evitar que seja tudo gasto a comprar carros alemães…):

a) só aceitar financiar projectos que tenham uma taxa de rentabilidade superior à taxa de juro paga na dívida pública;

b) tornar disponível publicamente os dados sobre os subsídios dados a cada empresa, bem como as respectivas informações de actividade económica e financeira (por exemplo, quem receber fundos públicos deveria publicar na internet pelo menos a informação empresarial simplificada que tem de enviar) – objectivo, permitir que qualquer um possa verificar se os fundos foram parar a empresas que crescem e têm efeito reprodutivo ou não

c) aplicar mesmo (mesmo) o princípio de subsídios reembolsáveis, como mecanismo de disciplina para escolha de bons projectos

d) respeitar os três pontos anteriores (ou, no caso das entidades públicas, fazerem a sério o seu papel de acompanhamento e verificação dos efeitos económicos produzidos pelos fundos).

Como na mesma notícia se referia que parte substancial dos fundos irão para zonas menos favorecidas, isso significa que já se está a sacrificar retorno do investimento com esses fundos por uma noção vaga de desenvolvimento – ok, mas pelo menos que a) acima seja respeitada…


Deixe um comentário

uns dias fora,

para estar presente numa conferência de economia da saúde (iHEA, Dublin). Troca de experiências sempre importante, e sobretudo algumas conversas para perceber melhor a evolução dos nossos “parceiros de troika”, Irlanda e Grécia. A primeira conclusão geral é que sabemos surpreendente pouco sobre como a crise económica e a intervenção da troika afectou os sistemas de saúde, a prestação de cuidados de saúde e a saúde das pessoas – há ao mesmo tempo crise económica, que tem efeitos sobre a saúde, mesmo que não houvesse intervenção de resgate financeira com condições (a troika), há o efeito em cima disso das medidas da troika, e há em cima destas duas políticas de iniciativa nacional que possam ter atenuado ou acentuado os efeitos das outras. Dois exemplos rápidos de natureza muito distinta – na Irlanda, de “universal health care” estão a querer passar para um “universal health insurance” (embora os termos me pareçam pouco exactos porque um Serviço Nacional de Saúde é também um “universal health insurance”), com grande discussão (um resumo não técnico no Irish Times), com grande receio que não seja realmente universal; na Grécia, uma restauração desejável, mesmo que não desejada inicialmente, da forma de protecção financeira – segundo uma das pessoas presentes, antes da crise, havia 47 formas diferentes de aceder a cuidados de saúde, dadas as múltiplas coberturas e acessos – uma confusão que só alimentava despesas. Enfim, ainda temos muito caminho para perceber melhor o que foram estes últimos anos, mesmo em termos de comparações internacionais e evolução dos sistemas de saúde.


3 comentários

BES, ainda…

O folhetim do BES vai-se desenrolando, agora com contornos internacionais. Segundo percebi, o ponto de situação é o seguinte:

a) o BES enquanto banco é sólido – segundo afirmações de todos, o que leva à velha questão, se é preciso dizê-lo repetidamente é porque não é evidente, mas se não é evidente o que se passa realmente, e num mundo de rumores não há muito que se possa contrariar em termos de palavras, apenas via acções.

b) o grupo ES, por seu lado, segundo o que vem sendo escrito, tem partes onde tem dificuldades financeiras.

c) a PT entrou nesta confusão, de uma forma que não foi totalmente esclarecida – isto é, se o grupo ES não estivesse ligado à PT, a decisão de investimento teria sido a mesma? (a demissão que não o foi verdadeiramente do responsável financeiro diz algo sobre o aval tácito que terá existido?)

d) a nomeação de uma nova equipa de gestão que satisfaça os critérios de transparência de relações foi feita rapidamente, e mais rapidamente parece que se quer que entre em acção. As pessoas indicadas, à partida oferecem a independência pretendida.

e) os depositantes no BES têm sempre os 100,000 euros garantidos, e por isso, para quem estiver nestes limites, nada há a temer, em termos do que possa suceder.

f) houve partidos políticos que falaram na intervenção pública no/nacionalização do banco (os mesmos que acusariam o Estado de estar a salvar a banca se tivesse feito essa intervenção…)

g) o poder político rejeitou intervenção directa ou indirecta (via dar protecção a empréstimos de emergência)

Dois comentários rápidos:

1) a perspectiva de falência do banco não deve ser afastada, nem deveria ser um drama numa economia de mercado – falência que pode resultar simplesmente em o banco ser adquirido por outro, nacional ou estrangeiro, sem interrupção de prestação de serviços de depósitos e de crédito; de alguma forma é surpreendente que não se fale nessa possibilidade.

2) a substituição rápida da equipa de gestão é desejável, mas seguindo os mecanismos no seu tempo de execução – tudo o que seja entrada antecipada, com sobreposição de gestão nova e gestão antiga, é sempre susceptível de criar mais tarde confusão e suspeições. Esperemos que a nova equipa de gestão não se deixe enredar em teias que depois a impeçam de ter total liberdade de gestão face ao passado.