Momentos económicos… e não só

sobre a avaliação dos centros de investigação,

9 comentários

que levou a tanta insatisfação pública dos avaliados negativamente, de acordo com o que se vai lendo nos jornais, há alguns aspectos que não têm sido devidamente analisados, com o detalhe que merecem. O que fica na memória das diferentes notícias, entrevistas, reportagens, é a ideia de que esta avaliação procura destruir o sistema de ciência nacional. Curioso é que não haja o cuidado metodológico de análise do que foram os resultados da avaliação que se exige na produção de conhecimento científico.

Primeiro aspecto importante: nesta primeira fase da avaliação, foram seleccionados centros de investigação para uma segunda fase. Como há incertezas e erros, é natural que existam falsos negativos (casos que deveriam passar à segunda fase, e não o foram) como falsos positivos (centros que passam à segunda fase, sem que tal se justifique). Para os primeiros, prevê-se o mecanismo de contestação, para os segundos existe a possibilidade  de ver  baixar a sua avaliação na segunda fase. Exigir-se que esta segunda possibilidade não esteja presente é admitir que a avaliação de primeira fase terá sido infalível, não havendo então lugar a discordar por haver centros que não passaram à segunda fase. Ou ainda mais estranho querer-se afirmar que o sistema de avaliação só falhará em identificar adequadamente centros de investigação num dos sentidos. Não me parece haver nada que o justifique.

Segundo aspecto, diz-se que metade do sistema cientifico deixa de ser apoiado – há aqui uma grande imprecisão, resultante de uma característica que tem passado em grande medida ao largo da discussão – os centros de investigação de maior dimensão, recolhendo eventualmente dimensão crítica para melhorar o seu desempenho, tiveram maior probabilidade de passar à segunda fase. Isto faz com que se em número de centros quase 50% não tenham passado à segunda fase, esses mesmos centros representam apenas 33% do total de investigadores abrangidos pelos 322 centros avaliados.

A principal característica desta avaliação foi a de encontrar, em média, uma forte associação entre a dimensão do centro de investigação e a passagem à segunda fase – ou seja, centros maiores tendem a ser melhores; ou dito de outro modo, há muitos centros de investigação de baixa dimensão, com menos de 25 investigadores, que acabam por não seguir em frente na avaliação. Não é claro que a solução para esses centros seja a extinção, poderá haver a alternativa de se juntarem a outros similares, atingindo massa crítica.

Não significa que não tenham existidos erros de avaliação, e que não tenham existido erros na comunicação e tratamento dos resultados. Contudo, a defesa de que todos os centros são, ou têm de ser, excelentes e financiados de forma igual, apenas por existirem, como parece estar implícito, não é provavelmente defensável. A questão central que se coloca é como dar o salto seguinte de melhoria de todo o sistema de investigação, e se a maior dimensão traz de facto vantagens. Esse traço presente nos resultados tem estado fora da discussão, mas não haverá realmente centros de investigação demasiados e de dimensão insuficiente?

Para dar suporte às afirmações acima sobre o papel da dimensão dos centros avaliados, basta ir buscar a informação publicamente disponível no site da Fundação para a Ciência e a Tecnologia (ficheiro excel disponível aqui). Com base nesta informação, retira-se, tratando todos os centros por igual e sem atender às diferentes áreas científicas (por essa informação não constar do ficheiro disponibilizado), que

a) os centros que passam à fase 2 (variável passar=1) são 53% do total e abrangem 2/3 dos investigadores:

Centros que passam à segunda fase

Centros que passam à segunda fase

 

 

 

 

 

 

 

 

b) 118 centros (em 322) têm menos de 25 investigadores (média de 16 investigadores por centro, mínimo de 10), e 103 têm entre 25 e 50 investigadores – ou seja, um pouco mais de 2/3 dos centros têm 50 ou menos investigadores.

Número de investigadores por centro, por grupo de dimensão

Número de investigadores por centro, por grupo de dimensão

 

 

 

 

 

 

 

 

 

 

c) a percentagem de centros que passou à segunda fase é maior nos grupos de dimensão superior do número de membros do centro; há uma relação clara entre ter maior dimensão e maior probabilidade de passar à segunda fase, mas para todas as classes de dimensão, há centros de dimensão que passam à fase 2 e centros que não passam.

percentagem de passagem à fase 2 segundo a dimensão do centro

percentagem de passagem à fase 2 segundo a dimensão do centro

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

d) dos centros de investigação que não passaram à segunda fase, houve a classificação de “poor” – “fair” – “good”, e mais uma vez existe uma associação entre maior dimensão do centro de investigação e melhor nota.

Dimensão média dos centros, segundo a classificação atribuída (para os que não passaram à fase 2)

Dimensão média dos centros, segundo a classificação atribuída (para os que não passaram à fase 2)

 

 

 

 

 

 

 

 

 

e) um teste simples sobre a diferença do número de membros entre os centros de investigação que passam à fase 2 e os que não passam confirmam que em média os que passaram são maiores.

Teste de diferença de médias de dimensão (número de membros)

Teste de diferença de médias de dimensão (número de membros)

Anúncios

Autor: Pedro Pita Barros

Professor de Economia da Universidade Nova de Lisboa

9 thoughts on “sobre a avaliação dos centros de investigação,

    • Olá Pedro,
      não tinha visto, coisas das férias 🙂
      excelente a informação adicional que vocês incluíram. E como disponibilizam a base de dados, pode ser que um dia destes a use 😉 para completar estas apreciações.
      Talvez dê para ter uma ideia onde possam estar os falsos positivos e os falsos negativos?
      abraço

      Gostar

    • De facto o factor dimensão parece ter um efeito muito grande. Embora faça sentido de certa forma, por existir um efeito de escala, até na interação entre investigadores etc. Mas praticamente nenhum centro com mais de 100 membros foi rejeitado.

      Seria também interessante corrigir o efeito dimensão, usando um indicador de publicações por investigador, ou este não teve um coeficiente interessante? Embora possivelmente atraia outros problemas, se houver sel-selection dos investigadores em relação aos centros, e isso já não estaria no âmbito de uma análise mais simples.

      Muito boas e elucidativas análises, ambas!

      Sérgio

      Gostar

  1. O que parece mais forte aqui – e a tua análise vai directa à coisa – é a possibilidade de bons pequenos centros terem sido “chumbados” e grandes centros menos “bons” ou menos consistentes terem passado. É também curioso que as dummies de área sejam irrelevantes. Isto é consistente com os painéis fazerem algo como “dar notas na curva” dentro de cada área, em vez de as notas terem sido dadas na curva para a totalidade dos centros (o que seria o cabo dos trabalhos, admita-se…). A última coisa que noto é a baixa variância explicada dos nossos modelos. Isso pode ter a ver com o facto de não conseguirmos discriminar entre os da 2ª fase, com variáveis que possam medir qualidade mas estejam omitidas, etc. Mas isto lança aqui a possibilidade de muito ter ficado dependente não tanto do desempenho passado mas sim dos planos futuros, o que, enfim, cria uma discussão enorme. De resto, este aspecto foi dos mais discutidos inicialmente quando se soube dos moldes da avaliação, mas a FCT fez muita questão que os planos futuros fossem centrais na avaliação, o que não sucedeu na avaliação anterior, se não erro.

    Gostar

  2. Se conseguissemos prever com exactidão a avaliação, deixava de ser preciso avaliadores e usa-se a “fórmula” (ler em tom de desenho animado) 🙂 – qual a codificação das dummies de área (não constava do ficheiro excel – só para mostrar que abri 😉

    Gostar

  3. Eh eh 🙂 Da D1 à D45 são dummies por “main scientific area”. Depois dessas colunas tens seis colunas com dummies por painel de avaliação.

    Gostar

  4. Mas suponho que queiras saber a que corresponde cada D, é isso?

    Gostar

  5. É fora do tópico mas:

    À sua atenção:

    “O Ministério da Saúde (MS), representado pelo Senhor Ministro da Saúde, e a Associação Nacional das Farmácias (ANF), representada pelo seu Presidente, adiante conjuntamente designados por Partes, acordam em colaborar na execução das medidas previstas no presente Acordo com vista à implementação por parte das Farmácias de serviços no âmbito dos programas de Saúde Pública.”

    (…)
    “1 – Os serviços a desenvolver pelas Farmácias, objecto deste acordo, têm de ser enquadrados no âmbito dos programas de Saúde Pública e nas prioridades do Ministério da Saúde, que define os objectivos estratégicos e as metodologias inerentes a cada programa.”
    (…)
    f) Incremento do mercado de genéricos
    http://www.infarmed.pt/portal/page/portal/INFARMED/MAIS_NOVIDADES/Acordo_MS_ANF_09_%2007_2014.pdf

    Mas a ANF… “A Alliance Healthcare é líder no mercado de distribuição farmacêutica em Portugal. Resultante da parceria entre o Grupo Alliance Boots (49%), a Associação Nacional das Farmácias (49%) e a José de Mello Participações II, SGPS (2%)”

    Por sua vez a A Almus é a marca premiada de medicamentos genéricos da Alliance Healthcare.

    http://www.alliance-healthcare.pt/pt/a-atividade

    “As práticas restritivas da concorrência, que incluem os acordos, as práticas concertadas e as decisões de associações de empresas [práticas colusivas, previstas no artigo 9.º da Lei n.º 19/2012, de 8 de maio, e no artigo 101.º do Tratado sobre o Funcionamento da União Europeia]; os abusos de posição dominante [previstos no artigo 11.º da Lei n.º 19/2012, de 8 de maio, e no artigo 102.º do Tratado sobre o Funcionamento da União Europeia]; e os abusos de dependência económica [previstos no artigo 12.º da Lei n.º 19/2012, de 8 de maio], são, pois, formas ilícitas de as empresas se comportarem nos mercados, que resultam ou são suscetíveis de resultar em restrições concorrenciais.”

    http://www.concorrencia.pt/vPT/Praticas_Proibidas/Praticas_Restritivas_da_Concorrencia/Paginas/Praticas-restritivas-da-concorrencia.aspx

    Alguma relação ou razão numa possível manipulação do mercado de forma ilegal ou pouco ética?

    Gostar

Deixe um momento económico para discussão...

Preencha os seus detalhes abaixo ou clique num ícone para iniciar sessão:

Logótipo da WordPress.com

Está a comentar usando a sua conta WordPress.com Terminar Sessão / Alterar )

Imagem do Twitter

Está a comentar usando a sua conta Twitter Terminar Sessão / Alterar )

Facebook photo

Está a comentar usando a sua conta Facebook Terminar Sessão / Alterar )

Google+ photo

Está a comentar usando a sua conta Google+ Terminar Sessão / Alterar )

Connecting to %s