A avaliação é hoje uma prática comum e consensual, sendo unanimemente reconhecida a sua importância para analisar e aferir a qualidade absoluta e relativa de propostas e promover a melhoria progressiva da qualidade das atividades de ciência e tecnologia. Constituindo uma dimensão fundamental na condução das políticas públicas de ciência e tecnologia, deve ser assumida como uma atividade prioritária. É vital para o bom funcionamento e a modernização contínua do sistema científico e tecnológico. A avaliação é, portanto, essencial.
Porém, só é útil se for exigente, fiável, construtiva, realizada com regularidade, na observância de boas práticas, com garantias de independência e transparência e adotando critérios claros e consensualizados na sua aplicação a instituições, projetos ou carreiras individuais e em que a comunidade científica e a sociedade em geral tenham confiança. Tal como os indicadores de produção científica não se podem confundir com a própria produção científica, a avaliação não deve constituir um fim em si mesma, sendo indispensável garantir que, em circunstância alguma, se distancia do propósito que serve, contribuindo para o desenvolvimento da atividade científica e tecnológica.
Em Portugal, a prática de avaliação de projetos de I&D teve início em 1978 com o Programa de Contratos de I&D da Junta Nacional de Investigação Científica e Tecnológica (JNICT), que abrangeu um conjunto restrito de áreas científicas, e foi depois ampliada para todas as áreas do conhecimento em 1987 com o Programa Mobilizador de Ciência e Tecnologia, também da JNICT. Com a extinção em 1992 do Instituto Nacional de Investigação Científica (INIC) e a transição dos processos de candidatura a bolsas de doutoramento e dos apoios aos excentros do INIC para a JNICT, este organismo passou também a organizar processos de avaliação de candidaturas a bolsas e de unidades de I&D. Mais tarde, com a criação do Ministério da Ciência e da Tecnologia em 1995 e da Fundação para a Ciência e a Tecnologia (FCT), em 1997, a avaliação das atividades de ciência e tecnologia nas suas várias vertentes foi sistematizada, passando a incluir um sistema de avaliação periódica, internacional, das unidades de I&D financiadas ou candidatas a financiamento pela FCT.
O exercício de avaliação regular e continuado tem constituído um fator importantíssimo de crescimento, reconhecimento e valorização da produção científica nacional nos planos nacional e internacional. A divulgação dos resultados das avaliações e das metodologias utilizadas tem contribuído de forma decisiva para a maior credibilidade da ciência e do seu reconhecimento pela sociedade.
No entanto, as alterações políticas verificadas em meados de 2011 traduziram-se em novas orientações para as atividades da FCT, envolveram mudanças acentuadas no modelo de avaliação, usando pressupostos e aplicando métodos e práticas que suscitaram uma ampla contestação por parte da comunidade científica nacional e internacional, instituindo um clima de desconfiança e descredibilização e prejudicando o sistema científico nacional. Os impactos negativos das opções e dos esquemas de avaliação e de financiamento, prejudicando diretamente a imagem e o desempenho da própria FCT, impuseram-se em cadeia, atingindo significativamente o investimento na formação avançada de recursos humanos e no emprego científico, com impacto na emigração forçada de alguns dos recursos humanos mais qualificados. Este processo significou a rotura com o compromisso social e político para apoiar o desenvolvimento científico e tecnológico conseguido nas últimas décadas, tendo originado em Portugal e no estrangeiro movimentos inéditos de contestação, com expressões particularmente fortes nas redes sociais e nos media.
O Governo, através do Ministério da Ciência, Tecnologia e Ensino Superior (MCTES), assumiu como prioritária a alteração do quadro de funcionamento da FCT, estimulando a reflexão alargada na comunidade científica sobre a missão da FCT, bem como, no plano das prioridades, suscitando a reflexão e a revisão da avaliação das atividades de ciência e tecnologia e do papel a desempenhar pela própria FCT nesse processo.
A Carta de Princípios de orientação para a FCT, que o MCTES divulgou a 10 de fevereiro de 2016, é inequívoca quanto à natureza da responsabilidade da avaliação do sistema científico e tecnológico nacional, explicitando claramente que a avaliação constitui uma função nuclear da FCT, que não deve ser externalizada e que deve ser um desígnio prioritário para o novo Conselho Diretivo.
A relevância e a prioridade conferidas à revisão do sistema de avaliação da FCT devem considerar os contributos recentes da comunidade científica sobre esta matéria (Grupo de Reflexão para o futuro da FCT, Conselhos Científicos da FCT, Laboratórios do Estado, unidades de I&D, instituições de ensino superior, estruturas representativas de docentes, estudantes, bolseiros e investigadores, entre outros), assim como a informação publicada no
Livro Negro sobre a Avaliação Científica em Portugal
», de setembro de 2015 (ver em http:
//www.lnavaliacao.pt/), retratando a adulteração do sistema de avaliação científica levada a cabo em Portugal nos últimos quatro anos.
O sistema de avaliação da atividade científica e tecnológica pela FCT deve orientar-se por princípios e pressupostos aceites e reconhecidos pela comunidade, deve prosseguir processos e metodologias adequados, privilegiando sempre a avaliação por pares e com base na discussão aprofundada dos conteúdos da atividade científica e tecnológica, cumprindo padrões internacionais e respeitando regras claras e transparentes, credibilizando a prática da avaliação científica independente, excluindo o uso irresponsável e acrítico de métricas para fins de avaliação.
Devem ser garantidos processos e procedimentos que permitam a utilização dos seus resultados como ferramenta de gestão estratégica no interior das instituições, em particular respeitando a Declaração de São Francisco de 2012, as Recomendações da Comissão sobre Autorregulação Profissional em Ciência da DFG alemã de setembro de 2013 e o Manifesto de Leiden de abril de 2015, conforme Anexo ao presente despacho e do qual faz parte integrante.
Nesse sentido, importa constituir um Grupo de Reflexão com a missão de identificar e propor as linhas orientadoras quanto aos princípios e boas práticas a adotar pela FCT na elaboração dos vários tipos de regulamentos e processos de avaliação associados ao financiamento do sistema de ciência e tecnologia. Esse grupo deve atuar com base nas seguintes orientações:
Realizar o seu trabalho em diálogo com a comunidade científica, procurando integrar e envolver as diferentes áreas científicas e os diferentes atores do sistema científico num processo coletivo de construção e promoção da transparência e da confiança;
Envolver os conselhos científicos da FCT;
Mapear, analisar e propor os termos de referência para a revisão de todo o sistema de avaliação realizada pela FCT, designadamente:
i) bolsas de formação avançada (doutoral e pós-doutoral), de modo a garantir a revisão dos regulamentos respetivos;
ii) contratos de investigadores doutorados, de modo a orientar a definição de um novo regime contratual e programa de estímulo ao emprego científico;
iii) projetos e atividades de I&D, de modo a garantir a revisão dos regulamentos respetivos;
iv) reequipamento e infraestruturas científicas e tecnológicas, de modo a garantir a revisão dos regulamentos respetivos; e v) unidades de I&D, de modo a garantir a revisão dos regulamentos respetivos;
Elaborar uma proposta de princípios fundamentais que devem presidir e orientar a avaliação das atividades de ciência e tecnologia pela FCT e de critérios de avaliação transparentes e transversais a todas as áreas de investigação;
Os critérios e métodos de avaliação propostos devem ser enquadrados no contexto dos programas de financiamento da FCT.
Paralelamente, O MCTES convidou a OCDE a iniciar, ainda em 2016, uma avaliação global do sistema científico e tecnológico e de ensino superior nacional, que contribuirá para estimular a sua modernização e valorização social e económica, bem como reforçar uma nova relação de confiança com a ciência e o ensino superior. Esse processo decorrerá dez anos após a última avaliação internacional conduzida em Portugal pela OCDE, garantindo um esforço sistemático de
Pensar Portugal
» com mais conhecimento e reforçando a ambição de democratizar o acesso ao conhecimento e de afirmar o posicionamento internacional de Portugal e dos portugueses.Assim, após articulação com a FCT e auscultação das estruturas repre-sentativas das instituições de ensino superior, determino o seguinte:
1 - É constituído o Grupo de Reflexão sobre a Avaliação de Ciência e Tecnologia pela FCT, com a missão de identificar e propor as linhas orientadoras quanto aos princípios e boas práticas a adotar pela FCT na elaboração dos regulamentos e no subsequente processo de avaliação das atividades de ciência e tecnologia.
2 - O Grupo de Reflexão é composto pelos seguintes membros:
a) Karin Wall, que coordena - Instituto de Ciências Sociais (ICS), d) Constança Providência - Centro de Física da Universidade de Coimbra (CFisUC), Universidade de Coimbra;
e) Nuno Ferrand - Centro de Investigação em Biodiversidade e Recursos Genéticos (CIBIO-InBIO);
Universidade do Porto;
f) Salwa Castelo Branco - Instituto de Etnomusicologia - Centro de Estudos em Música e Dança (INET-md), Faculdade de Ciências Sociais e Humanas da Universidade Nova de Lisboa.
3 - Sempre que se mostre conveniente, podem ser convidados a participar nos trabalhos do Grupo de Reflexão peritos nacionais e estrangeiros em matérias específicas.
4 - O Grupo de Reflexão deve trabalhar em estreita colaboração com o grupo de trabalho que acompanha e implementa o Programa de Modernização e Valorização do Ensino Politécnico em todas as questões relacionadas com a avaliação da atividade de I&D nos institutos politécnicos.
5 - A FCT presta todo o apoio necessário, designadamente técnico, administrativo e logístico.
6 - O Grupo de Reflexão deve elaborar um relatório no prazo de seis meses, a fim de ser apresentado e discutido publicamente.
7 - O presente despacho produz efeitos desde o dia 19 de fevereiro de 2016.
7 de julho de 2016. - O Ministro da Ciência, Tecnologia e Ensino
Superior, Manuel Frederico Tojal de Valsassina Heitor.
Universidade de Lisboa;
(I3S), Universidade do Porto;
Universidade do Minho;
b) Cláudio Sunkel - Instituto de Investigação e Inovação em Saúde
c) Carlos Bernardo - Instituto de Polímeros e Compósitos (IPC/I3N), ANEXO Avaliação da qualidade e indicadores quantitativos em ciência Excertos de algumas publicações relevantes sobre o papel de indicadores quantitativos e de avaliação da qualidade em avaliação científica:
The Leiden Manifesto for Research Metrics1 (April 2015):
Quantitative evaluation should support qualitative, expert assessment. [...] assessors must not be tempted to cede decisionmaking to the numbers. Indicators must not substitute for informed judge-ment.
»Base assessment of individual researchers on a qualitative judgement of their portfolio. [...] Reading and judging a researcher’s work is much more appropriate than relying on one number. Even when comparing large numbers of researchers, an approach that considers more information about an individual’s expertise, experience, activities and influence is best.
»Research metrics can provide crucial information that would be difficult to gather or understand by means of individual expertise. But this quantitative information must not be allowed to morph from an instrument into the goal.
The best decisions are taken by combining robust statistics with sensitivity to the aim and nature of the research that is evaluated. Both quantitative and qualitative evidence are needed; each is objective in its own way. Decisionmaking about science must be based on high-quality processes that are informed by the highest quality data.
»San Francisco Declaration on Research Assessment - Putting science into the assessment of research 2 (2012-):
Do not use journalbased metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions.
»scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was pu-blished.
»When involved in committees making decisions about funding, hiring, tenure, or promotion, make assessments based on scientific content rather than publication metrics.
»Challenge research assessment practices that rely inappropriately on Journal Impact Factors and promote and teach best practice that focuses on the value and influence of specific research outputs.
»Proposals for Safeguarding Good Scientific Practice3 (2013):
Criteria that primarily measure quantity create incentives for mass production and are therefore likely to be inimical to high quality science and scholarship.
»Since publications are the most important “product” of research, it may have seemed logical, when comparing achievement, to measure productivity as the number of products, i.e. publications, per length of time. But this has led to abuses like the socalled salami publications, repeated publication of the same findings, and observance of the principle of the LPU (least publishable unit).
»Moreover, since productivity measures yield little useful information unless refined by quality measures, the length of publication lists was soon complemented by additional criteria like the reputation of the journals in which publications appeared, quantified as their “impact factor”. However, clearly neither counting publications nor computing their cumulative impact factors are by themselves adequate forms of performance evaluation. On the contrary, they are far removed from the features that constitute the quality element of scientific achievement:
its originality, its “level of innovation”, its contribution to the advancement of knowledge. Through the growing frequency of their use, they rather run the danger of becoming surrogates for quality judgements instead of helpful indicators.
»An adequate evaluation of the achievements of an individual or a small group, however, always requires qualitative criteria in the narrow sense:
their publications must be read and critically compared to the relevant state of the art and to the contributions of other individuals and working groups. This confrontation with the content of the science, which demands time and care, is the essential core of peer review for which there is no alternative. The superficial use of quantitative indicators will only serve to devalue or to obfuscate the peer review process.
»Wherever achievement has to be evaluated - in reviewing grant proposals, in personnel management, in comparing applications for appointments - the evaluators and reviewers must be encouraged to make explicit judgements of quality before all else. They should therefore receive the smallest reasonable number of publications - selected by their authors as the best examples of their work according to the criteria by which they are to be evaluated.
»reviewers who rely exclusively on publication counts and on citation frequencies, perhaps expressed by the “impact factor”, in their evaluation delegate their responsibility completely to the journals in question and their readers. Counting publications and looking up “impact factors” are far removed from the competence needed to judge the quality of the content of a publication. Reviewers restricting themselves to the former end up by making themselves superfluous.
It should also be noted that all methods of performance evaluation which depend exclusively or predominantly on quantitative measures serve to promote the “publish or perish” principle with all its disadvantages.
Finally, it should be taken into account that the knowledge of the use of citations as a measure of impact and (despite all methodological reservations) of the quality of a publication so cited and its authors may influence the behaviour of the latter and lead to abuses such as citation cartels.
»1 Diana Hicks, Paul Wouters, Ludo Waltman, Sarah de Rijcke, Ismael
Rafols, Nature, 23 April 2015, vol 520, 429-431.
2 DORA. It was initiated by the American Society for Cell Biology (ASCB) in December 2012. It is a worldwide initiative covering all scholarly disciplines, presently signed by 611 organizations and 12.764 individuals. An analysis of available data on individual DORA signers as of June 24, 2013 showed that 46.8 % were from Europe. 36.8 % from North and Central America.
3 Recommendations of the Commission on Professional Self-Regulation in Science, published by DFG - Deutsche Forschungsgemeinschaft in 2013, as an update of the 1997 recommendations of an international commission appointed by DGF, German Research Foundation following a case of scientific misconduct,
with the mandate:
to explore causes of dishonesty in the science system, to discuss preventive measures, to examine the existing mechanisms of professional selfregulation in science and to make recommendations on how to safeguard them
».
209716667
EDUCAÇÃO
Gabinete do Secretário de Estado da Juventude e do Desporto
