Avaliação de indivíduos pelo Qualis-CAPES: levantamento sobre a adoção na seleção de pós-graduandos

Vinícius Medina Kern; Matheus Dimitri Cardoso

doi:10.5433/1981-8920.2022v27n3p223

Authors

Vinícius Medina Kern UFSC https://orcid.org/0000-0001-9240-304X
Matheus Dimitri Cardoso Universidade Federal de Santa Catarina https://orcid.org/0000-0003-3812-7982

DOI:

https://doi.org/10.5433/1981-8920.2022v27n3p223

Keywords:

Science evaluation, Qualis Periodicals, Good practices in scientific evaluation, Cognitive dissonance in science

Abstract

Objective: Qualis Periódicos ranks scholarly journals in which Brazilian graduate program faculty have published in a past period, aiming at the evaluation of graduate programs. Some programs have been adopting it to select graduate students regarding their current publications. In order to account for the incidence of this phenomenon, specifically for graduate programs in Information Science, the objective of this research was to measure the adoption of Qualis to evaluate individuals in the selection to enter the master's or doctorate in Information Science in Brazil.
Methodology: We carried out an online survey, checking in calls for graduate studies whether each program on the ANCIB list evaluates candidates according to their publications in “Qualis journals” from the period 2013-2016, also considering whether it is a sole or partial criterion for assessing publications.
Results: Around 21% of the programs adopt it, with little variation according to their CAPES rank.
Conclusions: Adoption is sparse, but relevant. It is surprising that it is used by stricto sensu graduate programs in Information Science, as it means that the faculty that approved it ignored the CAPES recommendation, or approved it by distraction, or despite knowing that it was an error. This blocks interdisciplinarity, by valuing only publications in journals considered “from the subject area”, as well as it devalues not-in-Qualis leading journals from elite databases. It also goes against CAPES’ recommendation, which requires an “I’ve read and understood” tick on the Sucupira Platform to acknowledge that Qualis is only for the evaluation of past production from graduate programs.

Downloads

Download data is not yet available.

Author Biographies

Vinícius Medina Kern, UFSC

PhD in Production Engineering from the Universidade Federal de Santa Catarina (UFSC). Professor at the Department of Information Science at the Universidade Federal de Santa Catarina (UFSC), Florianópolis, Brazil.

Matheus Dimitri Cardoso, Universidade Federal de Santa Catarina

Degree in French Literature from the Universidade Federal de Santa Catarina (UFSC), Florianópolis, Brazil.

References

ALMEIDA, C. C.; GRÁCIO, M. C. C. O fator de impacto e as boas práticas de avaliação científica. Ciência da Informação em Revista, Maceió, v. 7, n. 1, p. 138-152, 2020. DOI: https://doi.org/10.28998/cirev.2020v7n1i

ALVAREZ, G. R.; CAREGNATO, S. A ciência da informação e sua contribuição para a avaliação do conhecimento científico. BIBLOS - Revista do Instituto de Ciências Humanas e da Informação, Rio Grande, RS, v. 31, n. 1, p. 9-26, 2017. DOI: https://doi.org/10.14295/biblos.v31i1.5987

BARATA, R. D. C. B. Dez coisas que você deveria saber sobre o Qualis. Revista Brasileira de Pós-Graduação, Brasília, v. 13, n. 300, p. 13-40, 2016.

BLATTMANN, U.; SANTOS, R. N. M. Revistas científicas brasileiras e sua visibilidade no acesso aberto. Informação & Sociedade: Estudos, João Pessoa, v. 24, n. 3, p. 99-106, 2014.

BORNMANN, L.; DANIEL, H. D. Transparency in research evaluation: An analysis of the transparency of review processes and decisions in the Norwegian Research Council's evaluations. Research Evaluation, [S. l.], v. 20, n. 2, p. 109-116, 2011.

BRASIL. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Qualis-Periódicos. Brasília: CAPES, [entre 2013 e 2016]. Disponível em https://sucupira.capes.gov.br/sucupira/public/index.xhtml, opção "Qualis". Acesso em: 10 ago. 2018.

CAMPOS, L. A. Qualis, para que te quero? Novos Debates: Fórum de Antropologia, Brasília, v. 6, n. 1-2, 2020. DOI: https://doi.org/10.48006/2358-0097-6214

CARDOSO, M. D.; KERN, V. M. Qualis para avaliar indivíduos. Dataset de resultados finais do projeto de iniciação científica “Levantamento documental sobre a adoção do Qualis-Capes para avaliação de indivíduos” (UFSC e PIBIC/CNPq, 2019-2020). SocArXiv, Open Science Framework (OSF), 2022. Disponível em: https://osf.io/gkbxm/. Acesso em: 06 abr. 2022.

CHEN, C.; HSU, C. The bibliometric landscape of research assessment in the digital age. Journal of the Association for Information Science and Technology (JASIST), [S. l.], v. 65, n. 7, p. 1356-1368, 2014.

DEMING, W. E. Out of the crisis. Cambridge-MA, EUA: MIT Press, 2000. 454 p.

EDWARDS, M. A.; ROY, S. Academic research in the 21st century: Maintaining scientific integrity in a climate of perverse incentives and hypercompetition. Environmental Engineering Science, [S. l.], v. 34, n. 1, p. 51-61, 2017. DOI: https://doi.org/10.1089/ees.2016.0223

GABRIEL JUNIOR, R. F. Geração de indicadores de produção e citação científica em revistas de Ciência da Informação: estudo aplicado à base de dados BRAPCI. 2014. 140 f. Tese (Doutorado em Ciência da Informação) – Universidade Estadual Paulista Júlio de Mesquita Filho, Marília, 2014.

HICKS, D.; WOUTERS, P.; WALTMAN, l.; DE RIJCKE, S.; RAFOLS, I. Bibliometrics: the Leiden Manifesto for research metrics. Nature, [S. l.], v. 520, n. 7548, p. 429-431, 2015. DOI: https://doi.org/10.1038/520429a

HIL, R. Whackademia: An insider's account of the troubled university. Sydney: NewSouth Publishing, 2012. 240 p.

KERN, V. M.; URIONA M. O custo da precariedade: o colapso da saúde dos editores é também o colapso da revista. Em Questão, v. 28, n. 1, 2021. DOI: https://doi.org/10.19132/1808-5245281.484-504

KERN, V. M.; URIONA M., M.; FREIRE, P. S.; PACHECO, R. C. S. Construção da interdisciplinaridade para a inovação. In: PHILIPPI JR., A.; SILVA NETO, A. Interdisciplinaridade em ciência, tecnologia & inovação. São Paulo: Manole, 2011. p. 743-767.MARTÍNEZ-ÁVILA, D. Qualis Periódicos: el sistema brasileño de evaluación de revistas. Anuario ThinkEPI, [S. l.], v. 13, 2019. DOI: https://doi.org/10.3145/thinkepi.2019.e13e01

MASON, S.; SINGH, L. When a journal is both at the ‘top’ and the ‘bottom’: the illogicality of conflating citation-based metrics with quality. Scientometrics, [S. l.], v. 127, n. 6, p. 3683-3694, 2022. DOI: https://doi.org/10.1007/s11192-022-04402-w

OLIVEIRA, J. P. M. O QUALIS não deve ser usado para a avaliação de pesquisadores – a solução (blog post). Site do Prof. Palazzo, 22 jul. 2017. Disponível em: https://www.palazzo.pro.br/Wordpress/nova-metrica-para-avaliar-pesquisadores/. Acesso em: 26 fev. 2022.

PINTO, A. L.; MATIAS, M.; MOREIRO-GONZÁLEZ, J. A. Produção da ciência da informação na Web of Science entre 1994 e 2013 e a lista Qualis/Capes da área. Ibersid: Revista de Sistemas de Información y Documentación, Zaragoza (España), v. 10, n. 1, p. 51-61, 2016. DOI: https://doi.org/10.54886/ibersid.v10i1.4252

PIRES, A. D. S.; REATEGUI, E.; FRANÇA, A. C. X; BETTINGER, E.; FRANCO, S. R. K. Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016. Arquivos Analíticos de Políticas Educativas, Arizona, v. 28, n. 25, p. 1-25, 2020. DOI: https://doi.org/10.14507/epaa.28.4353

RAFF, J. W. The San Francisco declaration on research assessment. Biology Open, v. 2, n. 6, p. 533-534, 2013. DOI: https://doi.org/10.1242/bio.20135330

ROOS, G.; MOED, H. F. Objectivity and subjectivity in bibliometric evaluations: A review of research on the h-index. Journal of the American Society for Information Science and Technology (JASIST), [S. l.], v. 59, n. 2, p. 209-220, 2008.

SEGLEN, P. O. Why the impact factor of journals should not be used for evaluating research. BMJ: British Medical Journal, [S. l.], v. 314, n. 7079, p. 498, 1997. DOI: https://doi.org/10.1136/bmj.314.7079.0f

STRATHERN, M. ‘Improving ratings’: audit in the British University system. European Review, [S. l.], v. 5, n. 3, p. 305-321, jul. 1997. DOI: https://doi.org/10.1002/(SICI)1234-981X(199707)5:3<305::AID-EURO184>3.0.CO;2-4

VOLPATO, G. Ciência: da filosofia à publicação. 6. ed. rev. e ampl. São Paulo: Cultura Acadêmica, 2013. 377 p.

WILSDON, J.; ALLEN, L.; BELFIORE, E.; CAMPBELL, P.; CURRY, S.; HILL, S.; JONES, R.; KAIN, R.; KERRIDGE, S.; THELWALL, M.; TINKLER, J.; VINEY, I.; WOUTERS, P.; HILL, J.; JOHNSON, B. The metric tide: Report of the independent review of the role of metrics in research assessment and management). The Higher Education Funding Council for England (HEFCE), July 2015. Disponível em: https://fapesp.br/avaliacao/manuais/2015_metric_tide.pdf. Acesso em: 26 fev. 2022. DOI: https://doi.org/10.4135/9781473978782