Alternative metrics to evaluate Latin aAmerican scientific production: a scielo network study

Authors

DOI:

https://doi.org/10.5433/1981-8920.2021v26n2p596

Keywords:

Altmetrics, Alternative metrics, SciELO, Latin america

Abstract

Objective: Seeking to explore the potential of altmetrics and considering that few studies address the alternative impact of scientific production in Latin America, the objective of this work is to qualify the online attention received by Latin American journals and articles.
Methodology: Using an analytical-descriptive approach, we analyzed altmetrics data from 1,211 journals and 18,737 articles from the SciELO Network (Scientific Electronic Library Online) in terms of sources of mention, area of knowledge, country and language.
Conclusions: 58% of journals and 13% of articles represent the penetration of altmetrics in Latin America. Mentions predominate in Health and Biological Sciences journals and in articles published in English, with Twitter being the highlight among the sources of mention. Additionally, based on insertion, penetration and internationalization indicators, it was possible to identify groups of countries with different profiles.

Author Biographies

Ana Carolina Spatti, Universidade Estadual de Campinas - UNICAMP

PhD in Scientific and Technological Policy from the Universidade Estadual de Campinas - UNICAMP

Paulo Roberto Cintra, Universidade Estadual de Campinas - UNICAMP

Doctoral Student in Scientific and Technological Policy at the Universidade Estadual de Campinas - UNICAMP

Adriana Bin, Universidade Estadual de Campinas - UNICAMP

Doctorate in Scientific and Technological Policy from the Universidade Estadual de Campinas - UNICAMP

Ronaldo Ferreira Araújo, Universidade Federal de Alagoa - UFAL

PhD in Information Science from the Universidade Federal de Minas Gerais - UFMG

References

ALPERIN, J. P. Exploring altmetrics in an emerging country context. In: ACM WEB SCIENCE CONFERENCE, 14., 2014, Bloomington, Indiana. Proceedings […]. Bloomington: Indiana University, 2014.

ALPERIN, J. P. Geographic variation in social media metrics: an analysis of Latin American journal articles. Aslib Journal of Information Management., v. 67, n. 3, p. 289-304, 2015.

ARAÚJO, R. F. Impacto social de periódicos: métricas de mídias sociais e altmetria. SciELO 20 anos, 2018. Disponível em: https://pt.slideshare.net/scielo/5-ronaldo-118864531.

ARAÚJO, R. F. Dos dados altmétricos às citações: uma análise da revista DataGramaZero. In: ENCONTRO NACIONAL DE PESQUISA EM CIÊNCIA DA INFORMAÇÃO, 15., 2014, Belo Horizonte. Anais [...]. Belo Horizonte: ANCIB, 2014.

ARAÚJO, R. F. Mídias sociais e comunicação científica: análise altmétrica em artigos de periódicos da ciência da informação. Em Questão, v. 21, n. 1, p. 96- 109, 2015.

ARAUJO, R. F.; ALVES, M. Indicadores altmétricos da produção de pesquisadores brasileiros: análise dos bolsistas de produtividade do CNPq. Revista Ibero Americana de Ciência da Informação, v. 12, n. 3, p. 850-862, 13 set. 2019.

ARAÚJO, R. F.; FURNIVAL, A. C. M. Comunicação científica e atenção online: em busca de colégios virtuais que sustentam métricas alternativas. Informação & Informação, v. 21, n. 2, p. 68-89, 2016.

BAHETI, A. D.; BHARGAVA, P. Altmetrics: a measure of social attention toward scientific research. Current Problems in Diagnostic Radiology, v. 46, n. 6, p. 391–392, 2017.

BARATA, G. Por métricas alternativas mais relevantes para a América Latina. Transinformação, v. 31, n. e190031, nov. 2019.

BARATA, G.; SHORES, K.; ALPERIN, J. P. Local chatter or international buzz? Language differences on posts about Zika research on Twitter and Facebook. PloS one, v. 13, n. 1, 2018.

BORNMANN, L. Alternative metrics in scientometrics: a meta-analysis of research into three altmetrics. Scientometrics, v. 103, n. 3, p. 1123–1144, 2015.

BORNMANN, L. Do altmetrics point to the broader impact of research? An overview of benefits and disadvantages of altmetrics. Journal of Informetrics, v. 8, n. 4, p. 895–903, 2014.

BORNMANN, L. Validity of altmetrics data for measuring societal impact: A study using data from Altmetric and F1000Prime. Journal of Informetrics, BORREGO , v. 8, n. 4, p. 935–950, 2014b.

BORREGO, Á. Altmétricas para la evaluación de la investigación y el análisis de necesidades de información. Profesional de la Informacion, v. 23, n. 4, p. 352–358, 2014.

CINTRA, P. R.; DA COSTA, J. O. P. Altmetria: questionamentos ao paradigma vigente para avaliação da produção científica. Informação & Informação, Londrina, v. 23, n. 3, p. 160-176, 2018.

CINTRA, P. R.; DA SILVA, M. D. P.; FURNIVAL, A. C. Uso do inglês como estratégia de internacionalização da produção científica em Ciências Sociais Aplicadas: estudo de caso na SciELO Brasil. Em Questão, v. 26, n. 1, p. 17-41, 2020.

CINTRA, P. R.; FURNIVAL, A. C.; MILANEZ, D. H. Vantagens de citação do acesso aberto em periódicos selecionados da Ciência da Informação: uma análise ampliada aos indicadores altmétricos. Informação & Informação, v. 22, n. 1, p. 129-149, 2017.

COSTAS, R.; ZAHEDI, Z.; WOUTERS, P. Do altmetrics correlate with citations? Extensive comparison of altmetric indicators with citations from a multidisciplinary perspective. Journal of the Association for Information Science and Technology, v. 66, n. 10, p. 2003-2019, 2015.

DIDEGAH, F.; BOWMAN, T. D.; HOLMBERG, K. On the differences between citations and altmetrics: An investigation of factors driving altmetrics versus citations for finnish articles. Journal of the Association for information Science and Technology, v. 69, n. 6, p. 832-843, 2018.

DROESCHER, F. D.; SILVA, E. L. O pesquisador e a produção científica. Perspectivas em Ciência da Informação, v. 19, n. 1, p.170-189, 2014.

ELÉSPURU BRICEÑO, L.; HUAROTO, L. Los repositorios institucionales como herramientas para medir los indicadores Altmetrics: experiencia de la Universidad Peruana de Ciencias Aplicadas. In: CONGRESO INTERNACIONAL DE BIBLIOTECAS UNIVERSITARIAS, 5., 2016, Lima. Anais [...]. Lima: UPC, 2016.

ENKHBAYAR, A.; ALPERIN, J. P. Challenges of capturing engagement on Facebook for Altmetrics. arXiv preprint arXiv, v.1809, n.01194, 2018.

ESTENSSORO, E. Research in Latin America: opportunities and challenges. Intensive Care Medicine, v. 42, n. 6, p. 1045-1047, 2016.

FANG, Z. An extensive analysis of the presence of altmetric data for Web of Science publications across subject fields and research topics. Scientometrics, v. 124, n. 3, p. 2519-2549, 2020.

FRAUMANN, G. Twitter presence and altmetrics counts of SciELO Brazil Journals. The 2016 Altmetrics Workshop Bucharest, Romania, 2016.

GÓMEZ, N. D. Conocimientos y opiniones de los evaluadores investigadores respecto de las publicaciones de Acceso Abierto en Argentina, Brasil y México. In: PKP SCHOLARLY PUBLISHING CONFERENCE, 4., Mexico City, 2013. Proceedings [...]. Mexico City: UNAM, 2013.

GOUVEIA, F. C. A altmetria e a interface entre a ciência e a sociedade. Trabalho, Educação e Saúde, v. 14, n. 3, p. 643-645, 2016.

HAMMARFELT, B. Using altmetrics for assessing research impact in the humanities. Scientometrics, v. 101, n. 2, p. 1419–1430, 2014.

HASSAN, S. Measuring social media activity of scientific literature: an exhaustive comparison of scopus and novel altmetrics big data. Scientometrics, v. 113, n. 2, p. 1037-1057, 2017.

HAUSTEIN, S. Twitter in scholarly communication. Altmetric Blog, Londres, 12 jun. 2018. Disponível em: https://www.altmetric.com/blog/twitter-in-scholarlycommunication/

HAUSTEIN, S. Tweeting biomedicine: An analysis of tweets and citations in the biomedical literature. Journal of the Association for Information Science and Technology, v. 65, n. 4, p. 656-669, 2014.

HOWARD, J. Scholars seek better ways to track impact online. The Chronicle of Higher Education, 2 jan. 2012. Disponível em: http://chronicle.com/article/As-ScholarshipGoes-Digital/130482. Acesso em: 17 jul. 2019.

KUHN, T. S. A estrutura das revoluções científicas. São Paulo: Perspectiva, 2007.

MARICATO, J. M.; LIMA, E. L. M. Impactos da altmetria: aspectos observados com análises de perfis no Facebook e Twitter. Informação e Sociedade, v. 27, n. 1, p. 137-145, 2017.

MARTÍNEZ-SILVEIRA, M.; ODDONE, N. Necessidades e comportamento informacional: conceituação e modelos. Ciência da Informação, Brasília, v. 36, n. 1, p. 118-127, maio/ago. 2007.

MAS-BLEDA, A.; THELWALL, M. Can alternative indicators overcome language biases in citation counts? A comparison of Spanish and UK research. Scientometrics, v. 109, n. 3, 2016.

MOHAMMADI, E.; THELWALL, M. Mendeley readership altmetrics for the social sciences and humanities: Research evaluation and knowledge flows. Journal of the Association for Information Science and Technology, v. 65, n. 8, p. 1627–1638, ago. 2014.

MUELLER, S. P. M. A publicação da ciência: áreas científicas e seus canais preferenciais. Revista de Ciência da Informação, v. 6, n. 1, 2005.

NASCIMENTO, A. G; ODDONE, N. E. O uso de altmetrics para avaliação de periódicos científicos brasileiros em Ciência da Informação. Ciência da Informação em Revista, v. 2, n. 1, 2015.

OLIVEIRA, T. M. et al. Altmetria e a análise das condições de interação em torno de artigos sobre políticas públicas: uma incursão metodológica. Cadernos BAD, n. 1, p. 77-85, 2018.

ORDUNA-MALEA, E.; LÓPEZ-CÓZAR, E. D. Demography of Altmetrics under the light of Dimensions: Locations, institutions, journals, disciplines and funding bodies in the global research framework. Journal of Altmetrics, v. 2, n. 1, 2019.

ORTEGA, J. L. Altmetrics data providers: A metaanalysis review of the coverage of metrics and publication. El profesional de la información, v. 29, n. 1, 2020.

PACKER, A. L.; MENEGHINI, R. O SciELO aos 15 anos: raison d'être, avanços e desafios para o futuro. In: PACKER, A. L. SciELO 15 anos de acesso aberto: um estudo analítico sobre acesso aberto e comunicação científica. Paris: UNESCO, 2014. p. 15-28.

PETERS, I. Research data explored: an extended analysis of citations and altmetrics. Scientometrics, v. 107, n. 2, p. 723-744, 2016.

PIWOWAR, H. Value all research products. Nature, v. 493, p. 159, 2013.

PRIEM, J. Altmetrics: a manifesto, 2010. Disponível em: http://altmetrics.org/manifesto/ Acesso em: 17 jul. 2019.

PRIEM, J.; GROTH, P.; TARABORELLI, D. The altmetrics collection. PLoS ONE, v. 7, n. 11, p. e48753, nov. 2012.

REDE SCIELO. Periódicos, 2019. Disponível em: https://www.scielo.org/pt/periodicos/listar-por-ordem-alfabetica. Acesso em: 20 jul. 2019.

ROBINSON-GARCÍA, N. New data, new possibilities: exploring the insides of Altmetric.com. El profesional de la información, v. 23, n. 4, 2014.

SCIELO - Scientific Electronic Library Online. Critérios, política e procedimento para admissão e a permanência de periódicos científicos a Coleção SciELO Brasil, 2017. Disponível em: http://www.scielo.br/avaliacao/Criterios_SciELO_Brasil_versao_revisada_atualizada_outubro_2017 1206.pdf. Acesso em: 01 nov. 2019.

SCIELO - Scientific Electronic Library Online. Critérios, política e procedimentos para a admissão e a permanência de periódicos científicos na Coleção SciELO Brasil, 2020. Disponível em: https://www.scielo.br/avaliacao/20200500%20Criterios%20SciELO%20Brasil.pdf.

SPATTI, A. C.; BIN, A.; COLUGNATI, F. A. B; MENA-CHALCO, J. P.; SALLESFILHO; S. O programa de bolsas da FAPESP: uma análise altmétrica. In: CONGRESSO DE ALTMETRIA E CIÊNCIA ABERTA NA AMÉRICA LATINA, 2., Cusco, Perú, 2019. Anales [...]. Cusco: UNSAAC, 2019.

STADISTA. Most popular social networking platforms in Latin America as of December 2015, by unique visitors (in millions). The Statistics Portal, fev. 2016. Disponível em: https://www.statista.com/statistics/202372/latin-america--largest-social-networking-sites/. Acesso em: 19 fev. 2019.

TAYLOR, M. The Challenges of Measuring Social Impact Using Altmetrics. Research Trends, n. 33, jun. 2013.

TIRADO, A. U.; QUISPE, J. A. Estudio métrico de ALFIN en Iberoamérica: de la bibliometría a las altmetrics. Revista Española de Documentación Científica, v. 40, n. 3, p. 3, 2017.

TORRES, D. Altmetrics: nuevos indicadores para la comunicación científica em la Web 2.0. Comunicar, v. 21, n. 41, p. 53–60, 2013.

VANTI, N.; SANZ-CASADO, E. Altmetria: a métrica social a serviço de uma ciência mais democrática. Transinformação, v. 28, n. 3, p. 349–358, 2016.

WILLIAMS, A. E. Altmetrics: An overview and evaluation. Online Information Review, v. 41, n. 3, p. 311–317, 2017.

ZAHEDI, Z.; COSTAS, R.; WOUTERS, P. How well developed are altmetrics? A cross-disciplinary analysis of the presence of ‘alternative metrics’ in scientific publications. Scientometrics, v.101, n. 2, p. 1491-1513, 2014.

Published

2021-07-08

How to Cite

Spatti, A. C., Cintra, P. R., Bin, A., & Araújo, R. F. (2021). Alternative metrics to evaluate Latin aAmerican scientific production: a scielo network study. Informação & Informação, 26(2), 596–624. https://doi.org/10.5433/1981-8920.2021v26n2p596

Issue

Section

Artigos