National Systems of Classification of Academic Journals in Latin America: Recent Trends and Implications for Academic Evaluation in the Social Sciences

Main Article Content

Federico Vasen
Ivonne Lujano Vilchis

Abstract

Academic researchers are subject to multiple evaluation instances to assess the quality and impact of their scientific production. Based on bibliometric indicators and indexing services, national science and technology councils have issued guidelines for classifying journals. This paper compares the guidelines implemented in Argentina, Mexico and Colombia. The authors conclude that recent trends in Mexico and Co­lombia point to a deepening of an orthodox model of scientific evaluation. In contrast, Ar­gentina has developed a more critical position regarding the relevance of bibliometric indi­cators in the social sciences. However, none of these countries seems to be opting for inno­vative forms of evaluation linked to open and collaborative science.

Downloads

Download data is not yet available.

Article Details

How to Cite
Vasen, F., & Lujano Vilchis, I. (2017). National Systems of Classification of Academic Journals in Latin America: Recent Trends and Implications for Academic Evaluation in the Social Sciences. Revista Mexicana De Ciencias Políticas Y Sociales, 62(231). https://doi.org/10.1016/S0185-1918(17)30043-0
Author Biographies

Federico Vasen, Instituto de Investigaciones Sociales, UNAM. Correo electrónico: <federico.vasen@sociales.unam.mx>.

Federico Vasen es doctor en Ciencias Sociales por la Universidad Nacional de Quilmes y graduado en Filosofía por la Universidad de Buenos Aires. Actualmente se desempeña como becario del programa de becas posdoctorales de la UNAM, en el Instituto de Inves­tigaciones Sociales. Se especializa en el campo de la política científica y tecnológica y los estudios sobre educación superior. Sus tres últimas publicaciones son: (con B. Vienni) “La institucionalización de la interdisciplina en la universidad latinoamericana: experiencias y lecciones de Argentina y Uruguay” (Avaliação. Revista da Avaliação da Educação Superior, 2017); “¿Estamos ante un giro poscompetitividad en la política de Ciencia, Tecnología e In­novación?” (Sociologias, 2016) y el capítulo “What does a ‘national’ science mean? Science policy, politics and philosophy of science in Latin America” (Paradigms Defected. The Poli­tics of Science Studies during the Cold War, 2016).

Ivonne Lujano Vilchis, Universidad Autónoma del Estado de México. Correo electrónico: <ivonne.lujano@gmail.com>.

Ivonne Lujano Vilchis es magister en Ciencias Sociales con orientación en Educación por flacso Argentina y licenciada en Educación por la Universidad Autónoma del Estado de México, donde se desempeña como docente. Es especialista en comunicación científica y cuenta con más de siete años de experiencia en gestión, implementación y evaluación de medios editoriales científicos. Actualmente es editora asociada y representante del Direc­tory of Open Access Journals (DOAJ) para América Latina. Colabora con algunos equipos editoriales en América Latina y es divulgadora del acceso abierto y la ciencia abierta. Ha participado en la OpenCon organizada por sparc, Estados Unidos, y en diversos encuen­tros académicos sobre bibliotecas y edición académica. Sus publicaciones más recientes son: (con Nestor Martínez Domínguez) Evaluación de las revistas mexicanas de divulgación cien­tífica en la era digital (2016) (versión en inglés: Evaluating Mexican Scientific Magazines in the Digital Age); “Revistas académicas de arte en bases de datos bibliográficas: disponibili­dad en acceso abierto y en bibliotecas de tres instituciones mexicanas” (2012).

References

ACSB (2012) San Francisco Declaration on Research Assessment (DORA) [en línea]. American Society for Cell Biology. Disponible en http://www.ascb.org/dora/ [Consultado el 18 de febrero de 2017].

Agudelo Trujillo, Jorge H. (2016) “El extraño viraje del Publindex” Revista Colombiana de Ciencias Pecuarias, 29(4): 243-244.

Alperin, Juan Pablo; Babini, Dominique y Gustavo E. Fischman (eds.) (2014) Indicadores de acceso abierto y comunicaciones académicas en América Latina. Buenos Aires: CLACSO.

Alperin, Juan Pablo y Gustavo Fischman (comps.) (2015) Hecho en Latinoamérica: acceso abierto, revistas académicas e innovaciones regionales. Buenos Aires: CLACSO.

Archambault, Éric;Vignola-Gagné, Étienne; Côté, Grégoire; Larivière, Vincent e Yves Gingras (2006) “Benchmarking scientific output in the social sciences and humanities: The limits of existing databases” Scientometrics, 68(3): 329-342.

Arza, Valeria y Emanuel López (2017) “Embedding open science practices within evaluation systems can promote research that meets societal needs in developing countries” Impact of the Social Sciences Blog [en línea]. 24 de enero. Disponible en: http://blogs.lse.ac.uk/impactofsocialsciences/2017/01/24/embedding-open-science-practices-within-evaluation-systems-can-promote-research-that-meets-societal-needs-in-developing-countries/ [Consultado el 18 de febrero de 2017].

Beer, David (2016) Metric Power. Londres: Palgrave Macmillan.

Beigel, Fernanda (2014) “Publishing from the periphery: structural heterogeneity and segmented circuits. The evaluation of scientific publications for tenure in Argentina’s Conicet” Current Sociology, 62: 743-765.

Bianco, Mariela; Gras, Natalia y Judith Sutz (2016) “Academic evaluation: Universal instrument? Tool for development?” Minerva, 54(4): 399-421.

Bonilla, Marcial y Miguel A. Pérez Aragón (1999) “Revistas mexicanas de investigación científica y tecnológica” Interciencia, 24: 102-106.

Butler, Declan (2013) “Investigating journals: The dark side of publishing”, Nature News. DOI: 10.1038/495433a.

Butler, Declan (2016) “‘Web of Science’ to be sold to private-equity firms” Nature News [en línea]. 12 de julio. DOI:10.1038/nature.2016.20255.

CAICYT (2016) Núcleo básico de revistas científicas. Disponible en: http://www.caicyt-conicet.gov.ar/nucleo-basico-de-revistas-cientificas/ [Consultado el 18 de febrero de 2017].

Castellani, Tommaso; Pontecorvo, Emanuele y Adriana Valente (2016) “Epistemic consequences of bibliometrics-based evaluation: Insights from the scientific community” Social Epistemology, 30(4). DOI: 10.1080/02691728.2015.1065929.

Cetto, Ana María y Octavio Alonso-Gamboa (1998) “Scientific periodicals in Latin America and the Caribbean: a global perspective” Interciencia, 23(2): 84-93.

Charum, Jorge (2004) “La construcción de un Sistema Nacional de Indexación, el caso de Publindex” Convergencia Revista de Ciencias Sociales, 11(35): 293-309.

Chavarro, Diego; Tang, Puay e Ismael Rafols (2016) “Why researchers publish in non-mainstream journals: training, knowledge bridging, and gap filling” [pdf]. spru Working Paper Series, 2016-22. Disponible en: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2887274 [Consultado el 19de febrero de 2017].

Colciencias (2016) Política para mejorar la calidad de las publicaciones científicas nacionales. Documento N° 1601 [pdf]. Bogotá: Colciencias, Departamento Administrativo de Ciencia, Tecnología e Innovación. Disponible en: http://www.colciencias.gov.co/sites/default/files/upload/paginas/politica-publindex-colciencias.pdf [Consultado el 18 de febrero de 2017].

Conacyt (2015) Área V: Propuesta 2015. México: Sistema Nacional de Investigadores. Disponible en https://www.conacyt.gob.mx/index.php/el-conacyt/sistema-nacional-de-investigadores/otros/marco-legal-sni/criterios-sni/13718-criterios-especificos-av/file [Consultado el 6 de agosto de 2017].

Conacyt (2016) Manual del Sistema de Clasificación de Revistas Mexicanas de Ciencia y Tecnología [pdf]. México: Consejo Nacional de Ciencia y Tecnologías. Disponible en http://www.revistascytconacyt.mx/manual-sistema-crmcyt.pdf [Consultado el 18 de febrero de 2017].

Dagnino, Renato; Thomas, Hernán y Amílcar Davyt (1996) “El ‘Pensamiento Latinoamericano en Ciencia, Tecnología y Sociedad’. Una interpretación política de su trayectoria” Redes, 3(7): 13-51.

Dahler-Larsen, Peter (2011) The Evaluation Society. Stanford: Stanford University Press.

de Oliveira Amorim, Keyla Mafalda; Degani-Carneiro, Felipe; da Silva Ávila, Natalia y Glaucio José Marafon (2015) “Sistemas de evaluación de las revistas científicas en Latinoamérica”, en Alperin, Juan Pablo y Gustavo Fischman (comps.) Hecho en Latinoamérica: acceso abierto, revistas académicas e innovaciones regionales. Buenos Aires: CLACSO, pp. 63-76.

Feld, Adriana (2015) Ciencia y política(s) en Argentina 1943-1983. Bernal: Universidad Nacional de Quilmes.

Galaz Fontes, Jesús Francisco y Manuel Gil Antón (2013) “The impact of merit-pay systems on the work and attitudes of Mexican academics” Higher Education, 66(3): 357-374.

Garfield, Eugene (1955) “Citation Index for Science” Science, 122 (3159): 108111.

Glänzel, Wolfgang y Urs Schoepflin (1999) “A bibliometric study of reference literature in the sciences and social sciences” Information Processing and Management, 35(1): 31-44.

González, Marco y Salim Mattar (2010) “Índice Bibliográfico Nacional: ibn Publindex 2004-2010” Revista mvz Córdoba, 15: 2145-2146.

HEFCE (2015) The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management [pdf]. Londres: Higher Education Funding Council of England. Disponible en: http://www.hefce.ac.uk/pubs/rereports/Year/2015/metrictide/Title.104463.en.html [Consultado el 18 de febrero de 2017].

Hicks, Diana (2005) “The four literatures of social science” en Moed, Henk; Glänzel, Wolfgang y Ulrich Schmoch (eds.) Handbook of Quantitative Science and Technology Research. Países Bajos: Springer, pp. 473-496.

Hicks, Diana. (2013) «One size doesn’t fit all: On the co-evolution of national evaluation systems and social science publishing» Confero. Essays on Education Philosophy and Politics, 1 (1): 67-90.

Hicks, Diana; Wouters, Paul; Waltman, Ludo; de Rijcke, Sarag e Ismael Rafols (2015) “Bibliometrics: The Leiden Manifesto for research metrics” Nature, 520: 429-431.

Kaltenbrunner, Wolfgang y Sarah de Rijcke (2016) “Quantifying ‘output’ for evaluation. Administrative knowledge politics and changing epistemic cultures in Dutch law faculties” Science and Public Policy, 44(2): 284-293. DOI: 10.1093/scipol/scw064.

Kreimer, Pablo (2016) “Contra viento y marea en la ciencia periférica: niveles de análisis, conceptos y métodos” en Kreimer, Pablo (ed.) Contra viento y marea. Emergencia y desarrollo de campos científicos en la periferia: Argentina, segunda mitad del siglo XX. Buenos Aires: CLACSO, pp. 9-60.

Lamont, Michèle (2009) How Professors Think. Inside the Curious World of Academic Judgment. Cambridge: Harvard University Press.

Lucio, Jorge et al. (2015) Indicadores de ciencia y tecnología, Colombia 2015. Bogotá: Observatorio Colombiano de Ciencia y Tecnología.

Martin, Ben (coord.) (2010) Towards A Bibliometric Database for the Social Sciences and Humanities. A European Scoping Project. Reporte a la European Science Foundation. Brighton: SPRU.

Martin, Ben y Richard Whitley (2010) “The uk research assessment exercise: A case of regulatory capture?” en Whitley, Richard; Gläser, Jochen y Lars Engwall (eds.) Reconfiguring Knowledge Production: Changing Authority Relationships in the Sciences and their Consequences for Intellectual Innovation. Nueva York: Oxford University Press, pp. 51-79.

Naidorf, Judith y Ricardo Pérez Mora (comps.) (2012) Las condiciones de producción intelectual de los académicos en

Argentina, Brasil y México. Buenos Aires: Miño y Dávila.

Nederhof, Anton (2006) “Bibliometric monitoring of research performance in the social sciences and the humanities: A review” Scientometrics, 66(1): 81-100.

Packer, Abel et al. (1998) “SciELO: uma metodologia para publicação eletrônica” Ciência da informação, 27(2): 109-121.

Power, Michael (1999) The Audit Society. Rituals of Verification. Londres: Oxford University Press.

Pontificia Universidad Javeriana (s/f) “Producción intelectual. Obras y criterios” [en línea]. Disponible en: http://www.javeriana.edu.co/vicerrectoria-academica/produccion-intelectual-obras-y-criterios [Consultado el 18 de febrero de 2017].

Rafols, Ismael y Jordi Molas Gallart (2016) “A call for inclusive indicators that explore research activities in ‘peripheral’ topics and developing countries” lse The Impact Blog [blog]. 3 de marzo. Londres: The London School of Economics and Political Science. Disponible en: http://blogs.lse.ac.uk/impactofsocialsciences/2016/03/01/a-call-for-inclusive-indicators-we-need-better-metrics-to-explore-research-activities-in-peripheral-topics-and-developing-countries/ [Consultado el 18 de febrero de 2017].

Repiso, Rafael y Daniel Torres Salinas (2016) “Características e implicaciones del índice de citas Emerging Sources Citation Index (Thomson Reuters): las revistas en estado transitorio” Anuario Thinkepi, 10: 234-236.

Rodríguez Gallardo, Adolfo (2008) “Análisis del Índice de Revistas Mexicanas de Investigación Científica y Tecnológica del Consejo Nacional de Ciencia y Tecnología”, Investigación Bibliotecológica, 22: 171-192.

Sarthou, Nerina (2016) “¿Que veinte años no es nada? Cambios y continuidades en los criterios de evaluación del Programa de Incentivos a Docentes-Investigadores en la universidad argentina (1994-2014)” Revista Iberoamericana de Ciencia, Tecnología y Sociedad-CTS, 11(32): 85-110.

Small, Henry G. y Diana Crane (1979) “Specialties and disciplines in science and social science: an examination of their structure using citation indexes” Scientometrics, 1 (5-6): 445-461.

SPU (2014) Categorización 2014. Pautas de evaluación [pdf]. Buenos Aires: Secretaría de Políticas Universitarias, Ministerio de Educación. Disponible en: http://informacionpresupuestaria.siu.edu.ar/DocumentosSPU/incentivos/anexo_Pautas_de_evaluaci%C3%B3n%202014_12-06.14.pdf.

Universidad de Antioquia (2016) Carta enviada a las autoridades de Colciencias para proponer ajustes al nuevo modelo de clasificación. Bogota, 7 de julio. Disponible en: http://www.udea.edu.co/wps/wcm/connect/udea/07c13e19-2de3-4259-8aab-951bbb6e7915/carta-Colciencias+(1)+(1)-.pdf?mod=ajperes.

Uribe Tirado, Alejandro (2016) “El acceso abierto en Colombia. Un camino por recorrer…” Cuadernos Fronterizos, 38: 33-36.

Vasen, Federico (2016) “What does a ‘national science’ mean? Policy, politics and philosophy in Latin America” en Aronova, Elena y Simone Turchetti (eds.) Science Studies during the Cold War. Paradigms Defected. Nueva York: Palgrave Macmillan, pp. 241-265.

Velez, Ana Cristina (2016) “Carta dirigida al subdirector de Colciencias. Propuesta ajuste Publindex-Colciencias” El Espectador [blog]. 3 de agosto. Disponible en http://blogs.elespectador.com/actualidad/catrecillo/carta-dirigida-al-subdirector-de-colciencias-propuesta-ajuste-publindex-colciencias.

Verran, Helen (2001) Science and an African Logic. Chicago: University of Chicago Press.

Vessuri, Hebe; Guédon, Jean-Claude y Ana María Cetto (2014) “Excellence or quality? Impact of the current competition regime on science and scientific publishing in Latin America and its implications for development” Current Sociology, 62(5): 647-665.

Vidal Pereira de Souza, Iara (2015) “Altmetria: estado da arte” Tendências da Pesquisa Brasileira em Ciência da Informação, ancib, 7(2): 251-268.

Villegas Gallego, Marcela (2013) “Nuevo modelo de indexación y homologación. Publindex: apostándole cada vez más a la visibilidad internacional” Psicología desde el Caribe, 30: vi-viii.