Resumen: La Universidad de Puerto Rico (UPR) es la única y la mayor institución pública de educación superior enfocada en la investigación en la isla, y la que tiene los mayores índices de producción científica. Sus resultados de investigación constituyen un recurso potencial para ayudar decisivamente al país en tiempos de profunda incertidumbre económica. Este trabajo tiene como objetivo caracterizar la producción científica de la Universidad de Puerto Rico durante el período de 1999 a 2013. Para ello se utilizan un conjunto de indicadores bibliométricos, que muestran la productividad, la visibilidad, el impacto y las áreas de investigación con mayor actividad publicadora. Sobre la base de estos indicadores se discute también el desarrollo de disciplinas emergentes. El estudio utiliza como fuentes los índices de citas del Web of Science™ (W oS) y se enfoca en las discipl inas de ciencias puras, exper im entales y tecnológicas, por la dinámica y el peso de las mismas en el conjunto de la universidad y la mayor representatividad que tienen en estas fuentes. La base de datos creada, a partir de los registros descargados de WoS, ha sido objeto de un proceso riguroso de normalización para lograr una mejor identificación de las instituciones, particularmente la UPR y sus cinco recintos más productivos. Para el análisis de las áreas y disciplinas científicas se utiliza la clasificación temática del Journal Citation Reports®. Los resultados muestran un crecimiento sostenido de la producción científica de la UPR durante todo el período, con notables aumentos en la colaboración nacional e internacional, el tamaño de los grupos de investigación y la publicación en revistas de alta visibilidad e impacto. Se han identificado las diez disciplinas con mayor actividad publicadora en el período y se ha analizado su evolución quinquenal, atendiendo a los indicadores de productividad, colaboración internacional e impacto, para considerar su carácter emergente. Estos resultados se discuten en el marco del esfuerzo que realiza la Vicepresidencia de Investigación y Tecnología de la UPR para disponer de un portafolio de investigación, útil para el fortalecimiento de la política científica en la universidad y el desarrollo de nuevos proyectos, la atracción de inversiones, así como la identificación de oportunidades de colaboración con el sector industrial local e internacional. Palabras clave: Bibliometría; Evaluación de la investigación; Política científica. Ciencia y Sociedad Ciencia en Puerto Rico: caracterización y potencialidades de la investigación científica en la Universidad de Puerto Rico en un contexto de crisis Carlos Suárez-Balseiro Universidad de Puerto Rico, Escuela Graduada de Ciencias y Tecnologías de la Información Puerto Rico · carlos.suarez5@upr.edu Mariano Maura-Sardó Universidad de Puerto Rico, Escuela Graduada de Ciencias y Tecnologías de la Información Puerto Rico · mariano.maura@upr.edu Jordi Maura-Pérez Universidad de Puerto Rico, Facultad de Administración de Empresas Puerto Rico · mario.maura@upr.edu 2 Abstract: The University of Puerto Rico (UPR) is the only and the largest public higher education institution focused on research in the island, which has the highest levels of scientific production. Their research results are a decisive potential to help the country in times of deep economic uncertainty. This work aims to characterize the scientific output of the University of Puerto Rico during the period 1999 to 2013. For this purpose a set of bibliometric indicators, which show the productivity, visibility, impact and research areas reflecting more publishing activity are used. Based on these indicators it is also discussed the development of emerging discipl ines. The study used as sources ci tat ion indexes ™ W eb of Science (W oS) and focuses on pure disciplines, experimental and technological sciences, due to their dynamics and their weight in the whole university and because they are better represented within these sources. The database created, from the records downloaded from WoS, has undergone a rigorous process of normalization for better identification of institutions, particularly the UPR and its five more productive campuses. For the analysis of the areas and scientific disciplines the subject classification of Journal Citation Reports® is used. The results show a sustained growth of the scientific production of the UPR during the period, with notable increases in national and international collaboration, the size of the research groups and the number of publications in journals of high visibility and impact. We have identified ten disciplines with more publishing activity in the period and analyzed its five-year development, based on indicators related to productivity, international collaboration and impact, their emerging nature has been considered. These results are discussed in the framework of the Vice President of Research and Technology of the UPR’s efforts to conform a portfolio of research, useful for strengthening science policy at the university and the development of new projects, attracting investment as well as identifying opportunities for collaboration with local and international industry. Keywords: Bibliometrics; Research Evaluation; Scientific Policy. Introducción y trasfondo a crisis económica desatada a partir de 2005, que se agudiza con el transcurso de los años, ha afectado grandemente el desarrollo socio-económico en Puerto Rico. A partir de la segunda mitad del siglo XX, la isla experimentó un crecimiento económico extraordinario que transformó las bases de su economía, pasando de una fundamentada en la agricultura a una anclada en la industria manufacturera. Este impulso fue el resultado de un agresivo programa de exenciones contributivas dirigidas a atraer inversionistas, mayormente estadounidenses. Este esfuerzo planificado produjo un aumento marcado en la creación de empleos y Puerto Rico llegó a ser el primer país de América Latina en cuanto a ingreso per cápita (Bosworth y Collins, 2006). Ese estado de bonanza se extendió por unas tres décadas hasta que la combinación de una serie de factores, que van desde la escasa acumulación de capital interno, resultante de un ahorro menguado y un consumo desmedido, hasta los cambios en el mercado internacional de mano de obra barata, provocaron un estancamiento en el crecimiento económico y un endeudamiento cada vez más nocivo. El resultado de esta amalgama de factores se palpa en la actual crisis económica. Innumerables recetas han sido presentadas por los especialistas para buscar una solución a esta crisis. Entre éstas se destaca el llamado a promover el desarrollo de una economía basada en el conocimiento. Este enfoque tiene como pilares el fortalecimiento de la investigación, la innovación y la creación de nuevo conocimiento, con el propósito de contribuir a la creación de nuevos productos y servicios capaces de competir en una economía global. Todos los enfoques concuerdan en que se debe incrementar la capacidad productiva de la sociedad puertorriqueña como fuente de alivio a la crisis. Al ser las universidades las principales generadoras de investigación y por ende de nuevo conocimiento, hay una necesidad imperiosa de disponer de un cuadro que caracterice las áreas donde se concentra la investigación que se realiza en la Isla. El desarrollo de la economía basada en el conocimiento tiene un reto adicional y es la reducción de fondos gubernamentales asignados a las universidades públicas a causa de la crisis económica. En los Estados Unidos al menos 43 estados han reducido su ayuda económica a las universidades públicas. Algunas de las medidas tomadas por dichas instituciones para poder lidiar con menores asignaciones económicas provenientes del gobierno han sido aumentar los cargos por matrícula, reestructurar programas académicos, cerrar o fusionar recintos, reducir los servicios e incluso L 3 disminuir el apoyo a la investigación (Altundemir, 2012). Paradójicamente, mientras aumenta el desempleo hay más necesidad de que la población tenga acceso a estudios universitarios con el fin de mejorar su preparación y tener mejores oportunidades en el mercado laboral. Esta combinación de aumento en la demanda y menor cantidad de fondos crea un problema para las instituciones públicas y puede tener efectos nefastos en la carga laboral de los facultativos y la calidad de la enseñanza. Según explica Alexander (2001): “…current institutional expenditure patterns demonstrate that many of the world’s best public universities are in danger of declining in relative academic and research quality, status and prestige.” (p.113). En Europa la reducción en ayudas económicas gubernamentales a universidades públicas ha seguido el mismo patrón que en los Estados Unidos. En el caso europeo las universidades públicas reciben aproximadamente el 75% de la totalidad de sus fondos de ayudas gubernamentales. Según la Asociación Universitaria Europea (EUA, 2011) esta alta dependencia es contraproducente para las universidades públicas. La reducción en fondos ha tenido un impacto directo sobre las labores de investigación académica y ha llevado a las universidades a invertir sus fondos en investigaciones aplicadas. Las universidades se han enfocado en una estrategia de “financiamiento competitivo”, que puede tener un impacto positivo sobre la calidad de las investigaciones. Varios países europeos han decidido enfocar sus ayudas económicas a investigaciones que van dirigidas a alcanzar objetivos específicos alineados a las prioridades nacionales de cada país. Esto ha llevado a una mayor asignación de fondos a las ciencias, tecnología, ingeniería y matemáticas (las llamadas STEM por sus siglas en inglés). En el caso de Asia, se ha seguido esta misma estrategia, enfocando la inversión en actividades investigativas en aquellas disciplinas que se entiende tendrán un impacto directo sobre la economía del país. En este caso, aunque los recaudos gubernamentales han disminuido, las asignaciones económicas a dichas disciplinas de interés nacional se han mantenido, dándole una mayor estabilidad a las universidades asiáticas ante la crisis económica. En la Isla, la Universidad de Puerto Rico (UPR) es la única y mayor institución pública de educación superior enfocada en la investigación, y la que tiene los mayores índices de productividad científica (como promedio el 75% del total de Puerto Rico en las fuentes utilizadas en este trabajo). Sus resultados de investigación constituyen un recurso potencial para ayudar decisivamente al país en tiempos de profunda incertidumbre económica. De la misma forma en que la UPR contribuyó al desarrollo de la infraestructura administrativa y económica de Puerto Rico durante las décadas de los cuarenta y cincuenta del siglo XX, en este momento debe convertirse en el principal propulsor de la economía basada en el conocimiento, aprovechando el esfuerzo y los resultados de investigación para la creación de nuevos productos y servicios que contribuyan decisivamente al desarrollo de la industria y el comercio local. Por tal razón, y dada la reducción en la asignación de fondos públicos, es imperativo que la Universidad disponga de indicadores objetivos y confiables sobre su producción de investigación, los vínculos de colaboración científica que la institución desarrolla dentro y fuera de la isla, el alcance y valoración de los resultados de investigación en la comunidad científica, así como las áreas de investigación propias con mayor fortaleza, potencial de crecimiento, visibilidad e impacto. La disponibilidad y el análisis cuidadoso de estos indicadores, conjuntamente con otros del contexto educativo, socioeconómico y político en el que funciona la universidad, pueden servir a las autoridades competentes para la toma de decisiones que lleven a la creación de una cartera diversificada de investigaciones optimizando la asignación de fondos y el rendimiento obtenido sobre dicha asignación. Objetivos Este trabajo tiene como objetivo caracterizar la actividad científica llevada a cabo en la Universidad de Puerto Rico, durante el período de 1999 a 2013, mediante un conjunto de indicadores bibliométricos ampliamente aceptados, que muestren productividad, visibilidad, impacto y, particularmente, la evolución de las áreas de 4 investigación y el desarrollo de disciplinas emergentes, principalmente en ciencias puras, experimentales y tecnológicas, así como las unidades que trabajan dichas áreas. Mediante este análisis se pretende evidenciar la magnitud, la fortaleza y el potencial de la investigación científica en la UPR, elementos que la posicionan como una institución indispensable para el desarrollo socio-económico de la isla. Metodología El estudio utiliza como fuentes los denominados índices de citas de la colección principal del Web of Science™ (W oS): Science Citation Index Expanded (SCI), Social Science Citation Index (SSCI), Arts & Humanities Citation Index (A&HCI)1. Para identificar la producción científica de Puerto Rico se ha utilizado como estrategia de búsqueda y recuperación la expresión: (PR AND USA) en el campo de afiliación institucional (Address) desde la interfaz de búsqueda de WoS. Con los registros recuperados se creó una base de datos, en colaboración con los colegas de IUNE- UC3M2, en la que se ha estado realizando un cuidadoso proceso de normalización de las direcciones institucionales, lo que permite mayor precisión en la recuperación de la producción de instituciones puertorriqueñas al identificar y recuperar variantes de dichas direcciones, incluso cuando no está incluido el nombre de la universidad ni los códigos postales asociados con la institución. Esto es particularmente útil en el caso de la Universidad de Puerto Rico e imprescindible para lograr resultados confiables. Para el análisis de las áreas de investigación y disciplinas científicas emergentes se utiliza la clasificación temática de las revistas en el Journal Citation Reports® 2014, Science Citation Edition y Social Science Citation Edition. Las disciplinas fueron agrupadas en seis grandes áreas o categorías, según la clasificación que realiza WoS para cada una de las revistas que indiza: Arts & Humanities (Artes y Humanidades – ART-HUM), Life Sciences (Ciencias de la Vida - BIO), Experimental Sciences (Ciencias Experimentales - EXP), Social Sciences (Ciencias Sociales - SOC), Architecture, Engineering and Computer Sciences (Arquitectura, Ingenierías y Ciencias de Cómputo - ING), y Medicine and Pharmacology (Medicina y Farmacología - MED). No obstante, dado que Ciencias Sociales y Artes y Humanidades están menos representadas en las fuentes utilizadas en este estudio, hecho este que constituye uno de los sesgos tradicionalmente asociados con el uso de los índices de citas, el análisis en el apartado de áreas y disciplinas de investigación se hace únicamente para las cuatro categorías restantes. Para facilitar el análisis de la evolución de las áreas de investigación, el período bajo estudio (1999-2013) se ha dividido en quinquenios (1999-2003, 2004-2008, 2009-2013). Los indicadores utilizados han sido los siguientes: 1. Producción a. Publicaciones del sistema de la Universidad de Puerto Rico (UPR) b. Publicaciones de los cinco recintos más productivos de la UPR (aportan 1% o más a la producción total de la institución) 2. Colaboración a. Índice de coautoría b. Publicaciones en colaboración nacional c. Publicaciones en colaboración internacional 1En opinión de los autores, a pesar de la polémica que comúnmente acompaña el uso de los índices de citas para hacer seguimiento y evaluación de la actividad científica, estas fuentes tienen una notable validez en el caso de Puerto Rico, particularmente en las ciencias puras, experimentales y tecnológicas, porque, contrario a lo que ocurre en otros países, en los que existen revistas científicas locales que recogen una cantidad notable de los resultados de investigación, y que no están incluidas en los índices de citas, en Puerto Rico, salvo para las Humanidades y las Ciencias Sociales, hay pocas revistas científicas y las que existen se encuentran indizadas en las bases de WoS. Por tanto, como afirma Ortiz Rivera (2003), la importancia que tienen las fuentes locales para el estudio de la producción científica, pudiera no ser la misma en el caso de la Isla. No obstante, se reconoce que este es un asunto que requiere más investigación. 2El Observatorio IUNE (http://iune.es) es el resultado del trabajo realizado por un grupo de investigadores pertenecientes a las universidades que integran la "Alianza 4U": Universidad Carlos III de Madrid, Universidad Autónoma de Madrid, Universidad Autónoma de Barcelona y Universidad Pompeu Fabra. 5 3. Impacto a. Citas por universidades b. Citas por disciplinas científicas 4. Visibilidad a. Publicaciones en revistas del primer cuartil b. Publicaciones en las tres primeras revistas de cada una de las áreas científicas. 5. Áreas de investigación y disciplinas emergentes. a. Publicaciones por categoría temática b. Publicaciones por disciplina científica c. Tasa de crecimiento por disciplina científica Resultados y Discusión La Universidad de Puerto Rico está compuesta por once recintos. Este sistema acumula 4,825 docentes, que tienen la investigación como parte de su labor académica. Este número representa el 61% de todos los investigadores de Puerto Rico. Los tres recintos mayores (Río Piedras, Mayagüez y Ciencias Médicas) ofrecen la mayoría de los programas de posgrado y por ende allí se concentra el grueso de la investigación que se realiza en el sistema. Su grupo de investigadores constituyen el 69% del total de la UPR y generan el 94% del total de publicaciones de este sistema. A estos recintos se añaden dos (Humacao y Cayey). Humacao ofrece programas de licenciaturas en: Química Industrial, Microbiología, Biología Marina, Matemáticas Computacionales, Física aplicada a la electrónica, Tecnología Química y Tecnología Electrónica. Por su parte Cayey ofrece programas dirigidos a licenciaturas en: Química, Biología y Matemáticas. Estos dos recintos, por la naturaleza de sus programas académicos, también contribuyen, aunque en menor medida que los otros tres, a la producción científica del sistema. Los resultados que se presentan y discuten a continuación muestran un crecimiento sostenido de la producción científica de la UPR durante todo el período, con notables aumentos en la colaboración nacional e internacional, el tamaño de los grupos de investigación y la publicación en revistas de alta visibilidad e impacto. Se han identificado las diez disciplinas con mayor actividad publicadora en el período y se ha analizado su evolución quinquenal, atendiendo a los indicadores de productividad, colaboración internacional e impacto, para considerar su carácter emergente. Es importante enfatizar, que la interpretación y uso de estos resultados deben hacerse en el marco del esfuerzo que realiza la Vicepresidencia de Investigación y Tecnología de la Universidad de Puerto Rico para disponer de un portafolio de investigación, útil para el fortalecimiento de la política científica en la universidad, el desarrollo de nuevos proyectos, la atracción de inversiones, la identificación de oportunidades de colaboración con el sector industrial local e internacional. Producción científica La figura 1 muestra, en valores absolutos, el total de publicaciones para todo Puerto Rico y la UPR. Se incluye el porcentaje de participación de la Universidad en el total de la producción del país. Como se observa, en el período entre 1999 y el 2005 la producción científica en Puerto Rico aumentó de 604 hasta 859 publicaciones (un aumento de 29.7%). Ya en 2006 se superan las 1,000 publicaciones (1,098) por año, manteniendo este umbral hasta que en 2012 se alcanza el punto más alto con 1,272 publicaciones, reflejando una pequeña merma en 2013 cuando el total fue de 1,234. Los totales de publicaciones, en el período, son los siguientes: PR (14,536) y UPR (10,953). La producción científica de la Universidad de Puerto Rico (UPR) representa casi la totalidad de la producción del país, fluctuando desde un nivel mínimo de 73.3% de participación hasta un máximo de 78.6% y un promedio durante el periodo de 75%. Esta evolución es consistente con lo mostrado por otros servicios de seguimiento y 6 evaluación de la actividad científica a nivel mundial, como Scimago3, en los que la participación de la UPR en la producción de Puerto Rico alcanza el 88% y con resultados de estudios anteriores en los que se supera el 70% (Ortiz Rivera, Sanz Casado y Suárez Balseiro, 2000). La producción científica de la UPR ha mantenido una notable tendencia al alza, y si se analiza el período por quinquenios, la producción casi se duplicó del primero (2,469 documentos) al tercero (4,716 documentos). Nótese que en el período de 2009 a 2013 se produjo el 43.06% del total de publicaciones. Figura 1. Producción científica de la Universidad de Puerto Rico (UPR) con relación a la total del país (1999-2013) Producción total Puerto Rico: 14536 docs. Universidad de Puerto Rico (UPR): 10953 docs. (75.35%) Producción total por quinquenios (UPR) A99-A03: 2470 docs. (22.55%) A04-A08: 3767 docs. (34.39%) A09-A13: 4716 docs. (43.06%) Aportación de la UPR a la producción científica total de Puerto Rico A99 A00 A01 A02 A03 A04 A05 A06 A07 A08 A09 A10 A11 A12 A13 74% 74% 74% 73% 74% 74% 73% 72% 76% 76% 77% 79% 77% 78% 74% La figura 2 muestra la evolución de la producción científica en los cinco recintos con mayor actividad publicadora en el período bajo estudio (aportan un 1% o más de la producción total de la institución). Hasta el 2009 el Recinto de Río Piedras (UPR-RP), en el que existen programas de posgrado en química, biología, física, matemáticas y ciencias ambientales, mantuvo el sitial puntero en cuanto a publicaciones científicas. Esa posición se ve superada, a partir de 2010, por el Recinto de Mayagüez (UPR-RUM) donde se aglutinan los posgrados en ingeniería (civil, eléctrica, mecánica, computación, química), ciencias agrícolas y marinas. Se infiere que la organización de equipos de investigación de mayor tamaño y variedad de componentes ha marcado un repunte significativo en la producción científica del RUM, no obstante se requiere más investigación para corroborarlo. Por su parte, el Recinto de Ciencias Médicas (UPR-CM) agrupa los ofrecimientos académicos en medicina, odontología, farmacia y otras ciencias relacionadas con la salud. Aquí también se observa un crecimiento marcado en las publicaciones, en este caso a partir de 2006. La producción de estos tres recintos y el complemento ofrecido por Humacao (UPR-H) y Cayey (UPR-CY) 3 Scimago SIR Iber Puerto Rico, 2014 http://www.scimagoir.com/ 7 marcarán las áreas principales de investigación y de potencial económico como discutiremos más adelante. Figura 2: Distribución porcentual de la producción científica de los cinco recintos más productivos de la UPR (1999-2013) con relación al total de la institución. Producción total por recintos (los cinco que contribuyen con el 1% a más del total de la producción de la UPR) UPR-RP (3801); UPR-RUM (3268); UPR-(3514); UPR-H (457); UPR-CY (202) Colaboración científica La investigación científica por su propia naturaleza y dinámica tiende a ser una actividad colaborativa. Como tendencia, principalmente en ciencias puras, experimentales y tecnológicas, la colaboración entre investigadores de diferentes países ha crecido linealmente en número de documentos y exponencialmente en cantidad de países participantes en las décadas anteriores, pasando de 2.86 en 1990 a 3.61 países por documento en 2005 (Leydesdorff y Wagner, 2008). Este crecimiento de la colaboración entre investigadores a escala internacional, está en parte condicionado por la complejización de la investigación en muchos campos, lo que trae consigo mayores requerimientos en los métodos y recursos empleados (Sahu y Panda, 2013). El establecimiento y desarrollo de lazos de colaboración científica es incluso un planteamiento de carácter estratégico en política científica al que los gobiernos prestan mucha atención (Pouris y Ho, 2013), en Finlandia, por ejemplo, un país con una comunidad científica pequeña, se ha hecho énfasis en la colaboración internacional como parte de dicha política y, en conjunto, en los países nórdicos se toma como una manera ineludible de adaptación a los procesos de la globalización (Ahonen, Hjelt, Kaukonen y Vuolanto, 2009) Los beneficios de la colaboración científica, sobre todo la de carácter internacional, hacen que las universidades tengan más interés en internacionalizar sus actividades. La literatura profesional destaca los siguientes: 1) provee un medio para brindar acceso a conocimientos y experiencias, 2) permite ampliar y fortalecer destrezas mediante el intercambio con expertos, 3) puede brindar acceso a equipamiento que no está disponible localmente, 4) puede brindar acceso a fuentes de fondos externos, 5) permite desarrollar y fortalecer vínculos profesionales entre investigadores, 6) contribuye a superar limitaciones o lagunas técnicas, 7) puede contribuir a desarrollar comunidades de práctica y aprendizaje y 8) podría mejorar la calidad de la investigación (Harrap, 2009; Oldham, 2005). Leydesdorff y Wagner (2008), afirman también que la colaboración permite una mayor difusión a nivel global del conocimiento, lo que redunda en beneficios para la comunidad científica. Éstos representan los principales beneficios pero la lista puede ser más extensa, lo que lleva a algunos a considerar la colaboración internacional como un indicador de la 8 investigación de alta calidad (Freshwater, Sherwood y Drury, 2006). Por otra parte, los niveles elevados de colaboración internacional son característicos en comunidades científicas pequeñas, como es el caso de Puerto Rico. Este hecho está asociado al reconocimiento del quehacer científico vinculado al tamaño de las comunidades científicas y la influencia que la multiautoría internacional tiene en el nivel de citación de los trabajos publicados (Persson, Glänzel y Danell, 2004). En este sentido, los resultados obtenidos para Puerto Rico están en correspondencia con los hallazgos de estudios anteriores, en los que más del 60% de los documentos publicados mostraban multiautoría y de esos, en cerca del 75% había colaboración internacional (Suárez Balseiro, Sanz Casado y Ortiz Rivera, 2006). La figura 3 muestra la distribución porcentual de los documentos con colaboración nacional e internacional para la UPR. Se aprecia un mayor porcentaje en la colaboración internacional que la nacional. Hay además un crecimiento sostenido que va de 44.27%, al inicio del período bajo estudio, hasta alcanzar el 66.12% al fin de dicho período. Hay que destacar, que algunos autores han encontrado que la colaboración internacional favorece el impacto de las publicaciones (Hsu y Huang, 2011). En cuanto a la colaboración nacional, se observa una disminución escalonada que parte de 37.53% y se reduce hasta un 20.22%. Evidentemente a nivel sistémico hay un predominio de la colaboración internacional sobre la nacional, aunque este hecho está condicionado por las características propias de las áreas de investigación y disciplinas científicas. Figura 3. Distribución porcentual de los documentos con colaboración nacional e internacional para la UPR. Las figuras 4, 5 y 6 muestran cómo se manifiesta la colaboración nacional e internacional en los cinco recintos de la UPR con mayor producción durante el período. Ciencias Experimentales (EXP) es la categoría que mayores valores arroja en cuanto a colaboración internacional con 1082 publicaciones, seguida por las Ciencias de la Vida (BIO) con 950 publicaciones, Arquitectura, Ingenierías y Ciencias de Cómputo (ING) con 799 publicaciones y Medicina y Farmacología (MED) con 740 publicaciones. En el ámbito de la colaboración nacional, el orden de las categorías permanece igual (EXP, BIO, ING y MED) aunque la colaboración nacional en ciencias experimentales muestra un valor superior (1329) y las otras tres categorías exhiben valores cercanos (688-623), si bien más reducidos que sus correspondientes en la colaboración internacional. Los totales de publicaciones en colaboración internacional y nacional reflejan la naturaleza de los programas académicos que prevalecen en cada recinto. 9 La comparación de la colaboración internacional y nacional en los recintos bajo consideración muestra dos grupos. El primero compuesto por Mayagüez (UPR-RUM), Ciencias Médicas (UPR-CM) y Río Piedras (UPR-RP) cuya colaboración internacional supera el 50% y la nacional que fluctúa entre 25 y 39%. El segundo grupo, formado por Humacao (UPR-H) y Cayey (UPR-CY), refleja una colaboración internacional que levemente supera el 30%, mientras que su colaboración nacional excede el 60%. Al examinar la colaboración internacional por categorías temáticas en los cinco recintos bajo consideración, se observa que la misma alcanza sus mayores porcentajes en las Ciencias Experimentales (EXP), seguidas por las Ciencias de la Vida (BIO), luego Medicina y Farmacología (MED) y finalmente Arquitectura, Ingenierías y Ciencias de Cómputo (ING). En su carácter particular, UPR-H reflejó la colaboración internacional más alta con un 72.84% en ciencias experimentales y le siguió UPR-CM con 69.25% en Medicina y Farmacología. En el ámbito de la colaboración nacional por categorías temáticas, el orden descendente de los valores obtenidos aparece de la forma siguiente: EXP, BIO, MED e ING. En cuanto a los recintos, los valores más altos fueron: UPR-CY (83.7% en EXP), UPR-H (76.1% en EXP) y UPR-CM (68.8% en MED). En los recintos mayores (UPR-RUM, UPR-RP y UPR-CM) la colaboración internacional supera a la nacional, aunque en CM la distribución es casi equitativa. Mientras que en los otros dos recintos (UPR-H y UPR- CY) existe mayor colaboración nacional que internacional en su quehacer investigativo. Figura 4. Distribución porcentual de los documentos con colaboración nacional e internacional para los cinco recintos más productivos de la UPR. El número de autores que colaboran en una publicación ha sido aceptado por algunos autores como un indicador de calidad (Lawani, 1986; Katz y Martín, 1997) y además beneficioso para países con comunidades científicas pequeñas, como es el caso de Puerto Rico, pues contribuye al mayor impacto de las publicaciones (Rousseau, 2001). Esta es una razón por la cual entre los indicadores bibliométricos se considera el índice de coautoría, que refleja el número medio de firmas por documento y permite analizar la tendencia en cuanto al tamaño de los grupos de investigación. En la figura 7 se puede observar un aumento sostenido (de 5.29 a 14.17) de la cantidad de autores por documentos y, si bien en este trabajo no se analiza en detalle este indicador para las diferentes áreas de investigación en la universidad, sí resulta llamativo el aumento del mismo durante el período. Hay que destacar, que el crecimiento atípico (de 84.57 a 225.55) que se observa entre los años 2009 y 2010 es resultado de un cambio notable en la composición de los grupos de investigación en el recinto de Mayagüez, particularmente los dedicados a estudios en astronomía y astrofísica donde colaboran 248 autores, de diferentes países, que han firmado en al 10 menos 120 artículos. Este fenómeno conocido como hiperautoría[1] es la primera vez que se informa en Puerto Rico y parece originarse en la participación de investigadores del RUM en grupos y programas de investigación como Compact Muon Solenoid Experiment (CMS) del CERN y CLEO, parte del Cornell Electron-positron Storage Ring (CESR) en Cornell Laboratory for Accelerator-based Sciences and Education[2]. Los efectos de la colaboración con la participación de CMS han sido reportados en otras comunidades científicas recientemente y se afirma que: "...the impact of CMS collaboration is amazingly significant. On an average, it affects the overall picture by about 44%. It not only affects very small and less productive countries but also productive countries” (Must, 2014, p.45). En el caso de Puerto Rico puede ocurrir igual, pero se requiere de más investigación para corroborarlo. Figura 5. Colaboración internacional por categorías temáticas de los cinco recintos más productivos de la UPR. Figura 6. Colaboración nacional por categorías temáticas de los cinco recintos más productivos de la UPR. 11 Al margen de estos efectos, los resultados muestran con claridad la fortaleza de las redes de colaboración que han alcanzado los investigadores en la UPR y esto, sin duda, es otro factor que sustenta el potencial de la Universidad para el desarrollo del país. En este sentido, cabe destacar la importancia de estas redes para mantener un conocimiento amplio del desarrollo de las tendencias de investigación en un campo, encontrar nuevas oportunidades y colaboradores, así como alcanzar mejores resultados, porque la experiencia del grupo contribuye a un mejor proceso de revisión con la consecuente disminución de posibles errores en el proceso de investigación (Goldfinch, Dale y DeRouen, 2003). La colaboración, particularmente la de carácter internacional, favorece la visibilidad de los resultados de investigación y la probabilidad de citación (Leta y Chaimovich, 2002) y también la propia productividad de los investigadores (De Beaver y Rosen, 1979; De Beaver, 2001). El mayor tamaño de los grupos de investigación hace que los trabajos sean expuestos a la crítica y revisión de un mayor número de investigadores, ya sea por las vías tradicionales del proceso de la comunicación científica o por las más recientes, propias de la cultura digital, como es el caso de la denominada web social de la ciencia. La extensión y fortaleza de la colaboración científica en la UPR, que se evidencia en la evolución del índice de coautoría y de los indicadores del tipo de colaboración (nacional e internacional), es otro elemento que sustenta el gran potencial de la universidad que aún se desaprovecha en la isla. Hay áreas como las ingenierías, en las que la UPR muestra indicadores notables, en las que la colaboración es vista como una estrategia para establecer vínculos y proyectos con el sector industrial a escala internacional (Walker Ramos, 2015) Figura 7. Evolución del índice de coautoría para la UPR. Visibilidad e impacto4 La visibilidad y el impacto son dos medidas usadas para mostrar la calidad y la utilización de las publicaciones derivadas de las investigaciones que se realizan en una institución. En este caso, se muestran los documentos publicados en revistas del primer cuartil y los documentos publicados en las tres revistas con mayor impacto en 4Los indicadores de visibilidad e impacto se han calculado para el período de 2002 a 2012, porque en el momento de realizar este trabajo sólo estuvieron disponibles datos para ese período. 12 cada disciplina. Además, se presenta el total de citas y el promedio de citas por documento para los cinco recintos con mayor producción. En la figura 8 se puede apreciar un aumento sostenido del total de artículos publicados en revistas del primer cuartil durante el período bajo estudio, con valores porcentuales, respecto al total de documentos publicados, que oscilan entre el 40% y el 50% (el promedio es de 45.70%)5. Al examinar el porcentaje de artículos publicados en revistas incluidas en el primer cuartil (Figura 9) se aprecia que tres de los cinco recintos principales tienen sobre el 40% de sus publicaciones en dichas revistas y uno (UPR-H) cerca de una tercera parte de las mismas. El mayor porcentaje lo tiene UPR-CM con 52.87%, seguido por UPR- RUM con 43.9% y UPR-RP con 43.5%. Los otros dos recintos, Humacao (UPR-H) y Cayey (UPR-CY) presentan porcentajes más bajos con valores de 29% y 19% respectivamente. Otro indicador de visibilidad e impacto es el total de publicaciones que la institución tiene en el conjunto de las tres revistas con mayor factor de impacto de cada disciplina. Este es un indicador que se asocia con una alta calidad de la investigación. La figura 10 muestra el porcentaje de publicaciones que los cinco recintos con mayor producción en la UPR tienen en ese grupo de revistas. En los tres recintos mayores el porcentaje fluctúa entre 5.75% y 14.4%. En los otros dos recintos sus porcentajes son: 4.46% (UPR-CY) y 3.06% (UPR-H). Estos datos resultan encomiables para la UPR, pues si se toma como referencia las 68 universidades españolas que incluyen este dato en el portal de IUNE su promedio es 6.47% (con valores entre 16.67 y 2.21%) mientras que el promedio para los cinco recintos de la UPR es 6.87% (con valores entre 14.42 y 3.06%) (IUNE, 2015). Considerando las dificultades que encierra publicar en ese círculo tan selecto de revistas de calibre mundial, esto representa un gran logro para la UPR y definitivamente otra evidencia que refleja la calidad de la investigación que se hace en la institución. Figura 8. Distribución de los documentos publicados en revistas del primer cuartil para la UPR, en relación al total de documentos publicados cada año. Es un acuerdo generalizado que la cita, mecanismo mediante el cual se da crédito por el uso de componentes o datos de una investigación en el contexto de otra, es un indicador de calidad en la investigación. En general, si bien el juicio de los expertos resulta imprescindible para establecer la calidad, “…es una tendencia emergente en la política científica, considerar al impacto como la parte medible de la calidad, como medida que representa la calidad de la investigación.” (Moya Anegón, 2012). 5 Como se indicara antes, la correlación entre la producción anual y el total de publicaciones en revistas del primer cuartil es positiva y estadísticamente significativa (Pearson: p= 0.986 y r2=0.97). 13 La figura 11 muestra el volumen de citas recibidas por los artículos publicados en los cinco recintos más productivos. Nótese que en los tres recintos mayores el nivel de citas por documento es igual o mayor que diez. En cuanto a los promedios de citas recibidos por los totales de documentos publicados por cada recinto durante el período, se observa que Río Piedras exhibe el valor más alto (13.92) y, en conjunto, el promedio para los cinco recintos es 9.29 citas por documento. Esto es indicativo de la calidad y el alcance de los resultados de investigación para la comunidad científica. Figura 9. Distribución porcentual de los documentos publicados en revistas del primer cuartil para los cinco recintos más productivos de la UPR. Figura 10. Distribución porcentual de los documentos publicados en las tres primeras revistas de las áreas disciplinares para los cinco recintos más productivos de la UPR. 14 Figura 11. Citas recibidas por los cinco recintos con mayor producción de la UPR. Áreas y disciplinas de investigación En esta sección se analizan las áreas y disciplinas que caracterizan la producción científica de la UPR durante el período estudiado. Como se explicó en el apartado metodológico, este análisis no incluye las áreas de Ciencias Sociales y Artes y Humanidades, por considerar insuficiente la cobertura que tiene WoS de las mismas para el caso de Puerto Rico. Se han identificado las diez disciplinas con mayor actividad publicadora en la UPR, y se ha analizado su evolución quinquenal atendiendo a los indicadores de productividad, colaboración internacional e impacto, planteados por Glänzel (2012) para considerar su carácter emergente. Para cada disciplina se ha calculado su peso porcentual en la producción total de la universidad y la tasa de crecimiento del primero al tercer quinquenio. La figura 12 y la tabla 1 muestran las diez disciplinas con mayor producción ordenadas por el total de publicaciones en todo el período. La serie que se destaca es la que corresponde al quinquenio 2009-2013. Estas diez disciplinas suman casi el 50% de todo lo que se publica en Ciencias de la Vida, Ciencias Experimentales, Medicina y Farmacología, y Arquitectura, Ingenierías y Ciencias de Cómputo. Un vistazo a la evolución de las disciplinas durante los tres quinquenios muestra que las más destacadas para el primer quinquenio, que finaliza en el año 2003, son Chemistry, Multidisciplinary, Biochemistry & Molecular Biology y Physics, Condensed Matter. Al comparar con los próximos dos quinquenios vemos que hay algunos cambios en las disciplinas con mayor cantidad de publicaciones. Para el segundo quinquenio las mismas disciplinas punteras del primer quinquenio se mantienen en los dos primeros lugares, sin embargo la tercera posición es sustituida por Physics, Applied. Para el tercer quinquenio Materials Science sube a una segunda posición y Public, Environmental & Occupational Health sube de una séptima posición en el segundo quinquenio, a una primera posición en el tercer quinquenio. Estos ordenamientos se ven marcadamente afectados si se analiza el crecimiento de la producción por quinquenios y se atiende a la tasa de crecimiento del período 1999-2003 al 2009-2013. Al tomar como umbral un valor superior al 100% de tasa de crecimiento, las disciplinas que se destacan son: Public, Environmental and Occupational Health (788.89%), Materials Science, multidisciplinary (166%), Biology (164.10%) y Physics, Applied (112.61%). Chemistry, multidisciplinary y Biochemistry que estuvieron al frente durante los dos primeros quinquenios muestran un decrecimiento en el último, aunque su producción se mantiene alta. Basado en el criterio de la tasa de crecimiento y tomando en cuenta que un crecimiento destacado 15 es uno de los criterios para identificar disciplinas emergentes (Glänzel, 2012), las anteriores cuatro disciplinas podrían considerarse de esa manera para propósitos de este trabajo. Tabla 1. Disciplinas con mayor producción en la UPR durante el período 1999-2013. Disciplinas Quinquenio I 99- 03 Quinquenio II 04-08 Quinquenio III 09-13 99-13 Tasa de Crecimiento QI a QIII Total Docs. % Total Docs. % Total Docs. % Total Docs. % Chemistry, multidisciplinary 347 26.05 520 39.04 465 34.91 1332 12.16 34.01% Biochemistry and molecular biology 157 25.20 250 40.13 216 34.67 623 5.69 37.58% Materials science, multidisciplinary 100 19.92 136 27.09 266 52.99 502 4.58 166% Physics, applied 111 22.65 143 29.18 236 48.16 490 4.47 112.61% Cell biology 125 27.65 137 30.31 190 42.04 452 4.13 52% Chemistry, physical 103 23.90 129 29.93 199 46.17 431 3.93 93.20% Biology 78 18.66 134 32.06 206 49.28 418 3.82 164.10% Public, environmental and occupational health 27 6.62 141 34.56 240 58.82 408 3.73 788.89% Physics, condensed matter 119 32.60 113 30.96 133 36.44 365 3.33 11.76% Neurosciences 107 29.40 112 30.77 145 39.84 364 3.32 35.51% Tabla 2. Disciplinas con mayor producción en la UPR (1999-2013). Indicadores de colaboración internacional Disciplinas Quinquenio I 99-03 Quinquenio II 04-08 Quinquenio III 09-13 1999-2013 Tasa de crecimien to QI a QIII Total Docs. % Total Docs. % Total Docs. % Total Docs. % Physics, condensed matter 54 22.13 76 31.15 100 40.98 244 66.85 85.19% Physics, applied 56 17.50 95 29.69 163 50.94 320 65.31 191.07% Materials science, multidisciplinary 50 16.18 76 24.60 175 56.63 309 61.55 250% Chemistry, physical 40 15.09 88 33.21 124 46.79 265 61.48 210% Neurosciences 43 21.50 60 30.00 87 43.50 200 54.95 102.33% Biochemistry and molecular biology 51 17.41 126 43.00 116 39.59 293 47.03 127.45% 16 Public, environmental and occupational health 19 10.22 69 37.10 98 52.69 186 45.59 415.79% Biology 17 10.06 59 34.91 92 54.44 169 40.43 441.18% Cell biology 29 18.71 52 33.55 70 45.16 155 34.29 141.38% Chemistry, multidisciplinary 50 13.70 129 35.34 175 47.95 365 27.40 250% Cuando se toma en consideración el volumen de citas recibidas por las publicaciones en las diez disciplinas bajo consideración, el posicionamiento es el que se muestra en la Tabla 3. Sin embargo, cuando el criterio es la tasa de crecimiento de las citas ese orden cambia de la forma siguiente: 1) Chemistry, Physical, 2) Materials Science, 3) Chemistry, Multidisciplinary, 4) Biology, (las siguientes posiciones arrojan valores negativos) 5) Biochemistry & Molecular Biology, 6) Physics, Condensed Matter, 7) Physics, Applied, 8) Public, Environmental & Occupational Health, 9) Neurosciences y 10) Cell Biology. Tabla 3. Disciplinas con mayor producción en la UPR (1999-2013). Indicadores de citación Disciplinas Quinquenio I 99-03 Quinquenio II 04-08 Quinquenio III 09-13 Total 99-13 Tasa de crecimiento QI-QIII Total de citas % Total de citas % Total de citas % Materials science, multidisciplinary 3643 26.26 4062 29.28 6167 44.46 13872 69.28% Chemistry, physical 3439 25.09 4083 29.78 6187 45.13 13709 79.91% Physics, applied 5267 38.88 4442 32.79 3837 28.33 13546 -27.15% Neurosciences 4669 35.20 5656 42.64 2940 22.16 13265 -37.03% Chemistry, multidisciplinary 3614 28.63 3401 26.94 5608 44.43 12623 55.17% Biochemistry and molecular biology 3321 27.34 5609 46.18 3217 26.48 12147 -3.13% Physics, condensed matter 2550 29.17 3868 44.25 2323 26.58 8741 -8.90% Public, environmental and occupational health 2315 33.10 3176 45.40 1504 21.50 6995 -35.03% Biology 1385 30.55 1398 30.84 1750 38.61 4533 26.35% Cell biology 1843 46.86 1489 37.86 601 15.28 3933 -67.39% 17 Conclusiones Tomando en cuenta los resultados obtenidos se exponen a continuación los aspectos más destacados que caracterizan la producción científica de la Universidad de Puerto Rico, recogida en revistas de la corriente principal indizadas en las bases de datos de la colección principal del Web of Science™(W oS). Cabe señalar, nuevamente, que las bases de datos de WoS, como se ha explicado anteriormente, brindan una visión parcial de la actividad investigadora, mucho más completa para las ciencias puras, experimentales y tecnológicas, por tal razón la valoración de las conclusiones deben ser hechas desde la perspectiva de una interpretación prudente de la información que brindan los indicadores bibliométricos utilizados. Tomando en consideración el planteamiento anterior, las conclusiones del trabajo han sido las siguientes: 1. La producción científica de la UPR ha mantenido un crecimiento sostenido durante el período de 1999 a 2013 y su contribución a la producción científica de todo Puerto Rico, en las bases de datos de la colección principal de WoS, ha sido consistentemente superior al 70%. Esto reafirma el papel fundamental de la UPR en el marco de la investigación científica que se hace en la isla. 2. La colaboración internacional ha ido en aumento a tono con las tendencias de la actividad científica a nivel internacional, principalmente en las ciencias puras, experimentales y tecnológicas. Esto constituye una fortaleza de la comunidad de investigadores en la UPR que influye positivamente en la visibilidad de los resultados de investigación y en el fortalecimiento de las redes de colaboración con grupos de investigadores e instituciones de diferentes países. 3. El tamaño de los grupos de investigación muestra un aumento considerable, lo que se pone de manifiesto en la duplicación del índice de coautoría entre los años 1999 y 2009, así como en el fenómeno de hiperautoría que aparece entre los años 2010 y 2013. 4. Las publicaciones en el primer cuartil aumentan y promedian el 45.7% del total de publicaciones de la UPR, mientras que las publicaciones en las tres primeras revistas por disciplina alcanza un promedio de 6.87% (para los cinco recintos). Estos datos evidencian una notable visibilidad de los resultados de investigación en la institución. 5. El mayor número de citas lo obtiene la categoría de Ciencias Experimentales, seguida por Medicina y Farmacología, Ciencias de la Vida y Arquitectura, Ingenierías y Ciencias de Cómputo. Esto evidencia la intensa actividad que estas áreas tienen en el quehacer científico puertorriqueño y el nivel de impacto internacional de la investigación que en ellas se lleva a cabo. 6. El análisis combinado de los indicadores de producción, colaboración internacional y citación, ha permitido sentar las bases para identificar disciplinas emergentes que pueden tener el mayor potencial para su desarrollo y su vinculación al sector industrial, sin embargo esta conclusión exige un análisis más profundo de aspectos relacionados con la aplicación de estos indicadores y las características propias del quehacer investigativo en cada disciplina. Lo hasta aquí expuesto sustenta el planteamiento del Presidente de la UPR, Dr. Uroyoán Walker Ramos en el informe de situación ante la Cámara de Representantes de Puerto Rico: La UPR impulsa la expansión de la ciencia, la tecnología y la investigación en un ecosistema de innovación que estimula la economía del conocimiento en la Isla. Nuestra institución cuenta con recursos de todo tipo, útiles para enfrentar exitosamente el reto de la situación económica que enfrenta el país. (Walker Ramos, 2015, p.4). Este documento incluye una relación de proyectos en desarrollo que sientan las bases y aportan entidad corpórea a los planteamientos que hemos realizado. Entre los proyectos en desarrollo se destacan: 1) el Centro Comprensivo de Cáncer, 2) el 18 Complejo para el Desarrollo y Adiestramiento en Bioprocesos, 3) el Centro de Investigación en Ciencias Moleculares, 4) el Laboratorio de Cristalización y Caracterización estructural de Proteínas, 5) el Laboratorio para la Determinación de la Secuencia Molecular de Ácidos Nucléicos, 6) el Centro de Neuroplasticidad (para el estudio de enfermedades neurodegenerativas) y 7) el Centro de Excelencia en Microscopía. Estas y otras iniciativas están enmarcadas en el planteamiento del Presidente de la UPR en las siguientes líneas: “La misión y metas de la Universidad sitúan su futuro en la dilatación de la actividad investigativa, tecnológica y de producción de propiedad intelectual, áreas que representan una oportunidad estratégica para el país” (Walker Ramos, 2015, p.11). Una manifestación concreta de este enfoque es la ampliación de las líneas de investigación en áreas tales como neurobiología, los estudios clínicos en enfermedades contagiosas, la nanotecnología (respaldada por el Laboratorio de Nanociencia y Nanotecnología del Recinto de Río Piedras y la compañía Nano- Essentials, un “spin-off” del Recinto de Mayagüez), la informática, los estudios ambientales y las aplicaciones de alcance comunitario. En nuestro trabajo hemos podido detectar el potencial de éstas y otras áreas de investigación a partir del volumen de publicaciones y sus características bibliométricas. Siguiendo el ejemplo de otras universidades públicas en diferentes países, el identificar las áreas con mayor potencial debe llevar a que se optimice la utilización de las asignaciones de fondos gubernamentales en la universidad y que se desarrolle política pública para apoyar la investigación alineada a los intereses nacionales y que podría servir de base a un desarrollo económico sostenido. Referencias Ahonen, P.-P., Hjelt, M., Kaukonen, E., & Vuolanto, P. (Eds), (2009) Internationalisation of Finnish scientific research. Publications of the Academy of Finland 7/09. Alexander, F.K. (2001). The silent crisis: the relative capacity of public universities to compete for faculty. The Review of higher Education, 24 (2): 113-129. Aleixandre-Benavent, R. et al (2013). Coautoría y redes de colaboración en la investigación española sobre esclerosis múltiple. Revista de Neurología, 57 (4): 157- 166. Altundemir, M.E. (2012). The Impact of the Financial Crisis on American Public Universities. International Journal of Business and Social Science, 3(8): 190-198. Bosworth, B.P. & Collins, S.M. (2006). Economic growth (pp.17-81). En: The economy of Puerto Rico: Restoring growth. Washington, DC, The Center for the New Economy. Bozeman, B., & Corley, E. (2004). Scientists’ collaboration strategies: implications for scientific and technical human capital. Research Policy, 33(4): 599–616. Cronin, B. (2001). Hyperauthorship: A postmodern perversion or evidence of a structural shift in scholarly communication practices? Journal of the American Society for Information Science and Technology, 52(7), 558–569. http://doi.org/10.1002/asi.1097 European University Association (2011). Impact of the economic crisis on European universities. Recuperado de http://www.eua.be/Libraries/Governance_Autonomy_ Funding/PFO_January_2011.sflb.ashx Freshwater, D., Sherwood, G. & Drury, V. (2006). International research collaboration: Issues, benefits and challenges of the global network. Journal of Research in Nursing, 11(4): 295-303. Glänzel, W. (2012). Bibliometric methods for detecting and analysing emerging research topics. El Profesional de La Información, 21(1), 194–201. Glänzel, W., Schubert, A., & Czerwon, H.-J. (1999). A bibliometric analysis of international scientific cooperation of the European Union (1985–1995). Scientometrics, 45(2), 185–202. http://doi.org/10.1007/BF02458432 http://doi.org/10.1007/BF02458432 19 Goldfinch, S., Dale, T., & DeRouen, K. (2003). Science from the periphery: collaboration, networks, and periphery effects in the citation of New Zealand Crown Research Institutes articles, 1995–2000. Scientometrics 57(3): 321–337. Harrap, N. E. (2009). Impacts and benefits of the promotion of UK science, engineering, and technology abroad- why it pays to collaborate at the international level (Ph.D.). The University of Manchester. Recuperado de http://ethos.bl.uk/ OrderDetails.do?uin=uk.bl.ethos.506627 Hsu, J. & Huang, D. (2011). Correlation between impact and collaboration. Scientometrics, 86 (2): 317-324. UNESCO Bangkok, Asia and Pacific Regional Bureau for Education (2012). The impact of economic crisis on higher education. Bangkok, Thailand: UNESCO. Kyvik, S., & Larsen, I. M. (1997). The Exchange of Knowledge A Small Country in the International Research Community. Science Communication, 18(3), 238–264. http://doi.org/10.1177/1075547097018003004 Katz, J. S. (2000). Scale-independent indicators and research evaluation. Science and Public Policy. Recuperado de: http://arizona.openrepository.com/arizona/ handle/10150/106083 Katz, J. S. & Hicks, D. (1997). How much is a collaboration worth? A calibrated bibliometric model. Scientometrics, 40(3), 541–554. Lawani, S.M. (1986). Some bibliometric correlates of quality in scientific research. Scientometrics, 9 (1-2); 13-25. Leta, J. & Chaimovich, H. (2002). Recognition and international collaboration: the Brazilian case. Scientometrics, 53(3), 325–335. http://doi.org/10.1023/A:1014868928349 Leydesdorff, L. & Wagner, C. S. (2008). International collaboration in science and the formation of a core group. Journal of Informetrics, 2(4), 317–325. http://doi.org/10.1016/j.joi.2008.07.003 Melin, G. (1999). Impact of national size on research collaboration: a comparison between northern european and american universities. Scientometrics, 46(1), 161–170. Moya Anegón, F.D. (2012). Aproximación al análisis institucional de la investigación: visibilidad e internacionalización. Lima, Perú: Seminario sobre Políticas Universitarias de Investigación. Must, Ü. (2014). The Impact of Multi-Authored Papers: The Case of a Small Country. Collnet Journal of Scientometrics and Information Management, 8(1), 41-47. http://doi.org/10.1080/09737766.2014.916874 Oldham, G. (2005). International scientific collaboration: a quick guide. Recuperado de http://www.scidev.net/global/policy-brief/international-scientific- collaboration-a-quick-gui.html Ortiz Rivera, L. A. (2003). Estudio bibliométrico de la producción científica de autores pertenecientes a instituciones puertorriqueñas en el Science Citation Index durante el período 1980-1998: Tesis doctoral. Getafe: Universidad Carlos III de Madrid. Persson, O., Glänzel, W. & Danell, R. (2004). Inflationary bibliometric values: The role of scientific collaboration and the need for relative indicators in evaluative studies. Scientometrics, 60(3), 421–432. Pouris, A. & Ho, Y.S. (2013). Research emphasis and collaboration in Africa. Scientometrics, 98(3), 2169–2184. http://doi.org/10.1007/s11192-013-1156-8 Puuska, H.M., Muhonen, R. & Leino, Y. (2013). International and domestic co- publishing and their citation impact in different disciplines. Scientometrics, 98(2), 823– 839. http://doi.org/10.1007/s11192-013-1181-7 Rousseau, R. (2001). Are multi-authored articles cited more than single-authored ones? Are collaborations with authors from other countries more cited than collaborations within the country? A case study. Ber l in  : Gesel lschaf t für Wissenschaftsforschung. Recuperado de: https://uhdspace.uhasselt.be/dspace/ handle/1942/822 Sahu, S. R. & Panda, K. C. (2013). Does the multi-authorship trend influence the quality of an article? Scientometrics, 98(3), 2161–2168. http://doi.org/10.1007/s11192- 013-1127-0 Sauer, R.D. (1988). Estimated of the returns to quality and coauthorship in economic academia. Journal of Political Economy, 96 (4): 855-866. http://doi.org/10.1177/1075547097018003004 http://doi.org/10.1177/1075547097018003004 http://arizona.openrepository.com/arizona/handle/10150/106083 http://doi.org/10.1023/A:1014868928349 http://doi.org/10.1016/j.joi.2008.07.003 http://doi.org/10.1016/j.joi.2008.07.003 http://doi.org/10.1080/09737766.2014.916874 http://doi.org/10.1080/09737766.2014.916874 http://doi.org/10.1080/09737766.2014.916874 http://www.scidev.net/global/policy-brief/international-scientific-collaboration-a-quick-gui.html http://www.scidev.net/global/policy-brief/international-scientific-collaboration-a-quick-gui.html http://doi.org/10.1007/s11192-013-1156-8 http://doi.org/10.1007/s11192-013-1181-7 https://uhdspace.uhasselt.be/dspace/handle/1942/822 https://uhdspace.uhasselt.be/dspace/handle/1942/822 http://doi.org/10.1007/s11192-013-1127-0 http://doi.org/10.1007/s11192-013-1127-0 20 Suárez Balseiro, C., García Zorita, C. & Sanz Casado, E. (2009). Multi-authorship and its impact on the visibility of research from Puerto Rico. Information Processing & Management, 45(4), 469–476. Walker Ramos, U.R. (2015). Memorial de presupuesto de la Universidad de Puerto Rico: Año fiscal 2015-2016. [San Juan, PR]: Cámara de Representantes de Puerto Rico.