Posts Tagged 'Indicadores'

Índice H de las revistas científicas españolas según Google Scholar Metrics (2007-2011)


El grupo de investigación EC3: Evaluación de la Ciencia y de la Comunicación Científica de la Universidad de Granada ha elaborado un documento sobre la calidad de las revistas españolas por áreas de conocimiento en Google Scholar Metrics, algo que Google reservaba sólo para las revistas en inglés.

Los rankings se organizan por campos científicos y disciplinas de las revistas científicas españolas que figuran en Google Scholar Metrics (GSM). Se han identificado 903 revistas, de las que 397 son de Ciencias Sociales, 212 de Arte y Humanidades, 189 de Ciencias de la Salud y 105 de ciencias naturales e ingenierías. Se ordenan de acuerdo con el índice h que es el indicador bibliométrico adoptado por Google. Hay que tener en cuentas que dos de los criterios utilizados por Google Scholar Metrics para incluir revistas en su producto son: contar con 100 trabajos publicados y poseer al menos una cita.

Acceso al documento: http://bit.ly/17bTS8H

Cita recomendada: Delgado López-Cózar, E.; Ayllón Millán, J.M.; Ruiz-Pérez, R. Índice H de las revistas científicas españolas según Google Scholar Metrics (2007-2011). EC3 Informes, 3 (2013). [http://hdl.handle.net/10481/24141]

Últimos trabajos publicados por EC3 sobre Google Scholar Metrics.

Fuente| EC3noticias

Anuncios

Factor de Impacto 2011 en excel


Ya está disponible para su descarga en excel el Factor de Impacto 2011 del  Journal Citation Reports a través del Portal Acceso a Wok en su sección Descarga del factor de Impacto.

Los excel contienen el listado completo de revistas incluidas en el Journal Citation Report 2011 con el factor de impacto actualizado. Los ficheros están clasificados según pertenezcan a Social Science Citation Index y Science Citation Index respectivamente, se trata de ficheros Excel donde aparece en los mismos toda la información que se recoge del JCR con el total de revistas incluidas con los siguientes campos entre otros: Título de la revista, ISSN, País, Lengua, índice de impacto, Categoría, Ranking en el que se encuentra al revista dentro de la categoría, quartil, total de citas, citas por años, índice de inmediatez…etc. En la primera pestaña del Excel se muestra una definición de cada uno de los campos.

Los Journal Citation Reports son un medio objetivo y sistemático para evaluar las revistas científicas más importantes del mundo. Cada edición anual contiene los datos de la publicación del año anterior y muestra la relación entre las revistas citadoras y las revistas citadas de manera clara y fácil de usar. La mayor parte de las políticas científicas y la evaluación del rendimiento científico (acreditaciones y sexenios según los criterios de la CNEAI y ANECA) se articulan en torno a las revistas JCR y de Thomson Reuters.

Los JCR de Thomson Reuters recogen este año el índice de impacto de 10677 publicaciones, de los cuales 528 lo reciben por vez primera. Son 127 las revistas españolas incluidas, en concreto 78 revistas corresponden al índice de Ciencias (SCI), y 54 al de Sociales (SSCI) -cinco están en ambos índices-, lo que significa en el caso del SCI cinco, y en el del SSCI dos revistas más que el año anterior.

Las siguientes tablas de la Biblioteca Universitaria del País Vasco, muestran las revistas españolas recogidas en el JCR 2011:

78 para la serie de ciencias, 5 más que el año pasado

– 54 para la serie de ciencias sociales, 6 más que el año pasado

Para poder descargar los excel hay que introducir un correo electrónico válido y la cuenta de correo debe tener el dominio de la institución, no son válidos gmail, hotmail, yahoo, terra, etc.

Otros enlaces:

Fuente| Portal acceso a WOK

Factor de Impacto 2011


Se ha publicado el nuevo Journal of Citation Reports correspondiente al año 2011 (JCR 2011). La versión de 2011 cuenta con unas 10,677 revistas (481 revistas más que en 2010)  distribuidas en 232 disciplinas (6 menos que en 2010) de Ciencias y Ciencias Sociales, con unas 2.552 editoriales de 82 países. Un total de 528 revistas reciben su primer factor de impacto.

Del total de revistas con factor de impacto, 81 son españolas en el área de ciencias y 57 en ciencias sociales (Master Journal List). En cuanto a las revistas multidisciplinares de alto impacto, Nature (36,280) vuelve a vencer a Science que este año baja un poco con respecto al anterior(31,201). La revista con mayor impacto es CA-A CANCER JOURNAL FOR CLINICIANS con 101,780 en la categoría Oncology.

Para más información sobre Journal Citation Reports http://go.thomsonreuters.com/jcr/.

Más información: Blog de Álvaro Cabezas, “Las revistas españolas en los JCR 2011,” Primer Cuartil (Q1)

Fuente| http://thomsonreuters.com/content/press_room/science/688332

Estadísticas Sanitarias Mundiales 2012


La OMS presenta las Estadísticas Sanitarias Mundiales 2012 en el marco de su continuo empeñó en ofrecer un mejor acceso a datos de alta calidad comparables sobre indicadores básicos de la salud de la población y de los sistemas sanitarios nacionales. Salvo que se indique otra cosa, todas las estimaciones han sido aprobadas previa consulta con los Estados Miembros y se publican en este documento en calidad de cifras oficiales de la OMS.

Sin embargo, estas estimaciones óptimas se han obtenido utilizando categorías y métodos normalizados para mejorar su comparabilidad entre los países, por lo que no deben considerarse como las estadísticas de los Estados Miembros respaldadas por estos, las cuales pueden haberse obtenido por otros métodos.

Se trata de una compilación anual de datos por la OMS relacionados con la salud de sus 194 Estados miembros, e incluye un resumen de los progresos realizados hacia la consecución de los objetivos de desarrollo del milenio(MDGs) relacionados con la salud y las metas asociadas.

Este año, también incluye resúmenes sobre los temas de las enfermedades no transmisibles, la cobertura universal de salud y la cobertura civil.

Fuente: World Health Statistics 2012. Geneve: World Health Organization (WHO); 2012. Available at: http://www.who.int/gho/publications/world_health_statistics/2012/en/index.html

Observatorio de la actividad Investigadora de la Universidad Española (IUNE)


El Observatorio de la actividad Investigadora de la Universidad Española (IUNE), valora la actividad científica y la transferencia del conocimiento del sistema universitario español, es una plataforma que permite conocer y analizar la I+D+i de las universidades públicas y privadas (73 en total, 48 públicas y 25 privadas) a través de 6 dimensiones y 42 indicadores, tales como el número de profesores, el reconocimiento que obtienen, las características de su actividad científica (producción, productividad, colaboración, impacto, visibilidad, etc.), su competitividad para obtener proyectos, la innovación (patentes, licencias, spin-offs, etc.) y la capacidad formativa de las instituciones para la investigación (becas, ayudas, contratos, tesis, etc.). La plataforma web (www.iune.es) permite visualizar los datos de un período de 9 años.

Los objetivos principales del Observatorio IUNE son:

  • Contribuir al conocimiento y análisis de la actividad científica y tecnológica del sistema universitario español.
  • Ofrecer información actualizada y fiable sobre distintos aspectos de la actividad investigadora de las universidades españolas.
  • Desarrollar una batería de variables e indicadores de I+D+i que permitan determinar con precisión la actividad de las universidades públicas y privadas desde distintas vertientes, como son: la relativa al profesorado, al reconocimiento científico, a la actividad investigadora, a la innovación, a la capacidad competitiva, y a la actividad formativa de investigadores.
  • Permitir la elaboración de perfiles de universidades en función de su actividad científica.

Esta iniciativa, ha sido coordinada por el Laboratorio de Estudios Métricos de la Información (LEMI) de la Universidad Carlos III de Madrid, y se ha realizado en el marco de la Alianza 4 Universidades (A4U), integrada por las universidades Pompeu Fabra, Autónoma de Barcelona, Autónoma de Madrid y Carlos III.

Fuente| http://www.iune.es/

Google Scholar Citations y la emergencia de nuevos actores en la evaluación de la investigación


Por Álvaro Cabezas Clavijo y Daniel Torres-Salinas del Grupo EC3 Evaluación de la Ciencia y la Comunicación Científica:

El lanzamiento hace escasos meses de Google Scholar Citations [1], la herramienta para medir el impacto de los investigadores en las publicaciones indizadas por el popular buscador, nos da pie a revisar ésta y otras aplicaciones de índole bibliométrica encaminadas a medir la visibilidad de académicos e investigadores en la web. Este impacto no sólo se limita a los medios tradicionales (citas recibidas desde otros trabajos científicos) sino que abarca a las nuevas vías de comunicación científica y a sus indicadores asociados, como el número de descargas de un  trabajo, las personas que lo almacenan en su gestor de referencias o las veces que una presentación es visionada online. Asimismo se discute brevemente en qué medida puede afectar la emergencia de estas nuevas herramientas a las bases de datos tradicionales para la evaluación de la ciencia, Thomson Reuters-Web of Science [2], y Scopus-Elsevier [3].

 

La joven estrella: Google Scholar Citations.

Google Scholar Citations fue oficialmente lanzado en pruebas en julio de 2011, generando de inmediato un importante eco en la web. Su propuesta es muy sencilla, recopila la producción científica de un investigador y la muestra agregada en una página personal, con información del número de citas de cada ítem. El investigador, una vez dado de alta, puede editar los registros de Google Scholar, corrigiendo (normalizando) la información del buscador, unir registros duplicados, e incluso añadir de forma manual otros trabajos que hayan escapado a las garras de Google. Además presenta tres indicadores bibliométricos; el número total de citas de los trabajos, el índice h del investigador, y el índice i10, esto es el número de trabajos con más de diez citas, tanto para toda la carrera académica como para el periodo más reciente. En este apartado hay que mencionar que Google ha prescindido de la métrica más sencilla: el número total de trabajos de un investigador; así como de otras medidas como el promedio de citas por trabajo, o indicadores relativos al impacto de las revistas. Pero quizá lo más interesante es que la información sobre las citas recibidas y la producción se actualizan de forma automática a medida que va siendo indexada por Google, sin necesidad de concurso por parte del académico, que encuentra siempre su información al día. Las posibilidades que abre este producto son enormes, tanto en la medición del impacto personal como de cara a la visibilidad del investigador en la web.

 

En cuanto a lo primero, y pese a que no es aconsejable el uso de Google Scholar como herramienta para la evaluación científica [4] cada vez es más usado especialmente en áreas de Ciencias Sociales y Humanidades como medio para recuperar las citas de un trabajo, datos tenidos muy en cuenta tanto en los procesos de solicitud de sexenios de investigación como en las acreditaciones a los cuerpos docentes universitarios. Respecto a la visibilidad académica, el investigador se vincula a las materias en las que es especialista, de manera que se va generando un directorio temático de expertos, ordenados en función del número total de citas de sus trabajos. Además de esta función para localizar expertos en un área determinada, los perfiles de los investigadores dados de alta aparecen integrados en los resultados de las búsquedas por autores, por lo que se puede acceder de forma rápida a toda la producción científica de un investigador. Sin embargo, algunos autores como la creadora del software Publish or Perish [5] Anne-Wil Harzing expresan sus temores acerca de la honestidad de los autores, y si estos no serán capaces de falsear sus datos en busca de un ascenso académico o como manera de aumentar su visibilidad en la web [6].

 

Desde noviembre de 2011 el servicio está abierto a todos los investigadores, y en los primeros días de libre acceso al producto comienzan a verse ya un buen número de profesores y profesionales de la Documentación, muchos de ellos españoles [7]. Sin embargo cabe preguntarse si llegará a ser significativo el número de los que se creen su perfil, requisito indispensable para aparecer en estos directorios. Otra duda acerca del producto es la manera de ordenar a los investigadores en el directorio por materias. Actualmente esta ordenación se hace en función  del número total de citas, una clasificación demasiado tosca ya que favorece a los investigadores de disciplinas grandes, así como a los de mayor recorrido y con mayor número de trabajos publicados. De facto, Google Scholar Citations está estableciendo rankings de investigadores por materias en función de un único criterio (fácilmente manipulable, además), lo cual es un arma de doble filo. Como señalaba Harzing cualquiera puede falsear sus datos para aparecer en posiciones prominentes, sin embargo parece poco probable ya que sería rápidamente detectado por el resto de usuarios, cayendo en el descrédito científico. Otra duda que nos asalta es si los investigadores con escaso impacto académico crearán su perfil, ya que podrían quedar en evidencia respecto a otros compañeros de disciplina o de departamento, con currículos mucho más lucidos. Al final, se corre el riesgo de crear un directorio de científicos altamente citados, que no sea representativo de la investigación que se da en un campo. Pese a la juventud del producto, ya surgen los primeros análisis en algunos blogs, como el que realiza Brian Kelly de las más destacadas universidades británicas [8], o el del bibliotecario holandés Wouter Gerritsma, que presagia que en cinco años Google habrá cambiado completamente el mercado de las bases de datos científicas [9].

 

El actor secundario: Microsoft Academic Search.

Este producto de Google viene precedido por los movimientos que otros de los gigantes de la web, Microsoft ha venido realizando en los últimos meses con su buscador Microsoft Academic Search [10]. Este producto, heredero de Windows Live Academic y de Live Search Academic, surgió en su actual denominación en 2009, sólo para el campo de la Informática,  pero cubre desde septiembre de 2011 todos los ámbitos del conocimiento. También permite la creación de perfiles personales a partir de la información recogida por el buscador, proporcionando hasta el momento más indicadores y funcionalidades de las que ofrece Google. Asimismo admite la edición y modificación de registros, subir pdfs con el texto completo de los trabajos, insertar el listado de publicaciones en otra página web, o incluso ver el contexto en el que un trabajo ha sido citado, un viejo sueño de la bibliometría evaluativa. Además el producto de Microsoft no se ciñe a la escala personal sino que permite seguir la pista a la producción científica de una institución e incluso efectuar comparaciones entre ellas, tomando los parámetros habituales de producción y citas como términos de la ecuación. Otra de sus fortalezas es la posibilidad de explorar la red de colaboraciones de un investigador, así como las relaciones a través de las citas. Además, se pueden encontrar los perfiles de cualquier investigador, no sólo de los registrados, ya que esto no es imprescindible.

 

Sin embargo, en comparación con Google Scholar Citations, el proceso de actualización del cv es más pesado, tarda unos días ya que debe ser revisado por el equipo del producto, y además la cobertura parece bastante menor que la de Google, si bien no disponemos de un listado de las fuentes que cubre ninguno de los dos productos. En este pequeño estudio de la producción de siete investigadores británicos [11] se observa la gran diferencia entre los resultados que ofrece Academic Search y los que arroja Google Scholar Citations [11]. Además se aprecian importantes problemas de normalización, una de las críticas principales que también cabe hacer a Google.

 

En cuanto a aplicaciones que permiten la confección de currículos vitae personales, también es necesario reseñar ResercherID [12], producto impulsado por Thomson Reuters que trabaja únicamente sobre la información recogida en la Web of Science. Al contrario que Google Scholar Citations o MS Academic Search, la actualización de la producción no es automática, es decir cada vez que un nuevo artículo nuestro sea recogido en Web of Science, deberemos actualizar manualmente nuestro perfil en ResearcherID. Herramientas como la red social científica ResearchGate [13] o el gestor de referencias Mendeley [14] también proporcionan espacio para que el investigador incluya sus publicaciones en una página personal.

 

Los actores alternativos: las iniciativas alt-metrics.

Aprovechando las diferentes aplicaciones para investigadores surgidas en los últimos años en el entorno de la ciencia 2.0 [15] son varias las iniciativas dirigidas a medir el impacto de los materiales publicados on-line, de forma más amplia que con el recuento de citas. Dentro de estas iniciativas conocidas genéricamente como alt-metrics o métricas alternativas [16] han aparecido aplicaciones como ScienceCard [17], un metaproducto que hace uso de apis externas para ofrecer para cada investigador además de su producción indizada en MS Academic Search, o el número de citas según Scopus, las veces que un trabajo ha sido marcado como favorito en citeulike [18], o las personas que lo han alacenado en el gestor de referencias bibliográficas Mendeley. La idea que subyace es que hay múltiples maneras de medir la influencia de los investigadores en  la web y que el número de citas es sólo una de ellas. Otra iniciativa reciente es Total Impact [19] donde, en la misma línea, podemos descubrir métricas de las presentaciones colgadas en Slideshare [20], las veces que se ha compartido un artículo científico en Facebook [21], o el número de grupos en Mendeley donde se ha recopilado un determinado trabajo. Estas iniciativas siguen el camino trazado por las estadísticas a nivel de artículo [22]  implementadas por la editorial Public Library of Science (PLoS) que lleva tiempo ofreciendo, además de las citas que un artículo atrae, datos sobre el número de descargas de un trabajo, el número de comentarios que genera o el número de blogs que lo enlazan [23].

 

Los actores consolidados: ISI Web of Science y Scopus.

En este sentido hay que mencionar que los  actores tradicionales en el campo de la evaluación de la ciencia no se han quedado de brazos cruzados. Thomson Reuters, además de incrementar en los últimos años considerablemente su cobertura de revistas científicas de alcance regional, acaba de lanzar el Book Citation Index [24], su índice de citas con información de libros, dirigido principalmente a las Humanidades y las Ciencias Sociales, áreas donde estos vehículos de difusión juegan un papel importante. Por su parte, Scopus ha incorporado las métricas SNIP y SJR [25] a su base de datos para ayudar a los bibliómetras. Además ha sacado al mercado aplicaciones (apps) para dispositivos móviles [26] y ofrece asimismo conexiones con su base de datos mediante apis [27], que permite mostrar por ejemplo en repositorios institucionales el número de citas cosechadas por los trabajos recogidos en la fuente de datos de Elsevier.

 

Consideración final

Desde el plano de la política universitaria y de evaluación de la investigación, la pregunta que cabe realizarse es si alguno de los productos mencionados tanto de Microsoft y de Google principalmente pero también de las iniciativas alt-metrics pueden ser serios competidores en un futuro próximo para las dos grandes bases de datos que proporcionan información bibliométrica, de importante coste económico, especialmente en una época marcada por los recortes presupuestarios. Los productos tradicionales son más solventes y estables que los nuevos, ofreciendo un amplio abanico de posibilidades y de métricas asociadas, no sólo a los trabajos sino también a las revistas en que éstos se publican. Además su uso está extendido y existen unas métricas validadas por los profesionales de la bibliometría así como por parte de las agencias con responsabilidad en materia investigadora. Sin embargo es legítimo el debate acerca de si dichas bases de datos son imprescindibles en los procesos de evaluación investigadora. En nuestra opinión, en la actualidad estas bases de datos (ISI Web of Science o Scopus, no son necesarias las dos) son imprescindibles para la evaluación, sin embargo la nueva generación de Sistemas de Información Científica (CRIS) [28] junto a buscadores científicos de acceso gratuito como Google Scholar, y las métricas basadas en el uso de la información pueden aportar nuevas soluciones a la evaluación de la ciencia, haciendo a medio plazo quizá menos necesarios los costosos índices de citas. Haciendo prospectiva-ficción cabría pensar cómo cambiaría el mercado de la información y evaluación científica si Google decidiera lanzar su propio “índice de impacto” a partir de la información que indiza, lo cual no parece descabellado ya que su popular sistema de ordenación de búsqueda PageRank se basa en un principio que ya aplican otros índices bibliométricos. En cualquier caso lo que es indudable es que los nuevos productos y herramientas a disposición de investigadores y evaluadores facilitan tanto la difusión como la recuperación de información científica y abren nuevas posibilidades para el intercambio de la información científica y su evaluación.

 

Notas

[1] Google Scholar Citations http://scholar.google.com/intl/en/scholar/citations.html

[2] Thomson Reuters-Web of Science http://www.accesowok.fecyt.es/

[3] Scopus-Elsevier http://www.scopus.com/

[4] Torres-Salinas, D., Ruiz-Pérez, R., y Delgado-López-Cózar, E. (2009). Google Scholar como herramienta para la evaluación científica. El profesional de la Información, 18(5), 501-510. http://ec3.ugr.es/publicaciones/d700h04j123154rr.pdf

[5] Publish or Perish. http://www.harzing.com/pop.htm

[6] Scholar Citations—Google Moves into the Domain of Web of Science and Scopus. http://newsbreaks.infotoday.com/NewsBreaks/Scholar-CitationsGoogle-Moves-into-the-Domain-of-Web-of-Science–Scopus-76917.asp

[7] Directorio de investigadores listados bajo la materia “Information Science” en Google Scholar Citations http://scholar.google.com/citations?view_op=search_authors&hl=en&mauthors=label:information_science

[8] Surveying Russell Group University Use of Google Scholar Citations. http://ukwebfocus.wordpress.com/2011/11/24/surveying-russell-group-university-use-of-google-scholar-citations/

[9] How Google Scholar Citations passes the competition left and right. http://wowter.net/2011/11/21/how-google-scholar-citations-passes-the-competition-left-and-right/

[10] Microsoft Academic Search. http://academic.research.microsoft.com/

[11] Thoughts on Google Scholar Citations. http://ukwebfocus.wordpress.com/2011/11/22/thoughts-on-google-scholar-citations/

[12] ResercherID. http://www.researcherid.com/

[13] ResearchGate. http://www.researchgate.net

[14] Mendeley. http://www.mendeley.com/

[15] Cabezas-Clavijo, Á., Torres-Salinas, D., y Delgado-López-Cózar, E. (2009). Ciencia 2.0: catálogo de herramientas e implicaciones para la actividad investigadora. El Profesional de la Informacion, 18(1), 72-79. http://www.elprofesionaldelainformacion.com/contenidos/2009/enero/09.pdf

[16] Alt-metrics. http://altmetrics.org/

[17] ScienceCard. http://sciencecard.org/

[18] Citeulike. http://www.citeulike.org/

[19] Total Impact. http://total-impact.org/

[20] Slideshare. http://www.slideshare.net/

[21] Facebook. http://www.facebook.com/

[22] Article-level Metrics – Public Library of Science. http://article-level-metrics.plos.org/

[23] Cabezas-Clavijo, Á., y Torres-Salinas, D. (2010). Indicadores de uso y participación en las revistas científicas 2.0: el caso de PLoS One. El profesional de la información, 19(4), 431-434. http://ec3.ugr.es/publicaciones/2010-Cabezas_Torres_Indicadores_de_uso_participacion_revistas_cientificas_2.0_el_caso_plos_one.pdf

[24] Book Citation Index. http://wokinfo.com/products_tools/multidisciplinary/bookcitationindex/

[25] Journal metrics: SNIP, SJR. http://info.scopus.com/journalmetrics/

[26] SciVerse Mobile Applications. http://www.info.sciverse.com/sciverse-mobile-applications/

[27]Scopus API http://www.info.sciverse.com/scopus/scopus-services/integration/solutions/api

[28] Torres-Salinas, D. y Cabezas-Clavijo, Á (2012). Herramientas para la evaluación de la ciencia en universidades y centros I+D: descripción y usos. Anuario Thinkepi, 6. http://ec3noticias.blogspot.com/2011/12/herramientas-para-la-evaluacion-de-la.html

Nota Thinkepi 
Publicada en IWETEL el 20 Diciembre de 2011

 

Fuente: EC3noticias

Herramientas para la evaluación de la ciencia en universidades y centros I+D: descripción y usos


1. El contexto científico y el contexto profesional

En los últimos años hemos asistido a un crecimiento en la importancia de la labor investigadora en la universidad, así como a la creación de numerosos centros de investigación. La investigación es ahora la clave para conseguir ascensos, complementos salariales o proyectos de investigación. Esto ha llevado a una multiplicación de convocatorias, cada una con sus criterios de calidad propios, y a una mayor demanda por parte de investigadores, grupos y centros de investigación, de información cuantitativa acerca de los resultados producidos. A la par, el modelo de financiación, tradicionalmente basado en proyectos de corta duración, también parece estar reconfigurándose; debido a las restricciones presupuestarias se tiende a reducir el número de proyectos que se conceden [1] y surgen formas de distribución de los recursos económicos que hasta hace bien poco eran desconocidas para muchas universidades y otro tipos de centros de investigación. En este nuevo modelo que se atisba, que pretende acabar con el “café para todos”, prima la financiación a centros sobre la financiación por proyectos. Varias son las características fundamentales: a) se apuesta más por la excelencia b) no se prima la producción/impacto de un grupo concreto, como puede ocurrir en los proyectos, sino que se tiene en cuenta grandes agregaciones (grupos/centros/institutos/universidades) c) son los centros los encargados del reparto posterior de los recursos. Algunos ejemplos de este tipo de política son por ejemplo las acreditaciones de Institutos de Investigación del Instituto de Salud Carlos III [2], el Programa Severo Ochoa [3], o en el caso de las propias universidades en los programas de Campus de Excelencia Internacional [4].

Una cuestión importante que nos afecta como profesionales de la información es que en todos estos programas/convocatorias uno de los aspectos básicos es valorar los resultados de investigación de las agregaciones; para ello se emplean indicadores de I+D de todo tipo pero con un especial énfasis en los bibliométricos, algunos de ellos  de cierta complejidad [5]. Por ello un aspecto evidente y que los gestores de nuestras universidades deberían tener en cuenta es que gran parte del éxito que alcancen en dichas convocatorias descansa en buena medida en como se realiza la recopilación y presentación de dichos indicadores. Para que esto sea posible es necesario contar con información actualizada, veraz y fácilmente procesable para adaptarla a los requisitos de cada convocatoria. En ocasiones ni siquiera basta con esto ya que si no contextualizamos los resultados, los indicadores ayudan pero de forma limitada; suele ser un requisito imprescindible la comparativa con contextos nacionales o internacionales, como por ejemplo se hacía en la convocatoria de centros Severo Ochoa al solicitar el Factor de Impacto Normalizado [6]. Pero estos indicadores no solo contribuyen a ‘aprobar’ estas convocatorias, sino que además deberían ser herramientas insertadas en la rutina diaria para la buena gestión de las universidades y sobre todo para la verificación del cumplimiento de objetivos.

 

Listado de Centros que consiguieron la acreditación Severo Ochoa

Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC-CNS)

Instituto de Ciencias Matemáticas (ICMAT).

Instituto de Ciencias Fotónicas (ICFO)

Instituto de Astrofísica de Canarias (IAC)

Centro Nacional de Investigaciones Oncológicas Carlos III (CNIO)

Instituto de Investigación Biomédica (IRB Barcelona)

Centro Nacional de Investigaciones Cardiovasculares Carlos III (CNIC)

Barcelona Graduate School of Economics

En este contexto continúa la siguiente nota, donde trataremos de repasar algunas de las herramientas con las que cuentan actualmente las universidades al margen de los tradicionales índices de citas; concretamente nos centraremos en tres: los sistemas de información científica, las suites bibliométricas de las compañías comerciales, y los rankings de universidades. Finalmente ofreceremos una pincelada final sobre como emplear útilmente estas herramientas y la necesidad de contar con documentalistas que las gestionen.

2. Herramientas para la obtención de indicadores

2.1.  Los sistemas de Información Científica

Los Sistemas de Información Científica (SIC) también conocidos por su denominación inglesa de Current Research Information Systems (CRIS) [7] son la solución que se está adoptando en la mayor parte de universidades para tener controlada la actividad de sus investigadores. Estos sistemas tienen el objetivo de facilitar al investigador una herramienta para la gestión del CV científico, por ello si lo hacen sistemáticamente la suma de todos esos currículos constituye fuente inestimable para la obtención de indicadores. Por poner algunos ejemplos, a nivel autonómico encontramos el Sistema de Información Científica de Andalucía (SICA 2) [8]; como ejemplo de uno creado por una universidad está el Descriptor de la Recerca i la Activitat Acadèmica de la UPC (DRAC) [9] de la Universitat Politécnica de Catalunya y a nivel comercial Universitas XXIInvestigación [10] de la Oficina de Cooperación Universitaria (OCU).

Uno de los principales problemas de los SIC es la introducción de la información, que descansa sobre los investigadores, lo que genera el problema de la fiabilidad de los datos que deben ser normalizados y validados. Esta situación implica la necesidad de personal técnico que asuma estas tareas, un rol que en ocasiones está empezado a ser asumido por los propios bibliotecarios y documentalistas. Otro de los obstáculos es incentivar a los profesores para su carga, no todos los profesores ingresan información por lo que se genera cierta incertidumbre a la hora de obtener indicadores.  En Andalucía, por ejemplo los datos almacenados en SICA se utilizan en diferentes convocatorias autonómicas, incentivo más que suficientes en la mayoría de los casos para que los investigadores tengan su CV de SICA actualizado. Otra de las ventajas de los CRIS es que suelen incluir información de ciertas actividades científicas difíciles de obtener de otra forma; es el caso de libros, capítulos o las publicaciones no indexadas en las principales bases de datos comerciales, es decir, son muy atractivas de cara a recoger de forma más justa los méritos de los investigadores de Ciencias Sociales, Jurídicas y Humanidades.  También pueden ser útiles de cara a la preparación de memorias científicas, o para la generación vía web services de páginas con la producción científica de un grupo o departamento. Finalmente hay que mencionar que estos productos son complejos desde el punto de vista técnico ya que suelen integrarse con otros sistemas de las universidades (proyectos, repositorios, catálogos de bibliotecas) además suelen implicar la participación de muchas personas.

2.2. Suites bibliométricas de compañías comerciales

Otras herramientas bibiométricas que podemos encontrar para evaluar la investigación son las desarrolladas por las grandes compañías como Thomson-Reuters y Elsevier; éstas también han detectado la creciente necesitad de información bibliométrica que existe por lo que desde hace un tiempo ofertan suites de evaluación de la actividad científica. Dentro de este interesante conjunto debemos citar aquellas que ya están en el mercado y empezamos por In-Cites [11]  de Thomson-Reuters y de Elsevier sus productos Scival Spotlight[12] o Strata [13]. Estos productos están basados en la información bibliográfica de sus propias bases de datos (Web of Science y Scopus)  y el objetivo esencial es ofrecer indicadores bibliométricos ya ‘cocinados’ de producción e impacto de la universidad. Asimismo la ventaja esencial es que facilitan que éstos puedan ser fácilmente contextualizados, bien a través de medias mundiales o a través de comparativas con otros centros y generalmente facilitan la obtención de resultados limitados a categorías temáticas. Permiten obtener por tanto retratos muy ajustados del rendimiento de las universidades. Son interesantes porque también nos permiten conocer incluso los investigadores o hacer agrupaciones de los mismos como ocurre en Strata. Por tanto son buenos instrumentos para conseguir una fotografía general del rendimiento científico de una institución, sin embargo sus limitaciones son las heredadas de las propias bases de datos, como la falta de normalización, la utilización tan solo de las revistas científicas que indexan, o que solo sea adecuada para las áreas científico-tecnológicas. A estos inconvenientes habría que sumarles el coste que conllevan las licencias que no llevan a pagar dos veces por los mismos datos y depender aún más de los distribuidores; además se pueden alcanzar conclusiones similares con la mera utilización avanzada de los propios índices de citas.

2.3. Rankings de universidades

Sin duda una de las herramientas más controvertidas en estos tiempos son los rankings de universidades, unos productos que han sido sobrevalorados por algunas universidades y denostadados por otras. Sin embargo desde nuestro punto de vista son instrumentos únicos que todavía no se han puesto valor. Algunos de los que se vienen empleando habitualmente son el de Shangai [14], The Times [15],  Rankings ISI [16] o Taiwan [17]. Uno de los problemas fundamentales de los rankings es sin duda la enorme atención mediática que atraen por lo que las universidades se han preocupado más en mirar la posición que ocupan y justificar su posición ante los medios que en estudiarlos acríticamente. Como profesionales de información, al margen de las preocupaciones políticas de nuestros gestores, lo que debe preocuparnos es la elección de aquéllos que 1) se adapten mejor al perfil de la universidad en la trabajemos 2) que  cumplan requisitos mínimos de rigor científico 3) que puedan ser replicables 4) y finalmente que nos permitan verificar objetivos y políticas científicas. Si cumplen esas características los rankings son nuestros aliados perfectos ya que nos permiten situar nuestros centros sin demasiado esfuerzo a nivel mundial, una situación que hace años, desde el punto de vista bibliométrico, era muy costoso. Quizás unos de los problemas de los rankings es que estos se suelen ver como productos definitivos  y no como como fuente de información. Un ejemplo de como explotar útilmente la información de un ranking como fuente de información lo podemos observar en este informe titulado la ‘Universidad de Granada en los Rankings ISI’ [18].

3. Hacía las unidades de bibliometría en las Universidades

La primera conclusión a la que podemos llegar a través del panorama expuesto es que actualmente gozamos de un buen número de productos, sin contar los tradicionales índices de citas, para afrontar un futuro plagado de convocatorias. Sin embargo siempre hay que seleccionar, y sin duda de los grupos presentados las herramientas esenciales son y serán los sistemas de información científica. Esos productos además se verán impulsados gracias a la definitiva consolidación del CVN (currículo vitae normalizado), que permite el intercambio de datos entre plataformas, con la puesta en marcha de los gestores de CVN de FECYT [19] y del MICINN [20]. Asimismo algunas de estas herramientas permiten su explotación por parte de las instituciones, para crear por ejemplos productos destinados a la difusión de la investigación como SISUE [21] en la Universidad de Sevilla o UGRINVESTIGA [22] en la Universidad de Granada. Sin embargo ahora mismo estos sistemas y los indicadores que generan son bastante básicos y la validez de la información genera aún demasiadas dudas aunque bien es cierto que con un buen tratamiento de los datos en otras aplicaciones y la adicción de ‘indicios de calidad’ se pueden convertir en una fuente imprescindible para la realización de estudios en detalle de nuestras universidades. Como complemento a los sistemas de información científica, recomendamos el uso de rankings, aunque usados de forma analítica y profesional, no pasional.

Por último queda una última cuestión, ¿quién debe encargarse de estas funciones que abarcan desde el conocimiento de la fuentes hasta la selección de indicadores y la explotación de resultados?. Desde aquí abogamos claramente por la creación de unidades de bibliometría en las universidades, profesionales de la evaluación con conocimientos tanto en Documentación como en políticas científicas, y que conozcan bien el entramado de las convocatorias de I+D en la que tanto nos jugamos día a día, aunque este tema, las unidades de bibliometría, tiene entidad propia para  otra nota Thinkepi.

Notas

[1] ec3noticias: resultados provisionales plan nacional 2011: universidades y subprogramas.

http://ec3noticias.blogspot.com/2011/12/resultados-provisionales-plan-nacional.html

[2] Acreditación, institutos de investigación sanitaria. Presentación

http://www.isciii.es/isciii/es/contenidos/fd-investigacion/fd-acreditacion/fd-institutos-investigacion-sanitaria/presentacion-institutos-is.shtml

[3] El programa Severo Ochoa reconoce a los primeros ocho centros de investigación españoles entre los mejores del mundo

http://www.micinn.es/stfls/micinn/prensa/ficheros/2011/np_severo_ochoa_%20051011_buena.pdf

[4] Convocatoria 2011 del campus de excelencia internacional

http://www.educacion.gob.es/campus-excelencia/2011.html

[5] Severo Ochoa y el Factor de Impacto Normalizado

http://www.bibliometria.com/severo-ochoa-y-el-factor-de-impacto-normalizado

[6] Cálculo del impacto normalizado por investigador por categorías científicas

http://www.micinn.es/stfls/micinn/ayudas/pn_2008_2011/lia_fortalecimiento_institucional/ficheros/severo_ochoa/impacto_normalizado_categoria_cientifica.pdf

[7] Jornada técnica sobre cris y repositorios

http://www.grandir.com/es/sesiones-tecnicas/jornada-tecnica-sobre-cris-y-repositorios-en-barcelona

[8] Sistema de Información Científica de Andalucía (sica2)

http://sica2.cica.es/

[9] DRAC. descriptor de la recerca i l’activitat acadèmica de la upc

http://drac.upc.edu/info

[10] Universitas xxi – investigación. sistema de gestión de la investigación

http://www.ocu.es/portal/page/portal/inicio/sofware_gestion_universitaria/sistema_gestion_investigacion

[11] Incites – research analytics – thomson reuters

http://researchanalytics.thomsonreuters.com/incites/

[12] Scival spotlight

http://www.spotlight.scival.com

[13] Elsevier launches scival strata to enhance research evaluation

http://www.elsevier.com/wps/find/authored_newsitem.cws_home/companynews05_01885

[14] Academic Ranking of World Universities

http://www.arwu.org/

[15] THE world university rankings

http://www.timeshighereducation.co.uk/

[16] Rankings ISI de las Universidades Españolas según Campos y Disciplinas Científicas

http://www.rankinguniversidades.es/

[17] Performance Ranking of Scientific Papers for World Universities

http://ranking.heeact.edu.tw/

[18] La Universidad de Granada en los Rankings ISI

http://investigacion.ugr.es/ugrinvestiga/pages/doc_ugrcifras/launiversidaddegranadaenlosrankingsisi

[19] Editor Fecyt – CVN

https://cvn.fecyt.es/editor

[20] Sistema de Información Curricular del Ministerio de Educación (SICEDU)

http://www.educacion.gob.es/horizontales/servicios/profesores/formacion/sistema-informacion-curricular.html

[21] SISIUS. Sistema de Información Cientifíca sobre Investigación de la Universidad de Sevilla

http://investigacion.us.es/sisius

[22] UGRInvestiga

http://investigacion.ugr.es/ugrinvestiga/

 

Daniel Torres-Salinas y Álvaro Cabezas Clavijo
Grupo EC3 Evaluación de la Ciencia y la Comunicación Científica
Fuente: EC3noticias

Bienvenidos

Unidad para Apoyar la Investigación (UPAI) es un blog de apoyo a la docencia, investigación y divulgación de la información y el conocimiento realizado por los profesionales del Hospital Universitario Virgen de las Nieves de Granada y otros centros de investigación.

Escribe tu dirección de correo electrónico para suscribirte a este blog, y recibir notificaciones de nuevos mensajes por correo.

Únete a otros 426 seguidores

Categorías

Archivo

Calendario de Congresos y Eventos

Somos Sociales

Actualizaciones de Twitter

Indicios imprescindibles de calidad…

Acceso directo a la BV-SSPA

Translate to English

Lo mejor

Visitas

Blog Stats

  • 76,260 hits

Web Médica Acreditada (WMA)

Código QR de la Url

Códigos QR / Qr Codes
Fundación Copyleft
Licencia de Creative Commons
Unidad para Apoyar la Investigación by Unidad para Apoyar la Investigación is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 3.0 Spain License.
Based on a work at unidadinvestigacionhvn.wordpress.com.
Permissions beyond the scope of this license may be available at https://unidadinvestigacionhvn.wordpress.com/.