Facultad de Ciencias Médicas Universidad Nacional de La Plata
Centro Interdisciplinario Universitario para la Salud
______________________________________________________ Análisis bibliométrico de las publicaciones sobre investigación en servicios de salud: Tendencias y características Paganini, José María. Universidad Nacional de La Plata. Centro Interdisciplinario Universitario para la Salud. La Plata. Argentina. Raiher, Sandra. Centro de Estudios de Estado y Sociedad. Ciudad Autónoma de Buenos Aires. Argentina. Septiembre 2006 Resumen La búsqueda de la equidad, calidad y eficiencia en los sistemas y servicios de salud requiere de conocimientos objetivos aportados por las investigaciones que contribuyan a ese objetivo. Esto es válido para todos los países y aun con mayor prioridad para países con escasos recursos que necesitan avanzar en forma acelerada hacia la equidad y las metas del milenio. El análisis bibliométrico de las publicaciones en Investigación en Servicios de Salud (ISS) en una serie histórica y de los últimos 25 años arroja resultados preocupantes al indicar una escasa producción científica en países de Latinoamérica y el Caribe en comparación con países desarrollados. Palabras clave <INVESTIGACIÓN SOBRE SERVICIOS DE SALUD> <BIBLIOMETRIA> <INDICADORES BIBLIOMETRICOS> <INDICADORES DE PRODUCCION CIENTIFICA > <OBJETIVOS DE DESARROLLO DEL MILENIO> <EQUIDAD EN SALUD> <CALIDAD DE LA ATENCIÓN DE SALUD> <EFICIENCIA> <SERVICIOS DE SALUD>
______________________________________________________
1
INTRODUCCIÓN Y OBJETIVOS DE LA INVESTIGACIÓN La investigación en servicios de salud (ISS) constituye un componente importante de la investigación en salud. Su fin principal es producir conocimientos científicos para el desarrollo de políticas y programas basados en la evidencia para lograr la equidad, calidad y eficiencia en salud.(1) Los últimos estudios en este tema están indicando que si bien existe una necesidad urgente de avanzar en estos propósitos, la ISS es el área de la investigación en salud que menos desarrollo muestra.(3) (4) (5) El principal objetivo de este trabajo es aplicar el análisis bibliométrico a los trabajos sobre ISS publicados en revistas científicas periódicas con el fin de identificar tendencias, brechas y características con especial énfasis en la comparación entre la producción de países desarrollados y la de países latinoamericanos y del Caribe. Se espera que estos resultados constituyan un aporte para nuevos desarrollos en esta área.1 MATERIALES Y MÉTODOS Se utilizaron cuatro fuentes de información. Con el fin de realizar una revisión histórica que cubra el período de 1914 a 1990 se analizaron trabajos seleccionados y recopilados para producir la publicación de OPS/OMS, “Investigación en Servicios de Salud: una antología”(1). El análisis reciente de los últimos 14 años (1991 a 2004) se realizó utilizando las bases de datos de Medline, Pub Med y LILACS, con ajustes en la medida de lo necesario según la disponibilidad de datos. La revisión histórica comprende el análisis de 275 trabajos. Aunque la antología de OPS se restringió a 100 artículos, los autores dispusieron de una "lista corta" de 275 trabajos que incluyen los estudios publicados desde 1914 hasta 1990. Aunque esas publicaciones no son una selección representativa de artículos, según el comité editorial se las puede considerar representativas de gran parte de lo mejor de ese campo al momento de su publicación.
La base de datos Medline2 (National Libraries of Medicine, USA) contiene alrededor de 13 millones de referencias a artículos de publicaciones periódicas relativas a la salud. Abarca la información proveniente de unas 4500 publicaciones periódicas y 70 países. La base de datos PubMed3 proporciona acceso libre a MEDLINE, con acceso a publicaciones periódicas sobre ciencias de la vida que no se incluyen en MEDLINE y enlaces al texto completo de artículos en sitios web de editoriales participantes. 1
Para una parte de este análisis se contó con el apoyo de AHPSR WHO como colaboración a la publicación "Strengthening health systems: the role and promise of health policy and systems research" de la Alliance for Health Policy and Systems Research. Geneva, Alliance HPSR, 2004. 2 Base de datos Medline. Disponible en http://www.nlm.nih.gov 3 Base de datos PubMed. Disponible en http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?DB=pubmed
2
El acceso temático a estas dos bases se realiza a través de Major Medical Subject Heading (MeSH) Health Services Research (HSR). Se incluyen todas las publicaciones (estudios clínicos, editoriales, cartas, metaanálisis, guías prácticas, estudios controlados aleatorios y revisiones) con trabajos publicados en inglés, francés, alemán, italiano, japonés, ruso y español. La base de datos LILACS4 (Literatura Latinoamericana y del Caribe en Ciencias de la Salud) es la red de información científica regional de OPS/OMS BIREME con sede en San Pablo, Brasil. Esta base recopila información proveniente de alrededor de 670 publicaciones periódicas, monografías, tesis y publicaciones no convencionales, con más de 350.000 citas bibliográficas, desde 1982. El período de 1991 a 2004 abarca un total de 264.994 artículos como publicaciones periódicas (76,7 %), monografías (17 %), tesis (5,5 %) y publicaciones no convencionales (0,8 %.) El número de artículos publicados ajustado por población indica que Costa Rica, Uruguay y Ecuador son los tres países con el índice más alto (de 33,5 a 19,3 por población de 100.000) seguidos por Chile, Cuba, Argentina y Brasil (de 10,8 a 5,3). México y Perú son los países con menor número relativo de publicaciones (2,4 a 1,7). El método utilizado consiste en un análisis descriptivo, comparativo de las publicaciones en ISS por año, por grupos de países y por idioma utilizando los siguientes indicadores. Razón de artículos originales en ISS/Total de base de datos, por año, grupos de país de publicación, por país de residencia del autor, por país de estudio y por idioma de publicación. Índice de colaboración entre autores medido por el promedio de autores por publicación: Total de autores / total de publicaciones
RESULTADOS
1. Análisis descriptivo de los artículos en ISS por año de publicación Aunque la antología de OPS/OMS sobre ISS no es un estudio representativo, es interesante observar que del total de artículos seleccionados para el período 1914 /1990 (275), más de la mitad, 140, esto es, el 51% se produjeron en la década de los ochenta. (Los 275 artículos seleccionados se distribuyen en un artículo publicado en 1914, otros dos publicados en la década de los treinta; 22 publicados en la década de los cincuenta; 35 en la década de los sesenta; 73 en la década de los setenta y 140 en la de los ochenta (dos artículos carecen de la identificación del año). El análisis de la base de datos Medline para el período 1991/2004 indica que del total de 6.474.082 artículos incluidos en la base de datos, 15.914 (2,4 por mil) corresponden al Major subject heading (MeSH) Health Services Research. 4
Base de datos LILACS. Disponible en http://www.bireme.br
3
En la Tabla 1 se presenta la distribución de artículos de ISS por año y el número de artículos por 1000. Tabla 1. Artículos de ISS por 1000 sobre el total de la base de datos. Base de datos Medline 1991 – 2004 Año
Artículos de ISS
Total
base
de Artículos por mil
datos 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 Total
609
389902
1,56
870
392752
2,22
846
399102
2,12
979
408176
2,40
1088
417458
2,61
1294
423300
3,06
1044
433883
2,41
960
448483
2,14
1021
461235
2,21
1029
489033
2,10
1366
518236
2,64
1608
539396
2,98
1729
566475
3,05
1471
586651
2,51
15914
6474082
2,45
El análisis de tendencia de 1991 a 2004 indica un incremento evidente del número de artículos de ISS publicados. De 609 artículos de ISS publicados en 1991 a 1471 en 2004 (un aumento del 241%). No obstante, al comparar esta tendencia con el total de artículos de la base de datos, se observa un leve aumento relativo de 1,56 por mil en 1991 a 2,51 por mil en 2004. Con estos datos, una primera conclusión indica que, a pesar del incremento del total de artículos de ISS por año en los últimos 14 años, este incremento continúa siendo muy bajo en comparación con el incremento total de publicaciones relacionadas con la salud. . 4
El análisis de la base de datos LILACS (Véase Tabla 2) indica que para el período de 14 años, el total de artículos de ISS son 304, esto es, 1,10 por mil sobre el total de 276.403 artículos. Resulta interesante destacar que al contrario de lo que muestra la base Medline el análisis de tendencia muestra que no hubo aumento en el mismo período y la relación por mil indica una tendencia al descenso.
Tabla 2. Base de datos LILACS (artículos en ISS por 1000 sobre el total de la base de datos 1991 2004 Año
1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 Total
Artículos ISS
Total base de datos Artículos por mil
28
13557
2,07
23
15136
1,52
20
15763
1,27
22
18085
1,22
24
18277
1,31
33
19736
1,67
28
20662
1,36
28
21435
1,31
27
21516
1,25
22
21848
1,01
18
20291
0,89
13
20857
0,62
5
20236
0,25
6
17595
0,34
304
276403
1,10
Al comparar esos indicadores con la base de datos Medline, surge con claridad la diferencia entre ambas bases de datos. En la base de datos Medline, integrada por las publicaciones por autores de países 5
desarrollados, el número promedio de ISS publicaciones por 1000 para los 14 años es 2,4 con una tendencia a aumentar de 1,56 en 1991 a 2,51 en 2004 por 1000. Por el contrario, en la base de datos LILACS, integrada por autores de países latinoamericanos y del Caribe, no solamente es dos veces menor el número de publicaciones en ISS por 1000 en los últimos 14 años que el de la base de datos Medline sino que también tiene una tendencia a disminuir a través de los años. (Véase gráfico 1)
Gráfico 1. Tendencia de los artículos en ISS sobre el total de la base de datos en países desarrollados (Medline) y en desarrollo (LILACS). 1991-2004
3,5 3,06
3
1,5
2,64
2,61
2,5 2
2,98 3,05
2,07
2,22
2,51
2,41
2,4
2,14 2,21 2,1
2,12
Países en desarrollo Países desarrollados
1,67
1,56 1,52 1,27 1,22 1,31
1,36 1,31 1,25
1
1,01
0,89
0,5
0,62 0,25 0,34
19 91 19 92 19 93 19 94 19 95 19 96 19 97 19 98 19 99 20 00 20 01 20 02 20 03 20 04
0
Este hallazgo puede estar indicando la baja prioridad que se otorga a las actividades en ISS en países en desarrollo en comparación con los países desarrollados.
2. Publicaciones en ISS por país de residencia de los autores
El análisis del número de artículos de ISS por país de residencia de los autores tanto en publicaciones de OPS/OMS como en la base de datos Medline muestra una fuerte participación de artículos provenientes de países desarrollados (95 %). La concentración de publicaciones en unos pocos países es aun más evidente en la base de datos Medline donde sólo dos países (EE.UU. e Inglaterra) producen 75% del total de artículos; esto es, 7 de 10 artículos fueron publicados en estos dos países.
6
Ésta es una indicación clara, a nuestro entender, no solamente de las distintas situaciones culturales y económicas que influyen en la producción de conocimientos científicos sino también de los distintos intereses, incentivos y oportunidades para producir y publicar trabajos en ISS.
3. Publicaciones por ubicación del país del estudio Aceptando que el análisis del número de publicaciones por país de residencia de los autores podría limitar la información del país donde efectivamente se llevó a cabo el estudio de investigación, se analizó la base de datos PubMed mediante la selección de 1811 artículos de los 27.040 en una muestra aleatoria sistemática para el período de 10 años (1991 - 2000). El análisis de todos los artículos seleccionados reveló que 1715 publicaciones (94,7%) que informaban sobre proyectos de ISS fueron realizadas en países desarrollados (EE.UU. 993; Reino Unido 320; Canadá 279; Australia 56; España 29; Dinamarca 10; Suiza 17; Francia 11). Los estudios ubicados en EE.UU. e Inglaterra representaban el 77% del total. Si se incluye Canadá y Australia, ascienden al 96% de este total. Los estudios provenientes de países en desarrollo suman un total de 96 (5,3%) (India 49, Sudáfrica África 13, Senegal 9, Chile 4, Máxico 5, Argentina 2, otros 14). Este resultado confirma los datos previos de la base de datos Medline que indican una participación muy baja de los países en desarrollo en artículos sobre ISS.
4. ISS por idioma de publicación
Del total de artículos en la base de datos Medline, los idiomas más representativos son inglés con 17.901 artículos (91,6%), francés con 401 (2,05%), alemán con 384 (1,9%) y español con 236 (1,2%). Mientras que en la base de datos LILACS, los más representativos son español 113 (47%), portugués con 84 (35%) e inglés con 45 (18%) publicaciones.
5. Índice de colaboración entre autores El análisis de este índice de colaboración puede estar indicando las formas y características de desarrollo de la ISS que en teoría debe ser de carácter transdisciplinario, en equipo y con la convocatoria a diversos aportes e instituciones. En la base de datos histórica de OPS/OMS el número promedio de autores es 2,7 por artículo. Del total, 171 artículos (62%) fueron escritos por más de un autor y 105 (38%) por un solo autor. 7
En la Tabla 3 se muestran los números promedio de autores por año en las bases de datos Medline y LILACS. Tabla 3. Números promedio de autores de artículos sobre ISS en Medline y LILACS.
Número promedio de autores – bases de datos Medline y LILACS. 1991 - 2005 Año
Base de datos
Base de datos
Medline
LILACS
1991
2,0
1,4
1992
2,3
1,5
1993
2,2
1,8
1994
2,2
1,6
1995
2,2
2,2
1996
2,5
2,0
1997
2,5
1,1
1998
2,4
1,6
1999
2,6
2,0
2000
2,4
1,9
2001
2,7
1,7
2002
3,0
1,6
2003
2,9
1,6
2004
3,0
1,0
2005
3,0
2,0
Resulta interesante observar que la base de datos Medline muestra para los 14 años analizados un leve aumento del promedio de autores relacionado con la serie histórica (de 2.7 a 3.0 ) Lo que resulta evidente es la diferencia del número promedio de autores por artículo entre las bases de datos Medline y LILACS; lo que indicaría una mayor colaboración observada en los países desarrollados. 8
CONCLUSIONES Y LIMITACIONES DEL ESTUDIO Una de las conclusiones principales del análisis de publicaciones sobre ISS es la brecha importante que se identifica entre países desarrollados y países en desarrollo en el volumen de trabajos científicos sobre ISS. Se trata de una diferencia 5/95 permanente y continua (sólo el 5% de las publicaciones en ISS corresponden a países pobres y en vías de desarrollo), incluso más dramática que la brecha 10/90 (Global Forum for Health Research). (3) (4) (5) Las dos bases de datos analizadas (Medline y PubMed) identifican que el 95% de los artículos corresponden a unos pocos países desarrollados y emplean el inglés como idioma principal de publicación. Al mismo tiempo, queda claro que en la base de datos Medline existe una tendencia a incrementar el porcentaje de artículos en ISS sobre el total. No se observa esta tendencia en el análisis de la base de datos LILACS que abarca sólo a países en desarrollo. Esta conclusión sugiere que la ISS no atrae los talentos y los recursos de los países en desarrollo con respecto a otras disciplinas, si bien el potencial de la ISS para mejorar la salud puede ser de mayor prioridad. Existe por cierto la posibilidad de que algunas de las actividades de investigación y de producción de conocimientos en la mayoría de los países en desarrollo aparezcan en "publicaciones de literatura gris" o formen parte de otros programas técnicos como los proyectos de investigación evaluativos. No obstante, la falta de comunicación y de control de calidad de los mismos limitaría el valor científico de estos esfuerzos y consecuentemente pueden resultar inadecuados para orientar las decisiones de políticas de salud. Por último, dentro de las limitaciones que deben tenerse en cuenta en el análisis comparativo de países o regiones, se debe reconocer también un sesgo idiomático con una fuerte influencia del inglés aceptando que no toda la producción ciéntífica tiene las mismas oportunidades de publicación y no todas las publicaciones tienen las mismas posibilidades de integrar las base de datos existentes.
9
REFERENCIAS
1.- Panamerican Health Organization. Investigaciones en servicios de salud: una antologĂa. Washington, D.C, PAHO, 1992. (PAHO. Scientific Publication, 534) 2.- National Library of Medicine. NICHSR History of Health Services Research. HSR Class Manual 2002. Available online at: http://www.nlm.nih.gov/nichsr/ihcm/hsrctoc.html 3.- Global Forum for Health research. The 10/90 Report on Health Research 1999. Geneva: GFHR, 1999. 4.- Global Forum for Health research. The 10/90 Report on Health Research 2000. Geneva: GFHR, 2000. 5.- Global Forum for Health research. The 10/90 Report on Health Research 2001-2002. Geneva: GFHR, 2002. 6.- Hanney, S.R. M.A Gonzalez-Block. M. Buxton, and M. Kogan. The utilisation of health research in policymaking: concepts, examples and methods of assessment. Health Research Policy and Systems, 2003; 1:2. Available at: http://www.health-policy-systems.com/content/1/1/2 7.- Task Force on Health Systems Research. Informed choices for attaining the Millennium Development Goals: towards an international cooporative agenda for health systems research. Lancet 2004; 364: 997â&#x20AC;&#x201C; 1003. 8.-Gonzalez Block M., and Mills A., Asessing Capacity for Health Policy and Systems Research in Low and Middle income Countries. Health Research Policy and Systems 2003; 1 (1): 1-20. 9.- Commission on Health Research for Development. Health Research: Essential Link to Equity in Development. New York: Oxford University Press, 1990. 10.- Nuyens, Y. Recent developments in HSR Worldwide. Advisory Gropup on Health Systems research and Development. WHO: Geneva, 1993 (MAL/GAG/WP/1) 11.-Advisory Committee on Health Research. Report of ACHR peer review group on the Report of the Ad Hoc Committee on Health Research Relating to Future Intervention Options. Geneva: WHO, 1995. (Document ACHR 33/95.7) 12.- Ad Hoc Committee on Health Research Related to Future Intervention Options. Investing in Health research and development. Geneva: WHO, 1996. (Document TDR /Gen/96.1). 13.- Nuyens, Y. Workshop on Priority setting for Essential National research (PSENHR) review of Processes, Mechanisms and Ourcomes of PSENHR. Geneva: Council on Health research for development, 1997.
10
14.-Advisory Committee on health Research. A research policy agenda for science and technology to support global health development. Geneva: WHO, 1998. (Document WHO/RPS/ACHR/98.1) 15- Council on Health Research and Development (COHRED). Essential National Health Research and Priority Setting: Lessons Learned. Geneva: COHRED, 1997. (Document 97.3). 16.- Okello D, Chongtrakul P. A manual for research priority setting using the ENHR strategy. Geneva: COHRED, 2000. (Document 2000.3). 17.- Working Group on Priority Setting, Council on Health Research for Development. Priority setting for health research: lessons from developing countries. Health Policy Plan 2000; 15(2):130-136. 18.- The International Conference for Health Research for development, Bangkok 10/13 October 2000. Conference report, Geneva 2001. 19.-
Global
Forum
for
health
Research.
Annual
Meetings.
Available
online
at:
http://www.globalforumhealth.org 20.- Ghaffar, A; De Francisco, A. and Matlin, S (Ed) The Combined Approach Matrix: A priority-setting tool for health research. Geneva: Global Forum for Health Research, 2004. Available online at: http://www.globalforumhealth.org/filesupld/90.pdf 21.- The Collaborative Training Programme (CTP) Resource Modules on Health Research for Policy, Action and Practice, Version 2, 2004. Available online at: http://www.alliance-hpsr.org/jahia/Jahia/pid/202 22.- Lomas J. N. Fulop, D. Gagnon, and P. Allen. 2003 On being a Good Listener: Setting Priorities for Applied Health Services research. The Milbank Quarterly, 2003; 81(3). Available online at: http://www.milbank.org/quarterly/8103feat.html 23.- Klein R, Williams A. Setting priorities: what is holding us backâ&#x20AC;&#x201D;inadequate information or inadequate institutions? In: Coulter A, Ham C. The global challenge of health care rationing. Buckingham: Open University Press, 2000; 15-26 24- Bowling A, Jacobsen B, Southgate L. Health services priorities. Exploration in consultation of the public and health professionals on priority setting in an inner London health district. Soc Sci Med 1993; 37: 851-857 25.- Coburn,A. The Role of Health Services Research in developing State Health Policy. Health Aff (Millwood). 1998;17(1):139-51. 26. Ginzberg E., (Ed) Health Services Research. Key to Health Policy. Cambridge: Harvard University Press, 1991 27.- Plsek, P. Appendix B. Redesigning health Care with Insights from the Science of Complex Adaptative Systems pp 310-322. In Crossing the Quality Chasm: A New Health System for the 21st Century. Washington D.C: Instiute of Medicine, 2003.
11
28,- Daniels, N., Sabin, J. E Limits to health care: Fair procedures, democratic deliberation and the legitimacy problem for insurers. Philos Public Aff. 1997; 26(4):303-50. 29.- Varkevisser C; Pathmanathan I; Brownlee A.. Proposal Development and Fieldwork. In Designing and Conducting Health Systems Research Projects. IDRC; WHO (Health Systems Research Training Series 2,1). Available online at: http://library.cph.chula.ac.th/downloads/Health%20System%20Research/HSRVol2/part12%202003ed/Designing%20and%20conducting%20health%20system%20research%20projects,%20volume %201,%20Proposal(1).pdf 30.- Whitehead M. The concepts and principles of equity and health. In.t Journal of health Serv, 1992; 22:430-445. 31.- ISEqH. Internationa Society for Equity in Health. Definitions. Available online at: http://www.iseqh.org 32.- Paganini.J.M. Salud y Equidad. La Plata: Centro INUS, 2000. (Publ. Cientifica # 1) 33.- Report of the Advisory Committee on Health Research. Rev Panam Salud Publica. 1997; 2(6): 428434.
Available
online
at:
http://www.scielosp.org/scielo.php?script=sci_arttext&pid=S1020-
49891997001200014&lng=en&nrm=iso 34.- Paganini J. M. Guia para el análisis del sector salud - Guidelines for the Analysis of Health Sector. Papor 2003.pp. 38. Maestria Salud Publica. Centro INUS. Facultad de Ciencias medicas. UNLP. Argentina. Health sector analysis. Papor. INUS. 35.- WHO Choice project. CHOsing interventions that are Cost-Effective. Geneva: WHO, 2002. 36.- González-Block MA. Health policy and systems research agendas in developing countries. Health Research
Policy
and
Systems
2004;
2:6.
Available
online
at:
http://www.health-policy-
systems.com/content/2/1/6 37.-Araújo Ruiz, J.A. Informetría, bibliometría y cienciometría: aspectos teórico-prácticos. ACIMED 2002, 04. Available online at: http://bvs.sld.cu/revistas/aci/vol10_4_02/aci040402.htm 38.-Cibermetrics. Bibliographic and patent base de datoss for use in scientometrics, biliometrics.... Base de datoss. Available online at: http://www.cindoc.csic.es/cybermetrics/links16.html 39.-Martínez de Sousa, J. Diccionario de bibliología y ciencias afines. Madrid: Fundación Germán Sánchez Ruipérez, 1993. 40.-Velho L. Indicadores científicos: aspectos teóricos y metodológicos. En: E. Martínez, ed. Ciencia, tecnología y desarrollo: interrelaciones teóricas y metodológicas. Caracas: Nueva Sociedad, UNESCO; 1994.
12
41.- Spinak, E. Indicadores cienciométricos. Ci. Inf., 1998; 27(2):141-148. 42.-Sengupta, I.N. Bibliometrics, Informetrics, Scientometrics and Librametrics: an overview. Libri, 1992; 42(2):75-98. 43.- Vinkler, P.An attempt of surveying and classifying bibliometric indicators for scientometric indicators for scientometric purposes. Scientometrics, 1998; 13(5-6): 239-59. 44.- Spinak, E. Quantitative analyses of scientific literature and their validity for judging Latin American Production. Bulletin of PAHO, 1995; 29(4):352-9. 45.- Moravcsik, M.J. The classification of science and the science of classification. Scientometrics, 1986; 10(3-4):179-97. 46.- Farkas J. The science of science as a new research field and its function in prediction. En: Whitley R, ed. Social processes of scientific development. Boston: Routledge & Kegan, 1974. 47.- Garfield E. Análisis cuantitativo de la literatura científica y sus reporcusiones en la formulación de políticas científicas en América Latina y el Caribe. Bol. Oficina Sanit Panam, 1995; 118(5):448-456. 48.- Harter, S. P. "The Impact of Electronic Journals on Scholarly Communication: A Citation Analysis." The Public-Access Computer Systems Review, 1996; 7(5) 49.- Loet Leydesdorff. Indicators of Innovation in a Knowledge-based Economy. Cybermetrics, 2001; 5(1) Available online at: http://www.cindoc.csic.es/cybermetrics/artículos/v5i1p2.html 50.- Niessen L., Grijseels E., Rutten F., The evidence –based approach In health policy and health care delivery. Inst. Of Medical Technology Assessment, Rasmus Univrsity, Rotterdam. Pp27.
13