SciELO - Scientific Electronic Library Online

 
vol.20 número2EVALUACIÓN DE MÓDULOS DE AUTOAPRENDIZAJE EN ANATOMÍA HUMANAASPECTOS BIOMÉTRICOS DE LOS RAMOS MOTORES DEL NERVIO MUSCULOCUTÁNEO PARA EL MÚSCULO BRAQUIAL índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Revista chilena de anatomía

versão impressa ISSN 0716-9868

Rev. chil. anat. v.20 n.2 Temuco  2002

http://dx.doi.org/10.4067/S0716-98682002000200018 

Rev. Chil. Anat., 20(2):215-230, 2002.

UNA EXPERIENCIA CON LA EVALUACIÓN INDIVIDUAL CON LA
PRODUCTIVIDAD ACADÉMICA EN LA FACULTAD DE MEDICINA
DE LA UNIVERSIDAD DE SAN PABLO, BRASIL

AN EXPERIMENT WITH THE INDIVIDUAL EVALUATION OF ACADEMIC PRODUCTIVITY OF

THE FACULTY STAFF AT THE UNIVERSITY OF SAO PAULO, BRAZIL

*Gregorio S. Montes; **Angela C. Cavallieri; **Patricia M. S. Favaretto & ***Mariano del Sol

MONTES, G. S.; CAVALLIERI, A. C.; FAVARETTO, P. M. S. & DEL SOL, M. Una experiencia con la evaluación individual de la productividad académica en la Facultad de Medicina de la Universidad de San Pablo, Brasil. Rev. Chil. Anat., 20(2):215-230, 2002.

RESUMEN: La Universidad de San Pablo es comparable con las mejores universidades medias de los Estados Unidos donde se lleven a cabo tareas de investigación. En su Facultad de Medicina, la evaluación entre colegas (los pares) es básicamente incuestionable. No obstante, en el mundo de hoy, de intensa especialización, la mayor parte de las subdisciplinas médicas resultan demasiado pequeñas y relacionadas entre sí como para permitir que dicha evaluación entre colegas resulte objetiva, cuando se la realiza internamente. Además, las ciencias biomédicas han llegado a un punto en que la línea que separa las diferentes disciplinas se hace cada vez más borrosa. La mayor parte del personal universitario se compone de empleados estatales que mantienen el mismo trabajo durante toda su vida, con un sueldo bajo que les provee el gobierno. En San Pablo, Brasil, las universidades estatales perciben el 10% de los impuestos del estado; tarde o temprano deberán justificar esa inversión ante la sociedad. Luego de tres décadas de salarios realmente bajos, el sistema actual paga sueldos a un personal que, de a poco, ha ido reduciendo su productividad. Nuestra Facultad de Medicina recibe el apoyo substancial de una fundación particular que se ha creado a tal efecto. Para garantizar la eficacia del empleo de esos recursos, hay que establecer un sistema presupuestario que asegure incentivos que impulsen al personal a destacarse en las actividades académicas. Esto se logró al complementar los bajos sueldos con el otorgamiento de premios y una complementación salarial (además del sueldo), cuyo fin fue incrementar los resultados de productividad hasta que éstos alcanzaran los standards internacionales. La tarea de destinar parte del presupuesto a complementar los salarios de los facultativos requiere programas especiales, que incluyan la adopción de rutinas para la evaluación constante de la productividad académica. Ciertos índices de rendimiento nos permitieron clasificar al personal universitario en categorías, según un escalafón, de modo que se pudieron complementar -con las distinciones de cada caso- sus salarios de acuerdo con la productividad individual. La selección de personas se basa estrictamente en el mérito, con orientaciones explícitas que ayudan al aspirante a comprender los criterios que regirán la consideración de sus solicitudes. El propósito de las prioridades presupuestarias es estimular la atención médica de alta calidad en el Hospital Universitario, como así también mejorar la educación médica como un todo, aliado a una distribución equitativa de tareas de investigación básica y clínica. De este modo, hemos definido diversos parámetros que controlan la productividad en las áreas de atención de la salud ­incluidas las actividades de mano de obra del Hospital de Clínicas-, además de la carrera académica formal en la Facultad de Medicina. Los índices de rendimiento que aquí presentamos pueden ser de ayuda en las decisiones que atañen a las políticas relacionadas con la investigación científica, la formación médica y las prioridades en salud pública, ya que los parámetros que usamos aspiran a extender el análisis de los resultados de la actividad académica (casi siempre referidos tan sólo en términos de publicaciones científicas) hacia otras áreas, como son el impacto educativo y la calidad de la atención médica. Este programa de evaluación, y las consecuentes inversiones diseñadas específicamente, han revitalizado en forma decisiva nuestra comunidad académica, ya que ofrecen en delicado equilibrio una combinación de presión e incentivo que desencadenó un drástico aumento en la productividad. La implementación del sistema de evaluación que proponemos a continuación ­gracias a su método netamente objetivo- aspira a liberar a decanos y demás autoridades académicas de los engorros políticos que suelen acarrear las decisiones de este tipo.

PALABRAS CLAVE: 1. Productividad académica; 2. Desempeño académico; 3. Programa de incentivos; 4. Medicina.

INTRODUCCIÓN

La evaluación de las actividades académicas ha sido, en los últimos años, objeto de interés y de discusión tanto en la comunidad universitaria como de la sociedad en general, conforme se puede observar en artículos publicados por periódicos de gran circulación (Fromer, 1988 y Folha de São Paulo, 1995), que vienen discutiendo la productividad de los docentes e investigadores de las universidades brasileñas.

La Universidad de San Pablo (USP), desde hace algún tiempo, ha intentado poner en práctica algunas iniciativas de evaluación, principalmente sobre las actividades de docencia e investigación. En diciembre de 1999, la USP divulgó el documento "Directrices de Evaluación de las Actividades Académicas", exponiendo criterios que cada Departamento/Unidad debería seguir para elaborar un Plan de Metas para el perfeccionamiento de sus actividades finales: enseñanzas de pregrado y postgrado, producción intelectual innovadora y extensión universitaria. Este processo orientaría la política de evaluación en la Universidad, siempre teniendo en cuenta sus objetivos principales que son: a- promover y desarrollar todas las formas de conocimiento, por medio de la enseñanza y la investigación; b- formar personas capacitadas para ejercer la investigación científica y la docencia, como también prepararlas para las actividades profesionales y, c- extender a la sociedad servicios que son inseparables de las actividades de enseñanza e investigación.

Uno de los objetivos del documento era que, a partir de su implementación en el año 2000, todos los académicos de la USP deberían ser evaluados conjuntamente, mediante la introducción de proyectos estratégicos de los Departamentos, como asimismo a través de una valorización de las actividades de enseñanza y extensión, destacándose la obligatoriedad de una colaboración mínima de los académicos en la gestión administrativa de la Unidad/ Departamento.

En abril de 2000, la Rectoría de la Universidad de San Pablo despachó un comunicado que propone la creación, entre otros, del "Fondo de Valorización del Desempeño Académico", que sería constituido para recompensar, económicamente, a aquellos académicos en Régimen de Dedicación Integral a la Docencia y a la Investigación (RDIDP) que, individualmente, se destacasen en las respectivas áreas de su quehacer. Para la implementación de esta iniciativa resultaría necesaria la creación de un sistema de medición objetivo y transparente, que sería dado a conocer antes de julio de 2000. Estas iniciativas no prosperaron (Associação dos Docentes da Universidade de São Paulo, 2001a y Biondi et al., 2001).

Entretanto, la Facultad de Medicina de la Universidad de San Pablo (FMUSP), desde hace algunos años, viene desarrollando algunas experiencias en el área de evaluación de la producción científica de sus grupos de investigación, como también de sus académicos.

La primera de ellas fue implantada en 1993, en los Laboratorios de Investigación Médica (LIMs) del Hospital de Clínicas (HC) de la Facultad de Medicina de la Universidad de San Pablo, donde los recursos financieros son distribuidos entre las 62 unidades de laboratorios, de acuerdo con su productividad, siguiendo criterios previamente establecidos y divulgados (Montes, 2000).

El Centro de Desarrollo de Educación Médica de la FMUSP, también había implantado una evaluación sistemática de la satisfacción de los alumnos con la enseñanza recibida (Marcondes et al., 1996).

Otra experiencia más reciente de la Facultad de Medicina de la USP, y que tuvo como objetivo la retención de docentes y médicos en la Institución, es el Programa de Complementación Salarial a Docentes y Médicos en Régimen Dedicación Exclusiva (Associação dos Docentes da Universidade de São Paulo, 2001b), que fue puesto en práctica en 1998 y que será comentado, detalladamente, en este artículo.

Revisión histórica del Programa de Comple-mentación Salarial de la FMUSP

Los principios que sustentan al actual sistema de evaluación fueron definidos y consolidados a lo largo de la última década, ya que cualquier programa de evaluación continua requiere que el sistema y los instrumentos utilizados sean constantemente revisados y perfeccionados.

Bajo el decanato del Prof. Dr. Adib Domingos Jatene (1990-1994), la disminución del poder adquisitivo de los salarios de los académicos con dedicación exclusiva llevó a las autoridades a procurar medios para evitar que estos profesores abandonasen el RDIDP.

Para legitimar una forma de complemento salarial, fue instaurado un "premio" anual para los académicos más productivos. Diversos parámetros fueron empleados para evaluar dicha productividad. Es interesante destacar que la mayoría de los profesores catalogados como más productivos, fueron siempre los mismos (casi en idéntico orden), a pesar de la utilización de parámetros diferentes a lo largo de los años (Tabla I).


La perfecta correlación entre estas evaluaciones, que utilizaron diferentes criterios, llevó a la convicción generalizada de que aquellos profesores autores de las publicaciones de mejor calidad, eran también los responsables de la formación del mayor número de recursos humanos (como Directores de Magísteres y Doctores) y quienes habían conseguido más recursos extra-presupuestarios (provenientes de las agencias de fomento) para financiar sus investigaciones. La aceptación interna de este proceso de evaluación fue reforzada por los resultados de la experiencia que habíamos tenido con una evaluación similar de la productividad de los Laboratorios de Investigación Médica individualmente (Montes, 2000), estimulando así la implantación de un mecanismo de complementación salarial mensual durante el decanato del Prof. Dr. Marcello Marcondes Machado (1994-1998).

MATERIAL Y MÉTODO

Para el período de análisis de 1994 a 1998, se inscribieron (durante el año 1999) 230 candidatos a Comple-mentación Salarial, siendo 91 académicos en la Vertiente I (creación de conocimientos científicos y tecnológicos) y 139 médicos en la Vertiente II (transmisión y aplicación de conocimientos). Para inscribirse presentaron, además de los formularios de inscripción debidamente completos, todos los comprobantes de las informaciones allí contenidas, referentes a las actividades desempeñadas en el período indicado. Para los períodos de análisis de 1995 a 1999 y de 1996 a 2000, sólo fueron aceptadas inscripciones para la Vertiente I; el total de estas inscripciones (realizadas en 2000 y 2001, respectivamente) fue de 87 candidatos, en el primer caso, y 90 candidatos en el segundo.

La Vertiente I fue creada para atender a los académicos de la FMUSP, en RDIDP. La Vertiente II correspondió a los médicos del Hospital de Clínicas.

La Tabla de Puntaje (Tabla II) obtenida por el consenso de todos los Departamentos de la FMUSP y de todos los Institutos del HC, prevé las actividades más importantes:








a)Servicio asistencial (atención médica en el Hospital);

b)formación de recursos humanos (actividades didácticas en el pregrado y post-grado);

c)investigación (producción de conocimiento científico);

d)patrimonio adquirido (a través de subsidios y otras fuentes extra-presupuestarias);

e)administración (participación en la gestión de las actividades académicas y asistenciales) (Associação dos Docentes da Universidade de São Paulo, 2001b)

Todos los formularios de inscripción fueron cuidadosamente evaluados, de acuerdo con los criterios contenidos en la Tabla II. El procedimiento adoptado se fundamentó en la comparación minuciosa de todos los datos con los documentos comprobatorios presentados, lo que incluyó el chequeo general de todos los índices de impacto, de acuerdo con el Journal Citation Reports (ISI, ver las Referencias Bibliográficas).

El resultado final fue calculado en base a la media del puntaje obtenido por la evaluación de las actividades desarrolladas por los académicos/médicos, en los 5 años comprendidos en cada período estudiado. Así, cada informe anual forma parte del promedio móvil de los últimos cinco años (que es el parámetro considerado para este tipo de evaluación).

Los candidatos fueron clasificados, en la Vertiente en que se inscribieron, de acuerdo con el puntaje obtenido (Figs. 1 a 4). Para los resultados obtenidos para el período de 1994 a 1998 se establecieron 4 grupos (Fig. 1):


Fig. 1. Puntaje obtenido por los académicos inscriptos en la vertiente I, Referente al periodo1994-1998.

(media anual)

R$=reales (moneda brasileña), correspondiente a la complemen-tación mensual.Durante el periodo analizado en esta Figura, un real equivalía a un dólar norteamericano.

a) Grupo A ­ más de 3000 puntos

b) Grupo B ­ entre 3000 y 1000 puntos

c) Grupo C ­ entre 1000 y 500 puntos

d) Grupo D ­ menos de 500 puntos

Comparando la Fig. 1 con la 2 y la 3, se obtiene el puntaje correspondiente a estos mismos grupos en los demás períodos analizados.

RESULTADOS

Fue necesario articular las informaciones entregadas por los académicos, referentes a su productividad, con una estrategia de complementación salarial diferenciada conforme el desempeño individual. El criterio utilizado, para distribuir los recursos financieros disponibles para el complemento de salarios, se basó en la productividad de cada docente.

De los docentes inscriptos en la Vertiente I, en la evaluación correspondiente al período de análisis de 1994 a 1998 (Fig. 1), 21 fueron clasificados en el grupo A y recibieron mensualmente el suplemento salarial de R$ 4.000,00 cada uno; 26 en el grupo B, que recibieron R$ 2.500,00; en el grupo C, 26 recibieron R$ 1.500,00. Los 18 clasificados en el grupo D no recibieron complemento.

Para el período de análisis de 1995 a 1999 (Fig. 2), de los académicos inscriptos, 23 fueron clasificados en el grupo A y recibieron mensualmente el complemento salarial de R$ 4.000,00 cada uno; 22 en el grupo B, que recibieron R$ 2.500,00 y 33 en el grupo C, que recibieron R$ 1.500,00. Los 9 clasificados en el grupo D no recibieron complemento salarial.


Fig. 2. Puntaje obtenido por los académicos inscriptos en la vertiente I, Referente al periodo 1995-1999.

(media anual)

R$=reales (moneda brasileña), correspondiente a la complemen-tación mensual.

Para el período de análisis de 1996 a 2000 (Fig. 3), de los académicos ins-criptos, 24 fueron clasificados en el grupo A y recibieron mensualmente el complemento salarial de R$ 4.000,00 cada uno; 24 en el grupo B, que recibieron R$ 2.500,00 y 31 en el grupo C, que recibieron R$ 1.500,00. Los 10 clasificados en el grupo D no recibieron complemento salarial.


Fig. 3. Puntaje obtenido por los académicos inscriptos en la vertiente I, Referente al periodo 1996-2000.

(media anual)

R$=reales (moneda brasileña), correspondiente a la complemen-tación mensual.

El resultado del puntaje individual fue comunicado sólo al interesado.

En lo que se refiere a la Vertiente II, en el período de 1994 a 1998, sólo se realizó una simulación de una evaluación preliminar de los médicos del HC. A pesar de eso, no hubo condiciones políticas para implementar la complementación salarial de acuerdo con la productividad (Fig. 4).


Fig. 4. Simulación de una evaluación de los médicos del HC-FMUSP, en el periodo 1994-1998

(el puntaje corresponde a la media anual)


DISCUSIÓN

Para la presente experiencia, fueron elaborados instrumentos de evaluación, y se analizaron los resultados obtenidos con la aplicación de estos instrumentos. Pero habría resultado frustrante proceder a una evaluación de la productividad sin que hubiera consecuencias inmediatas como resultado: así, la influencia que esta evaluación tuvo sobre la distribución de complementos salariales diferenciados atendió las expectativas de los interesados (quienes exigían algún incentivopara los más productivos).

En las comunidades científicas nacional e internacional, cada vez más personas concuerdan en que fijar tan sólo criterios cuantitativos de publicaciones, además de resultar inadecuado para evaluar la importancia, alcance y competencia de un docente o investigador, también causa profundas distorsiones en el proceso de producción del saber (Moed et al., 1985; Cole, 1989; Krauskopf et al., 1995; Linardi et al., 1996; Seglen, 1997; Editorial Nature, 1998; Montes, 2000 y Adam, 2002).

En Brasil, las evaluaciones sistemáticas de la producción científica empezaron a ser realizadas en la década pasada y todavía desatan controversias (Pereira et al., 1996). Pero aun así, la inversión en ciencia debe basarse en criterios de mérito científico y en la eficiencia de la distribución de los escasos recursos disponibles para las áreas de Educación y Salud Pública. Por eso, resulta cada vez más necesario concentrarse en una gestión de proyectos y programas que permita el análisis de resultados mensurables, para que se pueda ofrecer a las autoridades respuestas objetivas, respecto de lo que producen los docentes universitarios.

Las actividades de los docentes no pueden ser consideradas fuera de la especificidad de las Unidades en que ellos están insertos --en nuestro caso, una Facultad de Medicina y un Hospital de Clínicas. Nuestra Facultad y su Hospital presentan enorme diversidad de actuación. Poseen autonomía académica, y de un modo general permiten gran libertad de elección en las actividades de docencia, investigación y extensión, de acuerdo con la vocación de cada docente. En lo correspondiente a los regímenes de trabajo, la enseñanza es considerada esencial en todos ellos. Por otro lado, actividades de investigación y extensión son las que caracterizan el RDIDP; los académicos deben poder demostrar que su desempeño es compatible con el respectivo régimen de trabajo, por la realización de actividades relevantes en tales áreas.

El sistema de evaluación que utilizamos presupone que los académicos de la FMUSP poseen perfiles de actuación diferentes, propios y específicos, y que tales perfiles pueden identificarse por una producción intelectual definida por indicadores objetivos. Así, nuestra Tabla de Puntaje pretende delinear el trabajo académico, describiéndolo como pertinente a cuatro áreas principales de acción: docencia, investigación, asistencia médica y gestión administrativa. Debido a que un determinado individuo puede alcanzar buen puntaje final, dedicándose sólo a alguna de estas áreas de acción (Swain, 1996), el modelo de evaluación utilizado en la FMUSP toma en cuenta la heterogeneidad interna de los Departamentos, donde es más útil que haya una complementación de competencias y saberes.

Que la Institución "Facultad de Medicina" y su Hospital deben reunir condiciones de excelencia en la enseñanza, investigación y asistencia médica a los pacientes, parece obvio. Pero es difícil que, con la evolución actual de la Medicina, una misma persona sea un óptimo clínico y, por lo tanto, conozca y emplee los más sofisticados métodos diagnósticos recién desarrollados y las conductas terapéuticas más modernas y, al mismo tiempo, sea un investigador que publique sobre temas que se encuentran en la frontera de la ciencia, en las revistas de mayor divulgación internacional (para lo cual precisa transformarse en un empresario de la investigación), y que también sea reconocido como poseedor de las más modernas técnicas didácticas (para poder transmitir sus conocimientos con calidad, a pesar de la masificación de la enseñanza).

No obstante, las normas en vigencia en el país establecen que el médico de la academia debe desarrollar todas estas actividades de docencia, investigación y extensión (asistencial, en nuestro caso particular) simultáneamente, o si no, no estará cumpliendo con las exigencias mínimas establecidas para el académico universitario. Ahora bien, si uno de nuestros médicos fuera "tan sólo" un excelente clínico, deberíamos considerarnos muy satisfechos, ya que una de las tareas importantes de un Hospital Universitario es la asistencial (además de que, este médico se constituirá en paradigma y fuente de aprendizaje para los internos, residentes y becarios).

Así, tal vez la ecuación de equivalencia de talentos se aproxime a la siguiente: 1 óptimo clínico = 1 óptimo investigador = 1 óptimo didacta; y no deberíamos hacer exigencias en el sentido de que cada académico, individualmente, reúna los tres requisitos (pues sólo en casos excepcionales esto realmente ocurre).

Se cree que, en el caso de la Medicina, puedan existir tres caminos paralelos: el "research track", el "clinical track" y el "teaching track". Los profesores podrían (si así quisieran) escoger sólo uno de estos "tracks" para desarrollar toda su carrera universitaria, pudiendo alcanzar con esto hasta los más altos cargos (y sentirse orgullosos de la dignidad que le da el buen ejercicio de su opción, sin necesidad de simular que contribuyeron con las otras en un sistema de "haz de cuenta").

Claro está que nadie se torna especialista por exclusión. No podemos aceptar que alguien se titule "especialista en técnicas didácticas" sólo porque no tiene obligaciones asistenciales ni hace investigación (en este caso, el académico sólo dicta clases). Así, solamente podrá ser considerado especialista en didáctica el académico que implanta nuevas técnicas docentes, publica artículos sobre educación médica y forma recursos humanos a través de la dirección de disertaciones y tesis relativas a la enseñanza médica, etc.

Como la naturaleza humana es extremadamente dócil a los resultados de la evaluación, esta última se torna un poderoso instrumento político. Así, el hecho de dar mayor importancia a las actividades de investigación, al juzgar Curricula Vitae, ha provocado que un gran número de personas se hayan dedicado con menor ahínco a las tareas docentes y asistenciales.

Son culpables de esta situación los que, en los concursos, por comodidad tal vez (por ser más fácil evaluar cuantitativa y hasta cualitativamente el producto de la investigación), cuentan sólo el número de publicaciones (y, en casos de mayor sofisticación, el número de citas o el índice de impacto de la revista), sacrificando una evaluación más holística de las capacidades del profesor universitario.

Es necesario comprometerse a perfeccionar parámetros que permitan la evaluación de las demás actividades: ¿Cuántas clínicas disponen, actualmente, de datos que permitan evaluar objetivamente las actividades asistenciales como, por ejemplo, índices de eficiencia de cada médico (índice de resolución, de alta, de cura, etc.) ?

Es muy importante explicar el carácter constructivo de la nueva propuesta de evaluación académica, aclarando que no habrá ninguna punición como consecuencia de la implantación del programa. Los datos y resultados individuales están disponibles apenas para el candidato evaluado, y son llevados a público en este artículo sólo los contenidos de características generales, sin detalles que expongan a los candidatos, individualmente. Este tipo de gestión de los recursos públicos, al asegurar el derecho a la información de los interesados, favorece la transparencia de las decisiones.

La gestión del proceso de evaluación fue claramente beneficiada por una conducción centralizada que definió un conjunto de estrategias y coordinó las acciones para instrumentarlas.

La cuestión de la evaluación está diferenciada en las diversas áreas del saber y de las artes. Así, nuestra Tabla presenta parámetros adecuados para la Medicina (Swain). Cuando se analizan los datos referentes a los indicadores generales para docencia, investigación y extensión, que mejor caracterizan la valorización de la productividad académica individual (aplicada para la Tabla de Puntaje, en los años 1998, 1999 y 2000), si estos resultados son comparados con las otras evaluaciones realizadas anteriormente para otorgar los premios anuales, resulta fácil reconocer que existe fuerte correlación entre ambas evaluaciones (Tabla I). Esto debería llevar a pensar que la experiencia es rica en demostraciones y que, a pesar de la utilización de parámetros diferentes para evaluar la productividad individual, año a año, aquellos académicos que publican investigaciones de mejor calidad, son también responsables de la formación de la mayor parte de los recursos humanos, obtienen más subsidios extra-presupuestarios, y aceptan más cargos administrativos.

La cuestión de legitimidad tiene que definirse en la diversidad de competencias que la Institución tiene. Así, fue preciso un refinamiento en los instrumentos de análisis y la acumulación de una memoria para aclarar el presente. El tipo de evaluación utilizado en este estudio permite un puntaje que, partiendo de criterios que ponderan cada una de las actividades, lleva a la posibilidad de clasificación y, de esta manera, división en rangos del cuerpo académico. Siendo así, subgrupos de académicos pueden ser diferenciados mediante un escalafón que les permita recibir un complemento salarial según su productividad individual.

Los instrumentos de evaluación son la expresión operacional de un proyecto político. El propio término "evaluación" significa "dar valor", atribuir valor, mayor o menor, a cierta actividad. A partir de esta base de datos individuales sobre el desempeño cuantitativo y cualitativo de sus académicos, la Facultad puede evaluar la calidad de sus programas y detectar áreas que necesiten desarrollo y apoyo específico. De este modo, se puede clasificar el objeto evaluado con relación al objetivo que se busca, proveer instrumentos de fomento cuando los objetivos no son alcanzados y, sobre todo, estimular a aquellos que alcanzan los objetivos pre-definidos. Por lo tanto, cualquier proceso de evaluación debe presentar como requisitos: objetivos claros, metodologías de resultados muy bien definidos, aceptación previa por parte de los interesados e instancias de recursos y apelaciones.

Es importante que el sistema de evaluación sea permanentemente revisto, ya que resulta esencial que exista plena conciencia de las limitaciones del método; pero estas últimas no pueden producir amedrentamiento al punto de paralizarnos en la inacción total.

En realidad, las personas no quieren ser evaluadas. A cada uno de nosotros nos gustaría que nos evaluaran por aquello que uno cree que es capaz de hacer; pero los demás van a evaluarnos por lo que ya hemos hecho.

Existe una tendencia a evaluar a través de los medios y métodos, por ejemplo: ¿cuántos investigadores tiene el laboratorio? ¿cuántos con dedicación exclusiva? ¿con qué aparatos cuenta? ¿qué recursos financieros consiguió en los últimos años?

Una evaluación más eficiente debería considerar el producto final. Como ocurre con cualquier método, la bibliometría puede ser criticada (Moed et al.; Linardi et al.; Seglen; Editorial Nature y Adam). Pero tampoco debemos exagerar, haciendo apología de la ignorancia: existiendo un método y pudiendo usarlo para contar con más subsidios con el fin de tomar una decisión ¿Por qué no hacerlo? Dado que estos datos bibliométricos ya existen y resultan accesibles para cualquiera que quiera buscarlos, lo que se debe considerar es el análisis de tales datos y no el método por medio del cual se recabó la información (que ya está disponible en cualquier biblioteca que posea el Science Citation Index y el Journal Citation Reports) (ISI, ver las Referencias Bibliográficas).

Entonces poseemos una información valiosa y nuestra pregunta ahora debería ser: ¿cómo aplicarla a la gestión?

Al analizar la necesidad de implantar un método nos enfrentamos con dos opciones que representan dos actitudes diferentes:

a) tratar de imaginar todas las hipótesis de trabajo posibles, aplicarles el método, descubrir las fallas teóricas que presentará en las situaciones hipotéticas testadas e ir perfeccionándolo sucesivamente antes de implantarlo; o

b) implantarlo, hacerlo funcionar e ir corrigiendo las imperfecciones sobre la marcha.

La segunda opción es la que más se ha popularizado en los últimos años debido, entre otras razones, a la informática: si antes de implantar un programa hubiera que imaginar todos los problemas hipotéticos que su uso podría provocar (la mayoría de los cuales nunca ocurrirá en la vida real) se demoraría años; es mejor ponerlo a funcionar e ir corrigiendo los problemas que pudieran surgir.

Por lo tanto, hemos considerado que para evaluar sería recomendable utilizar el mejor criterio disponible en el momento, en lugar de esperar el desarrollo completo de un criterio ideal.

Las actitudes aquí analizadas tienden a una profesionalización de la gestión de la actividad universitaria, en oposición a la subjetividad que implica el método tradicional de la evaluación por los colegas o pares. (Cole et al., 1981 y Ernst et al., 1993).

Así, llegamos a la siguiente conclusión: el espíritu universitario implica el respeto por la diversidad, siempre que ésta sea controlada por la calidad, que deberá estimarse por medio de evaluaciones.

AGRADECIMIENTOS

Los autores desean hacer pública su gratitud al Prof. Dr. Eduardo Massad, Vice-Decano de la Facultad de Medicina de la Universidad de San Pablo (Brasil), cuyo apoyo moral y material permitió la ejecución de este trabajo. Marcos E. Montes sugirió valiosas correcciones estilísticas que mejoraron la calidad del texto, y Alcir da Fonseca diseñó las Figuras.

SUMMARY: The University of São Paulo compares favourably with a middle-ranking research university in the United States. Peer review at its School of Medicine is basically honest. However, in today's world of intense specialization, most medical subdisciplines are simply too small and close-knit to allow for objective peer review from within. Moreover, the biomedical sciences have come to the point where there is no real separation between the disciplines. Most university faculties are poorly paid public servants who have a job for life, and a salary paid by the government. In São Paulo, Brazil, state universities receive around 10% of the state taxes; sooner or later they will have to have something to show for it. Following three decades of very low wages, the present system pays salaries to non-productive staff and results in poor peer review of academic productivity. Our School of Medicine receives substantial support through a private foundation set up for that purpose. An efficient use of resources should include a budgetary system that provides the faculty staff with incentives to excel in academic activities. This has been obtained by complementing the low wages through the awarding of fellowships, grants and prizes (on top of salary) in order to raise the ceiling up to international standards. To spend part of the budget in complementing university faculties salaries would require special programs, including adoption of routines for regular assessment of academic productivity. Reliable performance indicators permitted the classification of faculty staff into quality categories in order to differentially complement their salaries according to productivity. The selection of individuals is based strictly on merit, with explicit guidelines helping the faculty to understand the criteria by which their requests will be judged. Budgetary priorities should be intended to enhance the ability to deliver high quality health care to patients and to provide medical education as a whole, and combine a more equitable distribution of clinical and basic research. Thus, several parameters were defined for monitoring productivity in health-related areas, including the activities of the Clinical Hospital's medical labour force, in addition to the formal academic career at the School of Medicine. Trends for performance indicators presented here can be useful to inform the decision process about policies directed at health science research, medical education and public health priorities, because the parameters employed were intended to extend the analyses of the results of academic activity (frequently based on publication outputs) to its educational impact and the quality of health care to patients. This evaluation program, and the resulting focused investments, have played an important role in boosting morale in the academic community by offering the right combination of pressure and incentives to allow dramatic improvement in productivity. The implementation of the evaluation method proposed here should, thanks to its objective approach, free Deans and managers of the usual political issues involved in decision-making.

KEY WORDS: 1. Academic productivity; 2. Academic performance; 3. Academic evaluation; 4. Incentive programs; 5. Medicine.

REFERENCIAS BIBLIOGRÁFICAS

Adam, D. Citation analysis: the counting house. Nature, 415: 726-9, 2002.         [ Links ]

Associação dos Docentes da Universidade de São Paulo. Avaliação da docência, uma questão-chave. Revista ADUSP, 22:33-66, 2001a.         [ Links ]

Associação dos Docentes da Universidade de São Paulo. As tabelas de premiação por desempenho da FMUSP. Revista ADUSP, 24:68-72, 2001b.         [ Links ]

Biondi, A.; Correia, C.T.; Menna-Barreto, L. & Pomar, P. E. R. Publicações, CERT e o reitor: avaliação ilegítima, ilegal e persecutória. Revista ADUSP, 22:23-32, 2001.         [ Links ]

Cole, S. Citations and the evaluation of individual scientists. Trends Biochem. Sci., 14:9-13. 1989.         [ Links ]

Cole, S.; Cole, J. R. & Simon, G. A. Chance and consensus in peer review. Science, 214:881-6, 1981.         [ Links ]

Editorial. Citation data: the wrong impact. Nature Neuroscience, 1:641-2, 1998.         [ Links ]

Ernst, E.; Saradeth, T. & Resch, K. L. Drawbacks of peer review. Nature, 363:296, 1993.         [ Links ]

Folha de São Paulo. Quem é a elite científica brasileira: a lista dos produtivos. Folha de São Paulo. 21/05/1995;5:4-6.         [ Links ]

Fromer, A. A pesquisa da USP mostra que 1/4 dos docentes nada produz. Folha de São Paulo, 21/02/1988; A28-A32.         [ Links ]

ISI (Institute for Scientific Information) citation database, available for Brazilian research institutions in Internet page: http://webofscience.fapesp.br         [ Links ]

Krauskopf, M.; Vera, M. I. & Albertini, R. Assessment of a university's scientific capabilities and profile: the case of the faculty of biological science of the Pontificia Universidad Catolica de Chile. Scientometrics, 34:87-100, 1995.         [ Links ]

Linardi, P. M.; Coelho, P. M. Z. & Costa H. M. A. The "impact factor" as a criterion for the quality of scientific production is a relative, not absolute, measure. Braz. J. Med. Biol. Res., 29:555-61, 1996.         [ Links ]

Marcondes, E.; Fujimura, I.; Mascaretti, L. A. S. & Vanzolini, M. E. Programa de avaliação curricular da FMUSP: o ano de 1994 e o período de 1988-1994. Rev. Hosp. Clín. Fac. Med. São Paulo, 78-80, 1996.         [ Links ]

Moed, H. F.; Burger, W. J. M.; Frankfort, J.G. & Van Raan, A. F. J. A comparative study of bibliometric past performance analysis and peer judgement. Scientometrics, 8:149-59, 1985.         [ Links ]

Montes, G. S. Distribución de los recursos financieros de acuerdo con la productividad (determinada por bibliometría) en los Laboratorios de Investigación Médica del Hospital de Clínicas, de la Facultad de Medicina de la Universidad de San Pablo (Brasil). Rev. Méd. Chile, 128:431-6, 2000.         [ Links ]

Pereira, J. C. R.; Pires, M. L.; Duarte, P. S.; Paes, A. T. & Okano, V. Introducing a method of research evaluation into a university: medical research at the University of São Paulo, Brazil. Res. Eval., 6:37-42, 1996.         [ Links ]

Seglen, P. O. Why the impact factor of journals should not be used for evaluating research. British Med. J., 314:498-502, 1997.         [ Links ]

Swain, J. L. Is there room left for academics in academic medicine? J. Clin. Invest., 98:1071-3, 1996.         [ Links ]

Dirección para correspondencia:
Prof. Dr. Gregorio Santiago Montes
Laboratorio de Biología Celular
Facultad de Medicina
Universidad de San Pablo
Av. Dr. Arnaldo 455. CEP: 01246-903
San Pablo ­ SP, BRASIL.

Teléfonos: (55-11) 3062-2188; (55-11) 3066-7241.

FAX: (55-11) 3085-1234.

E-mail: gsmontes@usp.br

Recibido : 24-06-2002

Aceptado: 25-07-2002 


Este artículo está basado en parte de una conferencia inédita que el primero de los autores pronunció ante el III Congreso de Anatomía del Cono Sur, XXXVIII Congreso Argentino de Anatomía y XXII Congreso Chileno de Anatomía, que tuvieron lugar en la Sociedad Científica Argentina (Buenos Aires, 22 al 25 de octubre de 2001).

* Facultad de Medicina, Universidad de San Pablo, Brasil.

** Instituto de los Laboratorios de Investigación Médica, Hospital de Clínicas de la Facultad de Medicina de la Universidad de San Pablo, Brasil.

*** Facultad de Medicina, Universidad de La Frontera, Temuco, Chile.

* Extraída de: Associação dos Docentes da Universidade de São Paulo (2001b).