SciELO - Scientific Electronic Library Online

 
vol.39 número118COMPETENCIA Y RESULTADOS EDUCATIVOS: TEORIA Y EVIDENCIA PARA CHILEDESIGUALDAD EDUCACIONAL EN CHILE: GEOGRAFIA Y DEPENDENCIA índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Cuadernos de economía

versión On-line ISSN 0717-6821

Cuad. econ. v.39 n.118 Santiago dic. 2002

http://dx.doi.org/10.4067/S0717-68212002011800004 

Cuadernos de Economía, Año 39, Nº 118, pp.353-394 (Diciembre 2002)

 

EVALUACION DEL DESEMPEÑO E INCENTIVOS
EN LA EDUCACION CHILENA*

Alejandra Mizala**
Pilar Romaguera***

ABSTRACT

This paper emphasizes the importance of assessment and incentive systems in education. In particular, it analyzes the design and implementation of the National System of Performance Assessment applied in Chile since 1996. In the first place, we discuss the methodological challenges faced by evaluation and incentives systems in education, particularly in relation to the indicators that should be taken into account for evaluations, and how comparisons can be made between schools serving student populations with widely differing socioeconomic characteristics. In the second place, we describe how the Chilean school evaluation system has been implemented and present some results of its application. Finally, we contrast the Chilean system with alternative measures of school performance.

RESUMEN

Este artículo discute la importancia de aplicar sistemas de evaluación e incentivos en el ámbito de la educación. En particular, analiza el diseño e implementación del Sistema Nacional de Evaluación del Desempeño de los Establecimientos Educacionales Subvencionados (SNED), que ha sido aplicado en Chile desde 1996. En el trabajo se discuten los desafíos metodológicos que enfrentan los sistemas de evaluación e incentivos en educación; se describe la forma como se ha implementado el SNED; se analizan sus resultados y, finalmente, se contrasta el SNED con medidas alternativas de desempeño de los establecimientos educacionales.

1. Introducción: Importancia de los Sistemas de Evaluación e Incentivos

En la literatura económica y en el campo de las políticas públicas ha adquirido creciente importancia el tema de la calidad de la educación. Ello ha estado asociado, también, a un creciente interés por cuantificar los resultados del proceso educativo, por utilizar en forma eficiente los significativos recursos que los países destinan a la educación y por introducir sistemas de incentivos que permitan motivar a los distintos agentes a mejorar la calidad del sistema educativo.

Más aún, las propias dificultades para evaluar el proceso educativo acrecientan la importancia de los esquemas de incentivos. Dado que la calidad de la enseñanza no es directamente observable, surgen problemas de asimetrías de información post contrato, como en el modelo agente-principal.1 En el caso de la educación es interesante notar que hay múltiples relaciones agente-principal y, por otra parte, algunos actores son agentes o principales dependiendo del punto de vista desde donde se realice el análisis; éste es el caso, por ejemplo, de los directores de establecimientos (González, 1998). Una de las formas en que se han enfrentado las asimetrías de información post contrato es a través de sistemas de incentivos, que motiven a los agentes a realizar un trabajo de óptima calidad.

En la literatura ha existido un creciente debate sobre las ventajas e inconvenientes de los incentivos en educación. Por una parte, las experiencias pasadas con estos esquemas _como los incentivos al mérito (merit pay) aplicados en Estados Unidos_ no fueron exitosas. Por otra, surge la necesidad de diseñar nuevas políticas educacionales orientadas a mejorar la calidad de la educación, ya que el significativo aumento del gasto público, realizado por numerosos países en las últimas décadas, no se ha traducido en mejoras apreciables en los sistemas educativos. Más aún, hay quienes han argumentado que "... el componente perdido en las reformas implementadas ha sido un sistema adecuado de incentivos para estudiantes, profesores y administradores en los colegios públicos".2

En este escenario, la experiencia chilena es muy interesante. A partir del año 1996, se introduce el Sistema Nacional de Evaluación del Desempeño de los Establecimientos Educacionales Subvencionados (SNED), que entrega estímulos monetarios a los docentes de los establecimientos seleccionados por su buen desempeño; la evaluación se realiza a nivel de establecimiento y tiene como criterio fundamental los resultados académicos de los alumnos.

El SNED es, en primer lugar, un premio al desempeño de los docentes, premio que busca incrementar la motivación de los mismos. Adicionalmente, entrega información a la comunidad escolar, integrando la medición de distintos aspectos relacionados con la calidad de la enseñanza, y comparando establecimientos que atienden a una población similar en términos de sus características socioeconómicas.

Existen dos características del sistema educativo chileno que acrecientan la importancia de un sistema de incentivos como el SNED: (i) una estructura de remuneraciones de los profesores muy plana; (ii) una significativa dispersión del rendimiento educacional de los alumnos entre distintos tipos de establecimientos.

La estructura de las remuneraciones de los profesores en Chile se basa en escalas uniformes de sueldos, cuyos incrementos se otorgan principalmente sobre la base de los años de experiencia; por lo tanto _a diferencia de otros profesionales_ la varianza de los ingresos de los profesores es muy baja. Ello significa que el salario está determinado por consideraciones ajenas al desempeño y es independiente de la calidad del docente3.

El segundo argumento a considerar surge del propio análisis de los test estandarizados de rendimiento, como es la prueba SIMCE. Esta prueba se aplica en Chile desde el año 1988 en forma alternada a los 4° y 8° años de enseñanza básica (EB) y en forma más reciente al 2° año de enseñanza media (EM); comprende pruebas de matemáticas y castellano, y en los últimos años se han agregado pruebas de historia y geografía y ciencias naturales. Los resultados de estas pruebas señalan una significativa dispersión del rendimiento escolar entre colegios, aun entre aquellos que atienden a una población con características socioeconómicas similares. Como una ilustración de ello, el Gráfico 1 muestra los resultados del SIMCE de 4° año de enseñanza básica de 1996 según el grado de vulnerabilidad del establecimiento escolar.4

Si bien hay una fuerte correlación negativa entre el índice de vulnerabilidad y el puntaje SIMCE (a mayor nivel de vulnerabilidad menor es el puntaje promedio), existe una elevada dispersión de puntajes entre colegios que atienden a una población vulnerable; es decir, también los establecimientos que atienden a una población muy pobre son capaces de obtener un alto rendimiento escolar.5

Los gráficos 2 y 3 presentan antecedentes adicionales referidos a la prueba SIMCE de 2° medio de establecimientos de la Región Metropolitana en 1998. En un formato diferente al presentado previamente, estos gráficos también ilustran las diferencias de puntaje entre establecimientos escolares.

El Gráfico 2 presenta el puntaje promedio por establecimiento escolar, obtenido directamente de los resultados de la prueba SIMCE de castellano. El Gráfico 3 presenta el puntaje de esta prueba atribuible a cada establecimiento, una vez que se ha controlado por las características socioeconómicas de los alumnos.6

En el Gráfico 2 se observa que los resultados del SIMCE de 2° EM fluctuaron entre un mínimo de 160 y un máximo de 340 puntos. El Gráfico 3 presenta el puntaje SIMCE atribuible a cada establecimiento respecto a una media centrada en el valor cero, una vez que se ha controlado por el efecto del nivel socioeconómico de los alumnos (índice que integra la educación de los padres y el nivel de ingreso del hogar) sobre los resultados del SIMCE. Este coeficiente, que denominamos efecto colegio, fluctúa desde un mínimo de _120 a un máximo de 70 puntos.7

La existencia de significativas diferencias de rendimiento entre colegios que atienden a una población similar en términos socioeconómicos avala la importancia de premiar a los docentes que logran un mejor desempeño escolar entre sus alumnos. En definitiva, estos antecedentes destacan la importancia de medir el desempeño escolar, de otorgar transparencia al sistema educativo y de diseñar esquemas de incentivos que estimulen a los docentes a mejorar la calidad de la enseñanza.

El objetivo de este estudio es analizar la experiencia chilena en relación a la evaluación del desempeño de los establecimientos educacionales y la entrega de incentivos monetarios a los docentes; en particular, interesa analizar la experiencia del SNED. La sección 2 presenta una breve revisión de la experiencia internacional relativa al uso de incentivos en educación. La sección 3 describe la metodología del SNED y analiza los resultados de su aplicación. La sección 4 discute mediciones alternativas del desempeño de los establecimientos educacionales. La última sección resume las conclusiones del estudio.

2. Revisión de la Experiencia Internacional Relativa al Uso de
Incentivos en la Educación

Ha existido un gran debate en la literatura sobre las ventajas e inconvenientes de introducir incentivos en la educación, principalmente a raíz de las experiencias pasadas de merit pay en Estados Unidos, las que se revisan más adelante.

Asimismo, una serie de trabajos han investigado la relación entre salarios, calidad de los profesores y el logro educativo de los alumnos. La evidencia empírica muestra que hay una fuerte vinculación entre la calidad de los profesores y el logro educativo de los alumnos (Rivkin, Hanushek y Kain, 1998); sin embargo, la evidencia acerca de la relación entre la calidad de los profesores y sus salarios no es concluyente (Hanushek, Rivkin y Kain (1999); Figlio (1997); Ballou y Podgursky (1997)).

La literatura ha relacionado la calidad de los docentes con su estructura salarial en dos aspectos (Cohn, 1996):

(i) bajos salarios y poca dispersión entre ellos impiden reclutar y retener a los mejores alumnos en las carreras de pedagogía.

(ii) salarios parejos no discriminan entre áreas de enseñanza y niveles de desempeño.

Las soluciones que se han propuesto se pueden agrupar de la siguiente manera:

(i) aumento generalizado de salarios, lo cual no discrimina entre buenos y malos profesores; además, como resultado de los incrementos salariales disminuyen las renuncias voluntarias y los puestos de trabajo se hacen más escasos; esto no estimula a buenos estudiantes que tienen opciones alternativas fuera del ámbito educacional a seguir la carrera de pedagogía y mantiene a quienes no tienen mejores alternativas (Ballou y Podgursky, 1997).

(ii) pagos por mérito, el que tiene dos formas de implementarse: a través de las carreras académicas y a través del pago de incentivos monetarios (Benson, 1974; Carnegie Forum, 1986). Estos últimos pueden ser individuales, o a nivel de colegio (school awards), pudiendo coexistir también ambos tipos de esquemas.

(iii) mejoras no salariales: clima laboral, trato a los docentes y seguridad en el empleo.

En esta revisión nos centraremos en los pagos por mérito, ya que es más cercano al sistema de incentivos del SNED que se aplica en Chile.8

En Estados Unidos se implementaron varias experiencias de sistemas de pagos por mérito, y en prácticamente todos los casos estos pagos tuvieron un carácter individual (merit pay). La aplicación de estos sistemas no tuvo resultados positivos, y en general fueron descontinuados.

A nivel de América Latina, encontramos como ejemplos de sistemas de incentivos individuales los casos de Bolivia y México. En el caso de Bolivia, se trató de implementar un sistema de "salario al mérito", basado en pruebas de calificación de los profesores, sistema que enfrentó muchas dificultades. México tiene en aplicación un sistema de carrera magisterial de amplia difusión y en 1997 participaban en él un 50% de los profesores del país.

Los principales problemas que han presentado los pagos al mérito individuales son: 9

· Comportamiento oportunista: se incentiva el individualismo, ignorando la necesaria interdependencia que debe existir en el proceso educativo y generando un clima laboral competitivo y no cooperativo.

· Dificultades para identificar el desempeño individual de los docentes. En la mayoría de los casos se ha utilizado como medida de desempeño el logro estudiantil; pero en un sistema de incentivos individuales se requiere adicionalmente asociar a cada profesor el logro de los alumnos.

· En los sistemas basados en evaluaciones de alumnos se han generado comportamientos perversos, como seleccionar alumnos e impedir que determinados alumnos rindan las pruebas estandarizadas a través de las cuales se mide el logro estudiantil.

· En los sistemas basados en evaluaciones de los profesores (pruebas de suficiencia) se han dado situaciones en que un número elevado de docentes ha fracasado en dichas pruebas, lo que ha derivado en fuertes presiones políticas en contra de estos sistemas.

Aunque se deben reconocer las limitaciones de medir el logro estudiantil a través de test estandarizados, es difícil negar la importancia de esta información en el proceso de evaluación del desempeño de los establecimientos; los estudios realizados muestran que los puntajes de los test son un buen predictor del desempeño futuro de los niños y jóvenes en el mercado laboral. Por otra parte, para utilizar adecuadamente las mediciones obtenidas de los test, es necesario tener simultáneamente información acerca de otras variables, como las socioeconómicas, que influyen en estos resultados y que no dependen del establecimiento educacional, de forma de poder corregir los resultados obtenidos (Hanushek, 1986; Cohn y Millman, 1975; y Meyer, 1993).

Alternativamente, los premios docentes podrían basarse en la apreciación del director sobre el desempeño individual de los profesores; sin embargo, en este caso no existe una medida objetiva tangible y cuantificable de la calidad de la labor educativa realizada. La literatura de contratos indica que el pago según méritos es efectivo cuando la naturaleza de la actividad es tal que los supervisores puedan entregar respuestas relativamente convincentes a preguntas como: ¿por qué un determinado profesor obtuvo compensación por buen desempeño y yo no?, o ¿qué debo hacer para obtener un premio por buen desempeño? (Murnane y Cohen, 1986).

Las dificultades señaladas han determinado que muchas de las experiencias pasadas de aplicación de sistemas de incentivos individuales a los docentes no hayan sido exitosas. En la práctica, lo que ha ocurrido es que los premios o bonos han terminado siendo de un monto bajo y, por tanto, sin un impacto significativo en el comportamiento de los docentes, o en su defecto la gran mayoría de los profesores han sido elegibles para los premios, diluyéndose la idea de premiar a los mejores y convirtiéndose esto en un aumento generalizado de salarios.

Sin embargo, en los EE.UU. hay experiencias exitosas con premios por desempeño realizados al conjunto del establecimiento educacional. Se han desarrollado programas de incentivos a nivel de colegios en los estados de Georgia, Indiana, Kentucky, Texas (Dallas), North Carolina, South Carolina, Tennessee y Florida, entre otros.

En South Carolina los establecimientos educacionales compiten por los incentivos al interior de cinco grupos de comparación. Estos grupos son construidos a base de variables como el porcentaje de estudiantes que participan en el programa de almuerzos gratuitos, el porcentaje de estudiantes que reciben almuerzos subsidiados, los años de educación de los profesores y el porcentaje de estudiantes que alcanzan los estándares de lectura de la prueba CSAB (Cognitive Skills Assessment Battery)10. Se utilizan tres criterios de desempeño escolar para determinar los colegios premiados; el más importante es la mejora de los estudiantes, entre dos años consecutivos, en las pruebas estandarizadas de conocimiento; además se considera la asistencia de los profesores y la asistencia de los alumnos.

La mejora en el desempeño se calcula como la diferencia entre el desempeño efectivo del establecimiento en los test estandarizados y el desempeño esperado, estimado en base a los resultados en las pruebas del año anterior. El esta- blecimiento recibe 80% del premio si su mejora en el desempeño es superior al estándar establecido para su grupo, un 90% del premio si además cumple con los estándares de asistencia estudiantil y un 100% del premio si cumple también con los estándares de asistencia de profesores. El incentivo consiste en un monto de dinero por alumno que se le entrega a los colegios que han sido bien evaluados; estos recursos se deben utilizar para financiar proyectos educativos diferentes al pago de salarios (Richards y Ming Sheu, 1992; Mandeville, 1994).

La experiencia en South Carolina ha sido bien evaluada, si bien el esquema de incentivos a los colegios es sólo una de las reformas implementadas en la década de los ochenta, y por tanto es difícil asociar las mejoras a una política en particular11. Los resultados observados han sido: mejoras en las pruebas de escritura, aumento de la asistencia de estudiantes y profesores, aumento de los estudiantes que ingresan a la universidad, mejora en el desempeño en habilidades básicas, aumento de los estudiantes que toman cursos avanzados (Peterson, 1991).

Asimismo, Dallas ha desarrollado un sistema de evaluación del desempeño de los establecimientos educacionales, el que está asociado al pago de incentivos monetarios. La principal medición de desempeño está basada en pruebas estandarizadas de conocimientos y se incluyen también variables como tasas de deserción, asistencia de los estudiantes y tasas de aprobación. Para cada una de las variables se calcula la diferencia entre el valor efectivo y el esperado, donde este último se calcula a base de una regresión a nivel del establecimiento educacional, a diferencia de South Carolina. En este caso los resultados de las pruebas se ajustan econométricamente para tomar en cuenta las características socioeconómicas de los alumnos.12 Esta metodología, si bien intenta ser justa para los establecimientos, alcanza un elevado grado de complejidad que la hace incomprensible para aquellos que están siendo evaluados y premiados en base a ella. El premio para los colegios ganadores consiste en un bono de US$1000 para cada uno de los profesores y el director y de US$500 para los funcionarios administrativos. Además, se otorga un monto de US$2000 para financiar actividades del establecimiento y los establecimientos ganadores reciben un reconocimiento público (Clotfelter y Ladd, 1996).

Una evaluación de la experiencia de Dallas es realizada por Ladd (1999), quien usa datos de panel para comparar las mejoras en el desempeño de los alumnos de Dallas con colegios de ciudades grandes del estado de Texas. Concluye que hay un impacto significativo y positivo para los estudiantes latinos y blancos de séptimo grado, pero no para los estudiantes negros. También encuentra resultados positivos en relación a las tasas de deserción estudiantil y la rotación de directores de establecimientos.

Otro caso interesante es el del estado de Florida, que tiene un sistema de evaluación de establecimientos educacionales desde 1985. En 1996 comenzó con un sistema de clasificación de escuelas, para determinar aquellas que estaban bajo los estándares mínimos, pero este sistema era sólo informativo. En 1999 éste se reformó, teniendo claras consecuencias tanto para aquellos establecimientos que muestran buenos como malos resultados. El sistema consiste en clasificar a los establecimientos públicos y a los charter schools de acuerdo a su calidad con notas desde la A a la F; estas notas están basadas en su mayor parte en pruebas estandarizadas de logro y, en menor medida, en otros resultados educativos como tasas de asistencia, tasas de egreso, etc.13 Si los establecimientos tienen buen desempeño, nota A o una mejora sistemática de sus notas de un año a otro, reciben un premio de US$100 por alumno, el que pueden destinar a contratar nuevos profesores o a pagos adicionales a los profesores existentes. Si tienen un mal desempeño, nota F durante dos años en un horizonte de cuatro años evaluados, el estado le entrega vouchers a los alumnos, para que puedan cambiarse a un establecimiento privado o alternativamente trasladarse a un colegio público evaluado con nota C o más. Hasta la fecha ha habido poca experiencia con los vouchers: alrededor de 200 alumnos de un universo de 2,5 millones utilizan este sistema y la razón reside en que pocos establecimientos fueron evaluados con nota F; no obstante, a partir del año 2002 los estándares han sido incrementados, por lo que se espera tener alrededor de 57 mil alumnos con vouchers. Para recibir una nota A o B un colegio debe asegurar que sus estudiantes con desventajas, ya sean socioeconómicas o raciales, alcancen como mínimo los estándares requeridos para obtener nota C (Figlio y Lucas, 2000).

La otra forma que toman los pagos por mérito son las carreras académicas, en que determinados profesores con buen desempeño son promovidos a cargos de mayor jerarquía. La experiencia con este tipo de incentivos muestra que (Malen, Murphy y Hart, 1988): (i) en muchos casos resulta que los mejores profesores dejan de hacer clases para dedicarse a labores administrativas; (ii) el resultado de este tipo de promoción depende en forma significativa de las características institucionales del establecimiento educacional; (iii) el resultado también depende de la credibilidad de la persona que es promovida; el sistema no funciona si el resto de los colegas piensa que la persona no merece la promoción; (iv) el rol del director del establecimiento también es muy importante, ya que él o ella es quien debe brindarle apoyo a la persona promovida; (v) este tipo de carrera académica muchas veces genera conflictos entre colegas.

A pesar de sus limitaciones, algunas experiencias interesantes de carreras académicas han sido implementadas en el estado de Tennessee y en Orange County, en el estado de Virginia en los EE.UU. (Brandt, 1990).

De la revisión de la experiencia internacional se obtienen algunas lecciones que debieran ser tenidas en cuenta al diseñar los sistemas de incentivos:

i) Los incentivos grupales, que premian al conjunto de los docentes del establecimiento, han adquirido una mayor relevancia en los últimos años. Para evitar comportamientos tipo "polizón" es importante que la dirección del establecimiento (quien conoce bien a los mejores profesores) pueda premiar, por encima del resto, a los mejores docentes ya sea con un bono mayor o a través de premios honoríficos.

ii) Es muy importante que los profesores tengan la percepción de que el sistema es justo. Esto significa que al momento de premiar se deben comparar a individuos y entidades comparables.

iii) Los indicadores utilizados deben combinar distintos criterios incluyendo diferentes tipos de logros, de forma de considerar las características multiproducto del proceso educativo.

iv) Se debe corregir por posibles sesgos que se produzcan, evitando comportamientos perversos, como es la discriminación de alumnos con problemas de aprendizaje.

v) El sistema debe ser transparente y validado socialmente.

En la próxima sección resumimos la experiencia del SNED, el cual incorpora varios de los elementos aprendidos al examinar la experiencia internacional.

3. La Aplicación del SNED en Chile

Chile ha introducido reformas novedosas en el sistema educativo en las últimas décadas: descentralización, subsidios a la demanda y elección de colegios como estímulos a la competencia, evaluaciones estandarizadas como la prueba SIMCE, programas especiales de mejora en la calidad y equidad de la educación como el MECE (mejora de la equidad y la calidad de la educación), programas de apoyo focalizado a las escuelas más pobres (P-900), extensión de la jornada escolar y renovación curricular, entre otras políticas relevantes.

En los últimos años la política educacional se ha focalizado en dos grandes objetivos: mejorar la calidad de la educación y lograr una mayor equidad en su distribución. Es en este contexto que se implementa el Sistema Nacional de Evaluación del Desempeño de los Establecimientos Educacionales Subvencionados (SNED), a través de la ley N° 19.410 del año 1995.

El SNED introduce dos elementos adicionales muy importantes dentro del conjunto de reformas implementadas, que refuerzan los incentivos para mejorar la calidad de la educación: (i) posibilita una mejor información sobre el resultado educativo del establecimiento escolar; (ii) establece un incentivo a los docentes para mejorar la calidad de la enseñanza.

La reforma educacional de los años 80 instauró un incentivo a la demanda en que los fondos, en la forma de una subvención por alumno, siguen a los niños cuyos padres pueden elegir el colegio donde matriculan a sus hijos, ya sea éste municipal (público) o particular subvencionado. El SNED es un complemento importante del actual sistema educativo porque introduce un incentivo a la oferta que está asociado directamente a los docentes14. Esto es así porque el incentivo a mejorar la calidad vía la competencia entre colegios por captar alumnos no es suficiente; por una parte, dado que en muchos lugares por razones de tamaño de las ciudades, accesibilidad geográfica u otras, no existen alternativas educacionales y por tanto no se da en la misma medida la presión por calidad que genera la posibilidad de que los padres "voten con los pies" y cambien a sus hijos de colegio si éste no entrega una educación adecuada. Por otra parte, para que el sistema de elección de colegios ejerza efectivamente presión para mejorar la calidad de la educación se requiere que los padres estén informados acerca del desempeño de los establecimientos educacionales; éste es un aspecto en que hay importantes asimetrías de información entre padres y establecimientos; asimismo, hay importantes diferencias en el grado de información entre las familias, dependiendo del capital humano de los padres; por ello es importante generar información acerca del desempeño educacional de los establecimientos.

Como se mencionó, el sistema de incentivos del SNED está orientado a todos los establecimientos de educación básica y media del país, financiados por el Estado. Es decir, se aplica tanto a los establecimientos municipales como a los particulares subvencionados.15

El SNED estipula que los establecimientos cuyo desempeño ha sido calificado como excelente recibirán como incentivo una subvención de excelencia; dichos establecimientos se seleccionan cada dos años y representan el 25% de la matrícula regional. El 90% de los montos asignados debe destinarse directamente a los profesores del establecimiento premiado y ser distribuido de acuerdo al número de horas cronológicas de desempeño, en tanto el 10% restante se destina a un incentivo especial para aquellos profesores que se hubiesen destacado en su labor; la forma de distribución de este 10% es definida por cada establecimiento. La subvención por desempeño de excelencia corresponde a un monto mensual por alumno, en pesos, y se entrega trimestralmente a los sostenedores de los establecimientos educacionales subvencionados que hayan sido calificados como de excelente desempeño.

El SNED ha sido aplicado en cuatro ocasiones16: (i) período 1996-97; (ii) período 1998-99; (iii) período 2000-01. Los criterios generales de aplicación del SNED son los definidos por la Ley N° 19.410. Sin embargo, se han producido algunas modificaciones en su reglamento de aplicación, principalmente entre el primer y el segundo período de aplicación, de forma de perfeccionar su implementación17.

Un sistema de evaluación como el SNED enfrenta dos grandes desafíos de diseño:

(i) ¿cómo comparar los resultados del proceso educativo entre establecimientos que atienden a una población escolar muy disímil, proveniente de distintos estratos socioeconómicos?;

(ii) ¿qué indicadores se deben utilizar en esta evaluación?

A continuación precisaremos cómo resuelve el SNED ambos aspectos.

Cómo se comparan los resultados entre colegios

El SNED es un sistema de evaluación de los docentes que _como veremos_ tiene como componente principal los resultados académicos de los alumnos, medidos a través de la prueba SIMCE. Sin embargo, el SIMCE presenta dificultades de comparabilidad entre establecimientos, dado que sus resultados educativos están determinados en parte por las características socioeconómicas de las familias de los estudiantes18.

Como una forma de ilustrar este punto, el Cuadro 1 presenta los resulta- dos del SIMCE de acuerdo al nivel socioeconómico de las familias, donde A representa el estrato socioeconómico más alto y D el segmento más pobre de la población, de acuerdo a una clasificación de estratos socioeconómicos definida por el SIMCE. Se observa que hay 25 puntos de diferencia entre ambos estratos en la prueba SIMCE de 4° básico de 1996. Para el caso del 2° medio, construimos un Indice Socioeconómico utilizando los antecedentes del SIMCE sobre ingreso de los hogares y educación de los padres. Nuevamente se observan significativas diferencias de puntaje de acuerdo a la condición socioeconómica de la familia.

Para poder comparar establecimientos de similares características, tanto socioeconómicas como geográficas, el SNED construye "grupos homogéneos" a nivel regional, caracterizados por variables socioeconómicas y geográficas similares, y sólo se comparan establecimientos que pertenezcan a un mismo grupo. La metodología de los grupos homogéneos presenta ventajas y desventajas frente a otras metodologías alternativas, como es, por ejemplo, la corrección de los índices brutos a partir de los coeficientes obtenidos de una función de producción19. En el caso del SNED, la utilización de la metodología de grupos homogéneos es en general bien evaluada por los distintos actores involucrados en este proceso20.

La conformación de los grupos homogéneos se realiza a nivel regional21. En primer lugar, los establecimientos de cada región se clasifican dependiendo de si son rurales o urbanos, y si son de enseñanza básica o media (con o sin enseñanza básica). Luego, dependiendo de las características socioeconómicas de los alumnos que asisten a los establecimientos, se establecen grupos al interior de estas clasificaciones; ello se realiza utilizando la técnica estadística de análisis de conglomerados22 y con información sobre las características de cada establecimiento subvencionado del país.23

El Cuadro 2 presenta la información utilizada, la cual se obtiene a partir de estadísticas del Ministerio de Educación, del SIMCE y de la Junta Nacional de Auxilio Escolar y Becas (JUNAEB).

El número de grupos es variable, dependiendo del tamaño y grado de heterogeneidad socioeconómica de la región. En la aplicación del SNED 2000-01 el número de grupos homogéneos varió entre 5 a 11 por región, conformándose un total de 104 grupos homogéneos.24

¿Qué indicadores utilizar? Factores e indicadores del SNED

En términos de los indicadores a utilizar para evaluar a los establecimientos educacionales, hay al menos dos temas por resolver: (i) utilizar indicadores de resultados o de proceso; y (ii) si se opta por los indicadores de resultados, utilizarlos en niveles o su evolución a través del tiempo.

La Ley que creó el SNED estableció que la medición del desempeño de los establecimientos educacionales debía considerar los siguientes seis factores:

- Efectividad: resultado educativo obtenido por el establecimiento;

- Superación: diferenciales de logro educativo obtenidos en el tiempo;

- Iniciativa: capacidad del establecimiento para incorporar innovaciones educativas y comprometer el apoyo de agentes externos en su quehacer pedagógico;

- Mejoramiento de las condiciones de trabajo y adecuado funcionamiento del establecimiento;

- Igualdad de oportunidades: facilidad de acceso y permanencia de la población escolar, además de la integración de grupos con dificultades de aprendizaje;

- Integración y participación de profesores, padres y apoderados en el desarrollo del proyecto educativo del establecimiento.

Estos factores o criterios se miden a través de un conjunto de indicadores, que representan los aspectos específicos a ser evaluados. El Cuadro 3 presenta los factores, los ponderadores y los indicadores asociados a cada factor25.

El Indice SNED se estima para cada uno de los establecimientos escolares del país, utilizando el conjunto de la información presentada en el Cuadro 3. Dada la variedad de información utilizada, es necesario homogeneizar las distintas escalas de medición, para lo cual los distintos indicadores son previamente estandarizados. Finalmente, se seleccionan los establecimientos con mayor puntaje, hasta completar el 25% de la matrícula escolar del grupo homogéneo respectivo, ejercicio que se realiza para cada región del país.

Como se observa, un criterio central en el SNED es el puntaje obtenido por el colegio en las pruebas SIMCE en los distintos niveles escolares. En este sentido, si bien el SNED considera algunos indicadores de proceso, pone el énfasis en los indicadores de resultados del proceso educativo.

En la literatura se ha discutido acerca de cómo usar los puntajes obtenidos en los test estandarizados de logro educativo para evaluar los establecimientos escolares. En particular, hay autores que sugieren utilizar como medición la superación de los mismos estudiantes en dos períodos de tiempo, en vez de utilizar el puntaje absoluto (Meyer, 1996). Sin embargo, esta alternativa tiende a favorecer a los colegios de bajo puntaje, dado que es más fácil mejorar a partir de un punta-je inicial menor y es muy difícil aumentar los puntajes para establecimientos que se encuentran cercanos al tope máximo.26

La experiencia con el SNED destaca la importancia que ambos elementos: nivel de puntaje en las pruebas estandarizadas (Efectividad) y evolución en el tiempo (Superación) estén incorporados en los sistemas de evaluación e incentivos. Si se incluye sólo el factor Efectividad, no se incentiva a los colegios de bajo puntaje a mejorar en el tiempo; si se incluye sólo el factor Superación, se castiga a los colegios que ya tienen altos puntajes en las pruebas estandarizadas.

Otro tema importante se refiere al problema de la discriminación en contra de determinados alumnos por parte de los establecimientos educacionales. El SNED considera este aspecto incluyendo en el factor de Igualdad de Oportunidades, indicadores de discriminación y de sanciones a los alumnos. Es decir, aquellos establecimientos educacionales que discriminan en contra de alumnos (por las razones estipuladas en el Cuadro 3) ven reducido su puntaje y, por tanto, dismi-nuyen su posibilidad de acceder a la subvención de excelencia. Sin embargo, se debe reconocer que el tema de la discriminación es un problema complejo de enfrentar en los sistemas educativos basados en la libre elección de colegios y, por ende, es un problema que trasciende al SNED.

En resumen, el sistema de evaluación que se aplica en Chile tiene un énfasis en indicadores de resultados del proceso educativo, si bien también considera indicadores cualitativos asociados al proceso educativo, incluye indicadores de nivel y superación y adicionalmente castiga la existencia de prácticas discriminatorias o sanciones indebidas a los alumnos.

Resultados del SNED

La subvención de excelencia que recibe cada docente de un establecimiento seleccionado por el SNED fue de $ 260.245 el año 2000, y se ha incrementado en un 24% en términos reales, desde 1996 (Cuadro 4).

En el SNED 1996-97 se premiaron 2.274 establecimientos educacionales subvencionados del país en los que laboraban 30.600 docentes. Por su parte, en el SNED 1998-99 recibieron este premio de excelencia 1.815 establecimientos, lo que benefició a 31.400 docentes. Finalmente, en el SNED 2000-01 se premiaron 1.699 establecimientos y 32.600 docentes. En cada una de estas aplicaciones se premió al equivalente del 25% de la matrícula escolar.

Se observa que hay un aumento en el número de docentes premiados, a la vez que disminuye el número de establecimientos premiados. El Cuadro 5 presenta antecedentes sobre el tamaño promedio de los establecimientos seleccionados por el SNED, medido a través de la matrícula del establecimiento. Observamos que hay un ligero aumento en el tamaño promedio de los establecimientos escolares en el país (2,4%); y que hay un aumento importante en el tamaño promedio de los establecimientos premiados (14%) en el SNED 2000-01, respecto a la aplicación anterior.27

Un primer elemento por destacar es que los resultados del SNED no benefician ni perjudican a un tipo particular de establecimiento educacional; la distribución de los establecimientos premiados entre municipales y particulares subvencionados ha sido muy similar a la importancia relativa que ellos tienen en el total de establecimientos del país. Esto ha sido así tanto en la aplicación 2000-01 como en la 1998-99. Del total de establecimientos premiados en el bienio 2000-01, un 67,9% correspondió a establecimientos municipales y un 32,1% a establecimientos particulares subvencionados; la participación a nivel nacional de estos dos tipos de establecimientos era de 67,4% y 32,6% respectivamente. En el período 1998-99 un 67,5% de los establecimientos premiados por el SNED eran municipales y un 32,5% particulares subvencionados, en ese mismo período un 69,1% del total de establecimientos con financiamiento público eran municipales y un 30,9% particulares subvencionados. Lo mismo ocurre a nivel de cada una de las regiones del país.

Un segundo elemento que vale la pena comentar con relación al SNED es que no siempre son los mismos establecimientos quienes obtienen el premio de excelencia. La razón de este resultado reside en que uno de los factores que se consideran en el índice SNED es la superación de los establecimientos en las pruebas SIMCE, por tanto, si un establecimiento educativo tiene una mejora sustancial en sus puntajes posee una alta probabilidad de ser premiado, no siendo siempre los mismos establecimientos los que exhiben estas mejoras. El Cuadro 6 muestra que si consideramos las tres ocasiones en que se ha aplicado el SNED, sólo un 3,9% de los establecimientos educacionales ha recibido el incentivo monetario todas las veces. Un 11,7% los ha recibido 2 veces y un 27,3% una sola vez.

Un tercer aspecto que es interesante analizar son los resultados de la metodología de construcción de grupos homogéneos, cuyo objetivo es aislar el efecto de las variables socioeconómicas. En particular, interesa determinar en qué medida esta metodología permite efectivamente aislar aquellas variables que inciden en los resultados escolares, pero que no son resorte de los establecimientos educacionales ni de sus profesores. Más concretamente, la pregunta por responder es qué papel cumplen las variables socioeconómicas en la determinación de los establecimientos que obtienen el incentivo.

Para responder esta pregunta trabajamos con los resultados del SNED 2000-01 para la Región Metropolitana (RM); esto es necesario ya que el índice SNED 2000-01 se calculó a nivel regional y no es comparable entre regiones28. Como se trata de contrastar los resultados en el índice SNED con las características socioeconómicas de los establecimientos, construimos un índice socioeconómico utilizando análisis factorial, obteniendo un promedio ponderado de un conjunto de variables socioeconómicas disponibles29, donde los ponderadores se obtienen al maximizar una función de verosimilitud; de esta forma éstos permiten capturar la mayor información (varianza) de todas variables30.

Al correlacionar el índice SNED de cada establecimiento en la RM, con el índice socioeconómico construido se obtiene un coeficiente de correlación de 40%, que es significativo al 1%.

Asimismo, se cruzaron los establecimientos premiados por el SNED 2000-01 (que corresponden al 25% de la matrícula de su grupo homogéneo) con aquellos establecimientos cuyo índice socioeconómico los ubica en el 25% superior de la matrícula de su grupo. El Cuadro 7 presenta estos resultados. Un 38% de los establecimientos premiados en la RM corresponden al 25% de nivel socioeconómico superior, donde este 25% corresponde a la matrícula y no al número de establecimientos. El Cuadro 7 muestra estos resultados desagregados para cada uno de los grupos homogéneos de la RM. El porcentaje de establecimientos premiados que pertenece al 25% de nivel socioeconómico superior fluctúa para cada grupo, pero en general es menor que el 44%. Las únicas excepciones son el grupo de enseñanza media de nivel socioeconómico alto y la enseñanza media rural, resultados que se explican básicamente por el reducido número de establecimientos que hay en cada uno de ellos.

Por su parte, el Cuadro 8 presenta otra forma de evaluar estadísticamente la relación entre el nivel socioeconómico y la selección de establecimientos premiados realizada a través del índice SNED. Se trata del coeficiente de incertidumbre que mide la capacidad del nivel socioeconómico del establecimiento de predecir la premiación llevada a cabo a partir del índice SNED. Como se observa en el cuadro sólo en el caso de dos grupos homogéneos de la RM (el grupo de enseñanza me-dia de nivel socioeconómico alto y el de enseñanza media rural), este coeficiente está entre el 18% y el 20%; en el resto de los grupos los coeficientes son menores del 6%, lo que significa que el conocimiento de la variable socioeconómica reduce sólo en un 6% el error al predecir los resultados del índice SNED y, por tanto, los establecimientos premiados. En el caso de los grupos de básica rural de nivel socioeconómico alto y bajo, el coeficiente de incertidumbre es estadísticamente cero.

Este análisis permite concluir que la metodología de construcción de grupos homogéneos permite reducir en gran medida el impacto de las variables socioeconómicas sobre la selección de establecimientos premiados.

Un último aspecto por estudiar es el impacto que tienen los recursos financieros con que cuentan los establecimientos educacionales en el hecho de ser premiado en el SNED. Para ello se obtuvo información acerca de tres fuentes de financiamiento de los establecimientos subvencionados de la RM, que son: la subvención estatal, las transferencias y otros ingresos municipales y el pago correspondiente al financiamiento compartido.

Luego, se cruzaron los establecimientos premiados por el SNED 2000-01 (que corresponden al 25% superior de la matrícula de su grupo homogéneo) con aquellos establecimientos cuyo nivel de recursos los ubica en el 25% superior de la matrícula del grupo homogéneo al que pertenecen. El Cuadro 10 presenta estos resultados. Un 33,2% de los establecimientos premiados en la RM corresponde al 25% con mayor nivel de recursos. El Cuadro 9 muestra estos resultados desagregados para cada uno de los grupos homogéneos de la RM. Los porcentajes de establecimientos premiados que pertenecen al 25% que tiene mayores recursos fluctúa para cada grupo, pero en general es menor al 40%.

Por su parte, el Cuadro 10 presenta el coeficiente de incertidumbre para cada uno de los grupos homogéneos; esta es otra forma de evaluar estadísticamente la relación entre el nivel de recursos de los establecimientos y la selección de establecimientos premiados realizada a través del índice SNED. En este caso, el coeficiente de incertidumbre mide la capacidad que tiene la variable nivel de recursos del establecimiento para predecir la premiación llevada a cabo a partir del índice SNED. Como se observa en el Cuadro 10 este coeficiente es menor del 7,5%, y sólo en tres grupos homogéneos es estadísticamente distinto de cero, lo que significa que el conocimiento de la variable nivel de recursos no permite predecir qué establecimientos serán premiados en el SNED.

Podemos concluir entonces que el monto de recursos con que cuenta el establecimiento educacional no determina su posibilidad de ser premiado por el SNED.

4. Medidas Alternativas del Desempeño de los Colegios

A continuación analizamos diferentes mediciones del desempeño de los establecimientos escolares, todas ellas basadas en los resultados de pruebas estandarizadas (SIMCE) y las compararemos con el indicador construido en el SNED. Algunas de estas medidas controlan por las características socioeconómicas de los alumnos y otras solamente utilizan los datos brutos de las pruebas; la idea es poder comparar los resultados obtenidos con cada una de ellas en relación a la selección de los establecimientos premiados y su correlación con las variables socioeconómicas.

Este ejercicio lo realizaremos considerando sólo los establecimientos subvencionados (particulares y municipales) de enseñanza básica de la Región Metropolitana. Nuestro interés es poder contrastar los resultados obtenidos a través de la metodología utilizada en el SNED con los obtenidos a partir de otros indicadores. Como nos focalizaremos en establecimientos que imparten enseñanza básica utilizamos las pruebas de 4° básico de 1994 y 1996 y de 8° básico de 1995 y 1997, que son las mismas que se utilizaron en la aplicación del SNED 2000-0131.

En un análisis de los distintos indicadores que se han usado para medir el desempeño de los establecimientos educacionales en los EE.UU, Meyer (1993, 1996) postula que el uso de resultados promedios (brutos) en los test estandarizados adolece de una serie de limitaciones, la más importante es que no mide la contribución específica del colegio en el crecimiento del logro estudiantil. Otro indicador utilizado es el de ganancia (gain) que mide el crecimiento promedio en el logro educacional entre dos puntos en el tiempo para una misma cohorte de alumnos. Sin embargo, este indicador tampoco mide el valor agregado por el colegio al crecimiento del logro estudiantil, pues no considera las características socioeconómicas de los estudiantes. El indicador de ganancia mide más bien la contribución conjunta de los estudiantes, sus familias, la comunidad y el establecimiento al logro estudiantil.

El indicador que tiene mayores ventajas es el de valor agregado, ya que soluciona las limitaciones antes mencionadas. En particular, este indicador elimina el incentivo de los colegios de expulsar o no recibir a estudiantes con determinadas desventajas relativas, ya que lo que se mide es el avance a través del tiempo en el aprendizaje de un estudiante específico. Este enfoque descansa en un modelo estadístico que permite identificar las diferentes contribuciones que realiza el colegio al crecimiento del logro educativo, una vez que se han considerado variables de contexto como el nivel socioeconómico de los estudiantes (Meyer, 1996).

En el caso chileno no se pueden calcular ni el indicador de ganancia (gain) ni el de valor agregado, ya que en el país no se aplica la prueba SIMCE a los mismos niños en dos momentos del tiempo.

Dada esta limitación utilizamos los siguientes indicadores alternativos de desempeño: (i) el cambio en el puntaje bruto entre dos pruebas del mismo curso aplicadas a un establecimiento32, (ii) el cambio en el logaritmo del puntaje bruto en el SIMCE, lo que equivale al cambio porcentual en los puntajes de las pruebas en vez del cambio absoluto, (iii) la diferencia entre el puntaje efectivo y el puntaje esperado del establecimiento, donde el puntaje esperado se obtiene a partir de una regresión donde la variable dependiente es el puntaje en la prueba SIMCE y las variables independientes son características socioeconómicas de la población que atiende el establecimiento, (iv) la diferencia entre el puntaje efectivo y el puntaje esperado del establecimiento, donde el puntaje esperado se obtiene a partir de una regresión donde la variable dependiente es el puntaje en la prueba SIMCE y las variables independientes son características socioeconómicas de la población que atiende el establecimiento y el resultado de la misma prueba (por ejemplo, la de 4° básico) en un período anterior para el establecimiento respectivo33, (v) el coeficiente de eficiencia técnica del establecimiento calculado a través de la metodología Data Envelopment Analysis (DEA) que permite identificar en forma no paramétrica la frontera de producción eficiente de los establecimientos34.

Los datos con que se realizaron los diferentes cálculos corresponden a 1.153 establecimientos de enseñanza básica de la RM, de ellos no todos tienen información para el conjunto de las variables utilizadas, por tanto y en cada caso se indica el número de establecimientos con que se trabaja.

El Cuadro 11 presenta la matriz de correlaciones entre los 5 indicadores antes señalados, el índice del SNED 2000-01 y su correlación con el índice de vulnerabilidad (IVE) calculado por la JUNAEB. Se observa que el índice SNED está negativamente correlacionado con el índice de vulnerabilidad (IVE) de los establecimientos. Esto es esperable, dado que el indicador del SNED no corrige por nivel socioeconómico; no obstante, la selección de establecimientos premiados sí corrige por nivel socioeconómico, ya que la comparación entre establecimientos educacionales se realiza al interior de los grupos homogéneos anteriormente descritos. El otro indicador negativamente correlacionado con el IVE es el coeficiente de eficiencia, que compara el producto (puntaje) efectivo del establecimiento con el producto (puntaje) que éste debería alcanzar dados los insumos con que cuenta.

El resto de los indicadores no presentan una correlación estadísticamente significativa con el IVE, lo que se explica por el hecho de que dos de ellos corrigen por el nivel socioeconómico del establecimiento educativo; este es el caso de los residuos de una regresión en que se controla por el nivel socioeconómico del establecimiento y los residuos de una regresión en que se controla por el nivel socioeconómico del establecimiento y el puntaje anterior del establecimiento en la misma prueba. Los otros dos indicadores se refieren al cambio de puntaje del establecimiento entre dos pruebas aplicadas al mismo nivel de enseñanza en diferentes años; en ambos casos se comprueba que el cambio en los puntajes entre dos aplicaciones de la misma prueba no está correlacionado con el nivel socioeconómico de los alumnos del establecimiento35.

El índice SNED está correlacionado positivamente con todos los otros indicadores considerados y es interesante notar que la correlación es más elevada con los indicadores que comparan el puntaje que efectivamente obtiene el establecimiento con el puntaje esperado, dado el nivel socioeconómico de sus estudiantes y el puntaje obtenido con anterioridad en una prueba similar. La correlación del índice SNED con los indicadores que se basan en el cambio en el puntaje era esperable, dado que este es uno de los indicadores que considera el SNED.

En los restantes indicadores, como era de esperarse, se observa una correlación positiva y elevada entre aquellos que consideran el cambio en los puntajes en dos aplicaciones sucesivas de las mismas pruebas.

Interesa ahora comparar el índice SNED con los otros indicadores en términos de la selección de establecimientos a ser premiados. La pregunta que nos hacemos es qué porcentaje de establecimientos de enseñanza básica de la RM que fueron premiados en la aplicación del SNED 2000-01 habría sido premiado si se hubieran utilizado los indicadores alternativos36. El Cuadro 12 resume estos resultados para el agregado de los establecimientos. En el anexo se presentan los mismos resultados, pero desagregados para cada uno de los grupos homogéneos en que se agruparon los establecimientos de enseñanza básica de la RM. Al hacer este último ejercicio se intenta determinar si hay sesgos entre los indicadores al seleccionar establecimientos de nivel socioeconómico alto, medio o bajo.

Los resultados del Cuadro 12 muestran que los indicadores que presentan una mayor coincidencia con el índice SNED son aquellos que comparan el puntaje efectivo con el puntaje esperado del establecimiento, ya sea que este puntaje esperado se obtenga: (i) corrigiendo sólo por el nivel socioeconómico de sus alumnos, o (ii) corrigiendo por el nivel socioeconómico de sus alumnos y por el puntaje anterior del establecimiento en una prueba similar. En el primer caso un 62% de los establecimientos de enseñanza básica de la RM premiados en el SNED 2000-01 habrían sido también premiados. En el segundo caso un 67% de los establecimientos premiados en el SNED 2000-01 habrían sido premiados. A su vez, un 10% y un 9% respectivamente de los establecimientos que habrían sido premiados por estos indicadores no fueron premiados en la aplicación del SNED 2000-01.

En el caso de los otros tres indicadores, el porcentaje de premiados en el SNED 2000-01 que habrían sido premiados utilizando el cambio en el puntaje bruto de la prueba SIMCE es de 59% y un 54% si se utiliza el cambio porcentual en el puntaje de la prueba. En el caso de utilizar los coeficientes de eficiencia como criterio un 47% de los establecimientos seleccionados en el SNED 2000-01 habrían sido premiados37.

El análisis desagregado por grupos homogéneos de establecimientos no presenta un patrón claro, que permita hipotetizar que el uso de indicadores alternativos genere sesgos en la selección de los establecimientos premiados al interior de los grupos homogéneos. Lo que sí se observa es que los dos indicadores que corrigen por el nivel socioeconómico de los estudiantes coinciden con el SNED 2000-01 en un mayor porcentaje de establecimientos rurales premiados. Este patrón no se observa en los establecimientos urbanos, donde el porcentaje que coincide con el SNED no se diferencia de los indicadores que miden el cambio en los puntajes de las pruebas SIMCE (ver cuadros A2 a A6 del anexo).

5. Comentarios Finales

La aplicación de un sistema nacional de evaluación del desempeño de los establecimientos educacionales en Chile es inédita e interesante de analizar. Existen pocas experiencias de carácter nacional de sistemas de evaluación de desempeño ligados a incentivos monetarios.

Los fundamentos sobre los cuales se ha diseñado el SNED responden a la preocupación de muchos investigadores en el área de economía de la educación, en el sentido de promover políticas educacionales que le den mayor importancia a la información, a la introducción de transparencia y la responsabilidad pública en el sistema escolar y a adecuados mecanismos de incentivos. Estos elementos son muy relevantes en un sistema educacional como el chileno en el que existe libre elección de establecimientos educacionales.

La experiencia del SNED también permite evaluar los aspectos de diseño e implementación práctica que estos esquemas presentan. En este sentido, hay dos grandes preguntas que es necesario responder: ¿qué factores se debe considerar en una evaluación de desempeño educativo? y ¿cómo comparamos entre establecimientos que atienden a una población escolar con características socioeconómicas muy disímiles?

Algunos de los elementos sobre los cuales queremos llamar la atención son los siguientes:

· Existen significativas diferencias en la calidad del proceso educativo entre distintos establecimientos escolares. Un indicador de ello es la enorme dispersión de los puntajes SIMCE para establecimientos con similares índices de vulnerabilidad (Gráfico 1). El impacto del efecto colegio en el resultado del SIMCE es otro indicador de dispersión de los resultados educativos, entre grupos comparables de la población (Gráfico 3).

· El diseño de un sistema de evaluación es complejo. Dado que en este sistema se integran distintos aspectos del proceso educativo, la construcción de un indicador global requiere reflejar un delicado equilibrio entre los distintos aspectos (factores) que se desean medir. En este sentido hay siempre una tensión entre medir procesos y medir resultados. A nuestro juicio, en el SNED se equilibran en forma adecuada estos diversos aspectos, focalizándose en la medición de resultados del proceso educativo (a través de pruebas estandarizadas de logro), lo cual es esencial para que el sistema educacional busque continuamente mejorar la calidad de la enseñanza.

· Muchas veces se critica el uso de pruebas estandarizadas para evaluar el desempeño de los establecimientos educacionales porque los profesores tendrían incentivos a enseñar para las pruebas. Sin embargo, esto no es necesariamente un problema si las pruebas reflejan un currículum educativo bien diseñado y evalúan efectivamente la comprensión y aplicación de conceptos y no la memorización de información.

· El análisis realizado en este trabajo permite concluir que la metodología de construcción de grupos homogéneos logra reducir en gran medida el impacto de las variables socioeconómicas sobre la selección de establecimientos premiados.

· La selección de establecimientos premiados por el SNED no está afectada por el nivel de recursos con que cuentan los establecimientos. Nuestro análisis empírico muestra que el monto de recursos de un establecimiento no permite predecir si éste será o no premiado por el SNED.

· El índice construido en el SNED se correlaciona positivamente con otros indicadores alternativos como el cambio en el puntaje de las pruebas SIMCE para un determinado establecimiento y tiene una alta correlación positiva con los indicadores que comparan el puntaje efectivo obtenido por un establecimiento en la prueba SIMCE con el puntaje esperado para el establecimiento, dado el nivel socioeconómico de la población escolar que atiende y el puntaje obtenido por éste en la misma prueba en un período anterior. Esto es esperable, ya que los resultados en las pruebas SIMCE tienen un peso significativo en el índice SNED.

· Asimismo, los indicadores que utilizan los residuos de una regresión entre el puntaje de la prueba SIMCE, el nivel socioeconómico del establecimiento y el puntaje obtenido en un año anterior en la misma prueba, permiten seleccionar más de un 60% de los establecimientos de enseñanza básica de la RM premiados en la implementación del SNED 2000-01, porcentaje que se incrementa a un 70% para el caso de los establecimientos rurales.

· Sin embargo, dada la importancia de la transparencia y comprensión del proceso para que un sistema de evaluación y entrega de incentivos monetarios sea aceptado y validado socialmente, pensamos que el índice del SNED tiene ventajas sobre el uso de residuos de una regresión. Es más complejo para los agentes involucrados (directores y profesores) comprender los resultados de una regresión que corrija por las diferencias de nivel socioeconómico de los establecimientos, que la aplicación del índice SNED a los grupos homogéneos de establecimientos. Hay un trade off entre la complejidad del método utilizado para asegurar comparabilidad de los establecimientos y su transparencia y comprensión. En la medida que el método aparezca como una caja negra puede conducir a que los agentes involucrados lo perciban como injusto, aunque no lo sea.

· Adicionalmente, la aplicación de funciones de producción para la obtención de indicadores de desempeño requiere de información que aún no está disponible en Chile. En particular se requiere tener al menos dos mediciones SIMCE para la misma cohorte de alumnos, de forma de poder calcular el valor agregado por el establecimiento educacional. El cálculo que hemos realizado en este trabajo es una medición muy agregada de algo que hemos denominado "pseudo valor agregado" y sólo cumple las veces de un ejercicio ilustrativo. Ha habido un avance significativo en la información disponible con relación a la evaluación del proceso educativo en Chile; sin embargo, si se quiere avanzar en la línea de medir valor agregado por los establecimientos educativos es necesario continuar mejorando la información.

· Otra característica del índice SNED es que considera no sólo el puntaje en las pruebas SIMCE (tanto su nivel como el cambio en éstos), sino otros elementos que son importantes al momento de evaluar el desempeño de los establecimientos. Este es el caso de la igualdad de oportunidades, considerando dentro de ésta la no discriminación de alumnos por parte del establecimiento escolar.

· Es importante puntualizar que un requisito básico para la consolidación de un esquema de evaluación e incentivos es que los establecimientos premiados sean efectivamente colegios de excelencia. En este sentido es muy importante minimizar los errores que se puedan cometer en la selección de los establecimientos de excelente desempeño, pues esto puede llevar a cuestionar todo el proceso.

· El SNED constituye un paso importante con relación a la introducción de evaluación del desempeño e incentivos en el sector educacional chileno, puesto que permite aumentar la responsabilidad pública (accountability) de los establecimientos educacionales con financiamiento estatal y relacionar los ingresos de los docentes con su desempeño.

Keywords: Incentive Systems in Education, Performance Assessment
JEL Classification: I20, I28

1 En este modelo, cuando un individuo (principal) encarga un trabajo a otro (agente) surgen problemas derivados de las asimetrías de información y de las diferencias que pudieran existir entre los objetivos que persiguen estos individuos. Ver Savedoff (1997) y González (1998) para un análisis de este problema en la provisión de servicios sociales.

2 Hanushek y Jorgenson (1996), traducción propia.

3 Para un análisis detallado de las remuneraciones de los profesores, ver Mizala y Romaguera (2000a).

4 El Indice de Vulnerabilidad es calculado por la Junta Nacional de Auxilio Escolar y Becas (JUNAEB) y tiene un valor mínimo de 0 (no hay niños con problemas de vulnerabilidad) hasta 100% de vulnerabilidad, que caracteriza a los colegios muy pobres.

5 Para mayores antecedentes, ver Mizala y Romaguera (1998, 2000b, 2001), donde se presentan estimaciones de una función de producción educacional que tiene como variable dependiente el SIMCE y como variables independientes el índice de vulnera-bilidad, el nivel socioeconómico, tamaño del colegio y otras características del colegio y el alumno.

6 En el Anexo A se presentan los gráficos equivalentes para la prueba SIMCE de matemáticas.

7 Los coeficientes que representan el efecto colegio fueron normalizados como diferencias respecto de la media ponderada por el tamaño del establecimiento.

8 El SNED corresponde a un esquema de incentivo monetario grupal (a nivel de establecimientos). El Estatuto Docente, por su parte, contempla un sistema de evaluación individual de los docentes.

9 Ver Murnane y Cohen (1986) para el caso de Estados Unidos; Mizala, Romaguera y Reinaga (1999) para el caso de Bolivia y Ornelas (2001) para el caso mexicano.

10 Los grupos de comparación se calculan en base a un análisis econométrico.

11 Otras políticas implementadas han sido: capacitación en habilidades de liderazgo, asistencia computacional en los colegios, programas de educación preescolar, el establecimiento de una prueba de salida de secundaria, con apoyo especial a aquellos alumnos con desventajas relativas.

12 La mejora en los resultados de los estudiantes se calcula en dos etapas; en la primera los resultados de las pruebas se regresionan en función de variables socioeconómicas, obteniéndose un puntaje ajustado. En la segunda etapa, al igual que en South Carolina, se realiza una regresión de los puntajes ajustados de las pruebas del año actual en función de los puntajes ajustados del año anterior.

13 Cada una de las notas está asociada al cumplimiento de determinados criterios; la distinción entre C, D y F descansa sólo en los test estandarizados, los criterios de asistencia y tasa de egreso se exigen para obtener la nota A. Se utilizan las pruebas en nivel y no su evolución (valor agregado).

14 Para mayores detalles en relación al sistema de financiamiento de la educación en Chile ver González (1998).

15 El SNED no se aplica a los establecimientos particulares pagados.

16 Se acaba de realizar la cuarta aplicación, válida para el bienio 2002-03.

17 La primera aplicación del SNED fue realizada por un equipo de investigadores de la Universidad de Santiago. En las aplicaciones posteriores el cálculo del Indice ha estado a cargo del Centro de Economía Aplicada de la Universidad de Chile.

18 La importancia de las condiciones socioeconómicas de las familias en el resultado académico de los alumnos es ampliamente reconocida en la literatura de funciones de producción educacional, desde el trabajo pionero de Coleman et al. (1966), para el caso de EE.UU. Para aplicaciones de funciones de producción al caso de Chile, ver Mizala y Romaguera (1998, 2000b, 2001).

19 La comparación con otras metodologías se presenta en la sección siguiente del trabajo.

20 Ver Mizala y Romaguera (2000c).

21 Una de las diferencias entre la primera aplicación del SNED y las siguientes es que los grupos homogéneos se calcularon inicialmente a nivel nacional y posteriormente a nivel regional.

22 El análisis de conglomerados mediante iteraciones minimiza la varianza intragrupo y maximiza la varianza intergrupo, entregando una agrupación óptima de establecimientos educacionales, donde el número de conglomerados se fija con anticipación (Anderberg, 1973; Everitt, 1980).

23 El análisis de conglomerados sólo se puede realizar si el número de establecimientos de la región supera un tamaño mínimo (dado el nivel educacional y su clasificación urbano/rural). Esta es una limitante del método de los grupos homogéneos vis à vis una metodología basada en funciones de producción.

24 El cuadro A.1 del anexo presenta el número de grupos homogéneos de cada región en la aplicación del SNED 2000-01.

25 Las fuentes básicas de información para el conjunto de indicadores del SNED son las siguientes: (i) SIMCE: prueba de matemáticas y castellano; (ii) SIMCE: encuesta a padres y apoderados; (iii) Ministerio de Educación: Actas de Inspección del Sistema Escolar; (iv) Ministerio de Educación: estadísticas de matrículas, tasas de aprobación y reprobación; (v) Encuestas a Directores Provinciales de Educación, éstas se incluyeron a partir de la tercera aplicación del SNED; (vi) Encuestas a los establecimientos educacionales, las que también se incluyeron a partir de la tercera aplicación del SNED; éstas son validadas por los respectivos Directores Provinciales de Educación.

26 Especialmente dada la forma como se medía el puntaje del SIMCE hasta el año 1997, donde existían alumnos que contestaban un 100% de las preguntas en forma correcta.

27 Los estudios de funciones de producción señalan que el tamaño promedio del establecimiento tiene un fuerte impacto en el resultado educativo, medido a través de la prueba SIMCE, una vez que se ha controlado por el tamaño del curso. Es decir, los tamaños de los cursos más pequeños inciden favorablemente en los resultados de la prueba SIMCE (tasa alumno/profesor), a la vez que los tamaños de establecimientos más grandes (número de alumnos) también inciden favorablemente en los resultados. Mizala y Romaguera (1998, 2000b y 2001). Este efecto tamaño es cóncavo, es decir, existiría un tamaño óptimo de establecimiento escolar.

28 Esta limitación se superó en la aplicación reciente del SNED, en la cual se mantiene la selección de establecimientos premiados a nivel regional, pero el índice se calcula a nivel nacional para poder realizar comparaciones entre regiones.

29 Estas variables son: educación de los padres, gasto en educación de la familia, ingreso del hogar, índice de vulnerabilidad de la JUNAEB. Algunas se obtuvieron de la encuesta de padres, y otras de la encuesta a los directores de establecimientos.

30 El índice socioeconómico construido tiene una bondad de ajuste de 10180 el que es significativo a 1%, contrastándolo con un chi-cuadrado con 54 grados de libertad.

31 Todas estas pruebas utilizan la misma metodología de medición que corresponde a porcentaje de respuestas correctas.

32 En vez de usar información acerca de dos pruebas al mismo grupo de niños (gain), usamos la misma prueba, por ejemplo la de 4° básico, aplicada al mismo colegio en distintos momentos del tiempo.

33 En este caso estaríamos calculando un pseudo valor agregado, ya que no son los resultados de los mismos niños, sino del mismo colegio en dos momentos del tiempo.

34 EL DEA permite evaluar la eficiencia relativa de un conjunto de establecimientos educacionales, compara cada establecimiento con el más eficiente técnicamente, ya sea porque produce más producto con los mismos insumos o el mismo producto con menos insumos. Para mayores detalles ver Mizala, Romaguera y Farren (2002).

35 Este, sin embargo no es un buen indicador de desempeño por sí solo, ya que mientras más elevados sean los resultados de un establecimiento en las pruebas, más le cuesta mejorar el puntaje. Este efecto es aún más fuerte en el caso de las pruebas SIMCE aplicadas hasta el año 1997, cuyo puntaje variaba entre 0 y 100 y se medía el porcentaje de respuestas correctas en la prueba.

36 Siempre se considera que se premia en 25% de la matrícula de cada grupo homogéneo.

37 Este último resultado hay que tomarlo con cautela, ya que no fue posible calcular coeficientes de eficiencia para todos los establecimientos analizados.

REFERENCIAS

Anderberg, M.R. (1973), Cluster Analysis for Applications. New York Academic Press.         [ Links ]

Ballou, D. y M. Podgursky (1997), Teacher Pay and Teacher Quality, W. E. Upjohn Institute for Employment Research, Kalamazoo Michigan         [ Links ]

Benson, C.S. (1974), "The money we spend and what happens to it" en Gerwin, D. (ed.) The Employment of Teachers: Some Analytical Views, Berkeley, McCutchan.         [ Links ]

Brandt, R.M. (1990), Incentive pay and career ladders for today's teachers: A study of current programs and practices. Albany: State University of New York.         [ Links ]

Carnegie Forum on Education and the Economy (1986), A nation prepared: Teachers for the 21st Century. New York, Carnegie Corporation.         [ Links ]

Clotfelter, C.T. y H. Ladd (1996), "Recognizing and rewarding sucess in public schools", en H. Ladd (ed.) Holding Schools Accountable: Performance Based Reform in Education, The Brookings Institution.         [ Links ]

Cohn, E. (1996), "Methods of teacher remuneraction: merit may and career ladders", en Becker y Baumol (eds.) "Assessing Educational Practices: The Contribution of Economics", The MIT Press.         [ Links ]

Cohn, E. y S.D. Millman (1975), Input-Output Analysis in Public Education, Cambridge MA, Ballinger.         [ Links ]

Coleman, J.S., Capbell, E., Hobson, C.J., McPatland, J., Mood, A., Weinfeild, F. y York, R.L. (1966), Equality of Educational Opportunity, Washington D.C.: US Government Printing Office.         [ Links ]

Cox, C. y P. González (1997), "Educación: de programas de mejoramiento a reforma", en R. Cortázar y J. Vial (eds.) Construyendo Opciones, DOLMEN Ediciones.         [ Links ]

Everitt, B.S. (1980), Cluster Analysis, Second Edition, Heineman Educational Books Ltda, London.         [ Links ]

Figlio, D. (1997), "Teacher salaries and teacher quality", Economic Letters 55.         [ Links ]

Figlio, D. y M. Lucas (2000), "What´s in a grade? School report cards and house prices. NBER Working Paper 8019, Cambridge.         [ Links ]

González, P. (1998), "Financiamiento de la Educación en Chile", en PREAL-UNESCO Financiamiento de la Educación en América Latina.         [ Links ]

Hanushek, E., Rivkin, S. y J. Kain (1999), "Do higher salaries buy better teachers?", NBER Working Paper 7082, Cambridge.         [ Links ]

Hanushek, E. (1986), "The Economics of Schooling: production and efficiency in the public schools", Journal of Economic Literature 24.         [ Links ]

Hanushek, E. (1996), "Outcomes, costs, and incentives in schools" , en Hanushek y Jorgenson (eds.) op. cit.         [ Links ]

Hanushek, E. y D. Jorgenson (eds.) (1996), Improving America´s Schools. The role of Incentives, National Academy Press.         [ Links ]

Ladd, H. (1999), "The Dallas schools accountability and incentive program: an evaluation of its impacts on student outcomes", Economics of Education Review 18.         [ Links ]

Liang, X. (1999), "Teacher pay in 12 Latin American countries: how does teacher pay compare to other professions, what determines teacher pay, and who are the teachers?, mimeo, Conference Teachers in Latin America, Costa Rica.         [ Links ]

Malen, B., Murphy, M. y A. Hart (1988), "Restructuring teacher compensation systems: An analysis of three alternatives strategies", en K. Alexander y D. Monk (eds.) Attracting and Compensating America´s Teachers, Ballinger Publishing Company.         [ Links ]

Mandeville, G.K. (1994), "The South Carolina experience with incentives", mimeo, Federal Reserve Bank of Chicago, Chicago.         [ Links ]

Meyer, R. (1996), "Value- added indicators of school performance", en Hanushek y Jorgenson (eds.) op. cit.         [ Links ]

Meyer, R. (1993), "Can schools be held accountable for good performance? A critique of common educational performance indicators", en E. Hoffman (ed.) Essays on the Economics of Education W.E. Upjohn Institute for Employment Research.         [ Links ]

Mizala, A. y P. Romaguera (1998), "¿Cómo se comparan los resultados de la prueba SIMCE entre colegios privados y públicos?", Perspectivas en Política, Economía y Gestión 2, 1.         [ Links ]

Mizala, A. y P. Romaguera (2000 a), "Remuneraciones al pizarrón", Perspectivas en Política, Economía y Gestión, 4, 1.         [ Links ]

Mizala, A. y P. Romaguera (2000 b), "School Performance and Choice: the Chilean experience", The Journal of Human Resources, 35, 2, Spring.         [ Links ]

Mizala, A. y P. Romaguera (2000 c), "Sistemas de incentivos en educación y la expe- riencia del SNED en Chile", Documento de Trabajo N° 82, Centro de Economía Aplicada, Depto. de Ingeniería Industrial, U. de Chile.         [ Links ]

Mizala, A. y P. Romaguera (2001), "Factores explicativos de los resultados escolares en la educación secundaria en Chile". El Trimestre Económico 272, octubre-diciembre.         [ Links ]

Mizala, A., Romaguera, P. y D. Farren (2002), "The technical efficiency of schools in Chile", Applied Economics 34 (por aparecer).         [ Links ]

Mizala, A., P. Romaguera y T. Reinaga (1999), "Factores que inciden en el rendimiento escolar en Bolivia", Documento de Trabajo N° 61, Centro de Economía Aplicada, Depto. de Ingeniería Industrial, U. de Chile.         [ Links ]

Murnane , R.J. y D.K. Cohen (1986), "Merit pay and the evaluation problem: Why most merit pay plans fail and few survive", Harvard Education Review 56.         [ Links ]

Ornelas, C. (2001), "La carrera magisterial en México", Ponencia presentada en el Taller Revalorización del Magisterio e Incentivos Docentes, Santo Domingo, República Dominicana, mayo.         [ Links ]

Paul, S. (1991),"Accountability in public services. Exit, voice and capture", Working Paper World Bank.         [ Links ]

Peterson, T.K. (1991), "School reform in South Carolina: Implications for Wisconsin´s reform efforts". Wisconsin Center for Educational Policy.         [ Links ]

Richards, C. y S. Ming Sheu (1992), "The South Carolina school incentive reward program: A policy analysis", Economics of Education Review 11, 1.         [ Links ]

Rivkin, S., Hanushek, E. y J. Kain (1998), "Teachers, schools and academic achievement", NBER Working Paper 6691, Cambridge.         [ Links ]

Savedoff, W. (1997), "Social services viewed through new lenses: Agency problems in education and health in Latin America", Documento de Trabajo de la Red de Centros R-318, BID.         [ Links ]

* Agradecemos el apoyo de Fondecyt, Proyecto Nº 1000936 y la eficiente colaboración de Marcelo Henríquez. Asimismo, agradecemos los comentarios de Bernardita Vial y los asistentes a la Conferencia Economía de la Educación organizada por el Instituto de Economía de la PUC. No obstante, cualquier error remanente es de nuestra responsabilidad.

** Centro de Economía Aplicada, Departamento de Ingeniería Industrial, Universidad de Chile. amizala@dii.uchile.cl

*** Centro de Economía Aplicada, Departamento de Ingeniería Industrial, Universidad de Chile. promague@dii.uchile.cl

 

ANEXO