SciELO - Scientific Electronic Library Online

 
 número45Choice System en Chile: Determinantes del cambio de escuelaPercepciones acerca del proceso de búsqueda y contratación de docentes en Chile: nudos críticos e inequidad del sistema índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Em processo de indexaçãoCitado por Google
  • Não possue artigos similaresSimilares em SciELO
  • Em processo de indexaçãoSimilares em Google

Compartilhar


Calidad en la educación

versão On-line ISSN 0718-4565

Calidad en la educación  no.45 Santiago dez. 2016

http://dx.doi.org/10.4067/S0718-45652016000200007 

ESTUDIOS

Usos de datos y mejora escolar: Una aproximación a los sentidos y prácticas educativas subyacentes a los procesos de toma de decisiones1

Data use and school improvement: understanding meanings and practices underlying educational decision-making processes

 

Victoria Parra2, Gladys Matus3

2 Investigadora independiente, Santiago, Chile. Contacto: victoriaparram@gmail.com
3 Investigadora independiente, Santiago, Chile. Contacto: gladysmatus@gmail.com


RESUMEN

Con la implementación del Sistema de Aseguramiento de la Calidad de la Educación (SAC), la política educativa chilena fomenta una lógica de evaluación externa que provee a las escuelas de información orientada a la mejora. El presente artículo amplía el conocimiento en torno a los desafíos que las escuelas municipales enfrentan, en relación con la información que la Agencia de Calidad de la Educación (ACE) les provee, en el contexto de la marcha blanca del SAC. Para ello, sobre la base de una revisión de la literatura internacional, se articula una definición conceptual de uso reflexivo de datos que se operacionaliza en el estudio de caso de cuatro escuelas municipales de la Región Metropolitana. Los hallazgos dan cuenta de las estrategias y procesos de análisis/ uso de la información que realizan los establecimientos a partir de lo entregado por la ACE, identificando los factores que los condicionan. Los resultados destacan la fuerte orientación hacia la rendición de cuentas que enmarca la forma en la cual los actores escolares significan la información entregada por la ACE, lo cual impacta en los usos que se hace de ella. El artículo sugiere una serie de orientaciones a la política educativa con miras a potenciar el uso contextualizado, pertinente y oportuno de datos en la gestión de las escuelas.

Palabras clave: rendición de cuentas (accountability), gestión educativa, política de Aseguramiento de la Calidad, uso reflexivo de datos.


ABSTRACT

The implementation of the National System of Quality Assurance in Education (SNAC) in Chile, fosters a relationship between ministerial agencies and schools characterized by the production of external evaluations and data to guide school improvement. The present article contributes information on the challenges public schools face, in response to the first implementation phase of SNAC performed by the Quality Assurance Agency (ACE). To this end, and based on a review of international literature, the authors propose a conceptual definition of data highlighting a reflexive approach. This definition was employed to study four municipal schools located in the Metropolitan Region. The main findings of the study illustrate the strategies and processes of data analysis/use, performed by the schools, along with identifying the factors that influence these actions. The findings further underscore the strong influence of accountability on how the school actors conceptualize the value and use of data provided by SNAC, which influences how this data is used to inform school decision-making. The article suggests guidelines for education policy that would promote a contextualized, timely, and systemic use of data in municipal schools.

Keywords: accountability, education management, education quality assurance policy, reflexive use of data.


Introducción

En el marco de las actuales demandas de equidad y accountability que se le exigen al sistema educativo, las escuelas municipales chilenas enfrentan importantes desafíos de fortalecimiento de la gestión administrativa y pedagógica. En este contexto, que enfatiza y demanda el uso de datos, los actores educativos deben realizar dos tareas significativas: a) producir múltiples tipos de datos en torno a sus procesos y resultados y b) utilizarlos de acuerdo con las directrices que determina la política educativa. De esta forma, las escuelas enfrentan el reto de ajustar sus estructuras y procesos a una gestión capaz de generar evidencias (Coburn, Honig & Stein, 2009), y desarrollar herramientas que transformen esos datos en acciones con foco en el aprendizaje de todos sus estudiantes (Lachat & Smith, 2005).

En el contexto internacional, distintos paradigmas de uso de datos han surgido en respuesta a la necesidad de contar con estrategias que apoyen las trayectorias educativas de los estudiantes y la mejora de la escuela (bernhardt, 2000; Codding & Rothman, 1999). Dichos enfoques van desde lógicas centradas en las capacidades individuales de los actores educativos para hacer uso de datos de resultados de aprendizaje en pruebas estandarizadas, hasta aproximaciones que conceptualizan el uso de estos como una competencia organizacional compleja que involucra datos de distinta naturaleza. Estas diferencias se sustentan en:

• diversas nociones respecto de cuáles son los propósitos del uso de datos,

• la variedad de contextos educativos desde los cuales emergen, los múltiples significados que tiene el uso de datos para la comunidad escolar,

• y los procesos y/o competencias que implica el desarrollo de intervenciones vinculadas con el uso de datos para las organizaciones y sus actores.

El presente estudio articula una definición conceptual de uso de datos que recalca el aspecto reflexivo de su uso, integrando en ella, tanto la generación de las acciones por parte de las escuelas, como las competencias de los actores educativos. Esto significa considerar el uso de datos como una práctica situada que involucra actividades individuales y grupales, y que se desarrolla como parte del quehacer cotidiano de los agentes educativos, ya sea a nivel de aula, de la institución educativa, o bien, a nivel de la gestión de los sostenedores (Coburn & turner, 2012a; Mandinach & Gummer, 2013). Al reconocer la importancia del contexto como marco simbólico y de acción del trabajo educativo en sus distintos niveles, esta perspectiva resalta que el uso de datos no ocurre en el vacío y, por ende, no puede ser sometido a reglas prescriptivas.

Examinar las prácticas de uso de datos de las escuelas municipales cobra especial relevancia a la luz de la actual implementación de acciones que realiza la Agencia de la Calidad de la Educación (ACE) en el marco del Sistema de Aseguramiento de la Calidad (SAC). tal como indica la ley, el SAC es un sistema que genera toda una nueva institucionalidad4 y una redefinición de funciones para crear las condiciones y procesos necesarios para que los establecimientos educativos puedan "desarrollar sus fortalezas y superar sus debilidades" (Ley n° 20.529, art. 2). Por su parte, la ACE tiene el rol de evaluar y orientar al sistema educativo en pro de la mejora de la calidad y la equidad de las oportunidades educativas. Para ello, la ACE define un sistema de monitoreo de resultados y apoyo a la calidad educativa que se basa fuertemente en la entrega de información a las escuelas acerca de los resultados de aprendizaje evaluados mediante pruebas estandarizadas, complementados con información en otras dimensiones de calidad5 (Agencia de Calidad de la Educación, ACE, 2014). junto con lo anterior, establece una ordenación de las escuelas del país en cuatro categorías de desempeño en concordancia con la Ley nº 20.529: insuficiente, medio-bajo, medio y alto, definiendo además, un conjunto de consecuencias para las escuelas dependiendo de la categoría en la que son clasificadas. El uso de datos por parte de los establecimientos es parte fundamental de la premisa de mejora escolar que promueve esta política educativa, la que se enmarca además en una lógica de rendición de cuentas (accountability) con altas consecuencias (reconocimientos y sanciones).

Este artículo presenta los resultados de una investigación realizada en cuatro escuelas municipales, de todas las categorías de desempeño de acuerdo con la clasificación del SAC y busca profundizar en los procesos de uso de datos que desarrollan las escuelas y los factores que los condicionan, explorando además la comprensión y valoración de los actores educativos acerca de la información entregada por la ACE. A partir de lo anterior este estudio se orienta a responder la siguiente pregunta de investigación: ¿cómo comprenden, analizan y usan los establecimientos escolares municipales de educación básica los datos entregados por la ACE, en la fase de marcha blanca del SAC?

1. Marco conceptual

1.1. Conceptualizaciones de uso de datos: avanzando en la definición del uso reflexivo de datos

El uso de datos se ha posicionado como una difundida estrategia de mejora de la gestión de las instituciones escolares en múltiples políticas educativas alrededor del mundo, debido a los impactos positivos vinculados con la generación de conocimiento y aprendizaje institucional, y a los cambios en las prácticas docentes y mejora en los aprendizajes de los estudiantes (Datnow, Park & Wohlstetter, 2007; Petrides & Nodine, 2005).

Indiscutiblemente, la proliferación de las investigaciones ha contribuido a aumentar las expectativas asociadas al uso de datos como estrategia de mejora educativa, pero ha fracasado en generar evidencia que permita comprender el uso real de datos en contextos educativos, para con ello lograr una mayor comprensión acerca de los procesos involucrados; y sobre cuándo y bajo qué condiciones las expectativas puestas en estrategias de gestión educativa se vuelven reales.

Consecuentemente, los campos disciplinarios que investigan esta temática han generado diversos conceptos de usos de datos, poniendo énfasis en elementos y procesos distintos, que se alimentan de diversas miradas disciplinarias (Coburn & turner, 2012b), lo cual contribuye a que no exista una definición única en torno a lo que constituye "data" y "uso de datos". En algunos contextos y políticas educativas, el término ha sido utilizado de forma muy reducida para hacer referencia exclusivamente a información, de tipo sumativa, acerca de los resultados de aprendizaje de los estudiantes evaluados a través de pruebas estandarizadas. Generalmente la limitada comprensión de este fenómeno está ligada a una lógica de rendición de cuentas de las políticas públicas hacia las escuelas, la cual ha tenido consecuencias negativas en el quehacer educativo.

Siguiendo un enfoque distinto que reconoce la multidimensionalidad del quehacer educativo, para los efectos de esta investigación se conceptualiza el término "dato" como aquella información significativa respecto de los estudiantes, las familias, los docentes y la escuela, que es recolectada a través de diversos métodos, que al organizarse posibilita representar diversos aspectos de la institución educativa (Lai & Schildkamp, 2013).

Basado en lo anterior, se propone emplear el término uso reflexivo de datos que refiere a la capacidad de la escuela para utilizar en forma reflexiva los datos mediante un conjunto coordinado de procesos de investigación-acción, con el fin de apoyar, informar, o tomar decisiones en forma contextualizada, pertinente y colaborativa con foco en los procesos pedagógicos. Esta definición da cuenta de la dimensión procesual del uso de datos, resultando en un fenómeno social complejo que involucra múltiples niveles de la gestión educativa y que se visualiza a través de las prácticas que llevan a cabo sus actores, desde sus distintos roles en el sistema educativo.

Al respecto, Wayman, Cho y Johnston (2007) señalan que los actores educativos se vinculan diferencialmente con la información existente en atención al rol que cumplen y a las necesidades que se derivan del sistema. El siguiente cuadro sintetiza los principales usos de información vinculados con las funciones de los actores educativos.

Cuadro 1. Tomadores de decisión y uso de datos

 

1.2. Factores asociados al uso reflexivo de datos en escuelas

A nivel internacional, diversos autores (Anderson, Leithwood & Strauss, 2010; Ikemoto & Marsh, 2007) han dado cuenta de una serie de factores que median al interior de los establecimientos educacionales el uso reflexivo de datos, dentro de los cuales destacan:

• la diversidad de condiciones organizacionales presentes en las escuelas,

• las distintas prácticas de uso de datos que coexisten en ellas, los múltiples actores, que tanto de forma individual como interrelacionada generan conocimiento escolar como parte de su trabajo diario, y

• los elementos externos a los establecimientos que pueden gatillar propósitos o sentidos al uso de datos.

Estas variables pueden ser agrupadas en dos grandes dimensiones: institución educativa y entorno educativo.

La institución educativa concentra variables y condiciones que pueden facilitar u obstaculizar los procesos de usos reflexivos de datos, dentro de las cuales la literatura identifica las siguientes:

a. Competencias y liderazgos de los actores educativos: refiere a elementos asociados con la visión y el liderazgo del equipo directivo, la motivación, expectativas, experiencias previas y creencias que tienen los actores respecto del uso de datos; y los conocimientos y habilidades que poseen los agentes escolares para entenderlos y aplicarlos en la práctica.

b. Condiciones y rutinas organizacionales: refiere a las estructuras organizacionales, el desarrollo profesional, los esquemas y rutinas de trabajo colaborativo, el ambiente y la cultura, y las prioridades en la asignación de tareas que otorga la organización para el uso de datos.

c. Procesos vinculados con datos: particularmente relevantes son las propiedades de los datos (oportunidad, confiabilidad, calidad, accesibilidad y desagregación de la información); existencia de procedimientos y/o herramientas para la recolección e interpretación de datos (sistemas, protocolos, etc.); y percepción de los actores acerca de la relevancia, interpretabilidad, facilidad de uso y utilidad de los datos para informar la práctica docente.

El entorno refiere a elementos externos a las organizaciones educativas que afectan los propósitos y prácticas de usos de datos que se llevan a cabo al interior de las escuelas, entre los cuales destacan:

a. Liderazgos, recursos y soportes institucionales (sostenedores, universidades, AtEs, entre otros), que están al servicio de las organizaciones escolares.

b. Las políticas y mandatos de las agencias que evalúan el desempeño de los establecimientos educacionales en relación con el uso de datos y sus efectos.

De acuerdo con el marco conceptual del estudio es importante destacar la reciprocidad de las variables que median el uso de información, entendiendo que estas no son generativas de prácticas por sí mismas, sino que dependen de la interrelación que se da entre ellas y de los contextos en donde se sitúan las acciones de uso de datos que implementan los actores.

1.3. Políticas que impulsan el uso de datos en los sistemas educativos, ¿accountability, mejora continua, o responsabilización sustentable?

Las políticas educativas son transmisoras de sentidos e imaginarios, no solo en torno al uso de datos, sino que además de la visión de escuela, de la gestión y la efectividad educativa. Estos sentidos alimentan los significados con los cuales las personas y las organizaciones guían su actuar (Argyris, Putnam & McLain, 1985), por ende, es clave comprender qué conceptualización comunican y sustentan las políticas, en tanto influyen en los imaginarios y comportamientos de las personas.

La literatura especializada señala que el interés respecto de la generación y uso de evidencia en el ámbito educativo se ha visto nutrida por distintas corrientes educativas que se sintetizan a continuación:

1.3.1. Uso de datos en el marco del accountability con altas consecuencias

La noción de accountability se ha convertido en una característica prevalente en variados sistemas educativos en el mundo (biesta, 2009; vidovich, 2009), y se sustenta en la premisa que las instituciones educativas necesitan demostrar su capacidad para preparar a los estudiantes de acuerdo con las expectativas sociales, generando evidencias respecto de la efectividad y cumplimiento de los objetivos educacionales planteados. Ladd (1996) señala que la lógica de accountability involucra cuatro ideas distintivas:

• la escuela es la unidad básica que provee educación y, por ende, los actores que la componen deben responsabilizarse por rendir cuentas a la sociedad,

• las escuelas son responsables de los resultados académicos de sus estudiantes, lo que generalmente se estima por medio de evaluaciones de contenidos académicos,

• las escuelas son evaluadas en función de estándares externos que definen las autoridades locales sobre lo que se considera niveles aceptables de logros académicos, y

• la evaluación de las escuelas va generalmente acompañada de un sistema de incentivos y sanciones, además, de intervenciones focalizadas para sostener las prácticas de aquellos establecimientos exitosos y crear remediales para las de bajo rendimiento.

Hatch (2013) define este tipo de accountability como answerability (obligación de rendir cuenta), el cual se asocia a la idea de que las acciones de los sujetos o instituciones se circunscriben a las indicaciones de autoridades centrales y externas a las escuelas, quienes, además, especifican cuál es el objetivo y los resultados que deben ser alcanzados. Por ende, esto redunda en el tipo de uso de datos que las escuelas adoptan para asegurarse de no recibir las consecuencias negativas ni lograr los resultados prescritos.

1.3.2. Uso de datos para la mejora continua

Un número importante de reformas alrededor del mundo se enmarcan en teorías organizacionales que proponen que las escuelas se pueden transformar en organizaciones que persiguen la mejora continua, basadas en procesos sistemáticos de aprendizaje, cambio y adaptación a los requerimientos del medio (Hawley & Sykes, 2007).

Dada la continuidad de los procesos de mejora, la información que agencias externas le entregan a las escuelas se asume como evidencia que les permite a los actores educativos identificar cuáles son las brechas existentes entre los objetivos propuestos y los resultados generados por estas. La identificación de la brecha permite determinar la naturaleza de los problemas que la generan, lo que posteriormente lleva a la implementación de acciones para remediar la situación. En este marco de gestión educativa la información cobra un rol fundamental, dado que constituye la base para el progreso.

El modelo, además, supone que la gestión educativa se sustenta en una cultura investigativa y colaborativa en la que los profesionales que conforman la comunidad educativa son capaces de identificar objetivos comunes respecto de los aprendizajes de los estudiantes, definir estrategias para sustentarlos y coordinarse para su implementación. Esto da cuenta de una visión tecnocrática enmarcada en el paradigma de las escuelas efectivas (Goddard, Sweetland & Hoy, 2000).

Si bien esta orientación pone foco en la importancia de los procesos de gestión para la mejora escolar, al centrarse en el ámbito académico como motor del desempeño organizacional, pueden generar similares consecuencias a las señaladas con respecto al accountability.

1.3.3. Uso de datos orientados a la responsabilización sustentable

En los últimos años ha surgido con fuerza una corriente académica que promueve la reinterpretación de la noción de accountability externo por una concepción que resalta la responsabilización de los actores educativos sin ser circunscritos en lógicas de eficiencia y costo-efectividad (Biesta, 2009; Vidovich, 2009), reconociendo las complejidades contextuales inherentes a este quehacer.

Tal como describe Earl y Louis (2012) esta visión posiciona a los docentes en el centro de la gestión educativa e introduce la pregunta sobre cuáles son las circunstancias en las cuales se da el quehacer educativo. De esa forma, se reconoce que el tipo de información que es relevante y útil para los establecimientos no puede ser prescrita y estandarizada, sino que debe estar directamente vinculada con las condiciones reales de enseñanza y aprendizaje, superando la idea predominante de one size fits all (un modelo único para todos) (vidovich 2009).

Además, esta visión sustenta la premisa de que la gestión y el fortalecimiento educativo son procesos que involucran a todos los agentes educativos, es decir, el uso de datos debe sustentarse en prácticas de la escuela comprendida como un sistema.

2. Diseño de la investigación

Se utilizó un diseño metodológico cualitativo exploratorio. A través de estudios de caso se indagó en las percepciones, significaciones y vivencias que los participantes realizan respecto de la temática en estudio (Stake, 1995) de manera de identificar cuáles son los recursos (tangibles e intangibles) utilizados para interpretar el fenómeno (Eisner, 1998).

Tal como aparece en el cuadro siguiente, los casos corresponden a cuatro escuelas municipales urbanas ubicadas en la zona centro-norte de la Región Metropolitana, que formaron parte del proceso de marcha blanca del SAC implementado por la ACE durante el año 2015. Estos establecimientos se encuentran clasificados en las distintas categorías de ordenamiento formuladas por la Agencia. La ACE además de entregar información a cada escuela evaluada mediante un informe, focaliza acciones en aquellas cuyo desempeño es calificado como insuficiente y medio-bajo. Lo anterior es relevante pues los casos escogidos contribuyen a la exploración del fenómeno del uso de información en las escuelas, en tanto es necesario comprender el contexto y las experiencias de los participantes que se involucran en estos procesos.

Cuadro 2. Características de la muestra

 

Se recolectó información mediante entrevistas individuales y grupales a actores clave de las escuelas (directivos y docentes de enseñanza básica) y del sistema educacional (tomadores de decisión del nivel central e investigadores), contribuyendo a obtener información en forma contextualizada desde la perspectiva de distintos actores (vieytes, 2004).

Además, se realizó revisión documental de: a) documentos de SAC pertenecientes a la marcha blanca de la ACE, b) documentos producidos por las escuelas vinculados al uso de datos y c) de los registros de un taller de trabajo con el equipo de gestión especialmente realizado en el marco de este estudio. Este último taller se realizó empleando la técnica de Análisis Cualitativo Interactivo (IQA) (Northcutt & McCoy, 2004) que incorpora activamente a los participantes de la investigación en el análisis de la información. El IQA permitió identificar los factores asociados al uso de datos organizados según los actores de cada escuela en una representación visual. La inclusión de esta técnica de análisis de información posiciona a los participantes como constructores de las categorías de significado y de las relaciones existentes entre ellas.

La información recopilada a través de las distintas fuentes fue analizada y sistematizada mediante el uso de matrices construidas sobre la base de dimensiones y factores levantados a partir del marco conceptual. Asimismo, se realizó un análisis de contenido con el objetivo de identificar los temas distintivos de las narrativas compartidas por los participantes (Bogdan & Biklen, 2007).

3. Principales resultados del estudio

En la presente sección se exponen los principales hallazgos del estudio organizados en tres temas vinculados con las preguntas de investigación: sentidos y propósitos del enfoque de información del SAC para los actores educativos, datos relevantes para las escuelas, y las capacidades que integran los procesos de uso de datos que implementan las escuelas del estudio.

3.1. Sentidos y propósitos del SAC para las escuelas

Aproximarse a las significaciones de los actores clave de la gestión educativa resulta relevante en tanto la actuación de las personas y las organizaciones están informadas por representaciones mentales, cuya génesis es social, y que se encarnan en los discursos compartidos (Argyris et al., 1985). En este apartado se sintetizan los hallazgos respecto del conocimiento y comprensión que poseen los actores educativos acerca del SAC, además de la valoración que tienen respecto del enfoque de uso de información que implementa la ACE en el marco de esta política.

3.1.1. Conocimiento y comprensión del SAC

Los análisis evidencian que existen niveles de conocimiento y comprensión del SAC diferenciados entre los participantes del estudio. Los directivos demuestran conocer información más detallada y comprensiva acerca del SAC y de las instituciones que lo componen y articulan. Además logran identificar las herramientas que la ACE utiliza para entregar información, así como las acciones a nivel de gestión escolar que se demandan a las escuelas, como parte del proceso de utilización de datos que se fomenta en el contexto del SAC. En contraste, los docentes evidencian tener un conocimiento más parcial tanto del Sistema como de la información que la ACE provee en el marco de esta política. Al respecto, los docentes visibilizan con mayor claridad tres tipos de datos que entrega la ACE: los resultados Simce, los indicadores de convivencia y vida saludable y las experiencias de visita al aula por parte de la ACE.

Dos elementos destacan como factores clave que median el nivel de conocimiento y comprensión que manifiestan los actores en relación al SAC.

a. Mecanismos de difusión y participación

Este factor da cuenta de las acciones y/o actividades que quedan disponibles para que las escuelas y sus actores puedan construir significados y conocimientos en relación con esta política. Al respecto, los directivos mencionan la existencia de diversos mecanismos de participación de tipo informativo, en donde se les entregan orientaciones, ya sea de forma presencial, en reuniones temáticas y de reflexión, o por vía electrónica respecto de los contenidos de la política. Lo anterior contribuye a que los equipos directivos posean mayor información acerca de la institucionalidad y los roles de las agencias que componen el SAC, los cambios que el sistema ha implementado y las demandas que la política le hace a las escuelas, lo cual claramente se corresponde al rol que ocupan en la gestión al ser receptores directos de las demandas del sistema. Por su parte, los docentes señalan conocer esta política a través de instancias de reflexión internas, mediadas por sus equipos directivos, en donde la información que se trabaja se concentra principalmente en resultados Simce y de indicadores de desarrollo personal y social reportados por la ACE.

b. Influencias y apoyos externos institucionales Los actores institucionales del sistema educativo (agencias ministeriales y sostenedores municipales) también conforman un factor mediador de la comprensión del SAC a nivel de las escuelas, en tanto generan, desde sus esferas de actuación, diversas acciones que pueden facilitar el conocimiento del SAC por parte de los agentes escolares. Los organismos ministeriales que se mencionan como mediadores de la información del SAC son la Asesoría técnica Pedagógica (ATP), la Agencia de Calidad de la Educación y la Superintendencia de Educación. La ATP se señala en tanto asiste a las escuelas para que vinculen los resultados del SAC con herramientas de gestión ministeriales o comunales (Padem, PEI, PME). La Superintendencia y la ACE se mencionan dado que sus tareas de fiscalización y evaluación, respectivamente, generan acciones concretas y visibles para la escuela (visitas, informes y entrega de resultados).

A nivel intermedio, destaca el rol que cumple el sostenedor de algunas escuelas, que mediante la elaboración de los planes remediales, el establecimiento de lineamientos de trabajo que enfatizan ciertos aspectos del sistema, o bien el apoyo y/o mandato de tareas, le otorgan visibilidad y relevancia a la información tanto de la Agencia como de las instituciones vinculadas al SAC. Si bien los participantes del estudio señalan que estas organizaciones facilitan el acceso a la información a nivel de sistema, también identifican que el foco de su accionar queda circunscrito mayormente a los equipos directivos, por lo cual los alcances de la política a nivel docente, resultan mediados por los marcos de interpretación que los directivos hacen respecto de ella con el profesorado que conforma su grupo escuela.

3.1.2. Valoración y lógicas de acción percibidas por los actores sobre el enfoque de información para la toma de decisiones de la política del SAC

De acuerdo con la investigación de Cho y Wayman (2009) el conocimiento, las creencias y las experiencias previas influencian los marcos de interpretación que los actores movilizan cuando usan los datos para informar sus prácticas. Por ende, el cómo perciben y valoran el SAC permite entender, desde los actores, las lógicas de acción que se promueven bajo esta política.

Los discursos asociados con la valoración del enfoque que sustenta la generación y entrega de información a las escuelas para la toma de decisiones dan cuenta de un complejo escenario, en tanto se distinguen valoraciones positivas y negativas que coexisten a la vez. Estas percepciones obedecen a los imaginarios y reconfiguraciones que los actores educativos establecen, en atención al marco de acción político que predomina en la política SAC.

Entre las valoraciones positivas, mencionadas tanto por directivos como docentes destacan:

• La identificación de los marcos de referencia que se visualizan a través de la existencia de estándares que definen lo que se considera una adecuada gestión institucional y pedagógica; y la entrega a los actores educativos de información vinculada con dichos estándares. Aparecen aquí opiniones de que el sistema es valorado porque facilita el acceso a información para la toma de decisiones en áreas que están sujetas a rendición de cuentas por parte de las autoridades municipales y nacionales, además, de generar información requerida por otros instrumentos de la gestión pública (PME, planes comunales).

• El acceso a información que retroalimenta otras dimensiones del aprendizaje de los estudiantes, la cual se extrae de los indicadores de desarrollo personal y social, además de la entregada a nivel de proceso en los informes de visita. Aquí se observa una vinculación de los aspectos valorados por las escuelas, con la misión declarada por las instituciones. En las escuelas que expresan foco en lo académico, se menciona con mayor frecuencia la valoración de los resultados académicos. En contraste, en aquellas cuya misión se asocia al desarrollo integral, se menciona frecuentemente la valoración de los indicadores de desarrollo personal y social.

• El uso simbólico con fines instrumentales que realizan algunas escuelas con los datos reportados, con la finalidad de demostrar efectividad y rendir cuentas ante la comunidad educativa, lo cual tiene incidencias en la gestión financiera y pedagógica de la escuela. Esto se señala exclusivamente en aquellas escuelas categorizadas con desempeño alto y medio, y que además declaran en sus proyectos educativos un foco centrado en lo académico.

• La incorporación de otros actores educativos, como son los apoderados, a los levantamientos que realiza la ACE en temáticas vinculadas con convivencia escolar.

En contraste con lo anterior, el enfoque que promueve esta política es también valorado de forma negativa por los participantes en relación con las implicancias que tiene su implementación para la escuela y para el sistema educativo en general. Entre los principales aspectos se mencionan:

• La visión reduccionista del quehacer educativo y de la calidad de la educación que se genera con la información que se entrega. Pese a que la Agencia ha integrado indicadores en otras áreas de gestión, la mayor parte del sistema se orienta a los resultados de los estudiantes en pruebas estandarizadas. Los actores consideran que reducir la gestión institucional y pedagógica a los resultados académicos de los estudiantes contribuye a la descontextualización de la información y de los aprendizajes.

• Falta de vinculación con la gestión a nivel de aula. Los docentes señalan que esta problemática, se visualiza a través de: a) la entrega no oportuna de información sobre los aprendizajes, b) la visión parcial que impone sobre los aprendizajes de los estudiantes, y c) la falta de articulación de la Agencia con el trabajo docente, pues los actores perciben una baja vinculación de la ACE con los docentes tanto en el levantamiento y la devolución de información, así como la ausencia de acciones que apoyen la labor docente más allá de la entrega de un informe. Además de lo anterior, los participantes valoran negativamente la nula participación que poseen en el proceso de diseño e implementación de los mecanismos de producción de información vinculados al SAC.

• Por último, se menciona como poco pertinente el hecho de que los estudiantes no sean consultados, y que su participación se reduzca a los resultados en las evaluaciones Simce.

En síntesis, conviven percepciones positivas y negativas acerca del enfoque de información para la toma de decisiones de la política del SAC implementado por ACE. La valoración positiva se restringe a la capacidad del sistema para generar información que sustente las políticas de accountability implementadas, en un contexto que "incorpora la rendición de cuentas, con foco en la mejora de aprendizaje de los estudiantes6". La política declara que las herramientas de SAC se orientan a apoyar los procesos de aprendizaje y gestión continua de las escuelas, es decir, se espera que estas generen ciclos de mejora continua en los cuales movilicen la información reportada externamente. Las visitas de la ACE son un esbozo de las estrategias definidas para promover una cultura reflexiva al interior de los establecimientos, pese a que su implementación no ocurre con una sistematicidad que viabilice y sustente dicha práctica.

La valoración negativa del enfoque de información dice relación con la orientación de efectividad escolar que el sistema promueve, a través de un esquema de sanciones o incentivos, en donde se cruzan dos lógicas predominantes. La primera se vincula con el paradigma de rendición de cuentas en tanto las acciones de la ACE (de acuerdo con el SAC) se presentan como herramientas altamente prescriptivas, que definen qué es la gestión educativa a través de componentes, acciones e indicadores, sin la participación activa de los miembros de las escuelas. Además, el sistema enfatiza la necesidad de que éstas demuestren su efectividad a través de estándares externos, con foco predominantemente en los resultados de los estudiantes en pruebas estandarizadas. Con ello, tal como Ladd (1996) indica, la escuela se convierte en la unidad del sistema educativo que se hace responsable único por rendir cuentas de los resultados, con nula consideración de la gestión de sostenedores y agencias ministeriales en los resultados obtenidos en la medición externa. Esto dado que las autoridades ministeriales y comunales son descritas por los participantes con un rol primariamente de control y fiscalización, fuertemente ausente de acciones de apoyo directo, concreto y permanente al trabajo de las escuelas.

Cuadro 3. Síntesis de lógicas percibidas en el enfoque de uso de datos de ACE de acuerdo con el SAC

 

Complementando la percepción de los actores escolares, los expertos entrevistados señalan que el SAC se sustenta en un modelo de relación escuela–agencias externas más orientado a controlar que a promover autonomía, y que sustenta, además, una noción de gestión y efectividad centrada en resultados académicos. Esto se refleja además, en la creciente producción de datos por parte de las distintas agencias ministeriales que se vinculan con la escuela, quienes a través de diferentes herramientas de gestión (PME, convenios de desempeño, evaluación docente, Marco para la buena Enseñanza, Marco para la buena Dirección) enmarcan y controlan las acciones de las escuelas.

3.2. ¿Qué información circula y es relevante para las escuelas municipales del estudio?

Las escuelas del estudio enfrentan un desafío común en su gestión, asociado a que su quehacer se desenvuelve en un ambiente abundante en información que deben ser capaces de comprender, interpretar y utilizar. En este contexto, tanto los directivos como los docentes, destacan la generación de concepciones amplias respecto de lo que para ellos involucra el término "dato". Este no se circunscribe solo a información estandarizada, sino que, tal como aparece en el Cuadro 4, abarca un conjunto de información interna o externa, de tipo cualitativa o cuantitativa, a nivel de estudiantes, docentes, entorno y familia y gestión, necesaria para dar cuenta de los objetivos que la propia comunidad ha establecido en su PEI y de los mandatos que el SAC le impone a las escuelas. En cuanto a las motivaciones y funciones vinculadas al uso de datos, los participantes destacan principalmente dos: una de tipo intrínseco, relacionada con el desarrollo de capacidades internas, mejora continua y responsabilización sustentable y, una extrínseca, la cual es mandatada y asociada a vigilancia externa.

Cuadro 4. Síntesis de características de datos presentes en los establecimientos escolares

 

Tal como Wayman y otros (2007) indican, la información que los actores educativos del estudio consideran relevante se encuentra mediada por la función que ellos desempeñan en la escuela. El análisis destaca que la relevancia de la información está influenciada por la correspondencia que esta tiene con la misión y los objetivos de la escuela. Esto da cuenta de que el marco filosófico de la institución permea la percepción de utilidad y relevancia de la información y, por ende, en su uso. Utilizando las categorías propuestas en el esquema anterior, el Cuadro 5 sintetiza los principales hallazgos agregados por rol institucional de cada actor sobre información considerada relevante.

Cuadro 5. Síntesis de principales hallazgos según rol de actor educativo

 

Lo anterior evidencia claras tendencias respecto de la valoración de la información de acuerdo con el rol de cada actor educativo. En el caso de los directivos existe una amplia gama de información que resulta primordial para el trabajo acorde a sus roles. La relevancia es construida tanto por necesidades internas como por aquellas que le son mandatadas externamente.

Los directores enfatizan aquellos datos que les permite vincular con otras herramientas de gestión mandatadas, de manera de definir acciones, o demostrar cumplimiento de los objetivos prescritos por el Ministerio de Educación (Mineduc) y los sostenedores municipales. Además declaran poner atención en información que facilite el desarrollo de competencias al interior de la escuela.

En el caso de los jefes de UtP, la relevancia de los datos se centra en aspectos curriculares y de enseñanza, cuya función principal es retroalimentar las prácticas docentes. La información interna es considerada más valiosa que la externa, en tanto les permite tomar decisiones contextualizadas, pertinentes y oportunas.

Por su parte, los docentes focalizan la relevancia en la información académica y psicosocial de los estudiantes, además de la reportada por los apoderados en tanto les permite contextualizar los procesos de enseñanza-aprendizaje. En cuanto a la importancia de las pruebas externas, ella se menciona en tanto el uso de datos es parte de su evaluación profesional.

Si bien el estudio no se orienta a generar distinciones entre escuelas, destaca el hecho de que los establecimientos que tienen un mejor desempeño en las pruebas estandarizadas tienden a mencionar en mayor medida la relevancia de información interna y externa vinculada con el rendimiento de los estudiantes e información sobre la implementación de currículo. Por su parte las escuelas que tienen menor desempeño en dichas evaluaciones, enfatizan la relevancia de información vinculada con la matrícula de la escuela y la información psicosocial de los estudiantes y sus familias. Estos datos son considerados importantes en la medida en que el primero les reporta información sobre la gestión de la escuela, y el segundo les entrega información que les permite contextualizar los procesos educativos mediante la sensibilización de los docentes acerca de la vida de sus estudiantes. Lo anterior también denota que la relevancia de la información está mediada por la filosofía y misión de la escuela, en la medida en que los actores prestan atención y consideran relevante aquella que es percibida útil para gestionar y alcanzar sus objetivos institucionales.

Los hallazgos anteriores cobran relevancia a la luz de la información que el sistema genera para retroalimentar el trabajo de las escuelas. Al respecto, los actores educativos describen que los datos de resultados de pruebas estandarizadas y, sobre todo, la de los indicadores de desarrollo personal y social provistos por la ACE les parecen importantes. Sin embargo, las escuelas señalan que esta relevancia está mediada por dos elementos: la obligatoriedad de rendición de cuentas a la que están sujetas y el mandato de uso de dicha información.

Por otra parte, los establecimientos declaran que los datos que tienen mayor relevancia para ellos son aquellos generados al interior de las escuelas y cuya función primordial es la mejora de procesos de gestión. Los participantes destacan que la información interna es generada con una motivación intrínseca y se orienta a conocer de forma contextualizada y oportuna el estado de sus prácticas de manera de tomar decisiones pertinentes.

3.3. Capacidades y factores que integran los procesos de uso de datos en establecimientos escolares en el marco del SAC

Este apartado presenta los hallazgos asociados con las capacidades y los factores transversales que conforman los procesos de uso reflexivo de datos que emergieron en las escuelas del estudio. Cabe señalar que el contexto de investigación pone de manifiesto dimensiones y variables que solo refieren a instituciones escolares de dependencia municipal, cuya autonomía difiere de las particular subvencionadas o particular pagadas.

Figura 1. Capacidades y factores del uso refexivo.

 

La investigación identificó seis capacidades principales que constituyen el uso reflexivo de datos en las escuelas, además de dos tipos de factores mediadores: a) aquellos que se insertan dentro de la gestión cotidiana de las escuelas y b) los que refieren a los contextos ambientales internos y externos, donde la injerencia de sus actores es más limitada. A continuación se describen cada uno de ellos.

a. Capacidad de estrategia

Se refiere a la capacidad de la organización y de las personas que la integran, para focalizar sus sentidos y acciones en la estrategia y en el proyecto educativo que las convoca. Contar con una definición clara y compartida de los sentidos y objetivos, le permite a la escuela crear una visión y normas en torno al uso de datos que promueva el desarrollo tanto de la escuela como de los actores que la conforman.

En los relatos de directivos y docentes se observa una fuerte alineación en relación con los elementos asociados a la misión y visión de la escuela. Ambos actores declaran tener identificados sus procesos clave, lo cual es fundamental en tanto les permite a los establecimientos desarrollar claridades comunes sobre los sentidos o propósitos que deben guiar la recolección y focalización de los datos para el cumplimiento de su PEI, lo cual se sustenta en una lógica interna de responsabilización sustentable, más que de accountability.

Al indagar más profundamente en los objetivos y focos que la escuela debe considerar para cumplir con su proyecto, estos tienden a diferenciarse según el rol que ocupa el actor en la escuela, y según la capacidad que tienen para gestionar las contingencias y las presiones externas impuestas desde el SAC. En consecuencia, pese a compartir los sentidos del quehacer educativo, los énfasis y reconfiguraciones que cada participante realiza respecto de los objetivos, marcos simbólicos de actuación, focos y acciones que se derivan de ella, tienden a depender más de esquemas individuales de carácter funcional, que de esquemas colectivos con orientación sistémica. Lo anterior se profundiza por las lógicas de accountability que sustenta el SAC y que presionan a los actores.

Esta situación se evidencia al indagar en las visiones y directrices presentes en los establecimientos asociados al uso reflexivo de datos. Si bien, los actores reconocen el rol clave que tiene el uso de datos para la mejora de la escuela, en la mayoría de los casos no cuentan con una definición clara y compartida de los sentidos, motivaciones, normas y marcos filosóficos de actuación que deben guiar los procesos de recolección, análisis y uso de datos. Esta situación se reduce cuando las escuelas generan mecanismos de simplificación de las demandas externas, que les permiten por una parte utilizar los recursos y atender las presiones de las instituciones del SAC sin verse abrumadas y, por otra, poner dichos requerimientos al servicio de las necesidades e intereses de su organización.

b. Capacidad de infraestructura de datos

Capacidad de una organización para agenciar (recolectar/recibir), seleccionar, organizar, representar y socializar aquellos datos que la comunidad educativa ha definido como relevantes para su estrategia. Esta capacidad responde a la necesidad de atribuir a la información de adecuados niveles de exactitud, agregación, integración, oportunidad, confiabilidad, accesibilidad y calidad.

El análisis de esta capacidad en las escuelas del estudio visibiliza aspectos positivos relacionados con los variados esfuerzos que realizan para agenciar, organizar y otorgar sentido a sus datos. Al respecto, los actores mencionan que privilegian la generación de información interna con foco en los estudiantes, docentes, familias y entorno, además de la de gestión escolar. Señalan que estos datos les permiten tener una visión formativa y sumativa respecto del estado de avance de sus procesos escolares. Si bien, las escuelas valoran la información externa que reporta la ACE, el grado de incorporación de esta al quehacer educativo varía, dependiendo de las acciones de (des)acoplamiento que se den entre la información externa, la interna y el proyecto educativo que tiene cada una.

Otro elemento observado se vincula con la existencia heterogénea de diversos mecanismos internos para agenciar, organizar y difundir la información a la comunidad educativa.

A pesar de los esfuerzos de las escuelas por abastecerse de datos para satisfacer sus necesidades de información, es posible identificar importantes debilidades, tales como:

• Desajuste entre la información que adquieren y la que requieren para satisfacer las demandas de su estrategia. Lo anterior se profundiza aún más a partir de las demandas externas de información que les impone el sistema.

• La oportunidad y el nivel de agregación e integración de los datos (aula, escuela y sostenedor) no siempre se adecua a las necesidades de la escuela, especialmente la información externa que reporta la ACE.

• Falta de precisión y sistematicidad en la producción y recolección de los datos, lo cual impacta la confiabilidad de la información.

c. Capacidad analítica y de desarrollo

Capacidad de la organización para evaluar e interpretar los datos de forma pertinente, contextualizada y colaborativa. Esta capacidad, se visualiza, a través de las competencias analíticas que despliegan los actores y de los mecanismos de desarrollo profesional que la organización implementa para fomentar en sus miembros el desarrollo y liderazgos necesarios para implementar procesos de uso reflexivo de datos.

Dentro de las fortalezas que relevan las escuelas en esta dimensión, se observan creencias y motivaciones respecto de la importancia y beneficios percibidos que tiene el uso reflexivo de datos para la mejora de las prácticas y aprendizajes de los estudiantes. Sin embargo, estas percepciones están condicionadas por el origen de la fuente de información. Directivos y docentes tienden a confiar más en la información que proviene de fuentes internas que de fuentes externas.

Entre las acciones descritas, algunas escuelas generan instancias colaborativas de análisis de información, orientadas a construir colectivamente conocimientos e hipótesis respecto de las problemáticas que impactan en los aprendizajes de los estudiantes. Estas instancias fortalecen los sentimientos de confianza, destreza, autoeficacia y trabajo colaborativo a nivel de docentes y directivos, en relación con el uso de datos. El anclaje de estas instancias en el quehacer cotidiano de la escuela se vincula al foco, sentidos, tipo de información y liderazgo que se despliegue en el proceso. Se observa en las escuelas del estudio dos tipos de instancias de análisis de trabajo colaborativo: a) las estructurales y b) las funcionales o ad-hoc. Las primeras refieren a acciones sistemáticas que son parte de la estructura y el desarrollo de la escuela, que permiten el aprendizaje y trabajo colaborativo entre sus miembros y posibilitan la reconfiguración de sus prácticas en atención a su estrategia y a las demandas propias de su comunidad educativa. Las segundas surgen para satisfacer demandas principalmente externas y no provocan mayores impactos en las prácticas de los actores educativos. Estas acciones esporádicas en modalidad taller o jornadas de reflexión se realizan principalmente para atender las demandas que los distintos actores del SAC ejecutan en la escuela como consecuencia de la entrega de resultados o informes de gestión.

Otro elemento observado se vincula con el desarrollo profesional. En algunas escuelas se han establecido mecanismos de desarrollo interno enfocados principalmente en los procesos de inducción a los docentes nuevos, la nivelación de prácticas, o el fortalecimiento de competencias técnico-pedagógicas de acuerdo con los diagnósticos de los equipos directivos. junto con lo anterior, los participantes señalan que algunos sostenedores los apoyan con cursos de capacitación externos vía ATEs, sin embargo, la utilidad de la formación está supeditada a la calidad del proveedor, la cual es evaluada como insatisfactoria en varios casos descritos.

La mayor debilidad que reportan los actores educativos en relación con la capacidad analítica se vincula con la falta de conocimientos y habilidades que afecta las siguientes acciones:

• identificación de qué datos son adecuados y necesarios,

• análisis y significación de los datos de manera pertinente y contextualizada,

• integración y priorización de la información en atención a los procesos y objetivos,

• aplicación o utilización de los datos para mejorar la calidad de su trabajo,

• evaluación de la eficacia de las acciones que implementan.

d. Capacidad de gestión o explotación de datos

Capacidad de una organización para vincular el conocimiento con las prácticas o rutinas educativas de la escuela. Este componente involucra habilidades tanto de la organización como de sus integrantes, para diseñar, planificar e implementar mecanismos y acciones que apoyen la gestión de los procesos pedagógicos y administrativos, a partir del conocimiento que poseen. La capacidad de gestión de datos involucra patrones estables y flexibles de comportamientos organizacionales que se manifiestan a través de dos aspectos distintivos de rutinas organizacionales. De acuerdo a Feldman & Pentland (2003) el aspecto ostensivo de una rutina es aquel que le brinda estructura a las acciones pues le da forma a lo que se percibe es una rutina. Este aspecto toma en cuenta las percepciones subjetivas de las personas respeto de lo que la rutina significa e involucra. Por otra parte, el aspecto performativo de una rutina refiere a las acciones implementadas por personas específicas en momentos específicos cuando están involucrados en rutinas organizacionales. Este aspecto considera que las acciones son inherentemente improvisadas debido a la contextualización que las personas realizan de las rutinas al atender a las condiciones contextuales. Ambos aspectos de las rutinas organizacionales son clave para la explotación reflexiva de datos.

Al analizar las prácticas de las escuelas relacionadas con este componente, se observan aspectos positivos asociados a la coexistencia de ambos en las rutinas organizacionales. En lo que respecta a las de tipo ostensivo, los actores reportan una serie de acciones y directrices presentes que se implementan para guiar y organizar las actividades de la escuela. Destacan el proyecto educativo, los planes de mejora y remediales, las programaciones, los estándares de desempeño e informes de resultado internos y externos, entre otros. En relación con el aspecto performativo, los participantes señalan la existencia de diferentes tipos de instancias grupales o individuales orientadas a la interacción y reconfiguración de sus prácticas, tales como reuniones de consejo, de ciclo o de coordinación de equipos, jornadas de reflexión, y de aprendizaje entre pares (formales e informales), además de entrevistas individuales de retroalimentación. La implementación, frecuencia y anclaje de estas rutinas es heterogénea respecto de las escuelas estudiadas.

Entre los elementos que dificultan el despliegue de esta capacidad, los participantes señalan que la dinámica de contingencias en la cual están inmersos les dificulta focalizar y destinar tiempo y recursos para desarrollar acciones más performativas que propicien una reconfiguración reflexiva de sus acciones. Por otra parte, los actores señalan que, en general, los informes externos que provienen de la ACE tienen un carácter más informativo que performativo. Al respecto, los participantes consideran que no se entregan las herramientas necesarias para que las escuelas y sus actores puedan orientar sus esfuerzos y sentidos, de modo que se les permita modificar los aspectos ostensivos y performativos de su práctica, tomando en cuenta su contexto, necesidades y objetivos de desarrollo (pertinencia).

e. Capacidad de integración

Capacidad para integrar acciones, de forma de apoyar los procesos estratégicos, claves y de soporte de la organización educativa desde una lógica de sistema. La integración es el proceso mediante el cual se combinan algunos o de todos los recursos tangibles e intangibles de la escuela, y las estrategias de gestión de manera de absorber en forma sistémica los nuevos conocimientos y prácticas en su quehacer educativo.

Algunas escuelas destacan procesos de integración en los ámbitos de gestión pedagógica y gestión de la convivencia. Respecto del primero, los actores relatan que en sus procesos de mejora han trabajado en forma integrada varias dimensiones del quehacer pedagógico tales como: organización curricular, planificación, acompañamiento al aula, alineación estratégica a lo pedagógico, gestión de desarrollo profesional interno y gestión de resultados. En el ámbito de la convivencia, mencionan acciones coordinadas asociadas con la adecuación y contextualización de la oferta educativa, gestión del entorno y de la comunidad escolar, y enseñanza mediante actividades extracurriculares.

Si bien lo anterior da cuenta de la capacidad de integración presente en las escuelas respecto de ciertos ámbitos de la gestión, estas acciones suelen quedar contenidas en áreas de gestión aisladas unas de otras. Situación que responde al paradigma funcional y departamentalizado imperante en el gobierno de las escuelas en el sentido de que los individuos trabajan bajo esquemas organizacionales atomizados, lo cual limita su potencial de trabajo sinérgico. Las lógicas del SAC en este sentido, fortalecen estas problemáticas al entregar información dividida en áreas (formación y convivencia, liderazgo, gestión educativa y gestión de recursos), respecto de las cuales posteriormente deben definir e implementar acciones. Esto, según los participantes, dificulta el desarrollo e implementación de una mirada integrada y sistémica acerca de sus procesos.

f. Capacidad de seguimiento y retroalimentación

Capacidad para desarrollar un seguimiento, monitoreo y evaluación sistemáticos, participativos y apropiados, orientados a observar y analizar los procesos y resultados de la organización, lo que debe posteriormente guiar las acciones de gestión.

En las escuelas estudiadas destaca la existencia formal de mecanismos y acciones de monitoreo, evaluación y retroalimentación de las prácticas escolares, las cuales se visualizan en distintos planes (PME, PEI, planes remediales), y en el seguimiento que se hace respecto de ellos.

No obstante lo anterior, es posible observar importantes debilidades en esta dimensión asociadas a:

• Falta de conocimientos y habilidades para diseñar e implementar procesos de seguimiento y control de gestión.

• Dificultades para establecer prioridades en las acciones a monitorear, por lo cual se tiende a gestionar en paralelo múltiples acciones de seguimiento a pesar de que no todas generan impacto significativo en los procesos de gestión de la escuela. Esta situación se profundiza más cuando se vincula con las demandas externas del SAC.

• Desarticulación y falta de integración sistémica respecto de la información que se extrae de las actividades de seguimiento.

• Escasos tiempos individuales y colectivos para monitorear, evaluar y retroalimentar las prácticas docentes y de gestión de la escuela.

Respecto de los factores presentes en la gestión cotidiana de la escuela y que median el uso reflexivo de datos, a continuación se describen los cuatro observados en el estudio:

a. Liderazgo directivo para el uso de datos

Da cuenta de los factores a nivel de liderazgo que median el uso reflexivo de datos. El liderazgo tiene un rol fundamental como facilitador para promover usos reflexivos de datos en los distintos ámbitos de la gestión de la escuela: estratégico, relacional, desarrollo de personas y de gestión del cambio organizacional.

En las escuelas del estudio destaca el liderazgo que ejerce uno o más de los miembros del equipo directivo respecto del uso reflexivo de datos internos. Estos actores poseen creencias y una alta motivación intrínseca respecto de los beneficios que tiene para el desarrollo de la escuela, el reflexionar y usar sus propios datos. En algunos casos, los líderes ponen al servicio de los docentes su experiencia y conocimientos disciplinares para modelar rutinas de análisis y aplicación de uso de datos en acciones de mejora de tipo remedial. Sin embargo, estas acciones no se dan en forma uniforme en las escuelas, sino que varían dependiendo, por una parte, del desarrollo de las demás capacidades que integran el uso reflexivo de datos y, por otra, del origen y tipo de información que agencian. Frente a datos externos de resultados, tales como Simce o los informes de ordenación, los líderes tienden a definir propósitos de uso más asociados a la rendición de cuentas que a la responsabilización. Esta situación varía hacia propósitos más vinculados con la mejora continua cuando se trata de información proveniente de las visitas a escuelas o la asociada a los indicadores de desarrollo personal y social.

En lo que respecta a las brechas presentes asociadas a esta capacidad se observan dificultades en:

• Roles directivos recargados de funciones administrativas.

• Competencias y conocimientos sobre uso de datos más asociados a la rendición de cuentas que al uso reflexivo de datos.

• Bajo despliegue de técnicas y mecanismos de acompañamiento y orientación para el desarrollo de prácticas institucionales y colectivas de uso reflexivo de datos.

• Pocos espacios de trabajo colaborativo que faciliten la interacción y construcción de conocimiento conjunto entre sus miembros.

b. Estructuras organizacionales reflexivas

Da cuenta de los factores a nivel de estructura organizativa que median el uso reflexivo de datos, la cual representa un sistema estable de relaciones entre sus miembros, constituyendo el marco donde se desarrollan los procesos internos de la misma. El contexto estructural describe la forma en que la organización hace operativa su cultura reflexiva de datos, esto es, las estructuras y procesos sistematizados que permiten alcanzar los comportamientos deseados.

Destacan varios elementos a nivel de estructuras para promover el uso de datos en las escuelas estudiadas. En unos casos, se observa la instalación y anclaje de estructuras participativas y orgánicas de trabajo colaborativo: reuniones sistemáticas de trabajo por ciclo educativo, jornadas de reflexión de resultados de pruebas formativas, programación temática de los consejos docentes en los cuales se establecen focos de atención para la reflexión y definición de estrategias conjuntas (técnico-pedagógicos, convivenciales y de gestión). En algunas escuelas además se suman reuniones periódicas de coordinación del equipo directivo y/o de gestión para trabajar aspectos integrales.

A pesar de la existencia de estructuras reflexivas, su desarrollo e instalación es heterogénea entre los establecimientos del estudio, además de lo anterior las escuelas se ven obligadas a generar estructuras emergentes vinculadas a jornadas o talleres de reflexión sobre resultados externos asociados a la ACE, las cuales desaparecen una vez terminada la actividad. Esto no contribuye a instalar capacidades y rutinas de reflexión de la información, sino más bien favorece acciones simbólicas respecto del uso de la información externa.

c. Cultura investigación-acción

Refiere a los factores a nivel de cultura que median el uso reflexivo de datos. Dado que la cultura proporciona las normas y creencias de comportamiento en la organización, se espera que la escuela sea capaz de generar un ambiente que facilite el despliegue de las capacidades de investigación, análisis, y aplicación.

Destaca en las escuelas la presencia de discursos asociados a la importancia de contar con espacios nutritivos de aprendizaje compartido, que les permitan a sus miembros, por una parte, reflexionar acerca de las problemáticas y por otra, gestionar en forma colaborativa y consensuada soluciones para abordarlas. En este sentido, los actores recalcan la necesidad de construir una cultura de uso de datos entre los miembros de la comunidad educativa, que fortalezca el desarrollo de capacidades individuales, grupales y organizacionales de tipo reflexivas. Además, señalan la importancia de establecer conversaciones sistemáticas que involucren actividades de investigación-acción dentro de su rutina diaria.

Sin embargo, lo anterior queda en un ámbito declarativo, pues al analizar los tipos de prácticas presentes en dichos establecimientos, se advierte que estas se concentran más en lo ostensivo que en lo performativo, siendo las últimas primordiales para significar y reconfigurar acciones de mejora pertinentes y situadas a la realidad de la escuela.

d. Disponibilidad de recursos

Da cuenta de los factores a nivel de recursos que median el uso reflexivo de datos. Dice relación con los recursos a los cuales tienen acceso los actores educativos dentro del contexto de su organización y PME, que configuran la autonomía y competencia percibida para sustentar la utilización de datos existentes.

El análisis este factor en las escuelas del estudio, evidencia que este se encuentra fuertemente mediado por dos situaciones: el tipo de gestión centralizada o descentralizada que realiza el sostenedor hacia las escuelas y la clasificación que obtienen de acuerdo con el SAC. Al respecto, aquellas escuelas que se ubican en las categorías de desempeño más altas son las que gozan de mayores grados de autonomía relativa para disponer de sus recursos.

Si bien se observan escuelas que reportan tener más libertad para definir y ejecutar acciones en el marco de su PME, hay ciertas lógicas de utilización de recursos transversales a las escuelas del estudio:

• Gestión de recursos limitada en tanto el sostenedor determina la oportunidad de las transferencias de recursos hacia las escuelas en función de las acciones planificadas en los PME.

• Baja prioridad en el esquema de tareas o actividades del sostenedor para establecer focos y procesos de uso reflexivo de datos al interior de las escuelas.

• Falta de tiempos u horas no lectivas destinadas a actividades de reflexión sistemáticas.

• Baja autonomía para disponer de recursos profesionales y de capacitación vía AtEs, que les permitan apoyar y acompañar procesos de instalación de uso reflexivo de datos en sus establecimientos.

Finalmente, a continuación se describen los factores de contexto ambiental interno y externo, respecto de los cuales, tanto de la escuela como de sus actores tienen menor injerencia.

a. Factores ambientales internos

Dan cuenta de las condiciones contextuales escolares que vienen dadas por el ambiente para la escuela, y respecto de las cuales las organizaciones educativas del estudio, no tienen las competencias funcionales para poder alterarlas directamente.

Las escuelas describen una serie de elementos que condicionan el uso reflexivo de datos dentro de los cuales destacan:

• La falta de dotación de profesionales para poder gestionar en forma comprensiva la totalidad de los procesos técnico-pedagógicos que se llevan a cabo, lo que redunda en una sobrecarga laboral para el jefe UtP, afectando la sostenibilidad de los procesos reflexivos en el ámbito técnico-pedagógico.

• La composición y rotación del equipo directivo en los roles asignados. Los equipos señalan como problemática que la estructura organizacional básica directiva de las escuelas es insuficiente para gestionar procesos reflexivos en distintos ámbitos de la gestión.

• La alta carga administrativa que tienen los directivos producto de las actividades de rendición de cuentas que deben realizar.

• El contexto de vulnerabilidad en la cual están inmersos las escuelas. Educar en contextos de alta vulnerabilidad implica mayores costos, que describen como no considerados por la política, a pesar de las mayores asignaciones establecidas en la Subvención Escolar Preferencial.

• La gran cantidad de programas o acciones que se les solicita implementar desde la política pública y los sostenedores, lo cual contribuye a la sobrecarga laboral y el desalineamiento estratégico de sus objetivos de desarrollo interno.

b. Factores ambientales externos

Dan cuenta de los factores externos ambientales, que median el uso reflexivo de datos, tales como políticas públicas, competencia y articulación entre agencias, y demás actores que influencian las prácticas de uso de datos de los establecimientos escolares.

A nivel de factores externos, los actores mencionan cuatro elementos importantes que limitan negativamente el uso reflexivo de datos.

• Desarticulación, a nivel de esferas de competencia y coordinación, entre las agencias de educación respecto de las demandas específicas que se les hace a las escuelas.

• Marcos de accountability que, por una parte, presionan directamente a las escuelas por resultados y por otra, difunden esta información de manera pública.

• Falta de coherencia entre lo que declara la política pública en relación con la promoción de los aprendizajes integrales y lo que realmente evalúa y establece como indicador de desempeño.

• El desarrollo profesional y retroalimentación a la evaluación docente, la cual tal como indica la oCDE (2013), no estimulan al nivel deseado la reflexión sobre las propias prácticas docentes.

Conclusiones y proyecciones de política pública

operacionalizando una definición de uso de datos que enfatiza la dimensión reflexiva de este proceso, en este estudio se examinaron los sentidos que tienen para los actores educativos de cuatro escuelas municipales la implementación del SAC, a través de las acciones de la ACE, así como las prácticas que se despliegan ante el cúmulo de información con la cual conviven cotidianamente como parte de las tareas de gestión enfatizadas por el sistema. A continuación se condensan los principales hallazgos, desde los cuales se desprenden posteriormente recomendaciones para la política educativa.

Un primer hecho evidente es que las escuelas municipales se enfrentan a un SAC enmarcado en un paradigma de rendición de cuentas con altas consecuencias y que refuerza la visión de las agencias externas a las escuelas como aquellas que definen no solo los estándares de eficiencia y efectividad educativa, sino que además imponen herramientas de levantamiento de información, mandatan acciones, y poseen la facultad de encasillar a las escuelas dependiendo de su desempeño en este marco de acción.

Este paradigma de accountability se ve potenciado por otras políticas y herramientas de gestión y control externas a la escuela, tales como el Padem, PME, evaluación docente, entre otras, que ejercen presión en los actores focalizando su actuar en ámbitos focalizados de la gestión educativa.

Dada la predominancia de este paradigma en la percepción del SAC por parte de los actores de las escuelas, el uso de datos es principalmente instrumental, alejándose significativamente del ideal de uso contextualizado y reflexivo de la información (Lai & Schildkamp, 2013).

Un elemento de la política SAC que potencia un uso más instrumental de la información es que la información entregada se reduce a ciertos ámbitos de la gestión educativa, con fuerte énfasis en resultados Simce, mediante los cuales la escuela es evaluada y posiblemente sancionada. Los indicadores de calidad de desarrollo personal y social definidos por la ACE son considerados una mejora de la evaluación, pero no son percibidos como herramientas que potencien la comprensión y el apoyo de procesos de mejora en dichos ámbitos.

Se evidencia una clara dicotomía respecto de la valoración de información producida internamente versus la producida de forma externa. Frente al primer tipo de información los actores describen un uso más reflexivo de datos, en tanto dicha información les permite agenciar procesos de mejora educativa sostenidos, oportunos y pertinentes a su contexto educativo.

El uso de datos en las escuelas, entonces, se materializa en un contexto en el cual las demandas externas y las necesidades internas se ven informadas por múltiples fuentes de información. La respuesta que hacen a ellas varía de acuerdo con el desarrollo de una serie de capacidades identificadas en el estudio.

La capacidad reflexiva de datos, fundamental para instalar procesos de mejora sostenidos, pertinentes y situados al contexto particular, está débilmente desplegada en las escuelas. Si bien se observan aspectos positivos en cada uno de los componentes y factores que la estructuran, la presencia y sistematicidad de ellos es heterogénea al interior de los establecimientos.

Respecto de las capacidades, la de gestión a partir de los datos y la de integración son las que se encuentran menos desarrollados en las escuelas, evidenciándose así prácticas de carácter más ostensivo que performativo. Además de lo anterior, el estudio constata que la mayor parte de las prácticas de uso de datos se desarrolla de forma atomizada, en tanto se circunscribe a áreas de gestión específica, o bien involucra a un número limitado de actores generalmente pertenecientes a los mismos niveles de gestión escolar.

La capacidad de seguimiento y retroalimentación, la cual se orienta a generar acciones reactivas o remediales a corto plazo, se ve limitada por las contingencias y demandas que enfrenta la escuela.

El estudio identifica que los sostenedores, AtEs, agencias ministeriales (ATP, Superintendencia, Agencia) son percibidos por los actores de las escuelas con importantes roles en promover o bien limitar el uso reflexivo de datos, en tanto dotan de sentido las acciones y procuran o dificultan acceso a herramientas que promuevan procesos colectivos de reflexión y retroalimentación.

Reconociendo que los hallazgos del estudio se centran exclusivamente en los sentidos y prácticas de uso de datos de escuelas municipales, es posible proyectar acciones en distintos niveles de la política educativa con el fin de promover un uso contextualizado y reflexivo de la información en dichos contextos educativos.

Política pública

• La política educativa de Aseguramiento de la Calidad debe reconsiderar el profundo énfasis que instaura en el control y rendición de cuentas de las escuelas. El foco en resultados académicos descontextualizados al ejercicio profesional de estas, y la etiquetación en categorías de desempeño son elementos que requieren ser modificados pues no promueven per se procesos de cambio sustentables y pertinentes a las escuelas.

• Establecer y definir un marco público institucional de lo que implica el uso reflexivo de datos y cómo este se conecta con la estrategia y el proyecto educativo de los establecimientos.

• Las agencias ministeriales deben avanzar en generar sinergias respecto de los mandatos y apoyos que despliegan en las escuelas, mediante la fusión de distintos instrumentos y programas que se les solicita (PME, plan de convivencia, plan de seguridad escolar, entre otros). La idea es evitar sobreintervenir a las escuelas, producir exceso de información, y generar mandatos contradictorios entre agencias. La articulación y coordinación sistémica debe procurar tener como foco el desarrollo de las capacidades de la escuela y de sus actores, evitando lógicas de acción atomizadas o departamentalizadas.

• Hacer disponibles herramientas y metodologías de carácter más performativo para que las escuelas puedan analizar y planificar a partir de los datos. Lo anterior implica, además, orientar dicho instrumental según las diferentes necesidades de información que requiere cada actor educativo.

• Incorporar la participación de los actores educativos en la generación de información relativa a procesos más que a resultados.

• La pertinencia de la información se ve mediada en gran parte por la oportunidad con la cual los datos son puestos al servicio de la toma de decisiones de los actores. Por ello, se deben diseñar herramientas que permitan retroalimentar periódicamente a las escuelas, en las distintas esferas de la gestión educativa.

• La política e institucionalidad pública debe procurar que las escuelas tengan mayor nivel de autonomía respecto de la gestión de la información relevante al contexto educativo, así como también de los recursos (materiales, humanos, y tiempos) que permiten desplegar mecanismos de uso reflexivo de datos. En este sentido, el rol y forma de gestión del sostenedor y de los futuros servicios locales debe alinearse con estas lógicas de trabajo.

• En lo referido a los apoyos externos, el sistema debe vincular en forma más directa a las universidades y redes con los establecimientos escolares, de manera de fomentar la generación de comunidades de aprendizaje. Respecto de las AtEs se debe definir una oferta que potencie la capacidad reflexiva de datos de la escuela evitando que las AtEs se conviertan en procesadores de información.

Sostenedores

• Fortalecer el rol e influencia del sostenedor como líder intermedio de gestión escolar para promover las capacidades de uso reflexivo de datos en los establecimientos de su dependencia, en este sentido el SAC debe incorporarlos de forma directa y explícita en sus acciones.

• Promover focos de desarrollo a mediano y largo plazo en su planificación, en cuanto estas fortalecen la capacidad de mejora continua y de desarrollo sostenible de las organizaciones educativas.

Escuelas

El liderazgo de la escuela respecto del uso de datos debe potenciarse. Para ello es clave no sobrecargar a los directivos con funciones administrativas, generar la instauración de estructuras permanentes de reflexión colectiva, brindar mayor autonomía en la gestión recursos que les permitan potenciar culturas de investigación-acción. Algunas acciones relativas a este objetivo son:

• Generar mecanismos de coordinación y ajuste estratégico con la finalidad de mejorar la focalización y jerarquización de acciones en atención a su estrategia.

• Definir prioridades en el esquema de tareas y acciones del PME asociadas a la instalación de procesos de uso reflexivo de datos.

• Generar sistemas de acompañamiento interno para apoyar los procesos de despliegue de las capacidades de uso reflexivo de datos de los miembros de la comunidad educativa.

• Generar estructuras y ciclos de trabajo sistemáticos y colaborativos, anclados en la organización.

Notas

4 Ministerio de Educación, Superintendencia de Educación Escolar, Agencia de Calidad de la Educación y Consejo Nacional de Educación.

5 Los otros indicadores de calidad son: Convivencia escolar, participación y formación ciudadana, hábitos de vida saludable, autoestima académica y motivación escolar, equidad de género, asistencia escolar, retención escolar y titulación técnico-profesional. A partir del 2016, la Agencia promueve la entrega de resultados de evaluación formativa y progresiva a través de evaluaciones estandarizadas externas de carácter voluntario.

6 Corresponde a un objetivo estratégico de la ACE.

Referencias

Agencia de Calidad de la Educación, ACE (2014). Guía para comprender la categoría de desempeño y orientar las rutas de mejora. Santiago de Chile: Ministerio de Educación.         [ Links ]

Anderson, S., Leithwood, K., & Strauss, T. (2010). Leading data use in schools: organizational conditions and practices at the school and district levels. Leadership and Policy in Schools, 3(9), 292-327. http://dx.doi.org/10.1080/15700761003731492        [ Links ]

Argyris, C., Putnam, R., & McLain Smith, D. (1985) Action science: Concepts, methods, and skills for research and intervention. San Francisco: Jossey-bass.         [ Links ]

Bernhardt, V. L. (2000). Databases can help teachers with standards implementation (Monograph nº 5). Oroville, CA: California Association for Supervision and Curriculum Development.         [ Links ]

Biesta, G. (2009). Education between accountability and responsibility. En H. Simon, M. Olssen, & M. A. Peters (Eds.), Re-reading education policies: A handbook for studying the policy agenda in the 21st Century, (pp. 650-666). Rotterdam: Sense Publishers.         [ Links ]

Bogdan, R. C. & Biklen, S. K. (2007). Qualitative research for education: An introduction to theories and methods (5th ed.). Boston: Pearson Education.         [ Links ]

Cho, V. & Wayman, J. C. (2009). Knowledge management and educational data use. Trabajo presentado en el American Educational Research Association Annual Meeting, San Diego, CA. Recuperado de http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.558.831&rep=rep1&type=pdf        [ Links ]

Coburn, C. E., Honig, M. I., & Stein, M. K. (2009). What is the evidence on districts’ use of evidence? En J. D. Bransford, D. J. Stipek, N. J. Vye, L. M. Gómez, & D. Lam (Eds.), The role of research in educational improvement (pp. 67-86). Cambridge, MA: Harvard Education Press.

Coburn, C. E. & Turner, E. O. (2012a). The practice of data use: An introduction. American Journal of Education, 2(118), 99-111. https://doi.org/10.1086/663272        [ Links ]

Coburn, C. E. & Turner, E. O. (2012b). Putting the use back in data use: An outsider’s contribution to the measurement community’s conversation about data use. Measurement: Interdisciplinary Research and Perspectives, 4(9), 227-234. https://doi.org/10.1080/15366367.2011.634653

Codding, J. B. & Rothman, R. (1999). Just passing through: the life of an American high school. En D. D. Marsh & J. B. Codding (Eds.), The new American high school (pp. 3-17). Thousand Oaks, CA: Corwin.         [ Links ]

Datnow, A., Park, V., & Wohlstetter, P. (2007). Achieving with data. How high-performing school systems use data to improve instruction for elementary students. Los Angeles, CA: Center on Educational Governance, University of Southern California.         [ Links ]

Earl, L. & Louis, K. S. (2012). Data use: Where to from here? En K. Schildkamp, M. Lin, & L. Earl (Eds.), Data driven decision making in education: Challenges and opportunities (pp. 193-204). Dordrecht, NL: Springer.         [ Links ]

Eisner, E. W. (1998). El ojo ilustrado. Indagación cualitativa y mejora de la práctica educativa. Barcelona: Paidós.         [ Links ]

Gill, B., Borden, B. C., & Hallgren, K. (2014). A conceptual framework for data-driven decision making (Final Report). Princeton, NJ: Mathematica Policy Research Report.         [ Links ]

Goddard, R. D., Sweetland, S. R., & Hoy, W. K. (2000). Academic emphasis of urban elementary schools and student achievement in reading and mathematics: A multilevel analysis. Educational Administration Quarterly, 5(36), 683-702. https://doi.org/10.1177/00131610021969164        [ Links ]

Hatch, T. (2013). Beneath the surface of accountability: Answerability, responsibility and capacity-building in recent education reforms in Norway. Journal of Educational Change, 2(14), 113-138. https://doi.org/10.1007/s10833-012-9206-1        [ Links ]

Hawley, W. & Sykes, G. (2007). Continuous school improvement. En W. Hawley (Ed.), The keys to effective schools: Educational reform as continuous improvement (pp. 153-172). Thousand Oaks, CA: Corwin.         [ Links ]

Ikemoto, G. S. & Marsh, J. A. (2007). Cutting through the "data-driven" mantra: Different conceptions of data-driven decision making. Yearbook of the National Society for the Study of Education, 1(106), 105-131. https://doi.org/10.1111/j.1744-7984.2007.00099.x        [ Links ]

Lachat, M. A. & Smith, S. (2005). Practices that support data use in urban high schools. Journal of Education for Students Placed at Risk, 3(10), 333-349. https://doi.org/10.1207/s15327671espr1003_7        [ Links ]

Ladd, H. (1996). Holding schools accountable. Washington, DC: The Brookings Institute.         [ Links ]

Lai, M. K. & Schildkamp, K. (2013). Data-based decision making: An overview. En K. Schildkamp, M. K. Lai, & L. Earl (Eds.), Data-based decision making in education: Challenges and opportunities. Studies in educational leadership 17, (pp. 9-21). Dordrecht: Springer.         [ Links ]

Ley nº 20.529 Sistema Nacional de Aseguramiento de la Calidad de la Educación Parvularia, básica y Media y su Fiscalización del Ministerio de Educación. Diario Oficial de la República de Chile, 27 de agosto de 2011.         [ Links ]

Mandinach, E. B. & Gummer, E. S. (2013). ‘Building educators’ data literacy: Differing perspectives. The Journal of Educational Research & Policy Studies, 2(13), 1-5.

Northcutt, N. & McCoy, D. (2004). Interactive cualitative analysis. A system method for qualitative research. California: Sage publications.         [ Links ]

Organización para la Cooperación y el Desarrollo Económicos, OCDE. (2013). Evaluación docente en Chile: fortalezas y desafíos. Revisión de la OCDE de los marcos de evaluación para mejorar los resultados escolares. Santiago: Autor.         [ Links ]

Petrides, L. & Nodine, T. (2005). Anatomy of school system improvement: Performance-driven practices in urban school districts. San Francisco: Institute for the Study of Knowledge Management in Education and New Schools venture Fund.         [ Links ]

Stake, R. K. (1995). The art of case study research. Thousand Oaks, CA: Sage.         [ Links ]

Vidovich, L. (2009). ‘You don’t fatten the pig by weighting it’: Contradictory tensions in the ‘policy pandemic’ of accountability. En H. Simon, M. Olssen, & M. A. Peters (Eds.), Re-reading education policies: A handbook for studying the policy agenda in the 21st Century, (pp. 549-567). Rotterdam: Sense Publishers.

Vieytes, R. (2004). Metodología de la investigación en organizaciones, mercado y sociedad: epistemología y técnicas. Buenos Aires: Editorial de las Ciencias.         [ Links ]

Wayman, J. C., Cho, V., & Johnston, M. T. (2007). The data-informed district: A district-wide evaluation of data use in the Natrona County School District. Austin: The University of Texas. Recuperado de http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.535.7891&rep=rep1&type=pdf        [ Links ]

Recibido: 16/09/2016

Aceptado: 28/11/2016

1 Proyecto apoyado financieramente por CNED/ Convocatoria 2015.

Creative Commons License Todo o conteúdo deste periódico, exceto onde está identificado, está licenciado sob uma Licença Creative Commons