SciELO - Scientific Electronic Library Online

 
vol.3 número6Ecuaciones No Lineales: Impacto de una Nueva Propuesta Metodológica en el Rendimiento Académico de los EstudiantesMotivación en la Enseñanza de las Matemáticas y la Administración índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Formación universitaria

versión On-line ISSN 0718-5006

Form. Univ. v.3 n.6 La Serena  2010

http://dx.doi.org/10.4067/S0718-50062010000600004 

Formación Universitaria Vol. 3(6), 15-32(2010)

 

Indicadores Básicos para Evaluar el Proceso de Aprendizaje en Estudiantes de Educación a Distancia en Ambiente e-learning

 

Basic Indicators for Assessment the Learning Process in Students of Distance Education in Environment e-learning

 

Diana M. Cardona y Jenny M. Sánchez

Facultad de ingeniería, Universidad Nacional de Colombia, Bogotá-Colombia, (e-mail: dmcardonar@unal.edu.co, jmsanchezt@unal.edu.co)


Resumen

Se discute y analiza la identificación de los sistemas de indicadores para la medición del sector e-learning dentro de la sociedad de la información. Este análisis se usa como insumo para proponer un sistema de indicadores de medición del proceso de aprendizaje en e-learning, los cuales se presentan agrupados en cinco categorías: institucionales, pedagógicas, tecnológicas, contextúales y de servicios. Se concluye que los sistemas de referencia de indicadores actualmente miden la inclusión de infraestructura y poco tienen en cuenta la medición del proceso de aprendizaje, encontrando que solo el 16% de los criterios se pueden usar como criterios de medición del proceso de aprendizaje, mientras que en los estudios de evaluación del e-learning se identificó que el 85% de los criterios puede medir ese aspecto. Se encontró también que la evaluación del desempeño del estudiante en la formación es uno de los indicadores preferidos para determinar el grado de aprendizaje que han tenido los estudiantes inmersos en ambientes e-learning.

Palabras Clave: Criterios, Educación a Distancia, e-learning, Indicadores, Variables


Abstract

The identification of indicators systems for measure e-learning sector within information society is discussed and analyzed. This analysis is used as input to propose systems indicators for measuring the learning process in e-learning, which are grouped into five categories: institutional, pedagogical, technological, contextual and services. We conclude that the reference systems of indicators currently measure the infrastructure inclusión and do not measure the learning process, finding that only 16% of the criteria can be used as criteria for measuring the learning process, while the evaluation studies of e-learning was identified that 85% of the criteria can measure this aspect. It was also found that the assessment of student performance in training is a preferred indicator for determining the degree of learning in students that had engaged in e-learning environments.

Keywords: Criteria, Distance Education, e-learning, Indicator, Variables


 

INTRODUCCIÓN

El uso de las Tecnologías de la Información y las Comunicaciones -TIC- ha tenido un fuerte impacto en el sistema educativo, especialmente en el aprendizaje a distancia, pues en la medida que avanza la tecnología, la alfabetización digital se convierte en un requisito clave para interactuar en el mundo privado y laboral (RICYT, 2009), por ello es importante considerar cómo aprenden los estudiantes, cómo se les puede enseñar mejor, cuáles son las estrategias de enseñanza más convenientes para la apropiación de contenidos y cómo organizar de forma eficiente los recursos educativos. En el ámbito mundial existen varias organizaciones interesadas en conocer el nivel de inclusión de las TIC en varios sectores, uno de ellos, la educación. (Sánchez-Torres, 2006), sin embargo, muchos de los modelos se enfocan en la medición de la inclusión de infraestructura tecnológica y conectividad, como veremos más adelante, pero dejan de lado aspectos importantes como el proceso de aprendizaje, especialmente en estudiantes cuya modalidad de estudio es la educación a distancia. Este trabajo es continuación de aportes previos realizados por el proyecto "e-métrica" financiado por la Universidad Nacional de Colombia (Bustamante y Sánchez-Torres, 2009a y 2009b) donde los autores realizan una revisión sobre los sistemas de indicadores de la sociedad de la información y desarrolla el estudio en profundidad de los sistemas de indicadores para los sectores de e-banca y e-learning. Por su parte, la Sociedad de la Información (SI) considera que el motor de desarrollo social y económico está en la información y el conocimiento, a través de la implantación y el uso de las TICs en todos los ámbitos (Katz y Hilbert, 2003), en donde cada uno de esos ámbitos puede ser, por ejemplo, los servicios en línea prestados por las agencias gubernamentales, o los servicios en línea prestados por las entidades financieras. Ahora bien, dentro de los e-sectores que maneja la SI, considerado como áreas definidas de la sociedad que cuentan con apoyo de TIC y servicios digitales, se puede indicar que la educación es un sector importante que ha sido incluido en últimos años para su medición, ello justifica la realización de este trabajo, además que debe atender a las demandas sociales que desde distintos sectores se realizan.

Por otro lado, se puede indicar que la Educación a Distancia (EaD), se considera una modalidad de formación que permite a los estudiantes conseguir destrezas y actitudes necesarias para comunicarse (interpretar y producir mensajes), utilizando distintos lenguajes y medios, además de desarrollar su autonomía personal, su pensamiento crítico que le capacite para desarrollar una adecuada toma de decisiones (Moore y Kearsley, 1996). Y aunque no existe en la literatura un consenso acerca de su definición, existen rasgos característicos que permiten una mejor comprensión (Keegan, 1996), lo que le ha permitido evolucionar y estar vigente durante los últimos años. Por ello, después de una revisión de literatura (Cardona-Román y Sánchez-Torres, 2010) se encontró que la definición que contiene la mayor parte de las características que definen a la EaD es la propuesta por Moore y Kearsley (1996), donde la definen como "aprendizaje planificado que normalmente ocurre en un lugar diferente al de la enseñanza y como consecuencia requiere técnicas especiales de diseño de cursos, técnicas instruccionales especiales, métodos especiales de comunicación electrónica y otras tecnologías, como también arreglos organizativos y administrativos especiales". Así las características fundamentales propuestas por Keegan (1996), indica que debe darse las siguientes situaciones:

"1. La separación cuasi-permanente del profesor y el aprendiz a lo largo del proceso enseñanza-aprendizaje (esto la distingue de la educación convencional cara a cara); 2. La influencia de una organización educativa tanto en la planificación como en la preparación de los materiales de aprendizaje y en la provisión de servicios de soporte a los estudiantes (esto la distingue de los estudios particulares y los programas de auto-enseñanza; 3. El uso de medios técnicos (materiales impresos, audio, video o computadores) para unir al profesor y al aprendiz y transportar el contenido del curso; 4. La provisión de un medio de comunicación bi-direccional de forma tal que el estudiante pueda beneficiarse de este o aún iniciar el diálogo (esto la distingue de otros usos de la tecnología en la educación); y 5. La ausencia cuasi-permanente del grupo de aprendizaje a lo largo del proceso de aprendizaje de forma tal que la gente es enseñada usualmente como individuos más que como grupos, con la posibilidad de reuniones ocasionales, bien sea cara a cara o por medios electrónicos, para propósitos didácticos como de socialización."

En particular, como lo indica UNESCO (2002) el aprendizaje a distancia tiene como potencial facilitar una educación más centrada en el estudiante, fortaleciendo el vínculo entre las instituciones educativas y las organizaciones, empresas e industrias de la comunidad local, donde el estudiante se forma de acuerdo al contexto que requiere para el desarrollo de su comunidad.

Ahora bien, con la evolución y globalización de las TIC y la importancia del sector educativo en la SI, surge el e-learning considerado como una de las modalidades de EaD, que de forma general se refiere al uso de las nuevas TICs con un propósito de aprendizaje (Seaone et al, 2006; Cardona-Román y Sánchez-Torres, 2010), al convertirse en un insumo relevante para la transferencia de información y capacitación, lo que permite un proceso personalizado de tutoría, acceso constante al programa del curso, incremento en la comunicación entre estudiantes y entre estudiantes y tutores a través del uso de herramientas como foros de discusión, charlas en directo y correo electrónico, actividades diseñadas por el tutor, seguimiento de las actividades y evaluaciones que permitan medir los resultados; actividades desarrolladas normalmente dentro de un aula virtual y en general el proceso de aprendizaje del estudiante. (Comezaña y García, 2005)

De acuerdo a los sectores de la SI (Katz y Hilbert, 2003) y la inclusión de la medición en la e-formación, se evidenció que la inquietud por evaluar ese sector muestra importantes iniciativas y experiencias en el ámbito mundial, encaminadas a establecer estándares que permitan identificar criterios e indicadores específicos (Rubio, 2003), así mismo se encontró que en Chiarani (2004), Olds (2004), Mandinach (2005), Fetaji (2007), Ga-jin (2007), Liu (2007), Yunus (2008) y Shehabat y Mahdi (2009) se proponen diferentes criterios de evaluación del e-learning, y de plataformas como herramienta de apoyo en la educación y como perspectiva de la pedagogía, evidenciándose una alta medición de la tecnología y no del proceso de aprendizaje en sí. En síntesis, durante el desarrollo de este documento se encontrarán los indicadores comunes entre los sistemas de indicadores de la sociedad de la información y los indicadores encontrados en estudios de evaluación del e-learning, de igual forma se presenta una propuesta de los indicadores necesarios para evaluar el proceso de aprendizaje en ambientes e-learning, y posteriormente se realizan las conclusiones del estudio.

MATERIALES Y MÉTODOS

Para el desarrollo de esta investigación se siguieron los siguientes pasos: marco conceptual, caracterización de los sistemas de indicadores de e-learning y propuesta de indicadores.

Marco conceptual

En la fase inicial de esta investigación era necesario realizar una revisión crítica de la literatura sobre varios conceptos, entre ellos: sociedad de la información, educación a distancia, e-learning y evaluación. De tal forma que se tuviese claridad sobre los elementos que se desean estudiar, y a la vez, determinar sus alcances y limitaciones. Se utilizó fuentes secundarias para la obtención de la información, realizándose un análisis crítico de los conceptos y elementos encontrados.

Caracterización de los sistemas de indicadores de e-learning

A partir de la revisión realizada en la primera fase del proyecto "e-metrica" se determinaron los sistemas de indicadores y las características de los indicadores que trabajan con profundidad en e-learning, de igual forma se revisan estudios de evaluación del e-learning, donde se realiza un análisis de los indicadores utilizados en estos estudios.

Propuesta de indicadores

En esta fase se realiza una propuesta sobre los indicadores que se deben tener para evaluar el e-learning, los indicadores son propuestos de acuerdo al análisis de los sistemas de indicadores de e-learning de la sociedad de la información y los estudios indicadores encontrados en los estudios de evaluación de e-learning, adicional a ello se proponen otros indicadores que son necesarios para evaluar proceso de aprendizaje del estudiante.

VARIABLES E INDICADORES PARA LA MEDICIÓN E-LEARNING

Los procesos de medición y evaluación buscan especialmente identificar los efectos, los impactos y la eficiencia de la inversión en el desarrollo de proyectos o actividades específicas. La evaluación se considera un proceso que permite la retroalimentación. Como acertadamente lo señala el equipo del proyecto MERITUM (2002) "lo que no es medible, no es gestionable", si no se evalúa, no hay retroalimentación, no se conocen los resultados, no se identifican los puntos débiles, los puntos fuertes, los ajustes y conexiones para la formulación de política y la puesta en marcha de estrategias. (Sánchez-Torres, 2006). Así, definir un conjunto de indicadores es imprescindible para medir el cambio o transformación ocurrida en el acceso del e-learning, que posibilite un diagnóstico y validación de los progresos y habilidades alcanzados por el estudiante, y de los obstáculos identificados. (Alves, 2008)

Es por ello que antes de abordar esta sección se explica la diferencia entre indicador y variable, pues uno de los principales hechos es la confusión entre los dos términos cuando se va a realizar un proceso de evaluación del e-learning, así, una variable es un aspecto que desea medirse de un objeto de estudio, mientras que un indicador es una característica observable e identificable dentro de una variable, de forma que, los indicadores permiten asignarle a una variable un determinado valor. (Sánchez-Torres 2006).

Sistemas de indicadores en medición de e-learning

La sociedad de la información ha realizado esfuerzos durante varios años para determinar el conjunto de indicadores necesarios para la medición de e-sectores, sin embargo, los indicadores de e-formación o e-learning son aún incipientes y pese a que se ha discutido ampliamente los indicadores de las TIC en la educación y hay varias aproximaciones de creación de conjuntos de indicadores por diversas organizaciones dedicadas a la medición y generación de consensos, la medición efectiva y la existencia de indicadores comparables es limitada, a pesar de su importancia como ámbito de alfabetización digital y espacio para la formación de las competencias básicas asociadas a esta nueva economía. (RICYT, 2009)

Para determinar los criterios de evaluación del sector e-formación se tomó como referencia el trabajo realizado por (Bustamante y Sánchez-Torres, 2009a) en el cual hizo una revisión de los sistemas de referencia para sociedad de la información, allí se determinaron los ámbitos de evaluación de tales sistemas, variables, indicadores, métodos de recolección y procesamiento de información. Esta revisión da como resultado la Tabla 1, en la cual se observa los criterios de medición de los diferentes sistemas de indicadores que han abordado e-learning, de igual forma en (Bustamante y Sánchez-Torres, 2009b) se muestran los indicadores específicos e-learning de cada sistema de indicadores.

Los sistemas de referencia consultados fueron:

SR1: índice de la economía del conocimiento (KEI)

SR2: índice de la nueva economía - PPI

SR3: Modelo de estimación de e-preparación

SR4: Guía de preparación para vivir en el mundo de la Red

SR5: Modelo de indicadores de la Junta de Castilla y León

SR6: Indicadores de eEspaña

SR7: e-Indicadores de BISER (Benchmarking the Information Society in European Regions)

SR8: Nuevos Indicadores eEurope - SIBIS

SR9: Sistema de Indicadores OSCILAC

SR10: Indicadores básicos de TICs - UNESCO -UIS

SR11: EUROSTAT

SR12: Guía para la Medición de la Sociedad de la Información (OECD)

SR13: CEPAL, Conferencia ministerial sobre la sociedad de la información de Am. Latina y el Caribe

Tabla 1. Criterios comunes de evaluación del e-learning en los sistemas de indicadores de la sociedad de la información. Adaptado de Bustamante y Sánchez-Torres (2009a). Los criterios sombreados son los correspondientes a la medición del proceso de aprendizaje

Indicadores / Sistemas de Referencia

SR1

SR2

SR3

SR4

SR5

SR6

SR7

SR8

SR9

SR10

SR11

SR12

SR13

Graduandos avanzados

X

Graduandos universitarios

X

Graduandos Asociados

X

índice de alfabetización de adultos

X

X

Estudiantes matriculados en secundaria

X

X

X

Estudiantes matriculados en educación superior

X

X

X

X

Proporción de escuelas con acceso a Internet, por tipo

X

X

Uso y frecuencia de PC y/o Internet

X

X

X

X

X

X

X

X

Lugar de Acceso del estudiante

X

X

Actividades realizadas y capacidades

X

X

X

X

X

X

computadora en el hogar

X

X

Tipo de Conexión a intemet en el hogar y en la escuela

X

X

X

X

X

X

X

X

Teléfono celular

X

X

Televisión en el hogar y en escuelas con fines educativos

X

X

X

Nivel de calificación de los padres

X

Infraestructura del hogar

X

X

Cantidad de PC de la institución educativa

X

X

X

X

X

X

Computadoras disponibles para las actividades de enseñanza

X

X

X

X

X

X

X

Computadoras conectadas a intemet en la institución educativa

X

X

X

X

X

X

X

X

X

Percepción de la Infraestructura de la institución educativa

X

X

X

X

X

Nivel de enseñanza de la institución educativa

X

X

X

X

Tipo de gestión de la institución educativa(pública o privada)

X

Acceso al PC y/o intemet por estudiantes y profesores

X

X

X

X

X

X

X

 

Tabla 1: (continuación)

Indicadores / Sistemas de Referencia

SR1

SR2

SR3

SR4

SR5

SR6

SR7

SR8

SR9

SR10

SR11

SR12

SR13

Tipo de material utilizado (en formato digital) para la enseñanza

X

X

X

Años de Experiencia del profesor

X

Localización de la institución educativa

X

X

Escuelas con electricidad

X

X

Escuelas con radios para fines educativos

X

X

Habilidades básicas de las TIC

X

X

X

X

% de trabajos en la organización que requieren de habilidades básicas, avanzadas o especializadas de TIC

X

Las TIC están integradas con el Currículo

X

los currículos son de

características

Colaborativas

X

 

En la Tabla 1 se aprecia qué los indicadores específicos para el proceso de aprendizaje son escasos, sólo el 16% podría responder a evaluar este aspecto, mientras que el 84% de los criterios encontrados pertenecen a infraestructura y acceso a las TICs, en consecuencia, se presenta una distribución de frecuencia no uniforme de los criterios a evaluar, lo que conlleva a que sólo once criterios de los 31 encontrados sean comunes a varios sistemas de indicadores (ver Fig. 1) lo que causa dificultades en encontrar indicadores adecuados para evaluar el proceso de aprendizaje en estudiantes.

Fig. 1. Criterios comunes en los sistemas de indicadores de la sociedad de la información.

Fuente: Elaboración propia con base en Tabla 1

Otro de los elementos que se observa en los criterios de los sistemas de indicadores de la sociedad de la información es que no hay diferencia entre variables e indicadores, por lo tanto la medición de estos criterios es dispendiosa, en la Tabla 2 se puede observar la clasificación de los criterios.

Tabla 2: Identificación del tipo de criterios de los sistemas de indicadores

Criterios

Tipo de criterio

Graduandos avanzados

Indicador

Graduandos universitarios

Indicador

Graduandos Asociados

Indicador

índice de alfabetización de adultos

Indicador

Estudiantes matriculados en secundaria

Indicador

Estudiantes matriculados en educación superior

Indicador

Uso y frecuencia de PC y/o Internet

Variable

Lugar de Acceso del estudiante

Variable

Actividades realizadas y capacidades

Variable

computadora en el hogar

Variable

Tipo de Conexión a intemet en el hogar y en la escuela

Variable

Teléfono celular

Variable

Televisión en el hogar y en escuelas con fines educativos

Variable

Nivel de calificación de los padres

Indicador

infraestructura del hogar

Variable

Cantidad de PC de la institución educativa

Indicador

Computadoras disponibles para las actividades de enseñanza

Indicador

Computadoras conectadas a intemet en la institución educativa

Indicador

Percepción de la Infraestructura de la institución educativa

Variable

Nivel de enseñanza de la institución educativa

Indicador

Tipo de gestión de la institución educativa(pública o privada)

Variable

acceso al PC y/o intemet por estudiantes y profesores

Variable

Tipo de material utilizado (en formato digital) para la enseñanza

Variable

Años de Experiencia del profesor

Indicador

Localización de la institución educativa

Variable

Escuelas con electricidad

Indicador

Escuelas con radios para fines educativos

Indicador

Habilidades básicas de las TIC

Variable

Porcentaje de trabajos en la organización que requieren de habilidades básicas, avanzadas o especializadas de TIC

Indicador

Las TIC están integradas con el Currículo

Variable

los currículos son de características Colaborativas

Variable

En la Tabla 2 se aprecia que hay 15 criterios (48%) considerados como indicadores y 16 criterios (52%) considerados como variables, esto demuestra que aún no se ha llegado a un consenso sobre los indicadores a utilizar en la medición del e-learning, lo que dificulta de esta forma el proceso de evaluación estandarizada en este campo.

Variables e Indicadores en Estudios de Evaluación del e-learning

Para la realización de este apartado se revisaron los trabajos de Chiarani et. al (2004), Fetaji y Fetaji (2007a), Fetaji y Fetaji (2007b), Ga-jin (2007), Liu (2007), Mandinach (2005), Olds (2002), Peña y Avendaño (2006) y Yunus y Salim (2008), en los cuales se proponen diferentes criterios de evaluación del e-learning, que influyen en el aprendizaje como herramienta de apoyo en la educación y como perspectiva de la pedagogía.

En la Tabla 3, se observa que en la evaluación del impacto del e-learning es importante un adecuado diseño instruccional del curso que se ofrezca en esta modalidad, de tal forma que permita al estudiante y al docente, conocer los objetivos de aprendizaje, actividades a realizar, metodología a utilizar y forma de evaluar; otros criterios importantes para la medición del e-learning es la usabilidad, la navegabilidad, el acceso del sistema implementado, el nivel de experticia en manejo de la solución informática por los participantes, de igual forma la comunicación es un proceso indispensable para la adecuada interiorización del conocimiento adquirido, al igual que la realimentación ofrecida en los diferentes momentos de la evaluación formativa, puesto que es un punto de referencia del estudiante sobre sus conocimientos adquiridos. En la Tabla 3 la información está tomada de Ahmad et. al, (2001), Chiarani et. al, (2004), Correia y Dias (2001), Cuevas et. al (2006), Diaz (2002), Divjak y Begicevic (2006), Fang (2007), Fetaji y Fetaji (2007b), Ga-jin (2007), Ketabchi et. al (2008), Mandinach (2005), Marshall y Mitchell (2003), Olds (2002), Osorio y Aldana (2009), Rubio (2003), Wagner et. al (2005), y Yunus y Salim (2008)

Tabla 3: Criterios comunes de evaluación del impacto del e-learning

Criterios 1 Autores

A

B

C

D

E

F

G

H

/

J

K

L

M

N

O

P

Q

Contenido

X

X

X

X

X

X

Diseño Educativo

X

X

X

X

X

X

Modelo pedagógico (estilos de aprendizaje)

X

X

X

Diseño de Interfaz de la herramienta virtual

X

X

X

X

Efectividad de la estructura del curso

X

Necesidades de los estudiantes

X

Recursos de Aprendizaje

X

X

X

X

X

X

X

Numero de Retroalimentaciones dadas por parte del profesor al estudiante

X

X

X

Evaluación del rendimiento y del aprendizaje del Estudiante

X

X

X

X

X

X

X

X

X

X

X

Nivel de Comunicación con el instructor

X

X

X

X

X

X

X

Interacciones con otros estudiantes (trabajo en grupo o colaborativo)

X

X

X

X

X

X

Grado de experiencia en el manejo de la plataforma ( acceso - navegación - usabilidad)

X

X

X

X

X

X

X

Grado de satisfacción del estudiante en el curso

X

X

X

Motivación (Actitud e Interés)

X

X

Infraestructura adecuada

X

X

X

X

X

X

X

X

Nivel de habilidades computacionales y pedagógicas en los actores

X

X

X

X

X

Nivel de soporte tecnológico y pedagógico para los participantes

X

X

X

X

Obstáculos que enfrentan en el aprendizaje electrónico

X

X

% Docentes y estudiantes equipados con PC

X

% Salones de clase equipados para e-learning

X

En la Tabla 3. Las letras de la A a la Q indican los siguientes autores (A) Ahmad et. al, (2001), (B) Chiarani et. al, (2004), (C) Correia y Dias (2001), (D) Cuevas et. al (2006), (E) Diaz (2002), (F) Divjak y Begicevic (2006), (G) Fang (2007), (H) Fetaji y Fetaji (2007b), (I) Ga-jin (2007), (J) Ketabchi et. al (2008), (K) Mandinach (2005), (L) Marshall y Mitchell (2003), (M) Olds (2002), (N) Osorio y Aldana (2009), (O) Rubio (2003), (P) Wagner et. al (2005), (Q) Yunus y Salim (2008)

Al igual que sucedió con los criterios de los sistemas de referencia para la SI, en los estudios de evaluación del e-learning se emplean criterios que son indistintamente llamados variables o indicadores, por lo que en la Tabla 4 se muestra la clasificación de los criterios encontrados. Se encontró que de 20 criterios, nueve corresponden a variables y 11 a indicadores, el 45% y 55% respectivamente, en el cual puede observarse que la proporción entre criterios tipo variable y tipo indicador es equivalente. Sin embargo, esta similitud muestra que el uso de variables es frecuente, lo que dificulta la estandarización de la medición y a su vez la realización de comparaciones, pues en cada estudio las variables son medidas de diferentes modos.

Tabla 4: Identificación del tipo de criterios en los estudios de evaluación del e-learning

Criterios

Tipo de criterio

Contenido

Variable

Diseño Educativo

Variable

Modelo pedagógico (estilos de aprendizaje)

Variable

Diseño de Interfaz de la herramienta virtual

Variable

Efectividad de la estructura del curso

Indicador

Necesidades de los estudiantes

Variable

Recursos de Aprendizaje

Variable

Numero de Retroalimentaciones dadas por parte del profesor al estudiante

Indicador

Evaluación del rendimiento y del aprendizaje del Estudiante

Variable

Nivel de Comunicación con el instructor

Indicador

Interacciones con otros estudiantes (trabajo en grupo o colaborativo)

Indicador

Grado de experiencia en el manejo de la plataforma (acceso - navegación - usabilidad)

Indicador

Grado de satisfacción del estudiante en el curso

Indicador

Motivación (Actitud e Interés)

Indicador

Infraestructura adecuada

Variable

Nivel de habilidades computacionales y pedagógicas en los actores

Indicador

Nivel de soporte tecnológico y pedagógico para los participantes

Indicador

Obstáculos que enfrentan en el aprendizaje electrónico

Variable

% Docentes y estudiantes equipados con PC

Indicador

% Salones de clase equipados para e-learning

Indicador

Por otro lado, los criterios con mayor frecuencia en los estudios de evaluación del e-learning se pueden ver en la Fig. 2, en la que se observa que la evaluación de rendimiento es necesaria para monitorear el proceso de aprendizaje del estudiante, además de los recursos de aprendizaje y la comunicación con el profesor para saber los objetivos del aprendizaje y resolver diversas inquietudes que se puedan presentar en el proceso, también se evidencia que al igual que en los sistemas de referencia, el criterio de infraestructura es necesario para soportar el proceso de educación en ambientes virtuales. De los criterios encontrados en los estudios de evaluación de e-learning se aprecia que el 85% miden el proceso de aprendizaje de los estudiantes, mientras que el porcentaje restante (15%) corresponde a infraestructura y accesibilidad, sin embargo, no se descarta que tener una infraestructura adecuada y un nivel aceptable de accesibilidad puede aportar en la medición del proceso de aprendizaje.

Fig. 2. Criterios comunes en los estudios de evaluación del e-learning.

Fuente: Elaboración propia con base en la tabla 4

Al comparar los dos procesos de selección de criterios de evaluación (sistemas de referencia y estudios de evaluación del e-learning), es de resaltar, que dentro del sistema de indicadores del modelo de estimación de e-preparación (Readiness Guide), se tiene en cuenta la integración de las TICs con el currículo que se orienta en la institución, criterio común extraído de los estudios de evaluación de e-learning, al igual que las características colaborativas en el mismo.

PROPUESTA DE INDICADORES PARA EVALUAR EL PROCESO DE APRENDIZAJE

Como se observó en las dos secciones anteriores, la selección de indicadores no es una tarea fácil, además del alto uso que hay de variables. Así, a partir de los sistemas de referencia analizados se busca sacar provecho de sus fortalezas y debilidades, es por ello que en esta sección se propone un conjunto de indicadores que pretende evaluar el e-learning, específicamente el proceso de aprendizaje de los estudiantes, pues éste proceso permite saber si el estudiante ha realizado la interiorización de contenidos y transferencia de conocimiento de forma adecuada.

La accesibilidad, usabilidad y navegación, se convierten en elementos indispensables a tener en cuenta en el momento de realizar una revisión de medición del e-learning en ambientes educativos. En el mismo sentido, se encuentra el criterio de habilidades básicas en el manejo de herramientas, que en los estudios de evaluación se encontró como el grado de experticia en el manejo de plataformas virtuales, desarrollo de nuevas habilidades por los actores y las capacitaciones asociadas a este indicador que según varios estudios son importantes para una adecuada inclusión de tecnologías en la educación. Así, una propuesta de los indicadores básicos para medir el proceso de aprendizaje de acuerdo al análisis realizado es agruparlo categorías (ver Fig. 3)

Fig. 3. Categorías propuestas de los indicadores y variables para medir el proceso de aprendizaje en e-learning. Fuente: Elaboración Propia

i) Institución: la relacionada con la institución que pretende medir la dotación de la infraestructura de la institución y soporte para TIC cuando el estudiante de EaD haga uso de la infraestructura educativa y la provisión de servicios de soporte a los estudiantes, observándose la relación de esta categoría con el segundo rasgo característico de la EaD.

ii) Pedagogía: en la cual se mide el proceso de aprendizaje del estudiante, con base en los materiales ofrecidos, el diseño instruccional de cada curso, la asesoría del tutor, las retroalimentaciones a las actividades presentadas, donde ésta categoría tiene relación con el tercer rasgo característico de la EaD.

iii) Tecnología: en la cual se evalúa la accesibilidad, navegabilidad y usabilidad de la herramienta virtual utilizada como soporte al proceso educativo, las habilidades en el manejo de TIC por parte de los profesores y los estudiantes es un aspecto necesario que permite evaluar la efectividad de las TICs en la educación, de igual forma la comunicación en sentido bidireccional que permite al estudiante beneficiarse de esta para aclarar dudas o realizar su trabajo en equipo y de forma colaborativa, y se relaciona con el cuarto y quinto rasgo fundamental de la EaD.

iv) Contexto: todo proceso de evaluación depende de las características específicas del contexto de referencia, es por ello que se evalúa, el contexto social, económico, cultural y político, si bien podemos llegar a identificar indicadores en el ámbito internacional o nacional, de carácter más general, hay algunos que solamente son adecuados para una determinada región o centro o programa en función de su misión, valores, u otro tipo de características diferenciales. Esta categoría se relaciona con el primer y segundo rasgo fundamental de la EaD.

v) Servicios y otros: pretende medir otros aspectos que no se encuentran directamente relacionados con los tres anteriores y tiene relación con la satisfacción del estudiante al terminar un curso e-learning, la motivación del mismo durante el desarrollo del curso y su influencia en el proceso de aprendizaje, si se ha mejorado la educación con la inclusión de TIC y cuáles son esos obstáculos que presentan tanto los estudiantes como los profesores cuando son inmersos en un ambiente de formación electrónica.

Los indicadores y variables de cada una de las categorías son explicados en las Tabla 5 a la 9 incluyendo aspectos relacionados con la Institución (Tabla 5), Aspectos pedagógicos (Tabla 6), Aspectos Tecnológicos (Tabla 7), Aspectos Contextúales (Tabla 8) y Servicios y otros (Tabla 9).

Tabla 5: Indicadores de la categoría Institución

Variable

Indicador

Clasificación

Nivel de enseñanza de la institución educativa (básica, secundaria, superior)

Tipo de formación (formal, no formal)

N° de programas ofertados (secundaria, pregrado, posgrado)

% Formación orientada al mercado laboral

Características de la institución

N° total de estudiantes matriculados en la institución

N° de docentes contratados en la institución

Tasa de docentes = docentes disponibles/ docentes necesarios

Densidad de estudiantes por programa académico ofertado

Infraestructura

Nivel de acceso de las escuelas a las TIC

N° de equipos de audioconferencia

N° de equipos de videoconferencia

Razón de computadores conectados a intemet en la institución educativa

% de docentes y estudiantes dotados de PC

% de salones de clase dotados para e-learning

Razón de estudiantes por computador destinado a enseñanza-aprendizaje (E/A)

Retención

N° de estudiantes que matriculan el curso por periodo académico

N° de estudiantes que aprueban el curso / N° de estudiantes que matriculan el curso

N° de estudiantes que terminan el curso / N° de estudiantes que matriculan el curso

Media del N° de estudiantes asignados a atender por docente

Tabla 6: Indicadores de la categoría Pedagogía

Variable

Indicador

Características de los participantes

Nivel de habilidades pedagógicas en los actores

Recursos de aprendizaje

N° de bases de datos en convenio con la biblioteca virtual de la institución

Razón de acceso a la biblioteca virtual por día

N° de videos o enlaces a videos dentro del curso

N° de audios o enlaces a audios dentro del curso

N° de simuladores o enlace a simuladores dentro del curso

N° de prácticas o laboratorios (remotos y presenciales) en el curso

Diseño instruccional

Hay objetivos en el curso

Se indica la metodología de desarrollo del curso

Es clara la didáctica del curso

Es clara la estrategia de trabajo del curso

N° actividades de trabajo en grupo o de aprendizaje colaborativo

Tabla 6: (continuación)

Las actividades promueven el aprendizaje autónomo

Tasa de prácticas programadas=N° de prácticas programadas/N° de capítulos del curso

N° de evaluación en línea que presenta el curso (diagnóstica, continua y sumativa)

% de evaluaciones presentadas por el estudiante con relación a N° de evaluaciones del curso

Grado de integración de las TIC al currículo

Modelo Pedagógico

Estilo de aprendizaje e inteligencia del estudiante

Estilo de enseñanza del docente

N° de horas asistidas/ N° de horas del curso x 100

N° de horas de estudio al día

Tasa de prácticas realizadas = N° de prácticas realizadas por el estudiante / N° de prácticas programadas * 100

Tasa de actividades teóricas realizadas = N° de actividades teóricas realizadas por el estudiante / N° de actividades teóricas programadas * 100

N° de retroalimentaciones dadas por el docente al estudiante

Clima en el proceso de E/A= (media de la satisfacción de los estudiantes con las relaciones estudiante-docente + media de la satisfacción de los estudiantes con las relaciones estudiante-estudiante )/2

Curso

El curso presenta una estructura general

El curso respeta e incluye la propiedad intelectual

El curso tiene contenido actualizado

El curso tiene contenido suficiente

El curso tiene un contenido útil

El contenido del curso se entrega a tiempo

N° de citaciones dentro del contenido del curso

N°s de revistas indexadas y journal en las referencias

Involucra a los estudiantes en los procesos de autoevaluación, heteroevaluación y coevaluación

Tabla 7: Indicadores de la categoría Tecnología

Variable

Indicador

Herramienta Virtual

% de navegabilidad de la herramienta virtual

% de usabilidad de la herramienta virtual

% de accesibilidad de la herramienta virtual

Grado de Accesibilidad del estudiante a la herramienta virtual

Grado de Accesibilidad del docente a la herramienta virtual

Nivel de Aspecto gráfico

Rapidez de descarga de las páginas

Facilidad para imprimir

Cantidad de información presentada

Habilidad

Grado de experiencia del estudiante en el manejo de TIC

Grado de experiencia del docente en el manejo de TIC

Comunicación

Síncrona: N° de videoconferencias programadas para labores de E/A en el curso

Síncrona: N° de chat programados para labores de E/A en el curso

Asincrona: N° de e-foros abiertos para labores de E/A en el curso

Asincrona: N° de e-mail enviados por el docente para labores de E/A en el curso

Conectividad

Tiempo promedio en Internet (días a la semana y horas semanales) para realizar actividades académicas

Tipo de conexión a intemet

Velocidad de conexión a intemet

Lugar de acceso a la conexión (hogar, trabajo, café intemet, familiar, amigo)

Nivel de uso

Frecuencia de uso del intemet para actividades de formación

Frecuencia de uso del computador por parte de los estudiantes

Tabla 8: Indicadores de la categoría Contexto

Variable

Indicador

Político (Demográfico)

N° de habitantes (miles de hab)

Tasa de natalidad

Esperanza de vida

Población por zona de residencia (miles de hab)

Origen geográfico del estudiante

Económico

PIB percápita

Tasa de crecimiento del PIB

% de población por debajo de la línea de pobreza

Tasa de inflación

Tasa de desempleo

Ingreso familiar

Egresos

Proporción personas que trabajan en el hogar

Responsable económicamente por sus estudios

Ocupación

Cultural

Tasa de analfabetismo

Promedio de años de escolaridad

Cobertura por nivel educativo

Pertenece a minorías

Grupo religioso al que pertenece

social

N° de personas que integran el núcleo familiar, incluyéndose

Proporción niños en total de personas

Proporción adultos mayores en total de personas

Nivel de estudios del padre

Nivel de estudios de la madre

Grupo vulnerable al que pertenece

Ubicación de la vivienda

Tipo de vivienda

Tenencia de la vivienda

Tabla 9. Indicadores de la categoría Servicios

Variable

Indicador

Servicios

N° de servicios de educación en red

Comunicación

Nivel de comunicación del estudiante con el instructor

Nivel de comunicación del estudiante con otros estudiantes

Nivel de comunicación del estudiante con el servicio de soporte

Nivel de comunicación del estudiante con administrativos

Motivación y satisfacción

% de satisfacción del estudiante en un curso

% de motivación del estudiante (nivel de actitud y nivel de interés) del estudiante

% conformidad de estudiantes de un curso

Soporte

Nivel de soporte tecnológico y pedagógico para los participantes

CONCLUSIONES

Una vez abordadas las definiciones de EaD y e-learning, se observan características comunes en las dos definiciones lo que permite deducir que el e-learning es la evolución de la EaD con uso de TIC, por lo tanto es importante realizar una evaluación del proceso de aprendizaje en los estudiantes que toman esta modalidad de formación.

La inclusión del sector de e-formación en varios sistemas de indicadores da cuenta de lo importante que es este campo y de allí la necesidad de revisar los indicadores establecidos, además que se debe continuar ahondando en este campo.

En el ejercicio de evaluación de e-learning, la dilucidación de los indicadores es lo más relevante, de tal forma que mida no sólo variables generales de inclusión de TIC sino que se observe el contexto y lo que sucede con el uso de las mismas en la educación.

De los indicadores identificados en los sistemas de referencia de la sociedad de la información, sólo un pequeño porcentaje permite evaluar el proceso de aprendizaje del estudiante, mientras que un gran porcentaje evalúa la inclusión de la infraestructura, caso contrario a lo que se evidenció en los indicadores de los estudios de evaluación donde se invierte la proporción, además que los criterios de la sociedad de la información para la medición de la e-formación, se podría decir que sólo el 16% de los criterios encontrados miden del proceso de aprendizaje, mientras que en los estudios de evaluación el 85% de los indicadores evalúa este aspecto.

La accesibilidad, usabilidad y navegación, se convierten en elementos indispensables a tener en cuenta en el momento de realizar una revisión de medición del e-learning en ambientes educativos, pues son indicadores comunes entre los sistemas de indicadores de la sociedad de la información y los estudios revisados.

El indicador de habilidades básicas en el manejo de herramientas o grado de experticia en el manejo de plataformas virtuales, es igualmente importante para la inclusión en el proceso de evaluación del e-learning.

La evaluación del desempeño del estudiante en la formación es uno de los indicadores preferidos para determinar el grado de aprendizaje que han tenido los estudiantes inmersos en ambientes e-learning.

REFERENCIAS

Alves, A., Educação e Sociedade do Conhecimento Contributo para o capítulo "Educação" del Manual de Lisboa. Memorias del IV Seminario Iberoamericano de Indicadores sobre la Sociedad del Conocimiento. Organizado por CYTED, RICYT y ISCTE. Lisboa - Portugal 11 y 12 de Septiembre (2008).        [ Links ]

Ahmad, H.; Udin, Z. y Yusoff, R., Integrated process design for e-learning a case study. The sixth International, Conference on Computer Supported Cooperative Work in Design, pp. 488-491 (2001).        [ Links ]

Bustamante A. y Sánchez-Torres J.M., Indicadores para la medición de la Sociedad de la Información una revisión, Encuentro Nacional de Investigación en Postgrados ENIP. Universidad Nacional de Colombia, Bogotá, Diciembre (2009a).        [ Links ]

Bustamante A. y Sánchez-Torres J.M., Indicadores de la Sociedad de la Información para la medición en e-banking y e-learning. Encuentro Nacional de Investigación en Postgrados ENIP. Universidad Nacional de Colombia, Bogotá, Diciembre (2009b).        [ Links ]

Cardona-Román, D.M. y Sánchez-Torres, J.M., La Educación a Distancia y el e-learning en la Sociedad de la Información un Estado del Arte. Enviado para publicación Revista de la facultad de ingenierías Físico Mecánicas de la Universidad Industrial de Santander (2010).        [ Links ]

Chiarani, M.; Pianucci, I.; Lucero, M., Criterios de Evaluación de Plataformas Virtuales de Código Abierto para Ambientes de Aprendizajes Coiaborativos, Anales del VI Workshop de Investigadores en Ciencias de la Computación (WICC 2004) ISBN 950-665-337-2, Neuquén, Argentina Mayo (2004).        [ Links ]

Comezaña, O. y García, F., Plataformas para educación basada en web Herramientas, procesos de evaluación y seguridad, Informe Técnico, Universidad del Salamanca p. 66. Disponible en http//tejo.usal.es/inftec/2005/DPTOIA-IT-2005-001.pdf (2005).        [ Links ]

Correia, A. y Dias, P., Criteria for evaluating learning web site how does this impact the design of elearning?, In Proceedings II Conferencia Internacional challenges / desafios'2001. pp. 521-528 (2001).        [ Links ]

Cuevas, S.O., García L.R. y Cruz M.I., Evaluación del Impacto de una Plataforma Tecnológica utilizada en una Universidad Mexicana, Encuentro de Educación Virtual, VirtualEduca (2006).        [ Links ]

Diaz, D.P., Online Drop Rates Revisited, The Technology Source, Disponible en: http//ts.mivu.org/default.asp?show=article&id=1034 Mayo-Junio (2002)        [ Links ]

Divjak, B. y Begicevic, N., Imaginative acquisition of knowledge - strategic planning of E-learning, memorias de la 28th International Conference on Information Technology Interfaces - ITI2006, pp. 47-52, Cavtat Croatia, 19-22 Junio (2006)        [ Links ]

Fang, C. H., Study on Effects, Limits and Current Situation of E-learning System an Example on Small-median Enterprises Industrial, Memorias de IEEE IEEM, pp. 322-326 (2007)        [ Links ]

Fetaji, B., Fetaji, M., E-learning Indicators Approach to Developing e-learning Software Solution, Memorias of the International Conference on "Computer as a Tool" - EUROCON. pp. 2687-2694 (2007a)        [ Links ]

Fetaji, B., Fetaji, M., E-learning Indicators Methodology Approach in Designing Successful e-learning, Memorias de 29th International Conference on Information Technology Interfaces, pp. 307-312, Cavtat Croatia, 25-28 Junio. (2007b)        [ Links ]

Ga-jin, I., Developing Evaluation Tool for e-learning Management of Engineering an Technology, Portland International center for, Management of Engineering and Technology, pp. 1526-1537 (2007)        [ Links ]

González, M.P. y Sánchez-Torres, J.M., Design on Evaluation Model for Social Inclusión in the Information Society A proposal from action research approach, 5th Euro American Conference on Telematics and Information Systems, Ciudad de Panamá, Panamá (2010)        [ Links ]

Katz, J.M. y Hilbert, M.R., Los caminos hacia una sociedad de la información en América Latina y el Caribe, Naciones Unidas, (2003)        [ Links ]

Keegan, D., Foundations of Distance Education. USA Routledge (1996)        [ Links ]

Ketabchi, E., Mortazavi, M. y Moeini, A., Evaluation of user satisfaction in Center of eLearning-University of Tehran. Memorias de International Conference on Computer Science and Software Engineering, (2008)        [ Links ]

Liu, Z., Learning from E-commerce from E-learning Information Technologies and Applications in education. ISITAE '07. First IEEE International Symposium, pp. 193-197, (2007)        [ Links ]

Mandinach, E., The Development of Effective Evaluation Methods for E-learning A Concept Paper and Action Plan. Teachers College Record. Vol. 107, No. 8, pp. 1814-1835, Agosto (2005)        [ Links ]

Marshall, S. y Mitchell, G., Potential Indicators of e-learning Process Capability. Educause in Australasia, ISBN. 1-876346-47-7 (2003)        [ Links ]

MERITUM project, Guidelines for managing and reporting on intangibles (intellectual capital statements). Madrid Editorial Fundación Vodafone (2002)        [ Links ]

Moore, M.G. y Kearsley, G., Distance Education a Systems View. Belmont, Ca. Wadsworth Publishing Company (1996)        [ Links ]

Olds, B. M., Effective Strategies to Assess the Impact of e-learning. Proceedings of Conferences on e-Technologies in Engineering Education Learning Outcomes Providing Future Possibilities, Vol. P1, Article24, pp. 158-163, Davos, Suiza (2002)        [ Links ]

Osorio, L. y Aldana, M., Diseño de Lineamientos para la Formulación de Planes Estratégicos de Incorporación de TIC en IES COLOMBIANAS. Ponencia en Ribiecol, Universidad de los Andes apoyado por el Ministerio de Educación Nacional. Disponible en http//www.ribiecol.org/nueve/ponencias/74.pdf (2009)        [ Links ]

Peña, M. y Avendaño, B. L, Evaluación de la implementación del aula virtual en una institución de educación superior (Fundación Universitaria Konrad Lorenz, Colombia). Revista Suma psicológica, Vol. 13, No. 2, pp. 173-192, ISSN 0121-4381, Septiembre (2006)        [ Links ]

RICYT, Red Iberoamericana de indicadores de ciencia y tecnología, Ministerio de educación República de Portugal, Observatorio CAEU-OEA, Agencia española de cooperación internacional para el desarrollo (aecid). "Manual de Lisboa. 2009. Capítulo de Indicadores en la Educación". Disponible en: http//ricyt.org.elserver.com/docs/lisboa/manual_lisboa ES.pdf (2009)        [ Links ]

Rubio, M. J., Focus and models of evaluation of the e-learning, RELIEVE, Revista Electrónica de Investigación y Evaluación Educativa. Vol. 9, No. 2, pp. 101-120, Disponible en http//www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1eng.htm (2003)        [ Links ]

Sánchez-Torres, J.M., Propuesta metodológica para evaluar las políticas públicas de promoción del e-government como campo de aplicación de la Sociedad de la Información. El caso colombiano, Tesis Doctoral, Universidad Autónoma de Madrid, España (2006)        [ Links ]

Seaone, A., Garcia, F., Bosom, A., Fernandez, E. Y Hernandez, M., Tutoring on-line as quality guarantee on elearning based lifelong learning. Definition, modalities, methodology, competences andskills, CEUR-WS, Vol-186, (2006)        [ Links ]

UNESCO, Aprendizaje abierto y a distancia Consideraciones sobre tendencias, políticas y estrategias. Disponible en http//unesdoc.unesco.org/images/0012/001284/128463s.pdf (2002)        [ Links ]

Wagner, R., Werner, J. y Schramm, R., An Evaluation of student satisfaction with distance learning course. University of Wisconsin. En 18th Annual Conference on Distance Teaching and Learning. Disponible en: http//www.uwex.edu/disted/conference (2005)        [ Links ]

Yunus, Y., y Salim, J., Framework for the Evaluation of E-learning in Malaysian Public Sector from the pedagogical perspective, en IEEE, (2008)        [ Links ]

Recibido Nov. 19, 2010;

Aceptado Nov. 29, 2010;

Versión final recibida Dic. 20, 2010