SciELO - Scientific Electronic Library Online

 
vol.5 issue3Ética de los editoresEnrolling Adult People in University Studies: Permanent Learning for Technical Architects author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

Share


Formación universitaria

On-line version ISSN 0718-5006

Form. Univ. vol.5 no.3 La Serena  2012

http://dx.doi.org/10.4067/S0718-50062012000300002 

Formación Universitaria-Vol. 5 Nº3-2012, pág.: 3-16

ARTICULOS

ACME: Plataforma de Aprendizaje Electrónico (e-learning) con Funcionalidades Deseables en el Ámbito de la Ingeniería

ACME: an E-learning Platform Including Desirable Features for Engineering Courses

Josep Soler, Ferran Prados, Jordi Poch e Imma Boada
Universidad de Girona, Dpto. de Informática y Matemática Aplicada, Avda. Lluís Santaló, s/n, 17071 Girona-España. (e-mail: josep.soler@udg.edu)


Resumen

En este artículo se presenta un conjunto de funcionalidades que consideramos fundamentales en una plataforma de aprendizaje electrónico (e-learning) que pretenda aplicarse de forma satisfactoria en el ámbito de la enseñanza universitaria en ingeniería. Como un caso práctico se describe la plataforma ACME destacando la generación y asignación automáticas de problemas con respuestas abiertas, la corrección y retorno de respuestas en línea, la puntuación automática de ejercicios y la evaluación final del alumno. ACME se ha utilizado principalmente en la Escuela Politécnica Superior de la Universidad de Girona en España durante los últimos años. Los resultados tanto cualitativos como cuantitativos obtenidos confirman que su utilización aporta mejoras académicas y en general un mejor aprendizaje por parte de los alumnos. Como conclusión se obtiene que las plataformas que dispongan de las funcionalidades descritas pueden ser perfectamente utilizadas en este tipo de estudios superando las limitaciones que presentan las plataformas estándares.

Palabras clave: e-learning, corrección automática, puntuación automática, plataformas educativas


Abstract

In this article we present a set of functionalities that we consider to be of fundamental importance for an e-learning platform that has to be applied in the context of engineering studies. As a practical case we describe the ACME platform, highlighting the automatic generation and assignation of problems with open solutions, the on-line correction and feed-back to the students, the automatic assessment of problems and the final assessment of students work. ACME has been used in the University of Girona in Spain, during the last years. The results, both qualitatively as well as quantitatively, confirm us that the application of the platform improves academic outcomes and also the learning process of the students. As a conclusion it can be said that e-learning platforms that provide the described functionalities are suitable for engineering studies and overcome the main limitations of standard platforms.

Keywords: e-learning, automatic correction, automatic marking, virtual learning environments


INTRODUCCIÓN

En el Espacio Europeo de Educación Superior (EEES) la enseñanza universitaria se basa en la adquisición por parte del alumno de unas competencias que le han de permitir desarrollar la actividad para la que se está formando. Para la adquisición de estas competencias, cada carrera está formada por unas asignaturas que desarrollan un conjunto de actividades. Dentro de las carreras tecnológicas estas actividades se basan principalmente en sesiones teóricas y en sesiones prácticas de laboratorio o de desarrollo de proyectos, que tienen como objetivo la adquisición de competencias por parte del alumno.

En este contexto el papel del profesor es fundamental tanto en la enseñanza de la materia como en la posterior evaluación de la adquisición de las competencias. Como complemento a esta formación presencial a menudo se usan herramientas de e-learning a partir de las cuales el alumno puede descargar material, resolver problemas, realizar auto-evaluaciones, etc. Centrándonos en el entorno universitario son también frecuentes los sistemas de gestión de aprendizaje (Learning Management System o LMS) de ámbito muy genérico, como por ejemplo, Moodle, Sakai, Webct, etc. Estos entornos permiten organizar cursos, estructurar el material de las diferentes asignaturas, asignar alumnos y profesores a éstas, y desarrollar actividades estándar como por ejemplo cuestionarios, fórums, wiki’s, etc.

Una funcionalidad importante de los entornos LMS es su capacidad para usarse como sistema de evaluación. En este caso remarcamos los cuestionarios formados por diferentes preguntas de respuesta cerrada, como por ejemplo selección múltiple, rellenos de espacios en blanco, preguntas tipo test, etc. que permiten evaluar al alumno. Si bien con este tipo de cuestionarios podemos evaluar los niveles cognitivos más bajos de la taxonomía de Bloom (como por ejemplo, conocimiento y comprensión) (Bloom, 1956) difícilmente podemos usarlos para evaluar los niveles de aplicación, análisis y síntesis propios de una enseñanza universitaria. Por ejemplo, y ya centrándonos en el ámbito de la Ingeniería, para evaluar si un alumno sabe diseñar un circuito eléctrico es necesario que dibuje el correspondiente esquema con los elementos (resistencias, condensadores, etc.) que lo forman bien distribuidos dentro del circuito y la evaluación requiere analizar detalladamente la solución propuesta. De la misma forma podríamos citar la formulación química, el desarrollo de esquemas de diferentes procesos industriales, ejercicios de programación, problemas de materias básicas como matemáticas, física, etc. En todos estos casos para evaluar si un alumno ha adquirido una determinada competencia es necesaria una cuidadosa corrección de los ejercicios de los alumnos. Si esta corrección se realiza de forma manual se necesita una gran dedicación por parte del profesor, más si tenemos en cuenta que el número de alumnos por curso suele ser considerable, que a menudo las soluciones correctas no son únicas y que además si se quiere llevar a cabo una buena evaluación continuada se deberán corregir muchos ejercicios por cada alumno con el objetivo de seguir su progresión. En este contexto, lo ideal sería disponer de un entorno de e-learning que permitiera la corrección y evaluación automáticas de esta tipología de problemas a través de actividades con respuestas abiertas a ejercicios como los antes mencionados.

Dado el grado de especialización para soportar este tipo de actividades, la tendencia actual es usar plataformas muy específicas para formar a los alumnos en una materia concreta. Para cada una de estas materias la bibliografía y herramientas desarrolladas son muy extensas, citando por ejemplo a (Weyten et al., 2009) para el aprendizaje de circuitos eléctricos, a (Josephsen y Kristensen, 2006) y (Tang et al., 2010) para el aprendizaje de química, a (Mitrovic, 2006) y (Soler et al., 2011) para el aprendizaje de bases de datos, (Ala-Mutka, 2005) y (Douce et al., 2005) en materia de programación y (Pereira et al., 2010) en temas de matemáticas. De estas plataformas son muy pocas las que permitan la corrección y evaluación de ejercicios con respuestas abiertas, no pre-establecidas por el sistema.

Otra limitación importante de estos entornos LMS es que la mayoría de ellos se presentan como aplicaciones específicas que hay que descargarse e instalar. Por este motivo es frecuente que los alumnos tengan que utilizar varias plataformas, cada una de ellas muy específica del ámbito en que se está trabajando. Por otro lado las diferentes Universidades o Escuelas de Ingeniería tienen que mantener una gran variedad de sistemas informáticos para poder atender a todas estas necesidades. Hasta donde llega nuestro conocimiento desconocemos la existencia de plataformas que permiten trabajar con una gran variedad de actividades y que además permitan la corrección y evaluación automáticas de éstas.

En este artículo damos nuestra visión de las funcionalidades que consideramos deben tener las plataformas de e-learning en el ámbito de las carreras de Ingeniería y comentamos cómo se han implementado en la plataforma de e-learning ACME que utilizamos en nuestra Universidad.

FUNCIONES DE LAS PLATAFORMAS DE E-LEARNING EN EL ÁMBITO DE LA INGENIERÍA

Las principales funciones de un sistema de gestión de aprendizaje genérico son, entre otras: gestionar usuarios, recursos, materiales y actividades de formación, administrar el acceso, controlar y hacer seguimiento del proceso de aprendizaje, realizar evaluaciones, generar informes, gestionar servicios de comunicación como foros de discusión y videoconferencias, etc. Estas plataformas ofrecen el aprendizaje de una cierta materia a través de las técnicas habituales como pueden ser: el acceso y/o descarga de materiales interactivos, la evaluación a través de cuestionarios con respuestas cerradas (elección múltiple, tipo test, relleno de blancos, etc.), la interacción con uno o más tutores y con el resto de alumnos, etc. Además de estas funciones básicas de cualquier LMS, en el caso de un entorno universitario y en especial en el ámbito de la ingeniería consideramos que las plataformas de e-learning deben disponer de una gran variedad de funcionalidades adicionales para dar apoyo a múltiples actividades a desarrollar en las asignaturas y deben permitir un amplio abanico de usos formativos. En esta misma línea de innovación, de introducción de nuevas metodologías y de incorporación de nuevas funcionalidades en el ámbito de la ingeniería podemos citar los trabajos (Bourne, 2005), (Llamas et al., 2011), (Martín et al., 2011) y (Uhomoibhi, 2010). Veamos con más detalle algunas de estas funcionalidades adicionales y usos formativos deseables en este tipo de plataformas.

Funcionalidades adicionales deseables

Generación automática de ejercicios. En el ámbito de la ingeniería el estudiante debe resolver gran cantidad de problemas de diferentes materias. La práctica es fundamental para garantizar que el alumno ha adquirido las competencias establecidas. En este sentido una de las características más importantes de las plataformas debe ser la facilidad para la creación de contenidos, en nuestro caso de ejercicios. Además, la generación automática de éstos es, sin duda alguna, una aportación muy importante para facilitar las tareas del profesor.

Cuadernos personalizados de actividades. En un entorno de e-learning abierto es muy difícil saber quien realmente ha solucionado un ejercicio. A menudo, la realización de los mismos ejercicios de una materia por parte de todos los estudiantes acaba con una copia a gran escala. En este sentido consideramos que cada estudiante debe disponer de su propio cuaderno formado por ejercicios distintos a los de sus compañeros. Estos ejercicios deben ser muy parecidos en cuanto a dificultad pero diferentes. De esta forma se evita la copia de resultados.

Corrección automática y on-line. Para llevar a cabo una buena evaluación formativa es recomendable llevar un control muy exhaustivo del aprendizaje del alumno. Generalmente los profesores realizan una evaluación continuada de sus alumnos que les supone un esfuerzo considerable especialmente en tareas de corrección de las actividades que van desarrollando. En este contexto sería deseable disponer de un sistema de corrección automática para ayudar al profesor tanto en las tareas de corrección como en las de control del trabajo del alumno. Así pues consideramos que la corrección automática y on-line es una funcionalidad muy importante de cualquier entorno de e-learning. Ahora bien, las plataformas genéricas sólo corrigen actividades muy sencillas de respuesta cerrada que difícilmente se pueden aplicar en el ámbito de la Ingeniería en el que hay que corregir actividades mucho más complejas como por ejemplo diagramas, esquemas, expresiones matemáticas, programas informáticos, etc. Además el sistema debe permitir cualquier respuesta como solución de la actividad (respuestas abiertas).

Feed-back automático. Con el fin de motivar al alumno en su trabajo diario, éste debe tener la sensación de que en todo momento el sistema le puede ayudar, tanto en la corrección de sus actividades como en el feed-back posterior. Por este motivo es deseable que un entorno pensado para la resolución y corrección de problemas complejos disponga de un sistema de tutorización inteligente que además de detectar los errores facilite de forma totalmente automática el feed-back más adecuado para su resolución y que le vaya guiando hacia la solución correcta.

Puntuación automática. Las plataformas estándar suelen puntuar las actividades en función de si las respuestas son correctas o incorrectas. Esta puntuación suele estar ponderada en función del número de intentos hasta llegar a la solución correcta. Ahora bien en muchas actividades del ámbito de la ingeniería es posible que una parte esté correcta y haya partes que no. Por ejemplo, en el diseño de un circuito eléctrico formado por muchos elementos, quizás haya un único elemento incorrecto y sería totalmente injusta una mala nota por un pequeño detalle erróneo. Por este motivo es deseable que las plataformas dispongan de sistemas complejos de puntuación automática capaces de asignar una nota en función de los errores y que sea la más parecida posible a la que pondría el profesor.

Corrección no automática de actividades. Los entornos de e-learning no deben limitarse a la corrección automática ya que ciertas actividades no se pueden corregir sin intervención del profesor, por ejemplo la síntesis de un artículo o un trabajo genérico. Por este motivo consideramos además que este tipo de plataformas deben permitir la entrega de material a corregir de forma manual, no automática. En este caso será el profesor quien corregirá y facilitará el feed-back al alumno y finalmente le evaluará.

Evaluación automática. El hecho de la corrección y puntuación automáticas también debe permitir una evaluación automática del alumno. Esta evaluación debe basarse en las puntuaciones obtenidas (ya sean automáticas o manuales) en las diferentes actividades y se debe poder ponderar en función del número de intentos hasta llegar a la solución correcta.

Asignación automática de ejercicios en función del nivel del alumno. En muchos cursos de Ingeniería, el conocimiento de la materia puede variar considerablemente en función de la procedencia del alumno. Dada esta heterogeneidad, es deseable que las plataformas adapten el nivel de dificultad de los ejercicios al nivel de conocimiento que el alumno tenga de la materia.

Plataforma Multidisciplinar. Consideramos que deben ser multidisciplinares para abarcar las numerosas materias que se tratan en el ámbito de la Ingeniería. En estas carreras nos encontramos una gran variedad de aplicaciones informáticas orientadas al aprendizaje de una materia concreta y que han sido desarrolladas por un profesor/departamento que son los únicos que las utilizan para una finalidad muy concreta. Si tenemos en cuenta que la mayoría de Escuelas de Ingeniería imparten diversas carreras, deben coexistir muchas aplicaciones con el inconveniente del elevado coste de mantenimiento que ello supone. Para evitar la coexistencia de diferentes plataformas es deseable disponer de una única plataforma multidisciplinar que permita el aprendizaje, la corrección, el feed-back y la evaluación de forma totalmente automática de una gran variedad de ejercicios de los más diversos ámbitos. Por ejemplo, en los primeros cursos de cualquier Ingeniería debe dar soporte a las asignaturas de matemáticas, física, programación, etc. En asignaturas ya más especializadas de las distintas carreras debe permitir la corrección de ejercicios de electrónica, autómatas, formulación química, bases de datos, administración y organización de empresas, etc.

Así pues, sería deseable que las plataformas de e-learning universitarias del ámbito de la Ingeniería, dispusieran de las funcionalidades de los LMS genéricos y, tal como se ha descrito, de un conjunto de funcionalidades adicionales mucho más específicas con la finalidad de que se adapten perfectamente a las necesidades de estos estudios.

Usos formativos deseables

Además de las funcionalidades descritas anteriormente, sería deseable que una misma plataforma pudiera desarrollar gran variedad de usos formativos a partir de las actividades desarrolladas. Entre estos usos formativos: i) Entrenamiento. El alumno adquiere habilidades en una determinada materia a partir de la resolución sistemática de muchos problemas. ii) Evaluación continuada. A partir de las indicaciones del profesor, el sistema añade actividades en el cuaderno del alumno y éste puede enviar soluciones antes de una fecha determinada. A medida que el alumno vaya enviando soluciones, el sistema las corregirá on-line y dará el feed-back más oportuno al alumno. Una vez finalizado el plazo, el sistema le evaluará de forma automática. iii) Aprendizaje autónomo. A partir de un material muy detallado y con ejercicios que permitan seguir la progresión del alumno. iv) Trabajo en grupo. Determinadas actividades permiten ser desarrolladas a partir de las aportaciones de los miembros de un grupo. Este tipo de actividades ayudan en la adquisición de la competencia del trabajo en equipo. v) Exámenes. Ya sean en un aula a una determinada hora y con la presencia del profesor o bien en cualquier momento y lugar, con la restricción que cuando se entra en una sesión de examen, el alumno dispondrá de un único período de tiempo para hacer la prueba. vi) Sesiones de clase y/o laboratorio. En algunas actividades se debería poder utilizar la plataforma en una sesión de clase o laboratorio. En este caso los alumnos, después de que el profesor haya explicado unos conceptos, realizarían unos ejercicios dirigidos a través de la plataforma.

Finalmente consideramos que una plataforma con estas características y que permitiera todos estos usos formativos se adaptaría a las expectativas, tanto de profesores como de alumnos, en materia de e-learning.  

LA PLATAFORMA ACME

Con la idea de conseguir una plataforma específica para el ámbito de las Ingenierías se diseñó la plataforma ACME, acrónimo en catalán de “Avaluació Continuada i Millora de l’Ensenyament” (Evaluación continuada y Mejora de la Enseñanza).

 
Arquitectura y funcionamiento de la plataforma

Desde un punto de vista técnico, se diseñó la plataforma ACME como una herramienta web con el fin de que el alumno no tuviera que descargar e instalar ningún software, simplemente necesita un navegador. La plataforma debía ser modular de forma que añadir una nueva tipología de actividades fuese una tarea sencilla. De esta manera ACME dispone de un núcleo central formado por una serie de módulos y para cada tipología de problemas sólo es necesario definir su estructura con las pautas para su corrección automática y desarrollar el módulo corrector, el módulo de evaluación y las interfaces específicas para cada tipo de ejercicios. La conexión funcional de estos módulos para las tareas del profesor y del alumno es la que se muestra en la Figura 1.

Se puede obtener toda la información para probar y utilizar la plataforma ACME en http://acme.udg.edu. En esta misma página están disponibles las diferentes publicaciones que describen detalladamente esta plataforma.

¿Cómo resuelve ACME las funcionalidades adicionales?

Desde el diseño inicial de la plataforma ACME se han ido desarrollando cada una de las funcionalidades antes descritas. Veamos como resuelve ACME cada una de ellas.

Generación automática de ejercicios. En este sentido nuestra aportación consiste en la parametrización de los ejercicios propuestos. Para ello partimos de un problema base que una vez creado permite la generación automática de múltiples enunciados. Cada problema base estará formado por: i) posibles enunciados del problema. ii) cada enunciado puede contener uno o más parámetros que en el proceso de generación serán sustituidos por números, funciones o palabras.


Fig. 1: Estructura de la plataforma ACME.

iii) lista de valores posibles para cada uno de los parámetros. La definición de un problema base depende del tipo de materia. Para dar una idea resumida de lo que permite el sistema se detalla el siguiente problema base matemático

Enunciados:

Calcular el volumen de un sólido cuyas secciones a lo largo de los planos perpendiculares al eje x son P1 si la base de cada sección se encuentra entre las curvas P2 en el plano xy.

La base de un sólido es la región delimitada por las curvas P2 en el plano xy y las secciones verticales paralelos a la línea x = 0 son P1. Calcular el volumen del sólido

Se considera un sólido cuya base es la región limitada por las curvas P2 en el plano xy y cuyas secciones a lo largo de los planos verticales paralelos a la línea x = 0 son P1. Calcular el volumen del sólido.

Parámetros:

P1={triángulos equiláteros; semicírculos; hexágonos regulares; rectángulos; triángulos isósceles}

P2={y=x^2 y 2y=x^2+1; y=3+3x-x^2 y y=3*x^2-6*x-9; y=x^2-1 y y= 5+4x-x^2 }

A partir de esta definición se pueden generar gran cantidad de enunciados distintos simplemente variando el enunciado y los parámetros P1 y P2. En el momento de asignar un ejercicio al alumno ACME aleatoriamente escoge un enunciado y substituye cada parámetro por uno de los valores especificados en la lista de parámetros correspondiente. De esta forma ACME genera gran cantidad de problemas distintos a partir de un problema base. Todos estos problemas tendrán el mismo método de resolución. Como ejemplos de problemas generados a partir del problema base anterior tenemos:

Calcular el volumen de un sólido cuyas secciones a lo largo de los planos perpendiculares al eje x son semicírculos si la base de cada sección se encuentra entre las curvas y=x^2-1 y y= 5+4x-x^2 en el plano xy.

La base de un sólido es la región delimitada por las curvas y=x^2 y 2y=x^2+1 en el plano xy y las secciones verticales paralelos a la línea x = 0 son rectángulos. Calcular el volumen del sólido

Además de los enunciados y los parámetros cada problema base debe llevar las pautas, reglas o la codificación necesaria para que el módulo corrector correspondiente de ACME pueda resolverlo.

Cuadernos personalizados de actividades. A partir de la parametrización de los problemas base ACME genera enunciados diferentes y los asigna a los cuadernos de los alumnos. Para ello el sistema simplemente va combinando los distintos enunciados con los valores de la lista de parámetros. De esta forma cada uno de los cuadernos está formado por ejercicios distintos pero con la misma dificultad de resolución. El profesor simplemente debe especificar los ejercicios a asignar y las fechas de entrega. La información referente a cada cuaderno se guarda en la base de datos del sistema.

Corrección automática y on-line. Cada tipología de problemas dispone del corrector apropiado ya que por ejemplo es muy distinto corregir un problema matemático que un diagrama o un programa informático. En función del tipo de problema ACME facilita la interfaz que le permite dibujar un circuito, entrar una fórmula química, una expresión matemática, etc. En este sentido con la plataforma ACME nos hemos especializado en la corrección de problemas de respuesta abierta, es decir el alumno no escoge una solución de entre varias posibles sino que resuelve y entra su respuesta a través de la interfaz correspondiente. Cuando un alumno envía un problema a corregir ACME lo envía al corrector apropiado que interpreta y ejecuta las pautas para su resolución. Los métodos de corrección varían en función del problema, por ejemplo para la corrección de un circuito, diagrama o esquema se suele comparar la solución enviada por el alumno con las posibles soluciones correctas asociadas al problema. Para la corrección de un problema matemático se ejecuta el código asociado al problema base con el software Mathematica y el resultado obtenido se compara con la solución del alumno. Todos estos procesos se realizan de forma automática y online de forma que el alumno sabe de inmediato el resultado de la corrección de sus actividades.

A modo de ejemplo, la Figura 2 muestra la resolución de un diagrama de clases. En la parte superior se visualiza el enunciado del problema y a continuación la interfaz gráfica que se ha desarrollado específicamente para este tipo de ejercicios. A partir de los botones laterales y de los cuadros de texto inferiores, el alumno dibuja libremente el diagrama que se visualiza en la parte central. Una vez realizado el diagrama el alumno lo envía a corregir y el sistema de forma automática le envía el feed-back apropiado (en este caso “diagrama correcto”, “hay clases erróneas”, “faltan asociaciones”, etc.). En caso de que el diagrama sea erróneo, esta información le ayuda a encontrar la solución correcta.

Feed-back automático. Al permitir respuestas abiertas el sistema de corrección de ACME dispone de una gran cantidad de mensajes de feed-back que se envían al alumno en caso de que su solución sea incorrecta. Al detectar un error, el corrector específico de cada tipología de problemas envía el mensaje más apropiado al alumno. Estos mensajes son pequeñas indicaciones que sirven para guiar al alumno a alcanzar la solución correcta.

Puntuación automática. En función de la tipología del problema ACME establece el sistema de puntuación. En algunos casos sólo se tiene en cuenta si el alumno ha resuelto correctamente el problema y su nota se obtiene en función de los intentos que ha realizado hasta alcanzarla. En según qué tipo de actividades, por ejemplo corrección de circuitos, diagramas, etc. en que la corrección se basa en la comparación con soluciones correctas la nota se determina en función del grado de similitud. El método de puntuación consiste en asignar unos pesos Pi a cada grupo de elementos del diagrama de forma que con la suma total de ellos se obtenga la puntuación máxima, en nuestro caso un diez. Por ejemplo en un circuito eléctrico podemos considerar el grupo de resistencias formado por todas las resistencias del circuito, el grupo de condensadores, etc. y cada uno de ellos tiene un peso Pi en la nota final que es asignado por el profesor. A partir de este valor Pi y del número de elementos mi de este grupo que hay en el problema, ACME calcula el valor de elemento  ei = Pi / mi. El número de elementos incorrectos nei de cada grupo es

obtenido automáticamente por ACME en el proceso de corrección automática. De esta forma el sistema propuesto asigna la nota de la forma:

(1)



Fig. 2: Interfaz de resolución de diagramas de clase.

En donde cpi representa la penalización por cada elemento erróneo del grupo. Estos coeficientes penalizadores cpi se calculan previamente a la puesta en marcha del sistema de puntuación automático y su función es minimizar la diferencia entre la puntuación automática y la manual realizada por un profesor. La metodología que se sigue para obtenerlos es la siguiente:

i) A través de la plataforma los alumnos envían sus diagramas como respuesta a los ejercicios asignados. ii) de estos diagramas enviados se selecciona una muestra muy amplia y significativa que es corregida y puntuada de forma manual por tres profesores expertos en la materia y desconocedores de nuestro sistema de puntuación automática. iii) se considera como puntuación manual final la nota media de las puntuaciones facilitadas por los tres profesores. A partir de esta puntuación manual final, de los valores Pi establecidos por el profesor y del número de errores de cada grupo detectado por el sistema nei, se aplica un método de regresión lineal en el que se determinan los coeficientes cpi para conseguir que la nota automática se acerque lo más posible a la puntuación manual final. Unos vez calculados estos valores los incorporamos a ACME y a partir de este momento el sistema ya podrá obtener las puntuaciones automáticas siguiendo la Fórmula 1.

Corrección no automática de actividades. Al igual que la mayoría de plataformas educativas ACME permite la entrega de material a corregir de forma manual, no automática. En este caso la plataforma sirve para mostrar el trabajo a realizar y recibir/organizar el trabajo que realizan los alumnos. El profesor debe corregir la actividad, facilitar el feed-back al alumno y finalmente evaluarlo. Las puntuaciones obtenidas serán entradas por el profesor a la plataforma ACME y se podrán utilizar conjuntamente con las puntuaciones automáticas de otras actividades para la evaluación final del alumno.

Evaluación automática. A partir de la información sobre la resolución de las diferentes actividades ACME dispone de varias formas para evaluar al alumno. La forma más habitual de hacerlo es a través de la ponderación de todas las actividades realizadas a lo largo del curso. En este caso la evaluación final se obtiene a partir de las puntuaciones obtenidas en las diferentes actividades. El profesor establece el valor que tiene cada actividad en el cómputo final de la nota.

Asignación automática de ejercicios en función del nivel del alumno. ACME tiene catalogadas las diferentes actividades según materia, asignatura, dificultad, etc. Para la asignación de actividades ACME los profesores seleccionan del repositorio las que consideran más oportunas y el sistema automáticamente las asigna a los cuadernos de cada alumno. Esta asignación también se puede llevar a cabo de forma automática por el sistema en función de la progresión del alumno. En este caso el profesor elige un solo problema catalogado de dificultad media para aquella materia. En función de si el alumno sabe resolverlo el sistema de forma totalmente automática le irá asignando problemas de dificultad creciente o decreciente

Plataforma Multidisciplinar. ACME se desarrolló con la idea de que una única plataforma permitiera la resolución de preguntas con respuestas abiertas de cualquier materia impartida en un centro politécnico. Los principales tipos de actividades que soporta son:

1) Problemas/actividades que requieren un planteamiento matemático. De esta forma se corrigen gran variedad de problemas que requieren un planteamiento matemático aplicado a cualquier materia como por ejemplo álgebra, cálculo, física, química, geometría, economía, y en general cualquier problema que se pueda resolver con un planteamiento matemático.

2) Programación informática. Soporta la corrección de programas informáticos escritos en C, C++, Pascal, Java y en general en cualquier lenguaje de programación. El código fuente del programa informático puede ser enviado en uno o más ficheros.

3) Bases de datos. Permite la corrección de diagramas de clase y entidad/relación, de esquemas de bases de datos relacionales, normalización y la corrección de sentencias SQL y expresiones de álgebra relacional.

4) Otros tipos de problemas que también se corrigen de forma automática son los referentes a circuitos eléctricos, autómatas y formulación y nomenclatura química.

La plataforma permite también la resolución de ejercicios de respuesta cerrada típicos de cualquier plataforma como por ejemplo relleno de blancos, selección múltiple, tipo test, etc. y permite trabajar con actividades tipo wiki, portafolio, texto libre y que requieren una revisión o corrección manual por parte del profesor. La Figura 3 sintetiza la tipología de actividades ACME.

Usos formativos de ACME

Otra de las características principales de la plataforma ACME es la amplia variedad de usos formativos, tanto presenciales como no presenciales que se pueden desarrollar a través de ella. Estos usos, junto con la amplia variedad de problemas soportados, hacen que la plataforma se pueda utilizar en cualquier tipo de asignatura. La Figura 4 sintetiza estos usos, destacando la evaluación continuada, el auto-aprendizaje y la realización de exámenes.


Fig. 3: Tipología de actividades ACME.



Fig. 4: Usos formativos de la plataforma ACME.

UTILIZACIÓN DE ACME

La primera versión de ACME se empezó a utilizar en la Escuela Politécnica Superior (EPS) de la Universidad de Girona (UdG) en el curso 1998/99. En sucesivas versiones se han ido incorporando nuevas funcionalidades y nuevos tipos de correctores. En la Tabla 1 se muestra su utilización en los últimos seis cursos, especificando la carrera y por cada curso el número de alumnos que la han utilizado, el número total de asignaturas y el número de problemas asignados. Aunque los usos formativos que se dan a las diferentes actividades son varios, se utiliza principalmente para llevar a cabo la evaluación continuada de los alumnos. En este sentido ACME dispone de funcionalidades que le permiten llevar un control exhaustivo del trabajo del alumno, guardando todas las soluciones enviadas. Se utilizan todos los tipos de problemas que soporta, aunque las asignaturas básicas (matemáticas, programación, física, química, etc.) son las que más utilizan la plataforma.

Por otra parte podemos constatar una apreciable mejoría de los resultados académicos en aquellas asignaturas que utilizan ACME, tanto en el porcentaje de alumnos que la superan como en las calificaciones obtenidas. En el estudio estadístico realizado sobre el uso de ACME en la asignatura de Bases de Datos a partir de los datos acumulados de cuatro años (Soler et al., 2011) se concluye que hay una correlación directa entre la realización de actividades ACME y las notas obtenidas de forma que los alumnos que han realizado más ejercicios obtienen mejores notas. En este estudio se clasificaron a los alumnos en cuatro grupos en función de las actividades ACME realizadas (menos del 25%, entre un 25 y un 50%, entre un 50 y un 75% y más del 75%). Las notas medias de los cuatro grupos en estos cursos confirman que el grupo que realizó más del 75% de las actividades obtuvo notas superiores a 7, siendo muy superiores al resto de los grupos. Además la nota media de estos cuatro cursos fue 0,8 puntos superior a la media de los cuatro cursos precedentes que no utilizaron ACME.

Tabla 1: Utilización de ACME en la EPS en los últimos cursos

Los comentarios de los profesores nos confirman que los alumnos trabajan más y tienen mucho interés en obtener las soluciones correctas. El hecho de saber que el trabajo del alumno es controlado a través de ACME por el profesor, motiva a los alumnos en el trabajo diario. Por otra parte se ha notado un incremento en las tutorías presenciales en las que se atienden principalmente las dudas surgidas en la resolución de las actividades.

Los comentarios de los alumnos y las encuestas que periódicamente se pasan nos confirman que la plataforma es fácil de utilizar y valoran muy positivamente el hecho de tener una única plataforma ya que les facilita el trabajo. También valoran de forma muy positiva el hecho de que una vez han entrado la solución con la interfaz adecuada y envían la solución a corregir, el sistema inmediatamente les dice si la solución es correcta y en caso contrario les devuelve el feed-back adecuado para orientarlos hacia la solución correcta.

CONCLUSIONES

La mayoría de Universidades disponen de entornos de e-learning que permiten organizar cursos y facilitar todo tipo de materiales como complemento a las clases presenciales. En el ámbito de las carreras de Ingeniería estas plataformas tienen varios puntos débiles: i) la gran variedad de materias que debe cubrir ii) las actividades de evaluación se centran básicamente en cuestionarios con preguntas de respuesta cerrada, mientras que en este tipo de carreras las respuestas a las diferentes materias suelen ser abiertas y se suelen representar de muy distintas formas: ecuaciones, diagramas, esquemas, etc. Estas deficiencias son la causa principal de que este tipo de plataformas sean muy poco utilizadas en este ámbito.

Nuestra aportación radica fundamentalmente en la creación de una plataforma multidisciplinar que dispone de un conjunto de funcionalidades específicas para entornos universitarios del ámbito científico/técnico. Entre este tipo de funcionalidades destacamos: i) generación automática de ejercicios de respuesta abierta a partir de un ejercicio base. ii) cuadernos personalizados de actividades para evitar posibles copias iii) corrección y retorno de feedback totalmente automatizados y online iv) puntuación automática de cada ejercicio para poder realizar una evaluación totalmente automatizada. Además la plataforma permite trabajar con una amplia variedad de problemas específicos de estas carreras. Hasta donde llega nuestro conocimiento no conocemos ninguna plataforma que disponga de todas estas funcionalidades.

Su utilización a lo largo de más de diez años en la Escuela Politécnica Superior de la Universidad de Girona nos permite disponer de una gran cantidad de datos. El análisis de éstos nos confirma que su uso aporta mejoras académicas y en general un mejor aprendizaje por parte de los alumnos. Estas ventajas las podemos corroborar tanto cualitativa como cuantitativamente. Desde un punto de vista cualitativo nos hemos basado en las encuestas que periódicamente realizamos a profesores y alumnos. Desde un punto de vista cuantitativo hemos analizado los resultados académicos y las puntuaciones obtenidas antes y después de utilizar ACME y hemos observado una mejora considerable.

Por este motivo podemos concluir que a pesar de las reticencias que puede haber en la evaluación de los aprendizajes en los estudios de ingeniería a través de plataformas de e-learning, nuestra experiencia nos hace ser optimistas siempre y cuando se disponga de plataformas tipo ACME que dispongan de funcionalidades como las descritas en este artículo.

REFERENCIAS

Ala-Mutka, K.M., A survey of automatic assessment approaches for programming assignments, Computer Science Education, 15 (2), 83-102 (2005).         [ Links ]

Bloom, B.S., Taxonomy of educational objectives, David McKay Co Inc, New York, (1956).         [ Links ]

Bourne, J., Online engineering education: Learning anywhere, anytime. Journal of Engineering Education, 94(1), 131-146 (2005).         [ Links ]

Douce, C., D. Livingstone y J. Orwell, Automatic test-based assessment of programming: A review, ACM Journal on Educational Resources in Computing, 5(3), 1-13 (2005).         [ Links ]

Josephsen, J. y A. Kristensen, Simulation of laboratory assignments to support students’ learning of inorganic chemistry. Chemistry Education Research and Practice. 7(4), 266-279 (2006).         [ Links ]

Llamas, M., M. Caeiro y M. Castro, Use of e-learning functionalities and standards: the Spanish case, IEEE Transactions on Education, 55(4), 540-549 (2011).         [ Links ]

Martín, S., R. Meier y M. Castro, Necesidades y tendencias tecnológicas en el ámbito educativo de la ingeniería. Publ. Centro Superior Enseñanza Virtual. http://www.csev.org/portal/es/necesidades-tendencias-tecnologicas (2011).         [ Links ]

Mitrovic, A., Large-Scale Deployment of three Intelligent web-based Database Tutors, 28 International Conference on Information Technology Interfaces, 135-140 (2006).         [ Links ]

Pereira, R. y otros autores. New e-learning objects for the Mathematics courses from Engineering degrees: Design and Implementation of Question Banks in Maple T.A. using LaTeX. Int. Journal of Education and Information Technologies, 4 (1), 7-14 (2010).         [ Links ]

Soler, J., I. Boada, F. Prados, J. Poch y R. Fabregat, A web-based e-learning tool for database design courses, International Journal of Engineering Education, 27(1), 61-69 (2011).         [ Links ]

Tang, A., S. Zain y R. Abdullah, Development and Evaluation of a Chemistry Educational Software for Learning Organic Reactions Using Qualitative Reasoning. International Journal of Education and Information Technologies, 4(3), 129-138 (2010).         [ Links ]

Uhomoibhi, J. y M. Ross, Trends in the development of e-learning in Engineering and Computing Education. Int. Conf. on Engineering Education. (2010).         [ Links ]

Weyten, L., P. Rombouts y J. De Maeyer, Web-Based Trainer for Electrical Circuit Analysis, IEEE Transactions on Education, 52 (1), 185-189 (2009).         [ Links ]


Recibido Nov. 08, 2011
Aceptado Dic. 07, 2011
Versión final recibida Ene. 27, 2012

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License