ARTÍCULOS

Modelado del estudiante para el STI ELE-TUTOR: diseño de un componente adaptativo para apoyar la competencia lingüística del español como lengua extranjera

STUDENT MODELLING FOR THE ELE-TUTOR ITS: DESIGNING AN ADAPTIVE COMPONENT TO SUPPORT LINGUISTIC COMPETENCE IN SPANISH AS A FOREIGN LANGUAGE

Fernanda Barrientos Contreras*

Anita Ferreira Cabrera

Pedro Salcedo Lagos

Universidad de Concepción, Chile

Resumen

Los Sistemas Tutoriales Inteligentes (STI) para la enseñanza de lenguas son aplicaciones computacionales capaces de procesar un enunciado en lenguaje natural ingresado por un estudiante de lengua, para luego entregarle un feedback personalizado y adecuado a su competencia lingüística. Sin embargo, para que el STI logre adaptar su comportamiento a las necesidades del alumno es fundamental contar con un módulo del estudiante, el cual recopila y procesa información sobre cada uno de los estudiantes que interactúan con el sistema. El presente trabajo da cuenta del diseño de un módulo de estudiante para un sistema tutorial inteligente destinado a la enseñanza del español como lengua extranjera para nivel B2 del MCER, tomando en consideración las variables de nivel de proficiencia, estilo de aprendizaje y tipo de error cometido correspondiente a cada usuario del sistema. Además, debido a que la variable nivel de proficiencia cambia a medida que el estudiante avanza en los ejercicios, se contempla un sistema de diagnóstico y actualización de los datos mediante una red bayesiana. La salida del módulo de estudiante corresponde entonces a un vector con valores específicos para cada variable, el cual es posteriormente procesado por el módulo tutor para que éste decida las estrategias de feedback correctivo pertinentes.

Palabras clave: STI, Modelado del estudiante, español como LE, estilo de aprendizaje, red bayesiana.

Abstract

Intelligent Tutorial Systems (ITS) for language teaching are computational applications that are capable to process natural language input provided by a language student, in order to give feedback strategies according to their linguistic competence. However, in order to achieve this adaptability, it is important to develop a student module, which stores and processes information about each one of the students that interact with the system. The present work is a design of a student module for an intelligent tutorial system (ITS) to teach Spanish as a foreign language considering the B2 level of the Common European Framework which takes as variables the student's level of proficiency, their learning style and the type of language error made by them during the interaction with the ITS. Due to the fact that the proficiency level variable changes as the student works on the exercises, the student module also contains a diagnosis and update system for the data that uses a Bayesian belief network. The output of the student module is a vector with specific values for each variable, which is delivered to a tutor module that will decide which feedback strategies should be used.

Key words: ITS, student modeling, Spanish as FL, learning style, Bayesian belief network.

1. INTRODUCCIÓN

En el campo de la enseñanza de lenguas, un STI implica generalmente el desarrollo de un analizador sintáctico automático o parser, el cual cubre parcialmente los tres módulos. Un parser tiene en su estructura una serie de reglas de la gramática de la lengua meta correspondientes al dominio (módulo experto); una serie de "reglas agramaticales" o buggy-rules, que representan el conocimiento que el estudiante tiene sobre la lengua meta (módulo de estudiante), y una jerarquía con respecto al orden con que deben tratarse los errores cometidos por un estudiante específico a lo largo de la interacción con el sistema (modelo tutor).

El objetivo de este trabajo es presentar el diseño de un módulo de estudiante para el Sistema Tutrial Inteligente ELE-TUTOR, el cual es capaz de almacenar información de cada estudiante específico con respecto al tipo de error de lengua cometido por el estudiante a lo largo de la interacción con el sistema, su estilo de aprendizaje y su nivel de dominio. Para ello se considera como punto de partida el modelo de STI propuesto por Ferreira, Moore y Mellish (2007) y el parser ELE-TUTOR desarrollado por Ferreira y Kotz (2010), los cuales determinan aspectos del STI tales como las estrategias de feedback a utilizar, los tipos de error a tratar, el dominio, los tipos de actividades y la representación del sistema de conocimiento del estudiante.

2. FUNDAMENTACIÓN TEÓRICA Y METODOLÓGICA

2.1.¿POR QUÉ UN STI PARA LA ENSEÑANZA DE LENGUAS?

Una objeción frecuente que se hace al uso de herramientas tecnológicas al servicio de la enseñanza de lenguas es la baja capacidad que una aplicación computacional puede tener de considerar la gran cantidad de variables que influyen en el aprendizaje de un sistema tan complejo como es una lengua extranjera, especialmente si se le compara con un ser humano. En efecto, en el aprendizaje de una lengua extranjera deben considerarse factores internos a la persona, como sus mecanismos de aprendizaje, sus experiencias previas con la lengua meta, la actitud que se tiene frente a ella, la motivación, los aspectos emocionales, etc.; y también los aspectos externos, como el grado de exposición a la lengua (Ellis 1994).

Los sistemas tutoriales inteligentes (STI) son aplicaciones computacionales utilizadas para la enseñanza de diversas disciplinas que tienen "una arquitectura de tres partes, consistentes en un modelo de experto, un modelo de tutor y un modelo de estudiante" (Matthews 1993; cit. en Dodigovic 2005: 101). Dicha estructura permite al sistema albergar información sobre las características del estudiante, con el objeto de entregarle una estrategia de aprendizaje o un feedback que tome en consideración esta información. En efecto, la adaptabilidad de un STI dependerá exclusivamente de las variables que se consideren decisivas en la selección del feedback y de los mecanismos que se determinen para recoger información sobre dichas variables.

Es importante destacar que, si bien las tareas mencionadas también pueden ser ejecutadas por un tutor humano, los STI son capaces de entregar grandes cantidades de ejercicios y corregirlos sin que esto implique desgaste para él. No obstante, la ventaja más notoria de los STI radica en que el feedback entregado por un sistema de este tipo posee características que no siempre es posible entregar en el contexto de una clase de LE debido a la cantidad de alumnos y la limitación en las interacciones propia de dicha situación. De este modo, el feedback entregado está individualizado de acuerdo a las características del estudiante, como el tipo de error que comete, el nivel de proficiencia del estudiante y su estilo de aprendizaje, lo cual redunda en una mayor incidencia de reparación del error. Esta adaptabilidad depende en gran parte de la detección del error que comete el estudiante mediante un analizador sintáctico automático o parser, el cual se vale de técnicas de Procesamiento de Lenguaje Natural (PLN) para analizar un enunciado según una serie de reglas gramaticales. Sin embargo, un parser también alberga una serie de reglas agramaticales o buggy-rules, las cuales son extraídas previamente de un análisis de corpus de estudiantes de LE con el objeto de determinar cuáles son los errores que más se cometen en el aprendizaje de la gramática. De este modo, si un estudiante ingresa una oración al sistema que presenta un error de lengua, el STI podrá no solamente determinar el carácter erróneo del enunciado, sino también analizar qué error se ha cometido y en qué parte del enunciado se encuentra. Esto, sumado a los diversos mecanismos que un STI para LE puede contemplar para captar otras características del estudiante que interactúa con la aplicación, permite la entrega de un feedback focalizado en un error específico de lengua y además individualizado según las características del estudiante.

Los STI para el aprendizaje de lenguas se fundamentan en una serie de postulados teóricos y metodológicos provenientes del ámbito de la adquisición de segundas lenguas (ASL), entre los cuales destacan la hipótesis de la interacción (con especial énfasis en el concepto de feedback), la metodología de focalización en la forma, los estilos de aprendizaje de lenguas y la teoría de procesamiento de la información, los cuales se revisan brevemente a continuación.

2.1.1. Estrategias de feedback correctivo en la enseñanza de lenguas extranjeras y su uso en STI

Ferreira (2006) llevó a cabo un estudio observacional en español como LE con el objeto de determinar la estrategia más efectiva utilizada por profesores en un contexto de clase. En primer lugar, se propone una clasificación de las estrategias anteriores en dos grandes grupos: el Grupo 1, de estrategias de entrega de la respuesta correcta (target-form), compuesta por recast, repetición y corrección explícita; y el Grupo 2 de estrategias de acercamiento a la respuesta, compuesta por clave metalingüística, elicitación y solicitud de clarificación. Sin embargo, en el Grupo 1 se añade además la estrategia de proveer la respuesta correcta en caso de que el estudiante la desconozca (pp. 386-388). Después de observar la interacción profesor-estudiante en distintos cursos de español como lengua extranjera, el estudio concluye que "las estrategias del Grupo 2 resultaron ser más efectivas que las del Grupo 1, aun cuando los profesores utilizaron con mayor frecuencia las estrategias del Grupo 1 que las del Grupo 2" (p. 400). Pero lo anterior está también relacionado con el tipo de error que comete el estudiante, ya que se observó que la efectividad cambiaba según el tipo de error de lengua que se cometía. Así, las estrategias del Grupo 2 resultaron tener un mayor grado de efectividad en los errores gramaticales y de vocabulario, mientras que las del Grupo 1 son más efectivas para la corrección de los errores de pronunciación.

En un estudio posterior (Ferreira 2007) se efectuó una comparación entre tres tipos de estrategias de feedback en un ambiente e-learning. Los sujetos del Grupo Experimental 1 recibieron dos estrategias del Grupo 2 (corrección explícita y repetición del error); los sujetos del Grupo Experimental 2 recibieron dos estrategias del Grupo 1 (clave metalingüística y elicitación); y el Grupo Control recibió un tercer tipo de estrategia donde solo se entregó feedback en forma de correcto o incorrecto. Al comparar los resultados del pretest y el postest, se observó una mejora ostensible en el caso de los sujetos del Grupo Experimental 1, mientras que el Grupo Control mostró las diferencias más bajas. A partir de estos datos, se presenta en este trabajo un modelo de entrega de feedback para STI, sugiriéndose tratar los errores más frecuentes en primer lugar. Así, "[p]ara estudiantes principiantes, los errores de gramática y pronunciación resultaron ser más frecuentes en nuestros dos primeros estudios. En consecuencia, se sugiere que prioritariamente deberían ser tratados por el sistema estos dos tipos de errores" (p. 536). Por otro lado, y sobre la base también de la frecuencia con que los errores se presentan, se sugiere que "[p]ara estudiantes de nivel de aprendizaje intermedio o avanzado, los errores de gramática y vocabulario deberían ser tratados primeramente." (p. 536). Es importante notar también la correlación que se establece entre el tipo de error y la efectividad de la estrategia de feedback, pues los resultados muestran que las estrategias del Grupo 1 son efectivas al tratar errores de gramática.

En otras investigaciones (Ferreira, Moore y Mellish 2007) se observaron una serie de estrategias utilizadas por los profesores de español como LE en interacciones tipo clase y tipo tutoría, utilizando nuevamente la separación entre estrategias de feedback de acercamiento a la respuesta para que el mismo estudiante corrija su error (self-repair) o de entrega de la respuesta correcta (other-repair), llamándose a las primeras Prompting-Answer Strageties (PAS) y a las segundas, Giving-Answer Strategies (GAS). Después de hacer un estudio estadístico de las interacciones estudiadas, se concluye que el grado de efectividad de cada tipo de feedback dependerá fundamentalmente del tipo de error a reparar.

En Heift y Schulze (2007) se considera que la granularidad del feedback dependerá del nivel de dominio del estudiante, debido a que "[p]ara el experto, el feedback es más general, proveyendo una pista sobre dónde se cometió el error dentro de la oración" (p. 104), mientras que para los estudiantes de nivel intermedio e inicial, se hace más necesario entregar información más detallada debido a su menor conocimiento e interiorización de las reglas gramaticales. Por otro lado, Dodigovic (2005) en el EAP Tutor entrega un feedback considerando las variables de estilo de aprendizaje y de tipo de error cometido, lo cual se tradujo específicamente en las opciones de tipo "obtener una pista" (adecuada para estilos analíticos y concretos) y "obtener solución" (para estilos autoritarios y comunicativos). Asimismo, las "pistas" consideran una estrategia de recast interrogativo o bien una estructura meta con vocabulario distinto para estudiantes con estilos analítico o concreto, respectivamente (pp. 195-197). De este modo, los STI pueden recoger este amplio abanico de estrategias de feedback existentes y seleccionar uno en particular de acuerdo a las características del estudiante, para decidir tanto el tipo de feedback a utilizar como su granularidad.

2.1.2. Metodología de focalización en la forma

A lo largo del tiempo, la dicotomía énfasis en el contenido versus énfasis en la forma ha generado un amplio cuerpo de investigación y dado pie a diversas teorías sobre cómo se debe enseñar una segunda lengua, pasando así de la antigua metodología gramatical centrada en las estructuras al enfoque comunicativo; sin embargo, no es tarea fácil conjugar ambos aspectos de la lengua, principalmente debido a la capacidad limitada de procesamiento de información de la mente humana. Como solución a este problema, surge la metodología de focalización en la forma (focus on form), en la cual el estudiante no deja de atender a los significados de un texto o la intención comunicativa de un diálogo, sino que a partir de ellos se genera una focalización de la atención en la estructura. Long y Robinson (1998) definen este enfoque metodológico como "un cambio ocasional de la atención en características del código lingüístico -por el profesor y/o uno o más estudiantes- gatillado por problemas que se perciban en la producción o la comprensión" (p. 23).

2.1.3. Teoría de procesamiento de la información

La teoría del procesamiento de la información surge junto con el desarrollo de la informática y establece un paralelo entre los procesos cognitivos del ser humano y el modo de procesar la información propio de los computadores. Un sistema autorregulado "se define en forma similar a los servomecanismos: forma un bucle (loop) entre el input y el output de una acción y el output sirve de información sobre la adecuación del input". (Heift y Schulze 2007: 125). Dicho de otro modo, al tener un mecanismo de control autorregulado, se necesitan el input de una acción, su output correspondiente, y además un mecanismo de registro que permite generar información sobre el output. Luego, esta información se vuelve a ingresar al sistema, el sistema hace una comparación entre el output deseado y el real, y conforme a esto, la máquina genera una acción determinada para modificarlo o mantenerlo.

Según la teoría de procesamiento de la información, la descripción anterior también se ajusta a la forma en que aprende el ser humano. Al ejecutar éste una determinada acción (en el caso de la enseñanza de lenguas, formar un enunciado), esta es comparada por un ente externo con un ideal (en este contexto, con una estructura gramatical). Dicha comparación debe generar un feedback, el cual se entrega al alumno con el fin de que éste modifique la acción en pos de lograr una similitud entre el output real y el ideal esperado. El mecanismo de feedback en una situación de aprendizaje permite entonces al alumno saber en primer lugar si la tarea ejecutada se ajusta o no a los objetivos esperados; y en segundo lugar, permite también saber cuál fue el error específico, lo cual conlleva a la reparación del error.

2.1.4. Estilos de aprendizaje en enseñanza de lenguas

Por último, consideraremos los aportes relacionados con la forma de procesamiento de la información de los aprendientes de una lengua extranjera, un desarrollo teórico que ha crecido al alero de la discusión sobre los estilos de aprendizaje en ASL. A este respecto, nos remitiremos a los conceptos de dependencia e independencia de campo, acuñados por Witkin (1962) y cuyo alcance ha sido constantemente debatido (Ellis 1994; Skehan 1998).

El concepto de independencia de campo o estilo analítico tiene relación con la capacidad que posee la persona de separar un determinado problema en partes constituyentes, analizándolas; por otro lado, la dependencia de campo o estilo holístico describe la capacidad de comprender una situación como un todo en vez de descomponerla y analizar sus partes. En el ámbito específico del aprendizaje de lenguas, estas maneras de procesar la información circundante implican también menor y mayor tendencia a la comunicatividad, respectivamente (Skehan 1998: 237-238). Sin embargo, Ellis (1994) señala una falta de evidencia en cuanto a la relación entre independencia de campo y aptitud para aprender una segunda lengua, como tampoco existe con respecto a las distintas aproximaciones que hacen los estudiantes de una lengua de acuerdo a estas categorías. En efecto, "[n]o hay un soporte claro para la hipótesis de que los estudiantes con independencia de campo tengan logros debido a su aproximación enfocada en la forma y deductiva y los dependientes de campo, de una aproximación enfocada en el significado e inductiva" (p. 502). De esta manera, el concepto de estilo de aprendizaje parece no estar completamente acotado, ya que "aparentemente se traslapa con otras diferencias individuales de naturaleza tanto afectiva como cognitiva" (Ellis 1994: 508). Por otra parte, los conceptos dependencia/ independencia de campo en sí mismos no parecen tampoco estar relacionados con el aprendizaje de una L2, más específicamente, en torno a la preferencia en contextos de aprendizaje formales o informales, o la tendencia a la interacción con los demás (p. 501).Con respecto al estilo de aprendizaje de los estudiantes, éste se obtendrá mediante un test de entrada, el Embedded Figures Test (EFT), el cual fue diseñado por Witkin (1962) para detectar la tendencia de la persona a un estilo dependiente o independiente de campo, y el cual da la bienvenida al estudiante antes de que el estudiante comience con los ejercicios propuestos por el STI. No obstante, es importante señalar que este test mide principalmente una habilidad de tipo visual-espacial, por lo cual no se puede contar con la certeza de si los resultados que arroja este test se relacionarán específicamente con el campo de la ASL. Además, "el GEFT está basado en la premisa de que mientras menos independiente de campo se es, entonces se es más dependiente de campo, y por lo tanto no puede ser usado para investigar las supuestas ventajas de un estilo de aprendizaje flexible" (Ellis 1994: 502).

Con todo, las últimas discusiones sobre los conceptos de dependencia/ independencia de campo apuntan más bien a no considerarlos como excluyentes y bipolares. Según Chapelle y Green (1992; cit. en Skehan 1998), se trata de destacar "tres aspectos de este constructo que son importantes: confianza en marcos internos o externos de referencia, habilidades de restructuración cognitiva y competencias interpersonales" (p. 242).

2.2. ¿CÓMO SE DESARROLLA UN STI?

Existen diversas experiencias de desarrollo e implementación de STI para LE, a pesar de la complejidad de la tarea. En este sentido, Dodigovic (2005) presenta una serie de pasos a seguir al momento de abocarse a dicha tarea. En primer lugar, es necesario conocer las características de los destinatarios del sistema, después de lo cual corresponde hacer un análisis de necesidades. Esta etapa contempla el estudio de un corpus de hablantes de LE, con el fin de conocer los errores de lengua más frecuentes y así poder diseñar un sistema acorde a estas necesidades (pp. 140-145). Posteriormente corresponde la etapa de creación de una gramática capaz de dar cuenta de los enunciados correctos e incorrectos que pueda ingresar un estudiante al sistema, con el fin de que éstos sean analizados y luego sea posible entregar un feedback de acuerdo a lo anterior (pp. 188-194). Finalmente, se diseñaron diversas estrategias de feedback de acuerdo al estilo de aprendizaje del estudiante, siendo éste quien elija la estrategia (pp. 196-198).

El trabajo de Heift y Schulze (2007), por otra parte, otorga mayor atención al modelado del estudiante en el desarrollo de un STI para LE, debido principalmente a que el grado de adaptabilidad del sistema depende en gran parte del módulo de estudiante. En este sentido, se considera que "si los estudiantes aprenden en forma diferente, entonces es más probable que se beneficien de una instrucción personalizada" (p. 171). De este modo, se perfila como más adecuado un módulo de estudiante que permita albergar información sobre el alumno y además sea capaz de generar una actualización de ella, específicamente del nivel de proficiencia. Se proponen asimismo diversos mecanismos para lograr este objetivo, dependiendo del tipo de información que se quiera contemplar con respecto al estudiante: de este modo, se proponen estrategias para modelar el tipo de error de lengua y el nivel de proficiencia del estudiante (pp. 178-188).

2.3. EL MÓDULO DE ESTUDIANTE

En el caso específico de los STI para la enseñanza de lenguas, su arquitectura de tres partes considera dentro del módulo de experto el conjunto de estructuras sintácticas que forman la lengua meta; un módulo tutor que considera tanto el reconocimiento de los errores de lengua (parser) como un conjunto de las estrategias de feedback correctivo para tratar dichos errores; y un módulo de estudiante que posee un conjunto de datos sobre el alumno (Dodigovic 2005; Heift y Schulze 2007; Holland, Kaplan y Sams 1995).

Si se considera entonces que un STI tiene entre sus objetivos fundamentales la adaptabilidad, la cual "está ampliamente determinada por la cobertura y precisión de la información contenida en el modelo de estudiante" (Wenger 1987: 16), entonces una gran parte de las funciones que debe ejecutar el sistema para lograr este objetivo se encontrará en el modelo de estudiante. De este modo, "modelar atributos adicionales del estudiante proveerá al sistema con más información y, en definitiva, al usuario con una experiencia más individualizada" (Heift y Schulze 2007; 179).

De acuerdo a lo anterior, el aporte específico del modelo de estudiante es, por una parte, obtener datos sobre las características del estudiante y almacenarlos en una base de datos para su posterior utilización: y por otra parte, actualizar constantemente esta información en caso de que cambie durante la interacción con el STI. Todos los datos almacenados en el modelo de estudiante serán utilizados luego por el sistema para escoger una estrategia de feedback que mejor se adecue a las características del estudiante.

2.4. REDES BAYESIANAS COMO MECANISMO DE DIAGNÓSTICO Y ACTUALIZACIÓN DEL NIVEL DE DOMINIO DEL ESTUDIANTE

La determinación del nivel de dominio del alumno con respecto a un determinado tema o habilidad es una función fundamental en un modelo de estudiante. Conejo, Millán, Pérez de la Cruz y Trella (2001) señalan en este sentido que el sistema "debe ser capaz de [...] inferir dada la información generada en la interacción del alumno con el sistema (problemas resueltos, pantallas visitadas, etc.) el estado cognitivo del alumno". (p. 50). Ahora bien, si se considera que el diagnóstico es una tarea difícil por cuanto el alumno puede presentar una respuesta correcta lograda solamente por azar, o puede equivocarse debido a factores ajenos a su control, como algún estado emocional negativo o falta de manejo del programa o el hardware, se hace necesaria la creación de un mecanismo que permita un diagnóstico lo más cercano posible a la realidad.

Una forma de enfrentar este problema es utilizando redes bayesianas. Una red bayesiana es un modelo matemático que permite el cálculo de probabilidad de un evento A tomando en consideración uno o más eventos previos. Este mecanismo es usado en el ámbito de IA para generar una representación del conocimiento del estudiante, a la vez que genera una relación de contraste con la red semántica de conocimiento presente en el modelo experto. Dicha representación se logra a través de la homologación de una red semántica con un grafo acíclico dirigido, donde los nodos representan los conocimientos a adquirir y los arcos, la relación entre dichos conocimientos. De este modo, la red bayesiana permite modelar al alumno desde el punto de vista de lo que éste ya sabe y contrastarlo con la red de conocimiento correspondiente al modelo experto.

Así, una red bayesiana se perfila en este caso como una herramienta capaz de determinar en forma estadística la pertenencia del alumno a un determinado nivel, tomando en consideración múltiples evidencias y ejecutando cada cierto tiempo un cálculo matemático que permite la actualización de los valores a medida que se obtienen nuevos datos. Se define una red bayesiana como un grafo acíclico dirigido formado por nodos y arcos, donde "cada nodo representa a una variable que puede ser, por ejemplo, un concepto, regla, problema, capacidad o habilidad" (Heift y Schulze 2007: 186), mientras que los arcos señalan la relación existente entre las variables, siendo la causal la más frecuente. Para ello, se necesita delimitar y calcular como mínimo:

Esta información se procesa posteriormente mediante la fórmula de redes bayesianas, la cual constituye una aplicación del Teorema de Bayes. La expresión correspondiente es

Donde las variables a considerar están representadas por X₁, X_n y el conjunto de nodos padre es representado porpa(X). La Fig. 1 ilustra una red bayesiana representada por un grafo donde A es nodo padre de B y C. El cálculo de la probabilidad de A dados B y C es determinado entonces mediante el producto de B dado A y C dado A.

Fig. 1: Red bayesiana representada en un grafo, donde A es nodo padre de B y C.

La capacidad de las redes bayesianas de considerar múltiples evidencias para su cálculo es una de sus ventajas por sobre otros métodos de diagnóstico. También es importante señalar que cada una de estas evidencias puede tener también un peso específico, esto es, que tributen a la probabilidad de que el estudiante domine un determinado nivel en distintos grados de importancia. Además, el uso de redes bayesianas permite una actualización constante del nivel del estudiante, por cuanto va registrando nueva evidencia y haciendo cálculos tanto a partir de ella como de la recogida anteriormente.

3. METODOLOGÍA

Se consideró como punto de partida para el desarrollo del módulo adaptativo de estudiante el modelo de STI para LE desarrollado por Ferreira et al. (2007), en el cual se supone la presencia de un analizador sintáctico o parser que permite reconocer los errores de lengua ingresados al sistema por el estudiante. La Fig. 2 muestra el modelo que debe seguir el diseño de un STI desde el ingreso del input al sistema hasta la generación de un output consistente en una estrategia de feedback adecuada al tipo de error cometido y el nivel del estudiante. Parte importante de la metodología al momento de seleccionar las estrategias de feedback la compone el árbol de decisiones para la entrega de feedback en STI, el cual aparece en la Fig. 3. Esto se complementa con lo propuesto por Heift y Schulze (2007) con respecto a la relación entre granularidad del feedback y nivel de dominio del estudiante (p. 104).

Fig. 2: Modelo del Proceso del Tratamiento del Error y la Generación de Feedback para un Sistema Tutorial Inteligente para lenguas extranjeras (Ferreira, Moore y Mellish 2007).

Para el establecimiento de los parámetros fundamentales sobre los errores a considerar en el módulo de estudiante, se tomó como referencia el parser para ELE-TUTOR diseñado por Ferreira y Kotz (2010), el cual trata errores gramaticales correspondientes al nivel B2 del MCER. Este analizador contempla un proceso de etiquetado de partes del habla o POS-Tagging de la entrada del estudiante; y luego un proceso de análisis morfológico y sintáctico donde se usa una gramática que contempla las reglas de la lengua que son objeto de estudio, más un conjunto de reglas agramaticales o buggy-rules que contienen los errores lingüísticos a detectar.

Fig. 3: Árbol de decisiones para la entrega de feedback en un STI (Ferreira et al., 2007)

Una vez que el parser termina su análisis y ha descubierto un error, el STI selecciona una estrategia de feedback correctivo según el nivel de proficiencia que presenta el estudiante, con lo que se genera la reparación del error. Ahora bien, para lograr la individualización del feedback, se vuelve necesario entonces crear un módulo de estudiante, que almacena información sobre el alumno concreto en cuanto al tipo de error encontrado por el parser, su estilo de aprendizaje y su nivel de dominio de la lengua.

Para diseñar el módulo de estudiante se tomó en consideración el marco metodológico de CALL establecido por Hubbard (1996), el cual contempla tres etapas en la producción de una aplicación computacional para apoyar el proceso de enseñanza/aprendizaje de una lengua: desarrollo, implementación y evaluación. La primera de éstas constituye el marco de referencia principal para el diseño del módulo de estudiante que se presenta en este trabajo y consta de tres partes: enfoque, diseño y procedimiento (pp. 20-25).

En la sección de enfoque se contemplan aspectos como las teorías de aprendizaje y la metodología de enseñanza de lenguas subyacentes al diseño del sistema. En el caso específico de las aplicaciones ICALL, Heift y Schulze (2007) postulan a la teoría de procesamiento de la información como fundamento teórico esencial, junto con la preponderancia de la metodología de focus-on-form, mencionando además distintas actividades en estas aplicaciones que se centran en este principio (p. 130). En la sección de diseño, se consideran los aspectos como el perfil del estudiante en cuanto a nivel y necesidades, la determinación de los contenidos, el estilo de aprendizaje que promueve la actividad, el manejo de aula y las consideraciones de hardware y programación. Por último, la sección de procedimiento aborda los temas relativos al diseño en pantalla y las actividades a ejecutar por el estudiante. Sin embargo, cabe señalar que el marco metodológico de CALL no es suficiente para el desarrollo de un STI para LE, debido a que en el primero no se contempla el uso de técnicas de IA; debido a esto, se decidió entonces complementar con los fundamentos establecidos tanto por Heift y Schulze (2007) como por Dodigovic (2005) en la creación de STI mencionados en la sección 2.2.

Debido a que el alcance de este trabajo contempla solo el área de desarrollo de un componente específico del STI ELE-TUTOR, se tomaron en consideración solamente los puntos atingentes al módulo de estudiante. Esto resultó en la determinación de una serie de pasos, que fueron: a) dado el desarrollo de Ferreira y Kotz (2010) definir qué elementos del parser constituirían la entrada al modelo de estudiante, y determinar si habría otras; b) determinar y diseñar las herramientas que se utilizarían para ingresar datos diferentes a los entregados por el parser; c) definir los componentes del modelo de estudiante, junto a su respectivas funciones y la interacción entre ellos; d) crear una red bayesiana para el diagnóstico y actualización del nivel, con la recolección de los datos necesarios para ello; y e) delimitar la salida del modelo del estudiante, la cual servirá de entrada del modelo tutor.

El presente diseño consta de tres componentes, los cuales son señalados por Nehémie (1992; cit. en Heift y Schulze 2007): base de conocimientos del estudiante, módulo actualizador y módulo de síntesis.

En primer lugar, la base de conocimientos es una base de datos que reúne la información con respecto al nivel de proficiencia del estudiante, los errores cometidos a lo largo de la interacción, el estilo de aprendizaje y sus características personales (nombre de usuario, contraseña) para su autentificación al entrar a la plataforma. La información codificada en la base de conocimientos toma la siguiente forma:

En segundo lugar, el módulo diagnóstico/actualizador genera actualizaciones con respecto a los datos existentes en la base de conocimientos del estudiante. Sin embargo, dado que los datos referentes al estilo del estudiante son estáticos (no cambian a medida que el estudiante interactúa con el sistema), el módulo actualizador solo se vincula con la información del nivel del estudiante. En este trabajo, el diagnóstico/actualizador lo conforma el mecanismo de red bayesiana, que calcula el nivel del estudiante a medida que avanza la interacción, tomando en cuenta el tipo de error cometido.

Finalmente, el módulo de síntesis recoge todos los datos alojados en el modelo de estudiante, y genera una orden para el modelo tutor con respecto a qué feedback es más pertinente dada la información registrada hasta el momento.

Fig. 4: Arquitectura general del módulo estudiante

Para lograr un sistema de diagnóstico mediante redes bayesianas, es necesario contar primero con una representación jerárquica de los conocimientos que se encuentran en el modelo experto. De esto modo, tomamos como referencia el trabajo de Ferreira y Kotz (2010), en cuyo parser se presenta una clasificación y jerarquización de los fenómenos gramaticales que el tutor toma en consideración; además del estudio piloto de Kotz (2008) donde se establecen las frecuencias de los errores.

Una vez obtenidos los datos numéricos correspondientes, se establecieron como nodos las reglas codificadas en el parser, asignando a cada una de ellas un valor probabilístico. Con respecto al uso de reglas gramaticales como nodos, cabe argumentar que por tratarse de un STI basado en parser no es posible considerar, como en otros trabajos de modelado del estudiante con RB (Conejo et al., 2001) una respuesta correcta o incorrecta como nodo evidencia. Usar el resultado en el sentido de error o no error en un ejercicio sería desaprovechar las ventajas que posee el parser para diagnosticar la proficiencia del alumno, debido a que las reglas permiten establecer con mayor claridad cuáles son los puntos fuertes y débiles del estudiante, y cómo cada uno de ellos tiene distinta relevancia en el dominio de una lengua. De esta manera, si un estudiante comete un error de concordancia de género en una pregunta donde también se mide su capacidad de utilizar y conjugar el condicional compuesto, no tiene sentido considerar ambos errores con el mismo peso en el diagnóstico. Es por esto que el cálculo bayesiano se hace considerando el uso correcto de las reglas, ya que en algunos ejercicios el parser tendrá que utilizar más de una de ellas; además, una misma regla también puede ser necesaria para la resolución de otros ejercicios.

Fig. 5: Dependencia de los nodos evidencia (errores) al objetivo (nivel B2).

Una vez cumplida una secuencia de ejercicios, se considerará entonces el siguiente cálculo: si en un ejercicio se tiene una respuesta correcta, el sistema calcula la probabilidad de que el estudiante domine el nivel B2 dado que sí maneja esta regla, lo cual es representado por P(B2\-e₁). Si por el contrario se detecta un error, el sistema recurrirá al cálculo bayesiano con respecto al error; esto es, cuál es la probabilidad de que un estudiante corresponda al nivel B2 dado que ha cometido el error E1; es decir, P(B2\+e₁). Los valores obtenidos a lo largo de la secuencia se suman y luego se dividen por el número de preguntas de la secuencia, para obtener un valor porcentual que determinará la pertenencia del estudiante a un determinado nivel.

Finalmente, para determinar la salida del sistema es imprescindible modelar, en primer lugar, los tipos de feedback que entregará el STI, para, en segundo lugar, tomar una decisión con respecto a cuál de ellos se adecua de mejor manera a las características del estudiante. Por lo tanto, la salida del modelo de estudiante es un vector que toma los valores:

Si se considera que estas tres variables tienen el mismo grado de importancia, entonces se hace necesario establecer correspondencias entre todas ellas. La Tabla 1 muestra las combinaciones posibles entre estilo de aprendizaje y nivel del estudiante, mientras que la Tabla 2 sugiere la forma específica que tomarán los tipos de feedback de acuerdo al tipo de error.

Tabla 1: Correspondencias entre estilo de aprendizaje, instancia, nivel de proficiencia y tipo de feedback.

Tabla 2: Ejemplos de enunciados específicos de feedback para el error VT%[tiempo específico]

5. CONCLUSIONES

El trabajo desarrollado da cuenta del desarrollo de un modelo de estudiante en el contexto de un STI que apoya el proceso de enseñanza del español como LE . Dicho modelo de estudiante toma en consideración tres variables, las cuales corresponden a aspectos importantes del estudiante que se deben tener en consideración al elegir una determinada estrategia de aprendizaje: nivel de proficiencia, estilo de aprendizaje y tipo de error; todo ello junto al diseño de un sistema de actualización del nivel del estudiante utilizando una red bayesiana construida sobre la base del parser. Sin embargo, es necesario precisar que aún existen dificultades por resolver y que requieren investigación posterior.

En primer lugar, es necesario contar con números más precisos para el establecimiento de los pesos de cada regla gramatical, ya que tanto los valores de las probabilidades a priori como las condicionadas fueron reemplazados por datos referentes a la frecuencia de los errores. Para lograr esto, se necesita la aplicación de una herramienta estandarizada de medición del nivel del estudiante (DELE, BULATS, etc.), como también un test que contenga ejercicios idénticos a los presentados en la plataforma y que contemple todas las reglas del parser.

En segundo lugar, la distribución de la red de conocimiento para formular la red bayesiana también puede ser mejorada al estudiar una reestructuración y reorganización de los ejercicios. Actualmente, todos los nodos de evidencia apuntan a un solo nodo padre objetivo, pero una reestructuración de las tareas permitiría crear una red bayesiana de mayor complejidad, con nodos en distintos niveles.

Por último, se perfila como necesario un estudio comparativo donde se compruebe si la red bayesiana como método de diagnóstico de nivel se comporta con la misma eficiencia que un test estandarizado para la medición de la proficiencia del estudiante. Esto va de la mano con la comprobación respecto de si las estrategias de feedback asignadas a cada estilo de aprendizaje inciden positivamente en la reparación del error.

REFERENCIAS BIBLIOGRÁFICAS

Conejo, Ricardo, Eva Millán, José Luis Pérez de la Cruz y Mónica Trella. 2001. Modelado del alumno: un enfoque bayesiano. Revista Iberoamericana de Inteligencia Artificial 12: 50-58.         [  ]

Dodigovic, Marina. 2005. Artificial Intelligence in Second Language Learning: raising error awareness. Clevedon: Multilingual Matters.         [  ]

Ellis, Rod. 1994. The Study of Second Language Acquisition. Oxford: Oxford University Press.         [  ]

Ferreira, Anita. 2006. Estrategias efectivas de feedback positivo y correctivo en el español como lengua extranjera. Signos 39 (62): 379-406.         [  ]

_______2007. Estrategias efectivas de feedback correctivo para el aprendizaje de lenguas asistido por computadores. Signos 40 (65): 521-544. [en línea]. Disponible en http://www.scielo.cl/scielo.php?script=sci_arttext & pid=S0718-09342007000300007 & lng=en & nrm=iso [Consulta 17-08-2011]         [  ].

Ferreira, Anita y Gabriela Kotz. 2010. ELE-Tutor inteligente: Un analizador computacional para el tratamiento de errores gramaticales en Español como Lengua Extranjera. Signos, 43 (73): 211-236.         [  ]

Ferreira, Anita, Johanna Moore y Chris Mellish. 2007. A study of feedback strategies in foreign language classrooms and tutorials with implications for Intelligent Computer-Assisted Language Learning Systems. International Journal of Artificial Intelligence in Education 17 (4): 389-422.         [  ]

Heift Trude y Mathias Schulze. 2007. Errors and intelligence in Computer-AssistedLanguage Learning: parsers and pedagogues. New York: Routledge.         [  ]

Holland, V. Melissa, Jonathan D. Kaplan, Michelle R. Sams (eds.). 1995. Intelligent Language Tutors: Theory Shaping Technology. New Jersey: Lawrence Erlbaum Associates.         [  ]

Hubbard, Philip. 1996. Elements of CALL Methodology: Development, Evaluation, and Implementation. En Pennington, Martha (ed): The Power Of CALL, pp.15-32. Houston: Athelstan.         [  ]

Kotz, Gabriela. 2008. Experimento piloto: Taxonomía de errores gramaticales para un analizador automático (parser). Ponencia presentada en el Tercer Coloquio de Postgrado en Lingüística. Concepción, Chile.         [  ]

Long, Michael y Peter Robinson. 1998. Focus on form: theory, research and practice". En Doughty, Catherine; Williams, Jessica (eds.): Focus on Form in Second language classroom acquisition, pp. 15-41. New York: Cambridge University Press.         [  ]

Lyster, Roy y Leila Ranta. 1997. Corrective feedback and learner uptake: Negotiation of form in communicative classrooms. Studies in Second Language Acquisition 19: 37-66.         [  ]

Salcedo, Pedro. 2004. Un Sistema Basado en el Conocimiento para la Educación a Distancia. Tesis para optar al grado de Doctor en Ingeniería Informática. Universidad Nacional de Educación a Distancia, España.         [  ]

Skehan, Peter. 1998. A cognitive approach to language learning (10^a ed.) Oxford: Oxford University Press.         [  ]

Wenger, Etienne. 1987. Artificial Intelligence and Tutoring Systems: Computational and Cognitive Approaches to the Communication of Knowledge. Los Altos, CA: Morgan Kaufmann Publishers, Inc.         [  ]

Witkin, Herman A. 1962. Psychological differentiation: Studies of development. New York: Wiley.         [  ]

* Para correspondencia, dirigirse a: Fernanda Barrientos Contreras (dfbarrientos@udec.cl), Anita Ferreira Cabrera (aferreir@udec.cl) o Pedro Salcedo Lagos (psalcedo@udec.cl), Departamento de Español, Facultad de Humanidades y Arte, Universidad de Concepción, Chile, Casilla 160-C, Correo 3.

Recibido: 07/09/11
Aceptado: 20/05/12