SciELO - Scientific Electronic Library Online

 
vol.46 número2INTERFAZ COMPUTACIONAL DE APOYO AL ANÁLISIS TEXTUAL: “EL MANCHADOR DE TEXTOS”LA EFECTIVIDAD DE UN MODELO DE APRENDIZAJE COMBINADO PARA LA ENSEÑANZA DEL INGLÉS COMO LENGUA EXTRANJERA: ESTUDIO EMPÍRICO índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

Compartir


RLA. Revista de lingüística teórica y aplicada

versión On-line ISSN 0718-4883

RLA v.46 n.2 Concepción  2008

http://dx.doi.org/10.4067/S0718-48832008000200005 

 

RLA, Revista de Lingüística Teórica y Aplicada, 46 (2), II Sem. 2008, pp. 81-93

 

ARTICULOS / ARTICLES

 

AUTOMATIZAR LOS EXÁMENES DEL DIPLOMA DE ESPAÑOL COMO LENGUA EXTRANJERA (DELE): ¿UTOPÍA O REALIDAD?1

AUTOMATIZING THE DIPLOMA OF SPANISH AS A FOREIGN LANGUAGE TESTS (DELE): UTOPIA OR REALITY?

JESÚS GARCÍA LABORDA1
CRISTINA NAVARRO LABOULAIS2

1Universidad Politécnica de Valencia (Escuela Politécnica Superior de Gandía). España. E-mail: jgarcial@idm.upv.es
2Universidad Politécnica de Valencia (Escuela Politécnica Superior de Gandía). España. E-mail:cnavarro@idm.upv.es


RESUMEN

Este artículo trata de mostrar las dificultades y beneficios, tanto desde la perspectiva institucional como desde la del usuario, de automatizar el Diploma de Español como Lengua Extranjera (DELE). El artículo trata sobre cuestiones lingüísticas e informáticas tales como el diseño web, las realidades del uso de la lengua y, por encima de todo, muestra la necesidad de la implementación de dicho proyecto. Asimismo, muestra que si el examen de DELE se pusiera en funcionamiento, debería satisfacer tres áreas: diseño, cuestiones de la lengua y la mejora y adecuación tecnológica. En este sentido, la puesta en funcionamiento de un examen asistido por ordenador puede ser vista como una herramienta beneficiosa que permite evaluar las cuatro destrezas tradicionales más el uso de la lengua de manera más eficiente que el sistema actual de papel y lápiz.

Palabras clave: Ordenadores, examen, DELE, tecnología, cuatro destrezas.


ABSTRACT

This paper aims at showing the constraints and benefits both from an institutional and the test user’s perspectives of automatizing the Diploma in Spanish as a Foreign Language (DELE). The article addresses computational and language issues such as web design, language use realities and, overall, it proves the need to implement such a project. It also shows that whether the DELE exam is to put into functioning, it needs to satisfy these three areas: design, language scope and technology improvement and adequacy. In this sense, the implementation of a computer based test may be seen as a beneficial tool that permits to evaluate the four traditional skills plus language use more efficiently than the current pencil & paper system.

Keywords: Computers, test, exam, DELE, technology, four skills.


1. INTRODUCCIÓN

En los últimos años existe un interés creciente en automatizar los exámenes de baremación de lenguas extranjeras como L2 (Laurier, 2004; Alderson, 2000; Kunnan, 1999). Este esfuerzo comenzado ya por TOEFL (Test of English as a Foreign Language) desde 1999 ha ido madurando en este tiempo. Las razones que han movido a los investigadores y a los administradores de exámenes a esta automatización van desde su menor coste a razones puramente educativas, entre las cuales se incluyen los efectos en la enseñanza o la mejora global de todas las destrezas de manera unitaria. Ante esta realidad, ¿qué se hace con respecto a la lengua española? Aparentemente, ya hay ideas innovadoras en varias universidades españolas, pero ¿cuál debe ser la agenda para esta modernización? El presente trabajo estudia de manera sencilla todas estas cuestiones y propone aplicarlas a las pruebas del DELE del Instituto Cervantes, con algunas alternativas reales y operativas ya realizadas en España, aunque sin olvidar que las opciones e ideas sugeridas no son sino una serie de ideas basadas en nuestra experiencia, que requerirán esfuerzos institucionales posteriores para su puesta en funcionamiento.

2. TENDENCIAS ACTUALES EN EXÁMENES NORMALIZADOS DE DIAGNÓSTICO DE LENGUAS EXTRANJERAS

Desde 1997 algunas agencias internacionales, como el English Testing Service (ETS), la institución encargada de la administración de TOEFL, han venido desarrollando sistemas automáticos de baremación y de evaluación de los conocimientos de inglés como lengua extranjera de aquellos estudiantes que deseaban realizar sus estudios terciarios en Estados Unidos. Entre 1999 y 2006 se utilizó el llamado Computer based TOEFL (CB TOEFL) (Stricker, Wilder y Rock, 2004; Cochran, 1998; Jamieson, Taylor, Kirsch y Eignor, 1998) pero, dando un paso adelante en la innovación, aquel año comenzó a funcionar el Internet based TOE-FL (iBT TOEFL) (Xi, 2007; Zareva, 2005). En estos dos años, aunque criticado desde varios medios de comunicación, no parece haber habido un gran rechazo a este sistema2. Aún así, convendría observar qué aspectos innovadores válidos, desde el punto de vista institucional, podrían ser incorporados en proyectos internacionales para la lengua española. Para ello, nos fijaremos primero en algunas de las realidades que aparecen en la actualidad al contrastar la mayor parte de los exámenes tradicionales, los llamados de “lápiz y papel”, y los informatizados (Coniam, 2006; Jamieson, 2005; Choi, Kim y Boo, 2003):

a) Costes del examen. La distribución de los exámenes normalizados no informatizados tiene un alto coste tanto para los estudiantes como para la empresa encargada de su realización (Fulcher y Daviedson, 2007). Por un lado, los estudiantes pagan una cuota por su participación pero, generalmente, aun es más costoso en tiempo y dinero tener que desplazarse al centro de examen. En lo referente a la institución organizadora, su coste es alto como consecuencia de la necesidad de aulas, examinadores, correctores, cuidadores, además de asegurar un procedimiento de corrección rápida y eficaz en muy poco tiempo.

b) Evaluación global de las destrezas comunicativas. Resulta indudable que éste es un tema controvertido. Por un lado, resulta difícil poder medir todas las destrezas de los estudiantes porque requiere no uno sino dos exámenes: uno oral y otro escrito. En Cataluña, en la prueba de lengua extranjera para el examen de acceso a la universidad (PAU) se utiliza un modelo que incluye una sección gramatical, otra escrita y otra de comprensión auditiva. Sin embargo, es evidente que una tarea de comprensión auditiva resulta insuficiente para evaluar la competencia comunicativa. Por tanto, el problema sigue siendo que a la hora de diagnosticar la competencia comunicativa de la L2 es vital la inclusión de ejercicios de expresión oral, sin que eso debiera suponer el inconveniente de tener que volver al centro examinador otro día, como suele suceder en los exámenes como el DELE o TOEFL, por ejemplo.

c) Efecto en la enseñanza. Muchos profesores saben, aunque tradicionalmente se niegue, que cuando los estudiantes tienen que ser medidos o evaluados por agentes externos a sus clases, por ejemplo en la PAU o en los exámenes del instituto Goethe o Trinity College, los docentes centran su trabajo más en la resolución de las tareas propias del examen que en el desarrollo de la competencia lingüística de sus alumnos. Es decir, consideran que el cómo responder el examen puede ser más importante que el nivel de L2 exigido para tener éxito en el examen. Por tanto, durante un cierto tiempo de instrucción se puede producir una “renuncia deliberada” a avanzar en una lengua extranjera en favor de obtener unos resultados en la prueba para ratificar la competencia en la misma o, por llamarlo por su nombre, un washback3 negativo (Wall y Alderson, 1993). Este proceso crea, en determinadas circunstancias, hasta una mala conciencia en los profesores que pueden mirar los exámenes con cierto miedo o rechazo (Choi, 2008).

Una vez analizados algunos de los problemas que suelen plantear los exámenes en papel4, debemos preguntarnos qué mejoras puede aportar la automatización de los procesos de evaluación:

1) Los estudiantes no necesitan desplazarse para realizar su examen ya que las conexiones de redes o Internet permiten transferir las respuestas de sus exámenes de manera instantánea.

2) El coste del examen institucional es menor porque los alumnos pueden realizarlo en su propio centro de estudio.

3) Los exámenes asistidos por ordenador permiten realizar pruebas orales sin la presencia de examinadores. Los alumnos pueden ver un vídeo y contestarlo tras haber o no realizado anotaciones sobre el mismo. Su grado de formalidad puede ser variable según si los estudiantes necesitan ser evaluados en actividades más o menos formales (p. ej., participar en una clase) o informales (presentar a un compañero de universidad nuevo).

4) Si los estudiantes deben interactuar oralmente, es necesario evaluar la destreza de manera eficaz. En consecuencia, los profesores tienen que variar las clases enfocadas a las destrezas escritas y desarrollar las destrezas orales que más tarde serán valoradas en el examen.

5) Los resultados obtenidos en la corrección por medio de una plataforma informática permiten una retroalimentación y el visionado de los propios errores de manera inmediata en pruebas de selección múltiple y más rápida en las que requieren correctores, mejorando el aprendizaje por error del alumno (Furneaux, Paran y Fairfax, 2007; Chan, 2006).

6) El examen tiene una incidencia muy clara en la evolución, programación, planteamiento y metodología de las clases, el llamado efecto washback.

3. ¿CÓMO AUTOMATIZAR LAS TAREAS DE LOS EXÁMENES DE DELE?

Resulta paradójico que al tiempo que el Instituto Cervantes presenta un examen automatizado de diagnóstico de nivel para su Aula Virtual de Español (AVE)5, el examen del DELE en la actualidad se realice a mano. ¿Es que la tecnología desarrollada para ese examen no sirve para su uso generalizado? Aceptemos que los exámenes automatizados tienen ciertas dificultades potenciales, especialmente los posibles problemas de transferencia de datos, problemas de servidores y seguridad de acceso ya descritos en otros trabajos (Roever, 2001; García Laborda, 2007). Sin embargo, estamos convencidos de que estos problemas serán solucionados en un futuro muy próximo, aun a pesar de que la piratería informática pueda plantear un retardo importante.

En cuanto al tipo de pruebas para evaluar las destrezas en los exámenes del DELE, en la Tabla I reproducimos los contenidos relativos al diploma de nivel inicial6.

Tabla I. Descripción del examen DELE de nivel inicial.

3.1. Gramática, comprensión auditiva y vocabulario

Sin duda, hay ejercicios que son más fáciles de transferir a una interfaz informática que otros. Tanto la gramática, la comprensión auditiva y el vocabulario son más factibles de incorporarse a un entorno informático que la evaluación de la expresión oral. Los modos tradicionales para medir el vocabulario han sido completar huecos en un texto o elegir una respuesta de varias sugeridas: ambos se vienen ejercitando casi desde el principio de los años 80. De manera análoga, los ejercicios de lectura se hacen desde la misma época: la mayor parte de los administradores de exámenes normalizados de L2 han elegido la respuesta múltiple o pequeñas variaciones a una palabra, como vemos en la Figura 1.

Figura 1. Interfaz para ejercicios de selección múltiple en comprensión auditiva.

Este tipo de ejercicios gana fuerza y realismo con la incorporación de otra clase de archivos, además del texto, como la animación de la Figura 1; asimismo, la informática asegura que los dispositivos son usados ecuánimemente con todos los alumnos sin poner en tela de juicio la validez del examen debido a razones externas, como lo sería la desigual comprensión auditiva según la posición de los estudiantes en un aula (Fulcher y Daviedson, 2007; Nakatani, 2006). No es menos importante que este tipo de estímulos reales promueve un uso más realista y cercano al que es necesario plantearse como objetivo de este examen, y promueve el uso gramatical y léxico en mayor cantidad y con un grado mayor de corrección (Kennedy, 2007).

Aunque algunos trabajos aseguran la bondad del uso experiencial a través del trabajo con ordenador para obtener un mayor aprendizaje en vocabulario y uso de la lengua (Beasley, Chuang y Liao, 2008; Loucky, 2005; Kaur y Hegelheimer, 2005; Smith, 2005; Smidt y Hegelheimer, 2004), el mayor beneficio que hoy por hoy presentan los ordenadores como entorno de examen es su validez para la práctica gramatical con ejercicios de selección múltiple, de emparejamiento, de respuestas cortas, de respuesta verdadero o falso y similares tipos de tareas que son en mayor medida mecánicas y que, como se sugirió anteriormente, se pueden corregir automáticamente.

En lo referente a las estrategias auditivas, la combinación de ejercicios de visionado o audición con otras tareas productivas ha resultado ser muy positivo ya que permite crear tareas mucho más ricas e interactivas de las que había hasta el momento (Lee y Anderson, 2007; Lee y Kantor, 2007); además, facilita la producción escrita a través de un proceso que motiva y genera la producción léxica (Chang y Read, 2006). Para autores como Lee (2006) esta producción implica, indirectamente, la inclusión de un mayor número de tareas auditivas y añade validez al examen en referencia a los tres aspectos tratados en este punto.

3.2. Expresión escrita

Aunque representa algunos problemas un poco más sofisticados que los ejercicios de gramática y vocabulario, su solución es relativamente sencilla: transmisión de datos a correctores externos que evaluarán las respuestas de acuerdo a unos patrones de corrección similares a los seguidos en la actualidad (corrección gramatical, puntuación, ortografía, coherencia, etc.). La expresión escrita en este tipo de tests ha sido apoyada en varios escritos y muy especialmente por Choi et al. (2003) que sugieren que, a través de un entrenamiento preciso, los estudiantes ya acostumbrados al uso de teclados informáticos obtienen unos resultados similares a aquéllos realizados en exámenes tradicionales de papel y lápiz, tanto desde un punto de vista holístico como analítico (Lee y Anderson, 2007). Por tanto, la cuestión para tener éxito no es tanto tecnológica como la adecuación del estilo y el seguimiento de modelos académicos (Mayor, 2006). Los estudios de Cumming, Grant, Mulcahy-Ernt y Powers (2004) y Lee et al. (2004) mostraron que, cuando los alumnos tienen adquiridos los hábitos de escribir con el ordenador, su uso del lenguaje académico, su actuación respecto a las clases y su adaptación al tipo de tareas eran equivalentes, o incluso mejores, en las tareas informatizadas que sobre aquéllas realizadas en papel.

3.3. Expresión oral

En general, la expresión oral en el examen de DELE sigue una estructura de tipo piramidal, en la cual el nivel superior incluye el inferior. La Tabla II presenta los tipos de ejercicios actualmente utilizados en el DELE para evaluar esta destreza, junto con las soluciones sugeridas para la automatización de estas tareas.

Tabla II. Automatización de las tareas orales de los exámenes de DELE.

Quizás los problemas más difíciles aparecen en el examen para la obtención del Diploma del Nivel Superior en cuanto que esta prueba oral incluye el debate directo entre los entrevistadores y el examinando. A pesar de este planteamiento, creemos que la automatización no es tan difícil de solucionar, ya que se podría crear un sistema mixto de descarga de vídeos y videoconferencia, aún no probado en otros exámenes, pero con un antecedente similar: el sistema de evaluación BEST Plus7, que combina la presencia de un moderador y la utilización de grabaciones de vídeo. Este es, en verdad, el punto más difícil de resolver en la actualidad.

La bondad del uso de materiales audiovisuales ha sido mostrada en estudios como el de Chang y Read (2006), en el que se observó que los alumnos que disponen de esos repertorios tienen un input que no solamente sirve para promover el uso del léxico necesario, sino que mediante un proceso de moderación entre la pista de audio y el examinando permite a éste último adquirir una entonación mejor que con otro tipo de práctica.

4. INTERFACES PARA EXÁMENES O TAREAS ORALES

Aunque este tema ha sido ya tratado en otros trabajos por García Laborda (2007), no quisiéramos cerrar esta breve contribución sin proponer una interfaz para exámenes orales y justificar su uso en los exámenes de DELE automatizados. Según García Laborda y Pardo Suárez (2008), la interfaz de un examen oral tiene varias funciones, entre las que destacan dos aspectos fundamentales: por un lado, debe facilitar la integración e identificación del examinando con las imágenes mediante una ergonomía adecuada y, por otro lado, aún por estudiar detenidamente, debe promover la mejora e identificación de la verdadera competencia de L2. García Laborda y Magal Royo (2007) realizaron una validación del diseño de interfaces en el proyecto PLEVALEX8 realizado entre 2004 y 2006, y llegaron a la conclusión de que la interfaz oral mostrada en la Figura 2 cumple con las dos funciones citadas; además, en opinión de los investigadores, este entorno favorece el diálogo simulado en lo que se ha venido a llamar entrevistas semipresenciales.

Figura 2. Interfaz de tarea o examen oral.

5. CONCLUSIONES

Resulta difícil entender que algunos exámenes de competencia lingüística no han asumido el reto impuesto por las nuevas tecnologías. Es cierto que iniciar un sistema como el propuesto desde estas líneas supone un reto en muchos sentidos: un gasto inicial en el diseño de los programas informáticos, un desarrollo mayor de la competencia en el uso de ordenadores con fines educativos, un gasto en equipamiento, la mejora en las líneas de Internet, etc. (Fulcher y Daviedson, 2007). Sin embargo, a pesar de estas dificultades iniciales, los resultados pueden ser muy beneficiosos tanto en el ámbito académico, a través de una mejora en la enseñanza global, como en lo económico, ya que mantener después el sistema no resulta tan oneroso.

Este artículo ha tratado de mostrar algunas dificultades y beneficios de realizar los exámenes de DELE asistido por ordenador. Por un lado, hay problemas tecnológicos como la adecuación de los centros, los avances continuados en equipamiento informático, el coste de desarrollo de la variedad de exámenes necesarios (incluyendo los ítemes, las grabaciones, el uso de equipamiento específico, actores y otras variables). Por otro lado, estos problemas pueden ser menos costosos que la contratación de vigilantes, examinadores, correctores y otras muchas figuras que participan en el proceso de realización de exámenes de gran impacto.

En cuanto a los tres aspectos citados en este trabajo, se sugieren diseños sencillos que pueden aplicarse al desarrollo de las interfaces y plataformas digitales. Como muchos de los autores citados en este trabajo, abogamos por la sencillez y delimitación de íconos y simbología gráfica (ver figuras). En este sentido, a este trabajo le seguirán otros por los mismos autores que mostrarán claramente este aspecto.

En lo referente a los beneficios para mostrar la competencia de los alumnos, los parabienes se centran en la inclusión y la combinación de todas las destrezas que se venían realizando hasta el momento, para ganar así en riqueza en las pruebas orales basadas en estímulos audiovisuales más realistas y productivos que las usadas hasta ahora. Añadiremos que, además, este tipo de examen tiene un efecto muy positivo en el desarrollo de otros aspectos cognitivos como el uso del ordenador o estrategias relacionadas como la toma de notas durante la reproducción de tareas audiovisuales realistas; por ejemplo, en una conferencia (Huang, 2006).

En definitiva, las autoridades educativas del Instituto Cervantes podrían considerar la instauración de este u otro sistema parecido que sirva para actualizar los sistemas de evaluación de los exámenes del DELE. En la actualidad los investigadores de este proyecto también consideran la posibilidad de su aplicación para el diseño y realización de exámenes de acceso a la universidad en España. Sin embargo, aún queda un amplio campo de investigación por sondear que esperamos poder completar en los próximos dos años.

NOTAS

1 Esta investigación se ha realizado gracias al apoyo institucional otorgado por la Consejería de Educación de la Generalitat Valenciana en su programa de apoyo a la investigación de 2007 (GVA2007/189) y por el Ministerio de Educación de España en su plan nacional de 2007 (Hum2007-66479-C02-01).

2 Para quienes puedan estar interesados en una somera pero interesante descripción de iBT-TOEFL, les recomendamos acudir a Zareva (2005).

3 Se denomina washback al efecto que tiene un examen de gran impacto social sobre la enseñanza de la asignatura. Por ejemplo, el examen TOEFL en Estados Unidos tiene una preparación lingüística y estratégica que difícilmente puede aplicarse a otro examen y para el que se elaboran libros de texto, guías y otros materiales específicos.

4 En otros trabajos, como García Laborda, 2004; 2006a y 2006b, se profundiza en la incidencia de cada uno de estos aspectos.

5 El AVE es un entorno virtual diseñado para el aprendizaje del español <http://ave.cervantes.es>.

6 Para consultar los contenidos de los tres niveles, acudir a <http://diplomas.cervantes.es>.

7 BEST Plus es un examen de lengua inglesa asistido por ordenador con presencia de un moderador para diagnosticar niveles de competencia lingüística. Para mayor información, consultar http://www.cal.org/topics/ta/best-plus.html.

8 Plataforma Valenciana de Evaluación de Lenguas Extranjeras (PLEVALEX), proyecto educativo cofinanciado por la Conselleria d’Educació de la Generalitat Valenciana y por la Universidad Politécnica de Valencia.

REFERENCIAS

Alderson, J.C. 2000. “Technology in testing: The present and the future”. En System, 28 (4), pp. 593-603.         [ Links ]

Beasley, R.; Chuang, Y, y Liao, C. 2008. “American music immersion: Infiuencing factors and its impact on taiwanese EFL learners engaged in web-based, multimedia music study”. En Journal of Educational Multimedia and Hypermedia, 17 (1), pp. 27-42.         [ Links ]

Chan, A.Y.W. 2006. “An algorithmic approach to error correction: An empirical study”. En Foreign Language Annals, 39 (1), pp. 131-147.         [ Links ]

Chang, A. C. y Read, J. 2006. “The effects of listening support on the listening performance of EFL learners”. En TESOL Quarterly, 40 (2), pp. 375-397.         [ Links ]

Choi, I.-Ch. 2008. “The impact of EFL testing on EFL education in Korea”. En Language Testing, 25 (1), pp. 39-62.         [ Links ]

Choi, I.-Ch., Kim, K.S. y Boo, J. 2003. “Comparability of a Paper-Based Language Test and a Computer-Based Language Test”. En Language Testing, 20 (3), pp. 295-320.         [ Links ]

Cochran, E. P. 1998. “The mouse replaces the pencil: TOEFL goes electronic”. En ESL Magazine, 1 (2), pp. 10-12.         [ Links ]

Coniam, D. 2006. “Evaluating Computer-Based and Paper-Based Versions of An English-Language Listening Test”. En ReCALL, 18 (2), pp. 193-211.         [ Links ]

Cumming, A., Grant, L., Mulcahy-Ernt, P., y Powers, D.E. 2004. “A teacher-verification study of speaking and writing prototype tasks for a new TOEFL”. En Language Testing, 21 (1), pp. 107-145.         [ Links ]

Fulcher, G. y Daviedson, F. 2007. Language Testing and Assessment, New York. Routledge.         [ Links ]

Furneaux, C., Paran, A., y Fairfax, B. 2007. “Teacher stance as refiected in feedback on student writing: An empirical study of secondary school teachers in five countries”. En International Review of Applied Linguistics in Language Teaching (IRAL), 45 (1), pp. 69-94.         [ Links ]

García Laborda, J. 2004. “HIEO: Investigación y desarrollo de una herramienta informática de evaluación oral multilingüe”. En Didáctica. Lengua y literatura, 16, pp. 77-88.         [ Links ]

García Laborda, J. 2006a. “PLEVALEX: A new platform for Oral Testing in Spanish”, en Eurocall Review, 9. [En línea] Disponible en http://www.eurocall-languages.org/news/newsletter/9/index.html [Consulta: 25/5/2007].         [ Links ]

García Laborda, J. 2006b. “¿Qué pueden aportar las nuevas tecnologías al examen de selectividad de inglés? Un análisis de fortalezas y oportunidades”. En Revista de CC Educación, 206, pp. 151-166.         [ Links ]

García Laborda, J. 2007. “Streaming standardized tests”. En Language Learning and Technology, 12 (1).         [ Links ]

García Laborda, J. y Magal Royo, M. T. 2007. “Diseño y validación de la plataforma PLEVALEX como respuesta a los retos de diseño de exámenes de idiomas para fines específicos”. En Ibérica. Revista de la Asociación Europea de Lenguas para Fines Específicos (AELFE), 14, pp. 79-98.         [ Links ]

García Laborda, J. y Pardo Suárez, J. 2008. “Diseño de materiales audiovisuales en plataformas de exámenes de idiomas”. En Pérez Ruiz, L.; Pizarro Sánchez, I. y González Cascos, E. (Eds.), Estudios de Metodología Inglesa, IV, pp. 399-406.         [ Links ]

Huang, J. 2006. “English abilities for academic listening: How confident are chinese students?” En College Student Journal, 40 (1), pp. 218-226.         [ Links ]

Jamieson, J. 2005. “Trends in Computer-Based Second Language Assessment”. En Annual Review of Applied Linguistics, 25 (2), pp. 228-242.         [ Links ]

Jamieson, J., Taylor, C., Kirsh, I., y Eignor, D. 1998. “Design and evaluation of a computer-based TOEFL tutorial”. En System, 26 (4), pp. 485-513.         [ Links ]

Kaur, J., y Hegelheimer, V. 2005. “ESL students’ use of concordance in the transfer of academic word knowledge: An exploratory study”. En Computer Assisted Language Learning, 18 (4), pp. 287-310.         [ Links ]

Kennedy, L.C. 2007. Expanding Test Specifications with Rhetorical Genre Studies and Activity Theory Analyses. Ann Harbor: Eric (Documento Eric número ED498923).         [ Links ]

Kunnan, A.J. 1999. “Recent developments in language testing”. En Annual Review of Applied Linguistics, 19, pp. 235-253.         [ Links ]

Laurier, M. 2004. “Evaluation et multimédia dans l’apprentissage d’une L2”. En ReCALL, 16 (2), pp. 475-487.         [ Links ]

Lee, Y. 2006. “Dependability of scores for a new ESL speaking assessment consisting of integrated and independent tasks”. En Language Testing, 23 (2), pp. 131-166.         [ Links ]

Lee, Y.; Breland, H., y Muraki, E. 2004. “Comparability of TOEFL CBT Writing Prompts for Different Native Language Groups”, en TOEFL Research Reports. (Documento Eric número ED492919).         [ Links ]

Lee, H., y Anderson, C. 2007. “Validity and topic generality of a writing performance test”. En Language Testing, 24 (3), pp. 307-330.         [ Links ]

Lee, Y., y Kantor, R. 2007. “Evaluating prototype tasks and alternative rating schemes for a new ESL writing test through G-theory”. En International Journal of Testing, 7 (4), pp. 353-385.         [ Links ]

Loucky, J.P. 2005. “Combining the benefits of electronic and online dictionaries with CALL web sites to produce effective and enjoyable vocabulary and language learning lessons”. En Computer Assisted Language Learning, 18 (5), pp. 389-416.         [ Links ]

Mayor, B.M. 2006. “Dialogic and hortatory features in the writing of chinese candidates for the IELTS test”. En Language, Culture and Curriculum, 19 (1), pp. 104-121.         [ Links ]

Nakatani, Y. 2006. “Developing an Oral Communication Strategy Inventory”. En Modern Language Journal, 90 (2), pp. 151-168.         [ Links ]

Roever, C. 2001. “Web based Language Testing”. En Language Learning and Technology, 5 (2), pp. 84-94.         [ Links ]

Smidt, E., y Hegelheimer, V. 2004. “Effects of online academic lectures on ESL listening comprehension, incidental vocabulary acquisition, and strategy use”. En Computer Assisted Language Learning, 17 (5), pp. 517-556.         [ Links ]

Smith, B. 2005. “The relationship between negotiated interaction, learner uptake, and lexical acquisition in task-based computer-mediated communication”. En TESOL Quarterly: A Journal for Teachers of English to Speakers of Other Languages and of Standard English as a Second Dialect, 39 (1), pp. 33-58.         [ Links ]

Stricker, L.J., Wilder, G.Z., y Rock, D.A. 2004. “Attitudes about the computer-based test of english as a foreign language”. En Computers in Human Behavior, 20 (1), pp. 37-54.         [ Links ]

Wall, D., y Alderson, J.C. 1993. “Examining washback: The Sri Lankan impact study”. En Language Testing, 10 (1), pp. 41-69.         [ Links ]

Xi, X. 2007. “Validating TOEFL[RG] iBT speaking and setting score requirements for ITA screening”. En Language Assessment Quarterly, 4 (4), pp. 318-351.         [ Links ]

Zareva, A. 2005. “What is New in the New TOEFL-iBT 2006 Test Format?” En Electronic Journal of Foreign Language Teaching, 2 (2), pp. 45-57.         [ Links ]


Recibido: 15-05-2007. Aceptado: 18-11-2008

 

Creative Commons License Todo el contenido de esta revista, excepto dónde está identificado, está bajo una Licencia Creative Commons