SciELO - Scientific Electronic Library Online

 
vol.26 número3Metodologías, técnicas y herramientas en ingeniería de requisitos: un mapeo sistemático¿Cómo se aplica la ingeniería del conocimiento en la investigación de mercados? Estudio de caso índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Ingeniare. Revista chilena de ingeniería

versión On-line ISSN 0718-3305

Ingeniare. Rev. chil. ing. vol.26 no.3 Arica  2018

http://dx.doi.org/10.4067/S0718-33052018000300486 

Artículos

Evaluación del desempeño de roles en equipos de desarrollo de software. Utilización de escalas de valoración

Evaluation of role performance in software development teams. Use of valuation scales

Yucely López Trujillo1 

Margarita André Ampuero1 

Ana Lilian Infante Abreu1 

Katerine Escalera Fariñas1 

Sandra Verona Marcos1 

1 Facultad de Ingeniería Informática. Universidad Tecnológica de La Habana José Antonio Echeverría (CUJAE). Calle 114 N° 11901 % Ciclovía y Rotonda. La Habana, Cuba. E-mail: mayi@ceis.cujae.edu.cu; ainfante@ceis.cujae.edu.cu; kescalera@ceis.cujae.edu.cu; sverona@ceis.cujae.edu.cu

RESUMEN

Para satisfacer las expectativas de la industria de software, en relación a la formación recibida por los ingenieros informáticos, es preciso perfeccionar continuamente el proceso de formación de roles. Para ello, resulta conveniente incidir específicamente en la forma en que se evalúa el desempeño de roles por parte de los estudiantes durante su formación de pregrado. En esta investigación, se propone un procedimiento de evaluación del desempeño de roles utilizando escalas de valoración. Este procedimiento puede ser aplicable no solo en el contexto docente sino también en el ámbito de la industria del software. Con el propósito de mostrar la utilidad y conveniencia del procedimiento propuesto, se hace referencia a la experiencia en la evaluación de los proyectos de curso de la asignatura ingeniería de software III, de la carrera de ingeniería informática que se imparte en la Universidad Tecnológica de La Habana José Antonio Echeverría (CUJAE). Específicamente, se muestran los resultados de la aplicación del procedimiento, en las evaluaciones realizadas de 15 proyectos desarrollados por 105 estudiantes de 4to año de la carrera.

Palabras clave: Formación universitaria; roles; ingeniería informática; evaluación desempeño; escalas de valoración; evaluación aprendizajes

ABSTRACT

To meet the expectations of the Software Industry about the training received by computer engineers, the process of role formation must be continuously improved. For this, it is convenient to focus specifically on the way in which the performance of roles is evaluated by students during their undergraduate training. In this research, a procedure of evaluation of the performance of roles using valuation scales is proposed. This procedure may be applicable not only in the teaching context but also in the field of the software industry. To show the usefulness and convenience of the proposed procedure, reference is made to the experience in the evaluation of the course projects of the course Software Engineering 3, of the degree in Computer Engineering that is taught at the Universidad Tecnológica de La Habana José Antonio Echeverría (CUJAE). Specifically, the results of the application of the procedure are shown in the evaluations of the 15 projects developed by the 105 students of the 4th year of the career.

Keywords: University education; roles; computer engineering; performance evaluation; appreciation scales

INTRODUCCIÓN

En todas las ramas del desarrollo de una sociedad, sin dudas, la industria de software tiene gran impacto. Sin embargo, a pesar de sus reconocidos resultados, aún resulta significativo el número de proyectos de software que no culminan con éxito 1. Las principales dificultades apuntan a la no existencia de procesos de desarrollo de software bien definidos que garanticen un buen uso de los talentos y recursos con que cuentan las organizaciones y que estos procesos mejoren de forma continua. Sin embargo, para lograr las mejoras deseadas resulta vital entrenar al personal de forma tal que sea capaz de desempeñar los roles que les corresponda de manera disciplinada ya sea trabajando individualmente o en equipo.

El personal es un factor poco formalizado en los modelos de procesos y en las metodologías de desarrollo de software, las que se centran más en aspectos técnicos que en los aspectos humanos 2-4. No obstante, existen modelos líderes en el tópico de la mejora de procesos que sí se centran en los recursos humanos, el Proceso de Software Personal (PSP) y el Proceso de Software en Equipo (TSP) 5-8.

En cuanto a los cursos que se imparten en la carrera de ingeniería informática y de manera general en carreras afines, se puede afirmar que estos se centran en cuestiones técnicas y en el desempeño individual del estudiante 9-10. La disciplina personal y de trabajo en equipo, la formación de roles, la comunicación y el liderazgo, son temas que se abordan, en muchas ocasiones, de manera teórica o no logran implementarse a plenitud en la ejecución de proyectos reales (10-11.

Precisamente es en el denominado Plan D que se aplica en la carrera de ingeniería informática de la Universidad Tecnológica de La Habana (CUJAE) que surge una asignatura que tributa directamente a la formación de roles y al trabajo en equipo, ingeniería de software III (IS3). Asignatura del currículo propio que se imparte en el segundo semestre del cuarto año de la carrera. En el curso 2010-2011 se imparte la asignatura IS3 por primera vez a los estudiantes iniciadores del Plan D. En estos momentos se cuenta con una experiencia en su ejecución de seis cursos académicos.

En 11 se analizó en el primer curso en que se impartió la asignatura las mejoras respecto al plan de estudios anterior y se concluyó en aquel entonces que: resultaba muy positivo la consolidación del trabajo en equipo, la formación enfocada a la contribución individual al trabajo en equipo, el desempeño de roles, la visión total del proceso de desarrollo de software, la formación de hábitos y habilidades en temas de calidad de software y planificación.

También en 11 se concluyó que resultaba necesaria una herramienta informática propia que apoyara el proceso de enseñanza y aprendizaje y que hacia ese objetivo se orientaba el trabajo futuro. Específicamente se hacía referencia a la automatización de la recolección de métricas de desempeño personal de tiempo, tamaño y defectos. En la actualidad, sigue siendo insuficiente el nivel de exigencia en las asignaturas precedentes que propicie la recolección de las métricas.

En el transcurso de seis cursos de experiencia en la impartición de la asignatura, el colectivo de profesores ha considerado prestar especial atención a la evaluación, como categoría didáctica, teniendo en cuenta que una correcta evaluación permite valorar el éxito o fracaso del proceso de enseñanza aprendizaje y permite, además, redefinir elementos en función de las finalidades de formación (12-13. En este sentido, desde el curso 2014-2015 se comenzó a trabajar en el perfeccionamiento del sistema de evaluación de la asignatura IS3.

En el estudio de investigaciones similares se analizaron puntos de contactos y aristas diferentes a la hora de abordar la solución al problema de ¿cómo realizar evaluaciones más objetivas del desempeño de roles en proyectos informáticos? Así se analizó en 14 una propuesta de metodología para la certificación de roles durante la formación del ingeniero en ciencias informáticas. La metodología tiene como objetivo proveer un marco para la realización de procesos de certificación asociados al proceso formativo, y se centra en la realización del proceso de certificación a partir de un proceso de valoración de las evidencias aportadas por el individuo y contenidas en lo que han denominado el portafolio de evidencias. El proceso de la valoración del portafolio de evidencias lo realiza un tribunal de certificación formativa, a partir de una norma que se elabora para cada rol, emitiéndose una valoración sobre el estado del individuo en relación al nivel de desempeño para el rol evaluado. En este proceso de valoración es donde existen puntos de contacto con el procedimiento que se plantea en esta contribución. No obstante, no se define con exactitud qué procedimiento utilizar para que cada tribunal certificador evalúe homogéneamente las evidencias del desempeño presentadas.

Resulta interesante la propuesta planteada en 15, donde se propone un software que permite evaluar las habilidades investigativas de los estudiantes que realizan su práctica profesional en centros de desarrollo de software. Como resultado de esta investigación se presentan procedimientos matemáticos utilizando la lógica difusa. El empleo de la lógica difusa puede contribuir a la toma de decisiones del profesor tutor en torno al proceso evaluativo.

Se analizaron, además, investigaciones que tienen como centro el tema de la enseñanza-aprendizaje de la ingeniería de software y el proceso de formación del profesional de la informática 16-19. Es de destacar que aunque conceptualizan elementos importantes sobre el tema de la evaluación de las habilidades a desarrollar en los futuros profesionales, ninguna especifica en detalle cómo evaluar el desempeño de los roles.

El objetivo de este trabajo es enunciar un procedi miento de evaluación del desempeño de roles en proyectos informáticos por parte de estudiantes universitarios, utilizando escalas de valoración. Las autoras del trabajo consideran válidas estas experiencias para ser aplicadas en otros contextos con problemáticas similares, incluso en la evaluación del desempeño de roles en proyectos reales de la industria del software.

El trabajo se ha estructurado de la siguiente forma: en un primer acápite se hace referencia al plan de estudios del ingeniero informático y la formación de roles, a continuación se enuncian los conceptos fundamentales asociados a la temática de la evaluación en el contexto universitario, en el tercer acápite se hace referencia al procedimiento propuesto para evaluar el desempeño de roles, por último se describen las experiencias en la asignatura IS3 utilizando el procedimiento propuesto y hacia donde se encamina el trabajo futuro.

PLAN DE ESTUDIO DEL INGENIERO INFORMÁTICO

Formación de roles

El plan de estudios vigente, plan D, que se aplica en la Facultad de Informática de la CUJAE, tuvo sus antecedentes en los análisis críticos realizados a su predecesor, el denominado plan C. Así en 10, se realiza un análisis crítico del proceso de formación del ingeniero informático con el plan C y se concluye que los temas de planificación, asignación de recursos, estimación de costos, tamaños y tiempos, definición y trabajo con estándares, calidad, entre otros no eran abordados de forma profunda.

Con el objetivo de mejorar el proceso de formación concebido en el plan C se propuso una estrategia, incluida en el plan D, para lograr no solo que los estudiantes adquirieran una disciplina personal, sino que aprendieran a desempeñar los roles a lo largo de toda la carrera de forma incremental, consciente y disciplinada con vistas a poder ser miembros efectivos de un equipo de proyecto.

En la estrategia se identifican doce roles a formar durante la carrera 10: Analista (negocio y sistema), diseñador, programador, arquitecto, planificador, especialista en calidad, especialista en seguridad, jefe de proyecto, implantador, probador, especialista en soporte y gestor de configuración y cambios. De ellos, son secundarios: el especialista en seguridad, el implantador y el especialista en soporte; mientras que los restantes son primarios en al menos un año académico.

El proceso de formación para la totalidad de los roles es iterativo e incremental, alcanzándose en el último año de la carrera el 100% de la formación requerida en cada uno de los casos. Resulta válido señalar que en 10, se encuentra un análisis más detallado de cómo tributa cada asignatura a la formación de los roles en cada año académico precisando por cada una los objetivos fundamentales, los roles primarios y secundarios, las tareas definidas para cada rol y la forma de evaluación.

El plan de estudio D tiene una organización docente formada por un currículo base, un currículo propio y un conjunto de asignaturas optativas. Dentro de las asignaturas de la disciplina "ingeniería y gestión de software" que tributan directamente a la formación de roles y al trabajo en equipo se encuentra la asignatura ingeniería de software III (IS3), asignatura del currículo propio que se imparte en el segundo semestre del cuarto año de la carrera. Los objetivos instructivos declarados en el plan D para dicha asignatura son los siguientes: ejercitar habilidades en el desempeño de roles desarrollando un proyecto informático, incluyendo el rol jefe de proyecto, ejercitar habilidades de trabajo en equipo y evaluar el desempeño de los estudiantes en la ejecución de determinados roles dentro del equipo.

La asignatura dispone de un fondo de tiempo de 42 horas. En la secuencia de actividades se encuentran definidas seis conferencias relativas a los temas de roles, planificación, gestión de recursos humanos y comunicaciones, y tres conferencias sobre el método de mejora de proceso PSP. El resto del tiempo se distribuye en actividades prácticas, fundamentalmente cortes evaluativos del proyecto de curso, teniendo en cuenta que el desarrollo en equipo de un proyecto informático, desempeñando diferentes roles es el objetivo esencial de la asignatura.

Ejercitar y evaluar las habilidades de trabajo en equipo en la ejecución de un proyecto informático, constituye un gran reto a la hora de organizar la asignatura. Para el logro de este objetivo se conforman equipos de entre cuatro y seis miembros, a cada equipo se le asigna un proyecto real. Se utilizan los proyectos reales que se desarrollan en la Facultad donde participan profesores y estudiantes desde el tercer año de la carrera fundamentalmente.

Para la asignación de roles se aplican diferentes instrumentos que ayudan a evaluar las competencias requeridas y a identificar características de la personalidad con vistas a valorar cómo contribuyen al desempeño de los roles. Para evaluar las habilidades de comunicación (oral y escrita) y las de trabajo en equipo, se utiliza el modelo de evaluación de la competencia comunicación interpersonal y el test de trabajo en equipo, respectivamente, desarrollado por Becerra 20.

Para analizar preferencias y características de la personalidad que apoyan el trabajo en equipo y el desempeño de roles, se utilizan los instrumentos siguientes: test de Belbin 21-22 y test de Myers-Briggs (23.

Los roles que se ejercitan son: jefe de proyecto, arquitecto, analista, programador, planificador, gestor de configuración, especialista de calidad, probador. En la preparación de la asignatura y en el estudio individual orientado a los estudiantes se consultaron bibliografías básicas en el tema de la gestión de proyectos, como es el caso del "cuerpo de conocimientos para la gestión de proyectos", conocido por sus siglas en inglés como PMBoK 24 y en el tema de la mejora de procesos de desarrollo de software se recomendó el estudio del modelo de madurez, conocido como CMMi 25.

Para evaluar la asignatura existen evaluaciones intermedias acerca del desarrollo del proyecto, denominadas cortes de proyecto. A lo largo del semestre hay cinco cortes, donde el miembro del equipo que desempeñe el rol a evaluar, es el máximo responsable de la entrega en tiempo de la documentación, de la calidad del entregable y de la exposición de los principales resultados.

Al finalizar el semestre se realiza la evaluación integral del proyecto de curso y los estudiantes deben entregar: documento que contiene el informe final con los requisitos que se explican en una guía definida a tal efecto, software con la implementación de al menos dos casos de uso definidos en el informe, fichero que genera la herramienta de gestión de proyectos seleccionada con la planificación del proyecto, estándar de codificación utilizado en el proyecto y presentación elaborada para la exposición oral.

La evaluación de cada miembro del equipo de proyecto se realiza en función de tres criterios:

1. Desempeño del rol: depende de la calidad de los artefactos presentados y defendidos (demostrar habilidades de comunicación) en el corte y en el entregable final. Además depende de la autoevaluación y de la evaluación recibida por todos los miembros del equipo acerca de cómo fue el desempeño del rol asignado.

2. Aporte al equipo: con independencia de tener que realizar las tareas propias del rol todos los miembros del equipo deben velar por el cumplimiento de todas las tareas del proyecto. Es por eso que cada miembro se autoevalúa y recibe una evaluación del resto de los miembros acerca de su aporte al equipo. El responsable de que esta tarea se haga al finalizar el proyecto es el jefe de proyecto.

3. Objetividad en la evaluación: objetividad al autoevaluarse y evaluar al resto de los miembros del equipo.

Finalmente, para emitir la nota final de un estudiante en la asignatura de manera general, el profesor tiene en cuenta lo siguiente: las evaluaciones sistemáticas de los cortes evaluativos del proyecto, el resultado de un examen teórico de PSP, la evaluación individual en el proyecto de curso que incluye el análisis de los diferentes aspectos mencionados y adicionalmente, se valora la entrega en tiempo de los cortes del proyecto y de la documentación del proyecto final, la asistencia y puntualidad a las clases.

Es de señalar, que resulta complejo para el colectivo de docentes emitir una nota general al finalizar el semestre, teniendo en cuenta que tal como se describió, existen múltiples factores que inciden en la evaluación final. En esta contribución, específicamente se hace referencia a la evaluación de la calidad de los artefactos, aspecto de mayor peso en la evaluación del desempeño de un rol.

LA EVALUACIÓN EN EL CONTEXTO UNIVERSITARIO

La evaluación en la universidad posee una doble dimensión: formativa y de acreditación. Esta idea constituye un elemento básico a la hora de analizar el sentido de la evaluación en la enseñanza universitaria. Como parte del proceso formativo, la evaluación permite retroalimentar con información actualizada sobre cómo se va desarrollando el proceso formativo puesto en marcha y sobre la calidad de los aprendizajes efectivos de los alumnos. Como parte del proceso de acreditación, la evaluación constituye un mecanismo necesario para constatar que los estudiantes poseen las competencias básicas precisas para el correcto ejercicio de la profesión que aspiran a ejercer.

En el ámbito de la enseñanza universitaria, especí ficamente en asignaturas técnicas o de especialidad, generalmente el claustro no tiene una formación de índole pedagógica. Este elemento se identifica como uno de los mayores obstáculos para realizar un trabajo sistemático de evaluación del aprendizaje, consiste en la falta de una cultura de la evaluación entre los actores del proceso educativo: alumnos, profesores y directivos.

Lo anterior, conduce a prácticas evaluativas que no son congruentes con los contenidos, enfoques y propósitos del modelo educativo, o bien son insuficientes o superficiales. Tales prácticas suceden en gran medida por la carencia de bases teóricas y técnicas en algunas de las fases del proceso evaluativo: la planeación, el diseño y desarrollo de instrumentos de evaluación; el análisis de la información, o la interpretación y uso de los resultados. Estas carencias se reflejan en la emisión de juicios de valor subjetivo o superficial que impactan de manera negativa en los estudiantes 26.

Específicamente, esta contribución se centra en la fase del proceso evaluativo: diseño y desarrollo de instrumentos de evaluación. En tal sentido, existen diferentes propuestas relativas a técnicas e instrumentos para la evaluación de aspectos del desempeño que requieren de la observación 27-28.

La observación, propiamente dicha, es una técnica de recogida de información que puede ser aplicable al proceso de realización de diferentes tareas, tal es el caso del desarrollo de un proyecto de software. Para evaluar el desempeño de roles en la realización de un proyecto, es necesario evaluar la calidad de los artefactos que elabora cada estudiante como parte de las responsabilidades asociadas al rol que desempeña. En este caso los artefactos son los productos derivados del desempeño del estudiante a evaluar.

Los instrumentos utilizados en la técnica de observación admiten muchas modalidades que pueden reducirse a dos enfoques:

a) Codificar, anotar lo que se observa, sin incluir juicios de valor. En este caso el instrumento se conoce como listas de control, también llamadas listas de cotejo o listas de chequeo.

b) Valorar la conducta observada. En este caso el instrumento se conoce como escalas de evaluación, apreciación o valoración.

Las escalas de valoración son variantes de las listas de control en el sentido de su finalidad y construcción; no obstante, tienen la ventaja de que permiten formular juicios sistemáticos acerca del grado en el que se presenta algún comportamiento o característica relacionado con el desempeño a observar. Consisten en un conjunto de características a juzgar y algún tipo de jerarquía, y el observador usa la escala para indicar la cualidad, cantidad o nivel de rendimiento observado 29.

Las escalas de valoración se clasifican de acuerdo con la manera de presentar los distintos niveles o valores escalares. En las escalas numéricas, la conducta viene expresada por un número, de acuerdo con la equivalencia previamente establecida; en las escalas gráficas, las observaciones se hacen en forma gráfica, marcando con una señal la posición en un punto cualquiera a lo largo de un continuo; en las escalas descriptivas se describen de forma verbal y clara lo que significan cada uno de los niveles 30.

Ambos tipos de instrumentos, listas de control y escalas de valoración son útiles porque ayudan al observador a centrarse en aspectos específicos observables del elemento que se juzga. De manera que cuando se usa con un grupo de estudiantes, todos serán juzgados desde un marco de referencia común, lo que ofrece objetividad y confiabilidad. Lo anterior ocurre siempre y cuando se ponga cuidado en la enumeración de las características o elementos; y en el caso de las escalas de evaluación, la escala esté bien diseñada.

Resulta útil para la selección de elementos a juzgar también conocidos como "unidades de observación", dar respuesta a la pregunta: ¿Qué aspectos son característicos de la alta calidad de productos de este tipo? 29. Así, para identificar los elementos a juzgar asociados a cada artefacto, se respondió a la pregunta: ¿Qué aspectos son característicos de la calidad del artefacto en cuestión?. Es de señalar que no resulta conveniente hacer una lista exhaustiva, sino centrarse en los aspectos significativos.

En resumen para la elaboración de las escalas se deben especificar con claridad las unidades de observación o conductas a observar, decidir cuántos niveles o categorías se utilizarán en la escala y por último, decidir el tipo de escala a utilizar.

Por otra parte, resulta conveniente explicar el contexto en el que se desarrolla la evaluación integral del proyecto de curso en la carrera de Ingeniería Informática que se desarrolla en la CUJAE. Para este fin, se constituye un tribunal formado por tres profesores de la disciplina. En dicho tribunal siempre participa el profesor que le ha dado seguimiento a lo largo del semestre al proyecto y ha revisado los cortes parciales. En los cursos anteriores en que se impartió la asignatura IS3, cada tribunal evaluaba siguiendo los criterios generales que entendía por lógica y la evaluación podía no ser precisa o justa, dependía de los criterios de cada tribunal evaluador.

En el curso 2014-2015, la evaluación se realizó utilizando listas de chequeo con el objetivo de homogenizar los criterios de evaluación de todos los tribunales. Así, se logró que no dejaran de evaluarse aspectos y que todos los tribunales evaluaran con el mismo rigor. La evaluación final tuvo en cuenta la evaluación dada a cuatro elementos fundamentales: aspectos generales del documento, software con la implementación de al menos dos casos de uso, presentación oral del proyecto y evaluación del desempeño de cada rol, expresada en la calidad de los artefactos presentados.

Fueron utilizadas varias listas de chequeo generales asociadas a los cuatro elementos a evaluar que, a su vez, se desglosan en una serie de aspectos objeto de evaluación y para cada uno se realizan preguntas de chequeo. En 31, se comentó la experiencia con el uso de las listas de chequeo.

El presente artículo se centra específicamente en la evaluación del desempeño de un rol determinado. En este caso se ha usado como punto de partida la lista de chequeo definida el curso pasado 31, pero se le han incorporado pesos o puntajes a los elementos que permiten evaluar la calidad de los artefactos, transformándose de esta forma en una escala de valoración. En esencia se ha obtenido un instrumento denominado "Formulario de evaluación del desempeño de roles", que implementa un procedimiento de evaluación utilizando escalas de valoración.

EVALUACIÓN DEL DESEMPEÑO DE ROLES. UTILIZACIÓN DE ESCALAS DE VALORACIÓN

Métodos científicos empleados en la elaboración de la propuesta

Antes de enunciar el procedimiento de evaluación del desempeño de roles, vale destacar los métodos científicos empleados en su concepción. El método coloquial se utilizó en la presentación y discusión de los resultados en sesiones de trabajo con el colectivo de profesores de la disciplina ingeniería y gestión de software. Además, se usaron métodos empíricos como la observación y el empleo de grupos focales.

La observación se utilizó para obtener información sobre los diferentes aspectos que tienen en cuenta los profesores para emitir una nota final en una asignatura. Asimismo, se observó qué elementos tienen en cuenta los profesores para emitir una nota en cuanto al desempeño de un rol determinado. Esta observación inicial permitió emitir un primer listado de elementos a tener en cuenta en la evaluación con determinados pesos.

El método de grupo focal surgió del entorno de las ciencias de la sociología y psicología donde inicialmente las entrevistas salieron del contexto individual hacia el grupal, abriendo el espacio de interacción de participantes en debates focalizados.

El método consiste en la consiste en la discusión por grupos pequeños de personas, donde se expresan libre y espontáneamente acerca de un tema, la discusión es guiada por un moderador y se registran todos los criterios que se emiten 32. El método se empleó para enriquecer la propuesta con criterios de personas involucradas y con experiencia en el proceso de evaluación del desempeño de roles en proyectos de desarrollo de software en ambientes académicos.

Se realizaron dos sesiones de trabajo y se utilizó como guía para centrar el debate, la propuesta inicial de las autoras surgida del método empírico de observación. La propuesta inicial facilitó abordar todos los aspectos relacionados y se recogieron criterios, valoraciones, se refinaron los aspectos objetos de evaluación y los pesos otorgados a cada elemento. Se tuvieron en cuenta las coincidencias y divergencias de criterios, y los debates buscaron llegar a consensos.

Se optó por organizar dos grupos focales de cinco especialistas cada uno, por lo que se obtuvo información de diez especialistas. Se seleccionaron a las personas según su experiencia y desempeño de acuerdo con tres criterios: experiencia en la formación de profesionales de la ingeniería de software, experiencia en la evaluación docente de proyectos de software y experiencia profesional en el desempeño de roles informáticos.

Consideraciones básicas sobre el procedimiento propuesto

En el curso 2015-2016, se contó con el "Formulario de evaluación del desempeño de roles", programado en Excel, que permite calcular y emitir una evaluación cuantitativa y cualitativa del desempeño del rol, basándose en la evaluación de la calidad de los artefactos asociados a cada rol respectivamente. Antes de enumerar cada uno de los pasos a seguir en el procedimiento para evaluar el desempeño de un rol, es necesario explicar algunas consideraciones que se toman como punto de partida y que constituyen la base para aplicar el procedimiento.

a) Para evaluar el desempeño de un rol es necesario evaluar la calidad de los artefactos elaborados por el estudiante que lo desempeñe. Un artefacto es considerado un término general aplicable a cualquier tipo de información creada, cambiada o utilizada por los trabajadores en el desarrollo del sistema. Es una pieza de información tangible utilizada o producida por un proceso de desarrollo de software. Puede ser un modelo, un elemento de un modelo, un documento o un software, por ejemplo: el documento de arquitectura o el modelo del negocio 33.

b) Cada formulario de evaluación, correspondiente a un rol determinado, deberá incluir varias escalas de valoración asociadas a los artefactos responsabilidad del rol. Las escalas de valoración están formadas por los elementos estar formados por los elementos a juzgar para determinar la calidad de los artefactos que serán evaluados. Estos elementos en el procedimiento se han denominado Elemento Objeto de Evaluación de un Artefacto (EOEA). Para cada EOEA, se definieron cuatro niveles de posibles valoraciones cualitativas estos son: Muy Bien (MB), Bien (B), Regular (R) o Mal (M).

c) Para cada uno de los EOEA, según la valoración cualitativa, se deberá definir un puntaje. El valor mayor de puntaje para un EOEA dado, se deberá asignar a la escala de valoración superior. Por ejemplo, para el siguiente EOEA: "Los casos de uso se nombran utilizando verbos en infinitivo", la valoración "E" tiene un puntaje de: e 1 y "M"tiene un puntaje de 0. Para el EOEA: "Todos los actores del negocio se vinculan a algún caso de uso", la valoración "MB" tiene un puntaje de 3 y "M" tiene un puntaje de 0. Como se puede apreciar, el puntaje del primer EOEA es menor que el puntaje del segundo, lo que indica que este EOEA tiene mayor peso que el primero para la evaluación final de la calidad del artefacto correspondiente.

d) Cada artefacto a evaluar en un formulario de evaluación determinado, tiene un puntaje máximo, que se calcula sumando los puntajes máximos correspondientes asociados a cada EOEA. Por ejemplo, si el artefacto "Descripción literal de casos de uso" tiene dos EOEA y para ambos los puntajes máximos definidos son 3, entonces, el puntaje máximo de dicho artefacto deberá ser 6.

e) Para cada artefacto a evaluar es necesario definir rangos de porcentajes que se correspondan con las posibles evaluaciones cualitativas relativas a su calidad.

f) Además, para cada artefacto a evaluar en un formulario de evaluación, es necesario definir su porcentaje de significación máxima (PSM); es decir, qué importancia tiene o cuánto pesa su calidad en la valoración final del desempeño del rol correspondiente. Por ejemplo, cuando se evalúa el rol analista (del negocio), el artefacto "Diagramas de clases del modelo objeto del negocio" puede tener un porcentaje de significación máxima de 5%, mientras que el artefacto "Diagramas de actividad" puede tener un porcentaje de significación máxima de 25%, lo que significa que la calidad de este último deberá pesar más, en la evaluación final del desempeño del rol, que la del primero.

g) Es necesario definir rangos de porcentajes que se correspondan con los posibles resultados o evaluaciones cualitativas finales sobre el desempeño del rol que se evalúa: MB, B, R y M, en correspondencia con el sistema de evaluación de 5, 4, 3 y 2, respectivamente. Este sistema de evaluación es el definido por el Ministerio de Educación Superior de Cuba en la Resolución 210 del año 2007 artículo 152 y 153 del capítulo 4, actualmente en vigor 34. Por ejemplo, para las valoraciones mencionadas (MB, B, R y M), es posible definir, respectivamente, los rangos de porcentajes de calidad: [ 0% .. 59% ), [ 60% .. 70% ), [ 71% .. 90% ) y [ 91% .. 100% ].

h) De esta forma se considera que se está definiendo una escala mixta, porque a la hora de evaluar se juzga acorde a la escala cualitativa de cuatro niveles definida previamente y a su vez esta evaluación se traduce en términos cuantitativos acorde a los pesos otorgados por expertos.

A continuación se describe el procedimiento de evaluación que implementa la herramienta en Excel, "Formulario de evaluación del desempeño de roles".

Procedimiento de Evaluación del desempeño de un rol

1. Para cada rol a evaluar, utilizando el formu lario de evaluación, se debe evaluar la calidad de cada uno de los artefactos de los que es responsable.

1.1. Para cada artefacto a evaluar en el formulario de evaluación correspondiente a un rol dado:

1.1.1. Calcular el puntaje total, sumatoria de los puntajes otorgados en la evaluación realizada a cada EOEA.

1.1.2. Calcular el porcentaje de calidad P, que representa el puntaje total calculado en el paso 1.1.1 respecto al puntaje máximo del artefacto.

1.1.3. Determinar el rango de porcentaje y la evaluación cualitativa que le corresponda, de acuerdo al porcentaje de calidad (P), calculado en el paso 1.1.2.

1.1.4. Calcular, mediante regla de tres, el porcentaje de significación (PS) obtenido de la evaluación del artefacto, a partir del porcentaje de calidad (P), calculado en el paso 1.1.2, y el porcentaje de significación máxima (PSM) que corresponda.

Esta regla de tres representa la siguiente proporción: el porcentaje de calidad P del artefacto correspondiente, es a 100%, como el porcentaje de significación PS (incógnita), es al porcentaje máximo de significación PSM, asignado a dicho artefacto.

1.2. Sumar todos los porcentajes de significación PS, calculados en el paso 1.1.4, referentes a cada uno de los artefactos, obteniendo así el porcentaje Pr, relativo a la calidad del desempeño del rol que se evalúa.

1.3. Determinar la evaluación cualitativa y la evaluación numérica que corresponda, de acuerdo al porcentaje total Pr, calculado en el paso 1.2. Para ello auxiliarse de la Tabla 1.

Tabla 1 Rangos de porcentajes y su correspondencia con las evaluaciones cualitativas y numé ricas acorde al sistema de evaluación de la universidad. 

La relación existente entre los rangos de porcentajes, la evaluación cualitativa y la evaluación numérica puede ser definida por cada colectivo de asignatura en función de los criterios que determinen. A continuación se relaciona, para el caso de la evaluación del desempeño del rol analista, los datos que se tomaron como base para la aplicación del procedimiento.

EXPERIENCIAS EN LA EVALUACIÓN DEL DESEMPEÑO CON EL EMPLEO DEL FORMULARIO DE EVALUACIÓN

En la ejecución del proyecto de curso de la asignatura IS3, es necesario evaluar el desempeño de los roles Jefe de proyecto, arquitecto, analista, programador, planificador, gestor de configuración, especialista de calidad y probador. Para cada uno de estos roles se definió un formulario de evaluación, donde se establecieron las escalas de valoración asociadas a cada uno de los artefactos correspondientes o en algunos casos, a determinados aspectos de interés a evaluar. En total se definieron 22 escalas de valoración.

Para una mejor comprensión del trabajo realizado se ejemplificará a continuación cómo se realizó la evaluación del rol analista. La escala de valoración a emplear para evaluar el rol analista, depende de si se modela negocio o dominio. Teniendo en cuenta lo anterior existen dos posibles variantes, la primera cuando se modela negocio y la segunda cuando se modela dominio. A continuación se ejemplificará la variante de modelo de negocio.

Lo primero es ilustrar la definición realizada acerca de los porcentajes de significación máxima de los artefactos responsabilidad del rol analista, ver la Tabla 2.

Tabla 2 Porcentajes de significación máxima para la variante modelo de negocio. 

En la Tabla 3, se encuentra la definición realizada de los EOEA para evaluar específicamente la calidad del artefacto diagramas de casos de uso del negocio. En la escala de valoración, cada EOEA definido responde a elementos que determinan la calidad del artefacto diagramas de casos de uso del negocio y se valora indicando la evaluación cualitativa (MB, B, R, M). Cada evaluación cualitativa tiene asociado un peso o valor numérico, que se asigna acorde a lo descrito en el inciso c del acápite anterior.

Tabla 3 Puntaje asignado a la calificación cualitativa. 

En total fueron evaluados 15 equipos de proyectos que involucraron a un total de 105 estudiantes. Cada estudiante desempeñó uno o varios roles, en equipos de entre 4 y 8 miembros. Por ejemplo el rol analista lo desempeñó un total de 15 estudiantes, de ellos el 47% fue evaluado de 5 (Muy Bien), el 33% de 4 (Bien) y el 20% de 3 (Regular). Es de señalar como un logro que no existieron estudiantes suspensos o evaluados de Mal y que el 80% está evaluado de B o MB.

El colectivo de asignatura atribuye estos resultados precisamente al hecho de que los estudiantes contaron en todo momento con el instrumento por el que serían evaluados y esto sirvió para que cada uno realizara sus propias revisiones de los informes de proyectos y de los artefactos que debían entregar. Por otra parte, el trabajo en grupo genera un compromiso mayor con la calidad de lo que se produce.

Adicionalmente, a cada estudiante se le solicitó que se autoevaluara y que evaluara al resto de los miembros del equipo. En este sentido, resultó interesante observar las coincidencias entre la evaluación emitida por el profesor, la autoevaluación realizada por el propio estudiante y el criterio que tuvo el grupo en relación al evaluado. Específicamente, se analizó el total de estudiantes evaluados desempeñando el rol de analista, ver Figura 1. Los aspectos valorados son los siguientes:

Aspecto 1: Coincidencia entre la evaluación realizada por el profesor y la autoevaluación, asimismo se analiza la coincidencia entre la evaluación realizada por el profesor y la evaluación realizada por el grupo.

Aspecto 2: Con respecto a la evaluación realizada por el profesor, cantidad de estudiantes que se autoevaluaron de forma más positiva, o sea con más nota que la emitida por el profesor. Asimismo, se analiza para la evaluación realizada por el grupo. Aspecto 3: Con respecto a la evaluación realizada por el profesor, cantidad de estudiantes que se autoevaluaron de forma más negativa, o sea con menos nota que la emitida por el profesor. Asimismo se analiza para la evaluación realizada por el grupo.

TEEP: Total de estudiantes evaluados por el profesor A: Autoevaluación.

EG: Evaluación realizada por el grupo (el valor que se analiza en el gráfico es el promedio de la evaluación realizada por el grupo).

Figura 1 Comparación entre la evaluación del profesor, la autoevaluación y la evaluación del grupo. 

Como se puede observar en la Figura 1, no existe una coincidencia del 100% entre lo que piensa el estudiante reflejado en su autoevaluación, la evaluación que realiza el grupo y la del profesor. Lo anterior ocurre a pesar de que todos los actores involucrados en el proceso de evaluación cuentan con el formulario de evaluación propuesto.

Existen dos causas fundamentales para tal resultado. La primera está asociada a los valores de honestidad, sinceridad, ser críticos y autocríticos. La segunda está relacionada con el hecho de que evaluar o juzgar el trabajo propio y el de los compañeros es un ejercicio de aprendizaje en sí mismo. La segunda causa está en correspondencia con las notas obtenidas, cerca del 50% de los estudiantes fueron evaluados con B o R por lo que, sin dudas, habían elementos que no dominaban completamente y por tanto esto se refleja en sus autoevaluaciones y en las evaluaciones que realizan del trabajo de sus compañeros.

El logro fundamental de realizar la evaluación del desempeño de roles, contando con un instrumento como el formulario de evaluación propuesto, es que la evaluación que emite el profesor es objetiva, menos informal y más justa. En este sentido, se emite al final del proceso de evaluación un criterio ya sea cualitativo, o cuantitativo, dependiendo del sistema de evaluación por el que deba regirse cada universidad.

En cualquier caso, el profesor siempre deberá traducir este criterio a una calificación que pueda registrar y que acredite que el estudiante satisface o no el cumplimiento de los objetivos de una determinada asignatura. Sin dudas, emitir una calificación es uno de los elementos cruciales y problemáticos de un proceso de evaluación, pero no lo es todo. Después de emitir la nota propiamente dicha, se pueden utilizar los datos del formulario de evaluación propuesto para realizar análisis que permitan mejorar el proceso de enseñanza y aprendizaje.

Por ejemplo, en la Tabla 4 se plasman la cantidad de estudiantes evaluados en los cuatro niveles definidos en la escala de valoración utilizada para evaluar la calidad del artefacto Diagrama de Casos de Uso de Negocio. Al analizar los datos se determinó que los EOEA que fueron evaluados de manera más negativa fueron: Todos los Casos de Uso ofrecen un resultado de valor desde la perspectiva de los Actores y Todos los Actores del Negocio se corresponden con un rol y no con una persona física.

De esta forma, es posible retroalimentar al colectivo de profesores, que forman el rol analista, en qué aspectos se debe trabajar de manera intencionada. Sin dudas, en estos momentos el colectivo de profesores de la disciplina tiene en sus manos datos valiosos, que estarán en el centro del trabajo metodológico de cada una de las asignaturas que tributa a la formación de roles.

Tabla 4 Cantidad de estudiantes evaluados en cada nivel de la escala asociada al artefacto diagrama de casos de uso de negocio. 

CONCLUSIONES

1. Aunque hay que refinar aún más la definición de los EOEA y los pesos asociados a cada uno, sin dudas la propuesta presentada constituye un punto de partida válido que centra el campo de observación de los que van a evaluar, y las evaluaciones resultantes son más objetivas que meros juicios informales.

2. La información recogida en el formulario de evaluación facilita la comunicación entre profesor y estudiante, permite detectar discrepancias entre los miembros del tribunal evaluador y realizar multitud de análisis en aras de mejorar el proceso de enseñanza y aprendizaje.

3. El formulario de evaluación propuesto puede cumplir una función de guía y orientación, exista o no calificación propiamente dicha. El instrumento constituye en sí mismo una buena orientación para el alumno, que sabe cómo va a ser evaluado, qué se espera de él y en qué consiste un artefacto con una buena calidad.

4. El rigor, la exigencia y el control sistemático de las tareas asignadas propician elevar el nivel de responsabilidad y laboriosidad por parte de los estudiantes, porque del correcto desempeño de los roles depende la nota del equipo.

5. El ejercicio de autoevaluación y de evaluación del resto de los compañeros constituye en sí mismo un objetivo de aprendizaje que contribuye a desarrollar la capacidad crítica, compromete al alumno con el proceso educativo, motiva el aprendizaje, incrementa la responsabilidad con el aprendizaje, promueve la honestidad con los juicios y proporciona información al profesor sobre su aprendizaje.

Trabajo futuro

El trabajo futuro se encuentra encaminado al perfeccionamiento continuo del proceso de enseñanza y aprendizaje. En este sentido se pretende:

1. Realizar consultas a un mayor número de evaluadores expertos, solicitando que emitan su criterio acerca de cuáles EOEA definir para evaluar la calidad de los artefactos que se analicen y acerca del peso que se debe otorgar a cada EOEA y a cada artefacto en la evaluación de un rol.

2. Proponer un procedimiento que permita evaluar de forma general todos los aspectos que se evalúan en el proyecto de curso y en la asignatura, no solo el desempeño del rol.

3. Desarrollar una herramienta informática que automatice el procedimiento propuesto y permita mantener un histórico con el objetivo de realizar análisis para la mejora del proceso de enseñanza y aprendizaje.

REFERENCIAS

[1] The Standish Group (2015) CHAOS Manifesto 2015. Fecha de consulta: 15 de junio de 2016. URL: URL: http://www.standishgroup.com . [ Links ]

[2] D. Wastell. The Human Dimension of the Software Process, in Software Process: Principles, Methodology and Technology. Springer-Verlag, pp. 165-199. 1999. [ Links ]

[3] S.T. Acuña. Capabilities-Oriented Integral Software Process Model. Ph.D. Thesis, Universidad Politécnica de Madrid. 2002. [ Links ]

[4] S.T. Acuña, N. Juristo, A.M. Moreno, Emphasizing Human Capabilities in Software Development. IEEE Software, Vol. 23 N° 2, pp. 94-101. 2006. [ Links ]

[5] W.S. Humphrey. The Personal Process in Software Engineering. III International Conference on the Software Process IEEE. 1994. [ Links ]

[6] W.S. Humphrey. A discipline for software engineering. SEI Series in Software Engineering, Addison-Wesley 2000. 1995. [ Links ]

[7] W.S. Humphrey. The Personal Software Process. Technical Report CMU/SEI-2000-TR-022. 2000. [ Links ]

[8] W. Hayes, J.W. Over. "The Personal Software Process: An Empirical Study of the Impact of PSP on Individual Engineers". Technical Report CMU/SEI-97-TR-001 ESC-TR-97-001. 1997. [ Links ]

[9] M. André Ampuero. El proceso de software en equipo: de la disciplina personal a la disciplina organizacional. XI Convención Informática 2005, La Habana, Cuba. 2005. [ Links ]

[10] M. André Ampuero y J.P. Martínez. Transformaciones en el plan de Estudio de Ingeniería Informática en busca de una mayor calidad en el proceso de formación. XII Convención Internacional Informática 2007, La Habana, Cuba. 2007. [ Links ]

[11] Y. López Trujillo, M. André Ampuero y A.L. Infante. Formación de roles y buenas prácticas en el trabajo por la calidad de un ingeniero informático Ingeniare. Revista chilena de ingeniería, vol. 19 N° 3, pp. 382-395. 2011. [ Links ]

[12] H. Rizo. Evaluación del aprendizaje: Una propuesta de evaluación basada en productos académicos. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación. Vol. 2 N° 2. Fecha de consulta: 5 de julio de 2016. URL: URL: http://www.ice.deusto.es/rinace/reice/vol2n2/Rizo.pdf . 2004. [ Links ]

[13] M. González. La evaluación del Aprendizaje: tendencias y reflexión crítica. Rev Cubana Educ Med Super; 15(1), pp. 85-96. 2001. [ Links ]

[14] E. Verdecia Martínez. Propuesta de metodología para la certificación de roles durante la formación del ingeniero en ciencias informáticas. LACCEI'2012, Paper 54, Panamá City. 2012. [ Links ]

[15] O. Estrada Molina. Propuesta para la evaluación de las habilidades investigativas del ingeniero Informático. Revista Educación en Ingeniería, Vol. 9, N° 18, pp. 168-177. 2014. [ Links ]

[16] M.C. Gómez Álvarez; B. Manrique-Losada; G.P. Gasca-Hurtado. Assesment proposal of soft skills in software engineering through university- industry collaboration projects. Revista Educación en Ingeniería, Vol. 10, N° 19, pp. 131-140. 2015. [ Links ]

[17] J. Ruiz de la Peña; L. Lamoth Borrero; M.R. Concepción García; F. Rodríguez Expósito. El proyecto integrador como experiencia didáctica en la formación del ingeniero informático. Revista Escenarios, Vol. 10, Nº 1, pp. 106-115. 2012. [ Links ]

[18] E. Pulgarín Mejía. Software engineering teaching: A state of art approach. Lámpsakos, N° 10, pp. 76-91. 2013. [ Links ]

[19] A. Garrido, M.C. Penadés, V. Pelechano. Un Modelo de Evaluación de Prácticas en Laboratorio de Ingeniería del Software. Fecha de consulta: 1/5/2017. URL: URL: http://bioinfo.uib.es/~joe/semdoc/gaunm67.pdfLinks ]

[20] M.J. Becerra. Una Estrategia Pedagógica para el desarrollo de la Competencia para la Comunicación Interpersonal en el desempeño profesional de los ingenieros, Tesis de doctorado, La Habana, CUJAE. 2003. [ Links ]

[21] M. Belbin. Management Teams: Why they Succeed or Fail. 2nd ed., London England, Butterworth Heinemann. 2004. [ Links ]

[22] H. Basri. An Evaluation on Belbin’s Team Roles Theory. World Applied Sciences Journal, 4 (3), pp. 460-469. 2008. [ Links ]

[23] K. Briggs y I. Myers. Introducción al Type (MBTI). Una guía para entender los resultados de su evaluación Myers-Briggs Type Indicador. Sexta ed., California, Consulting Psychologists Press. 2004. [ Links ]

[24] PMI, Project Management Institute, A Guide to the Project Management Body of Knowledge (PMBOK Guide), 5ta, Pennsylvania, Newtown Square, PMI Publications. 2015. [ Links ]

[25] M.B. Chrissis. CMMi. Guía para la integración de procesos y la mejora de productos. Pear son Educación. Segunda edición. ISBN: 9788478290963. 2009. [ Links ]

[26] Y.E. Leyva. Evaluación del Aprendizaje: Una guía práctica para profesores). Fecha de consulta: 1 de julio de 2016. URL: URL: http://www.ses.unam.mx/curso2012/pdf/Guia_evaluacion_aprendizaje2010.pdf . 2010 [ Links ]

[27] A. Fernández. La evaluación de los aprendizajes en la Universidad: Nuevos enfoques, Instituto de Ciencias de la Educación Universidad Politécnica de Valencia. Fecha de consulta: 1 de julio de 2016. URL: URL: http://web.ua.es/es/ice/documentos/recursos/materiales/ev-aprendizajes.pdf.2009 . [ Links ]

[28] A. Fernández. La evaluación orientada al aprendizaje en un modelo de formación por competencias en la educación universitaria. REDU: Revista de Docencia Universitaria, Vol. 8, N° 1, pp. 11-34. 2010. [ Links ]

[29] T. Tenbrink. Evaluación: Guía Práctica para Profesores. Madrid, Narcea S. A. de Ediciones, pp. 255-273. 1997. [ Links ]

[30] Lambayeque Universidad Nacional Pedro Ruiz Gallo. Técnicas e Instrumentos de Evaluación. Lambayeque Perú, pp. 18-24. 2013. [ Links ]

[31] Y. López Trujillo, M. André Ampuero, K. Escalera y S. Verona. Experiencias en la formación de ingenieros informáticos. Desempeño de roles y Trabajo en equipo. Revista Argentina de Enseñanza de la ingeniería, N° 29, pp. 37-45. 2015. [ Links ]

[32] M. Mendoza Moreno; C. González Serrano; F.J. Pino. Focus group as a software engineering process: an experience from the praxis. Revista DYNA, Vol. 80, N° 181, pp. 51-60. 2013. [ Links ]

[33] I. Jacobson, G. Booch y J. Rumbaugh. "El Proceso Unificado de Desarrollo de Software", Ed. Addison-Wesley. 2000. [ Links ]

[34] Reglamento para el Trabajo Docente Metodológico de la Educación Superior, in 210, M.d.E. Superior, Editor. 2007. [ Links ]

Recibido: 05 de Diciembre de 2016; Aprobado: 01 de Agosto de 2017

* Autor de correspondencia: ylopez@ceis.cujae.edu.cu

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons