SciELO - Scientific Electronic Library Online

 
vol.32 issue2Environmental sound recognition using continuous wavelet transform and convolutional neural networksProfiling inclusive primary school teachers: with focus on transforming teacher-training processes at public educational institutions in the district of Cartagena, Colombia author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Información tecnológica

On-line version ISSN 0718-0764

Inf. tecnol. vol.32 no.2 La Serena Apr. 2021

http://dx.doi.org/10.4067/S0718-07642021000200079 

ARTICULOS

Validación del diseño de una red de cooperación científico-tecnológica utilizando el coeficiente K para la selección de expertos

Validating a scientific-technology cooperation network design by using the K coefficient for the selection of experts

Freddy Marín-González1 

Judith Pérez-González2 

Alexa Senior-Naveda1 

Jesús García-Guliany3 

1 Departamento de Humanidades, Universidad de la Costa, Atlántico - Colombia. (Correo-e: fmarin1@cuc.edu.co; asenior@cuc.edu.co)

2 Complejo Académico “El Sabino”. Dpto. de Gerencia, Universidad Nacional Experimental “Francisco de Miranda” UNEFM, Falcón - Venezuela. (Correo-e: judithmpg@correo.unefm.edu.ve)

3 Facultad de Ingeniería, Corporación Universitaria Latinoamericana, Atlántico- Colombia. (Correo-e: jgarcía@ul.edu.co)

Resumen:

El objetivo del presente estudio es utilizar el coeficiente de competencia experta (K) para el proceso de selección de expertos que participaron en la validación de contenido y confiabilidad de diseño de una red de cooperación científico-tecnológica. La red esta enfocada para la gestión de prácticas profesionales en el contexto intersectorial (universidad-gobierno-empresa) en la Península de Paraguaná, estado Falcón, Venezuela. Se aplica la metodología Delphi como técnica de predicción y participaron 17 expertos. Los resultados evidencian que los expertos muestran un alto nivel de argumentación respecto al conocimiento de redes de cooperación y gestión de prácticas profesionales. Se determinó el coeficiente de concordancia de Kendall (W), el cual muestra que los juicios emitidos por los expertos tienden a estar correlacionados con las estimaciones del diseño de red. Se concluye que el diseñó de red propuesto es confiable y válido en cuanto al contenido para su implementación.

Palabras clave: validez; red; cooperación; coeficiente; competencia experta; prácticas; universidad; empresa

Abstract:

The primary objective of the present study is to use the expert competence coefficient (K) in the selection process of experts who participated in validating content and design reliability of a scientific-technology cooperation network. The network focuses on the management of intersectoral (university-government-company) professional internships in the Paraguaná peninsula, Falcón state, Venezuela. Delphi’s method is applied as a prediction technique and 17 experts participated in the study. The results show that the experts surveyed are highly knowledgeable about cooperation networks and professional internship management. In addition, the Kendall's coefficient of agreement (W) show that the judgments made by the experts tends to correlate with network design predictions. It is concluded that the proposed network design is reliable and valid for its implementation.

Keywords: validity; cooperation networks; expert competence coefficient; training; university; company

INTRODUCCIÓN

En toda investigación es fundamental, demostrar la validez, reproducibilidad, confiabilidad, influencia de variables entre otras cosas de los resultados obtenidos. Al respecto Solans-Domènechet al. (2019), refieren el aumento de la demanda por la necesidad de evidenciar el impacto de la validez en las investigaciones. Este proceso conlleva a investigadores a buscar la alternativa más pertinente para demostrar la validación de su propuesta investigativa. En este sentido, el trabajo con expertos como estrategia para la evaluación de materiales de enseñanza, de instrumentos de recogida y análisis de información, o de las metodologías empleadas es bastante usual en el ámbito científico y de innovación tecnológica, Cabero y Barroso (2013). En la literatura científica se reconoce al criterio de experto como el método que ofrece valoraciones para conocer la pertinencia y viabilidad de las propuestas (Pérez-Iribaret al., 2017). Desde esa perspectiva, “la consulta a expertos constituye un método heurístico de alto rigor científico que permite la búsqueda del consenso a partir de aproximaciones cualitativas derivadas de la experiencia y el conocimiento de un grupo de personas” (González et al., 2018, p. 100).

En importante destacar algunas consideraciones para la selección del experto que participará en la evaluación de las propuestas de investigación; Cabero-Almenara e Infante-Moro (2014) coinciden en algunos criterios importantes para su escogencia, tales como el conocimiento y manejo de información, experiencia profesional, voluntad y disposición para la participación en el proceso, disponibilidad de tiempo, compromiso a la intervención en todas las rondas de aplicación previstas, años de experiencia en la temática concreta, y su capacidad de comunicación efectiva.

Para la selección del experto se utilizan procesos estructurados; destaca el coeficiente de competencia experta. Para Cabero y Barroso (2013), el cálculo del “Coeficiente de competencia experta” se efectúa a partir de la opinión mostrada por el experto sobre su nivel de conocimiento acerca del problema de investigación, así como de las fuentes que le permiten argumentar el criterio establecido, generalmente literatura de corriente principal; ello evidencia la pertinencia del perfil del experto en correspondencia con el constructo a evaluar. Una vez identificado los expertos a involucrar en la evaluación de la propuesta, se considera el método o forma a través del cual se adelantará el juicio; resalta el método Delphi como técnica que permite llegar al consenso en un grupo de expertos que opinan sobre un asunto específico (Fernández-Ávila et al. 2020, Mozuni y Jonas2017, Sinha et al. 2011, Galan 2011), además por su alcance en cuanto a las posibilidades para involucrar expertos de diferentes localidades y regiones.

En el presente artículo se busca exponer el proceso de validez de una propuesta referida al diseño de una red de cooperación científico - tecnológica entre los sectores Universitario - Gobierno - Empresarial (red CUGE), para la gestión efectiva de las prácticas profesionales que realizan los estudiantes universitarios en su último año de formación. Al respecto es importante hacer mención que el articulo forma parte de una serie de resultados de investigación relacionados con el diseño de una red de cooperación para la gestión de prácticas profesionales en la Península de Paraguaná estado Falcón Venezuela, que atendiendo a las diferentes teorías y/o modelos que sustentan la conformación de la relación entre los sectores mencionados (Triángulo Sábato, Modelo Triple hélice, tercera Misión de las Universidades, currículo, análisis de redes sociales ARS, entre otros), dio origen al abordaje de un estudio de campo para determinar cómo es el comportamiento de la cooperación desde la dimensión de las prácticas profesionales considerando las características estructurales y funcionales de los sectores involucrados.

En este sentido se analizaron tres poblaciones, donde la primera estaba representada por las universidades públicas de la zona (seis en total), una segunda población conformada por las diferentes cámaras que agrupan a todos las pequeñas medianas y grandes empresas de la región (4 en total) y una tercera integrada por las representaciones gubernamentales de la Península (4 en total). A esta población se le aplico un instrumento el cual fue validado mediante juicio de expertos y la confiabilidad del instrumento se determinó por el Coeficiente del Alpha de Cronbach, con base a una muestra representativa de cinco individuos que trabajan en los sectores objeto de estudio, lo que representa un 36% de la población.

Lo anterior permitió develar, las características estructurales y funcionales del diseño propuesto, en cuanto a: estructura morfológica de la red (tamaño o grado, cohesión de las relaciones, grado de centralización, densidad, cliques, entre otros), marco filosófico de la red, mecanismos de interacción, estructura organizativa, viabilidad de los actores que participan en el diseño, procesos a llevar a cabo entre otras cosas; al respecto Marín-González y et al. (2019) refieren que la funcionalidad y ubicuidad de la red determinan su impacto, alcance y utilidad, asociado a la generación de recursos, relación costo - beneficio y mejoramiento de la calidad de vida.Según Espinoza y Marín-González (2019) en estudios que impliquen el diseño de redes, la intención es contribuir al fortalecimiento de las relaciones intersectoriales con la creación de una interfaz que tribute a la solución de problemas sociales desde la participación activa de los actores, en este caso los estudiantes en formación resultan clave para la comprensión de la dinámica reticular entre los sectores abordados. Por tratarse de un diseño, es necesario valorar su pertinencia práctica en correspondencia con criterios de calidad y precisión. A través de procesos de validación de contenido, específicamente mediante el cálculo del coeficiente de competencia experta, se puede evidenciar el sentido de correspondencia entre el diseño propuesto y la concepción de la realidad que ha sido representada en el mismo.

OTROS ANTECEDENTES

Hay una serie de antecedentes adicionales que es necesario detallar para documentar en mejor forma este trabajo: i) Juicio de experto como método de validación; y ii) Coeficiente de competencia experta para la selección de expertos.

Juicio de experto como método de validación

Autores como Quezada et al. (2020), Sá dos Reis et al. (2020), Pérez-Iribar et al. (2017); consideran como una estrategia usual en procesos de investigación, el juicio de expertos el cual permite la valoración de instrumentos de recogida y análisis de información, metodologías empleadas, materiales de enseñanza, opinión respecto a un aspecto concreto, valoraciones conclusivas sobre un problema o sus soluciones, entre otros. Abad et al. (2011), refieren que el juicio de expertos se caracteriza por contar con un número de expertos, los cuales proponen los ítems o dimensiones que deben conformar el constructo de interés o evalúan los diferentes ítems en función de su relevancia y representatividad. Para Juárez-Hernández y Tobón (2018) existen tres aspectos fundamentales a considerar en el juicio de expertos, siendo estos: el concepto de experto, determinación del grado de conocimiento en el área o constructo y el número de expertos necesarios para efectuar la evaluación del instrumento.

Ahora bien, Cabero-Almenara et al. (2020) refieren que no existe una conceptualización inequívoca del término "experto" para ayudar a especificar sus características definitorias y lo que significa ser un experto. García et al. (2020),manifiestan que un experto debe poseer un conocimiento amplio y profundo de la tarea o actividad objeto de análisis y valoración, debe estar familiarizado con el sistema donde se contextualiza el objeto de estudio. García y Suárez (2013) lo define como el sujeto cuya formación y experiencia previa le ha permitido alcanzar un dominio sobre un asunto que excede el nivel promedio de sus iguales, está dispuesto a exponer sus opiniones sobre dicho asunto para que sean utilizadas como juicios conclusivos. En cuanto a las características relevantes del perfil del experto Ivlev et al. (2015), Cabero y Llorente (2015) y García y Fernández (2008), refieren: el conocimiento de la temática, su pericia profesional, así como también, cualidades personales para participar en las investigaciones, disponibilidad de tiempo, capacidad de comunicación efectiva, imparcialidad, objetividad entre otros rasgos distintivos.

En cuanto a la cantidad de expertos necesarios para participar en el proceso, la literatura no evidencia un criterio uniforme; autores como Zartha-Sossa et al. (2017), refieren de 9 a 24 expertos, García y Fernández (2008), entre 15 y 25 expertos, Gordon (1994) destacan como cantidad recomendable entre 15 y 35 expertos. Para efectos del presente estudio se trabajó con 20 personas como una cantidad promedio con relación a lo indicado por los autores. La conformación del panel de expertos es importante, por cuanto la calidad del proceso y sus resultados está condicionada por la adecuada selección de los expertos(Cabero-Almenara et al., 2020, Martínez-García et al., 2019, López-Gómez, 2018);con base a lo expuesto se aplica el coeficiente de competencia experta como procedimiento de elección definitiva de los expertos que evalúan el diseño de la red de cooperación científico-tecnológica para la gestión de prácticas profesionales en la interfaz relacional universidad - gobierno - empresa.

Coeficiente de competencia experta para la selección de expertos

El Coeficiente de Competencia experta, considera como referente las personas que inicialmente se han considerado expertos para que con su opinión y autovaloración indiquen el grado de conocimiento acerca del objeto de investigación, así como las fuentes que les permiten argumentar y justificar dicho nivel. Robles y Rojas. (2015). Al respecto Cabero y Llorente (2015, p.12) refieren “ya ha sido incorporado en diferentes trabajos (…) mostrando altos niveles de eficacia”. Este coeficiente se obtiene mediante la aplicación de la siguiente fórmula presentada en la Ecuación (1).

(1)

Donde Kc es el «Coeficiente de conocimiento» o información que tiene el experto acerca del tema o problema planteado. Es calculado a partir de la valoración que realiza el propio experto en la escala del 0 al 10, donde 0 implica no poseer conocimiento y 10 un conocimiento total del tema, multiplicado por 0.1.Ka es el denominado «Coeficiente de argumentación» o fundamentación de los criterios de los expertos. Este coeficiente se obtiene atendiendo a seis posibles fuentes de argumentación en una escala predefinida considerando la fuente original de Dobrov y Smirnov (1972), y donde los valores de la escala permanecen ocultos. En este sentido se propone la Tabla 1 para el cálculo de Ka, contemplando adaptaciones a los ítems de los indicadores de la fuente de argumentación en concordancia al tema investigado, y en donde los pesos permanecen con los valores de las fuentes originales.

Tabla 1: Valoración de las Fuentes de Argumentación. (Adaptada de Dobrov y Smirnov ,1972

Con los valores finales obtenidos se clasifican los expertos en tres grandes grupos: 1) Si K es mayor a 0.8, mayor o menor o igual a 1: (influencia alta); 2) Si K es mayor o igual que 0.7, menor o igual a 0.8: (influencia media); 3) Si K es mayor o igual a 0.5, mayor o menor o igual a 0.7 (influencia baja).Se adopta como criterio que los expertos con una puntuación inferior a 0.80 no se consideran para participar en la evaluación de la propuesta de diseño de red. En este sentido se establece una puntuación igual o mayor a 0.8 del experto para ser considerada su evaluación de la propuesta.

METODOLOGIA

El método Delphi se sustenta sobre dos principios fundamentales, la inteligencia colectiva y la participación anónima. El primero de ellos, se hace operativo desde los presupuestos racionales que los expertos emiten, susceptibles de confluir en una conformidad común. Con relación al anonimato, implica que las ideas son consideradas sin un conocimiento de la identidad de la persona que las presenta. Además, el hecho de que no es necesario que coincidan los expertos en el mismo tiempo y lugar, permite utilizar expertos ubicados en diferentes ubicaciones geográficas Parra et al, (2019). Importante destacar el potencial articulador de los abordajes cualitativos y cuantitativos que posee el método, tal como lo plantean Massaroli et al. (2017).

Para efecto de la investigación se utilizó la metodología Delphi, como técnica de predicción, la cual permite obtener información y opiniones de sujetos físicamente alejados y posibilita la generación de ideas con respuestas abiertas, de forma bien estructurada desde un referente cualitativo. Igualmente se utilizó para la selección del panel de expertos el cálculo del coeficiente K, donde por medio de la autoevaluación el experto expresa su conocimiento en relación con el tema en estudio (Kc) y los argumentos que sustentan ese conocimiento (Ka). A través del método Delphi se conoció la percepción que cada experto tiene sobre la correspondencia entre los fundamentos teóricos de las relaciones intersectoriales y la forma como dichas relaciones se evidencian en el plano concreto, es decir, la validación toma en cuenta el diseño de la red y su grado de funcionalidad en el ámbito intersectorial. El diseño en cuestión busca la articulación de los sectores universitario gobierno y empresa a través del currículo, para la gestión efectiva de las prácticas profesionales en estudiantes de las diferentes universidades que forman parte de la propuesta en sus últimos años de formación, con periodos que van de seis o diez semanas y donde los estudiantes desplieguen competencias acordes a su perfil de egreso con un alto nivel de desempeño.

Población y muestra

Se solicitó la participación formal de 20 actores, destacando que la experiencia del experto en el uso del método Delpli no era una condición necesaria para su participación, y cuyo perfil de desempeño en el ámbito académico y empresarial nacional e internacional permite definirlos como expertos; de los 20 sujetos identificados, 17 confirmaron su deseo de intervenir en forma voluntaria en el proceso de validación. Importante mencionar que los expertos considerados cumplieran con las siguientes características para su selección: 1) Haber participado en instancias previas a la investigación; 2) Experiencia laboral en la gestión de Prácticas Profesionales a nivel universitario mayor a dos años; 3) Haber participado anteriormente en otros trabajos de investigación o de publicación en el área de análisis de redes sociales; 4) Tener experiencia formativa mayor a cinco años. Al respecto los perfiles profesionales y ocupacionales de los 17 sujetos se evidencian en la Tabla 2. La validación incluye el desarrollo completo de cada una de las fases para llegar al diseño propuesto, el objetivo que se persigue, así como el tiempo estimado del proceso de validación.

Tabla 2: Perfiles de los expertos que validan la propuesta. 

Instrumento

Se propone un cuestionario al grupo de expertos, el cual está dividido en tres secciones, la primera sección comprende la descripción del perfil académico/profesional del experto; el segundo apartado corresponde a la autoevaluación del experto con relación al conocimiento y apropiación de la temática; es decir conocer el Coeficiente de Conocimiento (Kc), y el Coeficiente de Argumentación (Ka); se incluyen de acuerdo a la filosofía de la propuesta para la obtención del “coeficiente de competencia experta” (Dois et al. 2018, Vela y et al. 2013,García y Fernández, 2008), solo aquellos expertos que obtengan valores iguales o superiores a 0.8, lo cual es imperativo para la validación del diseño; la tercera sección se orienta a la valoración dada por el experto con relación a la pertinencia del diseño propuesto, el cual emite su criterio, marcando con una equis (X) en el aspecto correspondiente, atendiendo a la siguiente escala: 5. Muy pertinente. 4. Bastante pertinente 3. Pertinente 2. Poco Pertinente 1. No Pertinente. La valoración del diseño incluyó documentación correspondiente a la propuesta como: la fundamentación teórica para el desarrollo del diseño, metodología utilizada, el abordaje del diseño de campo, el alcance de la red donde se develan actores participantes, marco filosófico, marco regulatorio, estructura organizativa, estructura morfológica, procesos principales, entre otros.

Procedimiento de recogida y análisis de datos

Para la recogida de la información, se realizó contacto vía correo electrónico con los diferentes expertos seleccionados, los cuales emitieron su disposición a colaborar con la investigación; por lo cual se adjuntó el diseño de red de cooperación Universidad - gobierno - empresa (Red CUGE) propuesto, al igual que el instrumento; considerando que para dar respuesta al mismo se estimó un lapso de quince días continuos. Transcurrido el tiempo se realizó el recordatorio correspondiente, y se comenzó a recolectar la data suministrada, importante destacar que de los 17 expertos seleccionados todos respondieron al llamado.

Ahora bien, en cuanto al procesamiento de los datos, se utilizó la estadística descriptiva como estrategia que facilitó la determinación de la frecuencia que permite generalizar las tendencias asociadas a la opinión de los expertos en el estudio, este proceso se realizó a través del programa Excel. Finalmente se utilizó el Software estadístico Statistical Package for the Social Sciences (SPSS), para el cálculo de coeficiente de kendall (w) el cual permite indagar si las respuestas ofrecidas por los expertos en relación a las estimaciones del diseño de la red estaban correlacionadas es decir si existía o no concordancia en la respuestas emitidas.

RESULTADOS

A partir de la aplicación del instrumento se muestran en la Tabla 3, los resultados de las frecuencias y porcentajes alcanzados para cada una de las fuentes de argumentación ofrecidas por los expertos; se logra evidenciar que los expertos muestran un alto nivel de argumentación respecto al conocimiento de redes de cooperación y gestión de prácticas profesionales.

Tabla 3: Valoración de las diferentes fuentes de argumentación por los expertos. 

Ahora bien, una vez obtenido el “Coeficiente de conocimiento” (Kc), para lo cual cada uno de los 17 expertos seleccionó en una escala del 0 al 10 el conocimiento que poseía en relación a la gestión de prácticas profesionales universitarias y la conformación de redes de cooperación, sabiendo que cero (0) es nada y diez (10) es total; y el “Coeficiente de argumentación” (Ka) el cual justifica el conocimiento seleccionado, se calculó el “Coeficiente de competencia experta”, se obtienen los resultados que se muestran en la Tabla 4 para cada uno de los expertos.

Tabla 4: Coeficiente de Conocimiento (Kc), Coeficiente de Argumentación (Ka) y Coeficiente de Competencia Experta (K), obtenido para cada uno de los expertos. 

Al respecto, se puede observar de acuerdo a los valores alcanzados por los 17 expertos con relación a su coeficiente de competencia experta (K) y en concordancia con el criterio de selección, que no se contemplan tres (03) expertos para la evaluación del diseño propuesto, debido a que su coeficiente de competencia experta fue inferior a 0.8. Igualmente se pudo determinar a partir del cuestionario que los 14 expertos seleccionados poseen las características de ser docentes investigadores con más de 15 años de experiencia, con categoría de profesor Titular en la mayoría de los casos y pertenecientes a institutos de investigaciones científicas. Lo antes expuesto, confirma la rigurosidad de los criterios para seleccionar los expertos en función de su perfil; resalta su capacidad para emitir una valoración cualitativa y confiable del diseño de red CUGE sometido a consideración. Los resultados de la valoración dada por los expertos aparecen en la Tabla 5.

Tabla 5: Matriz de Frecuencia de los expertos. 

Prueba del coeficiente de concordancia de Kendall: W

Al respecto, con el objeto de indagar si las respuestas ofrecidas por los expertos con relación a las estimaciones del diseño de Red CUGE, estaban correlacionadas fue necesario determinar el coeficiente de concordancia de Kendall (W), mediante el empleo del procesador estadístico SPSS versión 18.0.0, para Windows. El cual es apropiado para la evaluación de acuerdos entre múltiples jueces en pruebas de juicios de expertos. Cuando W tiende a cero representa ausencia de concordancia en la evaluación emitida por los expertos. Por el contrario si W se aproxima a 1, representa unidad de concordancia en la evaluación emitida por los expertos. Finalmente para la realización de la prueba de significación de W, se consideró contrastar las siguientes hipótesis: i) H0 (Hipótesis Nula): No Existe Concordancia entre los expertos; y ii) H1 (Hipótesis Alternativa): Existencia de Concordancia entre los expertos, es decir; H0: W=0, H1: W ≠ 0

Se ingresó los datos obtenidos de las ocho preguntas a los 14 expertos seleccionados, se realizó el cálculo del coeficiente de Kendall en el software SPSS, arrojando el resultado observado en la Tabla 6. El resultado del coeficiente de concordancia (W) fue de 0.592, lo cual es un indicador de que existe concordancia entre las opiniones de los expertos. Igualmente la significación de W, determinó que p=,000. El valor de la probabilidad, conforme a H0, permitió rechazar la hipótesis nula de que las estimaciones de los expertos no estaban correlacionadas y se aceptó la hipótesis alternativa con un 99% de confianza, es decir los juicios emitidos por los expertos están correlacionados.

Tabla 6: Estadísticos de contraste 

CONCLUSIONES

En el presente estudio, basado en el análisis y resultados obtenidos se generan los siguientes argumentos conclusivos:

i) Se valida la propuesta del diseño de red de cooperación intersectorial para la gestión de prácticas profesionales, utilizando procedimientos estructurados como el coeficiente de competencia experta, que determinó la pertinencia y experiencia del experto en lo que se desea evaluar en este caso el diseño de una red de cooperación para la gestión de prácticas profesionales universitarias en la intersectorialidad universidad - gobierno - empresa.

ii) El juicio de experto permitió evaluar el diseño fundamentado en diferentes parámetros de análisis entre los que destacan la pertinencia de los fundamentos teóricos, actores involucrados, relevancia, efectividad y objetivos trazados para lograr el diseño; lo que permite inferir la versatilidad, pertinencia y coherencia de la técnica para evaluar los resultados asociados a procesos de investigación científica.

iii) Igualmente se evidencia en la validación de contenido, la articulación de criterios importantes, donde la selección del experto, el empleo de una escala apropiada y el uso de coeficientes para brindar certeza de los resultados arrojados en el juicio, resultan fundamentales para la obtención de unos resultados confiables.

iv) El resultado del coeficiente de kendall (W), el cual permite probar el grado de cohesión de los criterios emitidos por los expertos, evidenció que las opiniones emitidas por los expertos con relación al diseño de red propuesto son consistentes.

v) Se destaca la metodología utilizada en el estudio; donde el método Delphi, junto con la selección de expertos por medio del coeficiente k y finalmente la determinación de la correlación de los resultados emitidos por los expertos usando el coeficiente de kendall, como significativa para la evaluación de propuestas investigativas.

REFERENCIAS

Abad, F. J., Olea, J., Ponsoda, V., y García, C., Medición en Ciencias Sociales y de la Salud,161-204, Síntesis, Vallehermoso, España,(2011). [ Links ]

Cabero, J. y Barroso, J., La Utilización del Juicio de Experto para la Evaluación de TIC: El Coeficiente de Competencia Experta, Bordón, ISSN: 0210-5934, 65(2) (2013). [ Links ]

Cabero, J., y Llorentes, M. del C., Entornos Personales de Aprendizaje (PLE): Valoración Educativa a través de Expertos. Areté. 1 (1), 7 - 19 (2015) [ Links ]

Cabero-Almenara, J., Romero-Tena, R., y Palacios-Rodríguez, A., Evaluation of Teacher Digital Competence Frameworks Through Expert Judgement: the Use of the Expert Competence Coefficient, doi:10.7821/naer.2020.7.578, Journal of New Approaches in Educational Research, 9(2), 275-293 (2020) [ Links ]

Dois, A, Bravo, P., Contreras, A., Soto, M.G. y Mora, I., Training and Competencies for Primary Care Teams from the Perspective of Chilean Experts, https://doi:10.26633/RPSP.2018.147, Rev Panam Salud Publica, 42(147), 1-7 (2018) [ Links ]

Dobrov, G. M., y Smirnov, L. P., Forecasting as a means for scientific and technological policy control, http://dx.doi.org/10.1016/0040-1625(72)90043-1Technological Forecasting and Social Change, 4(1), pp. 5-18, (1972). [ Links ]

Espinoza, R. y Marín-González, F., Redes de Investigación Transdisciplinar Tecnocientífica en Contextos Reticulares, https://doi: 10.5281/zenodo.3464059, Utopía y Praxis Latinoamericana, 24 (87), 173-193 (2019). [ Links ]

Fernández-Ávila, D. G., Rojas, M. X., y Rossell, D., The Delphi Method in Rheumatology Research: Are we Doing it Right?, https://DOI: 10.1016/j.rcreue.2019.04.007, Revista Colombiana de Reumatología, xxx(xx) 1-13 (2020) [ Links ]

Galan, M., Development and Content Validity of the New Version of a Patient Classification Instrument, http://dx.doi.org/10.1590/S0104-11692011000100009, Enfermagem, 19(1), 58-66 (2011) [ Links ]

García, I., y Fernández, S., Procedimiento de Aplicación del Trabajo Creativo en Grupo de Expertos,Energética, ISSN: 1815-5901, 29(2), 46-50 (2008). [ Links ]

García, M., y Suárez, M., El Método Delphi para la Consulta a Expertos en la Investigación Científica, Revista Cubana de Salud Pública, ISSN 0864-3466,39(2), 253-267 (2013) [ Links ]

García, N., Carreño, A., y Doumet, N., Validación del Modelo de Gestión Sostenible para el Desarrollo Turístico en VinculaciónUniversidad - Comunidades Manabitas. Ecuador, https://doi:10.38147/inv&neg.v13i21.82, Investigación y Negocios, 13(21), (2020) [ Links ]

González, D., Socorro, M., y otros 4 autores, IndicatorsfortheEvaluation of Impact of theTechnologicalAdministration in Rice Tillage, Revista Ciencias Técnicas Agropecuarias, ISSN -1010-2760, E-ISSN: 2071-0054, 27( 1), 99-109 (2018) [ Links ]

Ivlev, I., Kneppo, P., y Barták, M., Method for Selecting Expert Groups and Determining the Importance of Experts’ Judgments for the Purpose of Managerial Decision-Making Tasks in Health, https://doi:10.15240/tul/001/2015-2-005, Ekonomika a management, XVIII(2), 57-72 (2015) [ Links ]

Juárez-Hernández, L., y Tobón, S., Análisis de los Elementos Implícitos en la Validación de Contenido de un Instrumento de Investigación. Revista Espacios, ISSN 0798 1015, 39(53), (2018) [ Links ]

López-Gómez, E., El Método Delphi en la Investigación Actual en Educación: Una Revisión Teórica y Metodológica, doi: 10.5944/educXX1.15536, Educación XXI, 21(1), 17-40 (2018) [ Links ]

Marín-González, F., Talavera, R., Inciarte-González, A., y Avendaño-Villa, I., Redes de Cooperación Científico-Tecnológicas en Contextos Intersectoriales, https://doi:10.4067/S0718-0764201900030001, Inf. Tecnol, 30(3), 13-24 (2019) [ Links ]

Martínez-García, I.; Padilla-Carmona, M.T. y Suárez-Ortega, M., Aplicación de la Metodología Delphi a la Identificación de Factores de Exito en el Emprendimiento, https://doi:10.6018/rie.37.1.320911,Revista de Investigación Educativa, 37(1), 129-146 (2019) [ Links ]

Massaroli, A., Gue, J., y otros 3 autores, The Delphi Method as a Methodological Framework for Research in Nursing,http://dx.doi.org/10.1590/0104-07072017001110017, Enferm, 26(4), 1-9 (2017) [ Links ]

Mozuni,, M., y Jonas, W., An Introduction to the Morphological Delphi Method for Design: A Tool for Future-Oriented Design Research, https://doi.org/10.1016/j.sheji.2018.02.004, She Ji: The Journal of Design, Economics, and Innovation, 3(4), 303-318 (2017) [ Links ]

Parra, C., Rhea., B., y Gómez, C., Methodological Procedures for the Study of Restoration Process Servuctivos, https://doi: 10.22201/fca.24488410e.2018.1405,Contaduría y Administración, 64 (1), 1-22 (2019) [ Links ]

Pérez-Iribar, C., Beleño-Fuentes, M., Nuñez-Peña, C., Orquera-Cadena, M., Revisión Valoración del Resultado Científico de la Investigación. Una Experiencia desde la Aplicación del Criterio de Experto, OLIMPIA, Revista de la Facultad de Cultura Física de la Universidad de Granma, ISSN: 1817-9088, 14(46), 154-168 (2017) [ Links ]

Quezada, G., Castro-Arellano, M., y tres autores más, Método Delphi como Estrategia Didáctica en la Formación de Semilleros de Investigación, https://doi: 10.35622/j.rie.2020.01.005, Rev. Innova Educ. 2(1), 78-90 (2020) [ Links ]

Robles, P., y Rojas, M. D. C., La Validación por Juicio de Expertos: Dos Investigaciones Cualitativas en Lingüística Aplicada, Revista Nebrija de Lingüística Aplicada, ISSN-e 1699-6569, N°18, (2015). [ Links ]

Sá dos Reis, C., Gremion, I., y Meystre, N. R. Consensus About Image Quality Assessment Criteria of Breast Implants Mammography Using Delphi Method With Radiographers and Radiologists, https://doi.org/10.1186/s13244-020-00860-z, Insights Into Imaging, 11(56), 2-11 (2020) [ Links ]

Sinha, I.P., Smyth, R.L., y Williamson, P.R., Using the Delphi Technique to Determine Which Outcomes to Measure in Clinical Trials: Recommendations for the Future Based on a Systematic Review of Existing Studies, https://doi: 10.1371/journal.pmed.1000393, PLoS Med, 8(1) (2011) [ Links ]

Solans-Domènech, M., Pons, J. MV., Adam, P., Grau, J. y Aymerich, M., Development and Validation of a Questionnaire to Measure Research Impact, https://doi:10.1093/reseval/rvz007, Research Evaluation, 28(3), 253-262 (2019) [ Links ]

Vela, J de San Eugenio, Fernández-Cavia, F., Nogue, J., y Jiménez-Morales, M., Characteristics and Functions for Place Brands Based on a Delphi Method, https://doi:10.4185/RLCS-2013-995en, Revista Latina de Comunicación Social, 68, 656-675 (2013) [ Links ]

Zartha-Sossa, J. W., Montes-Hincapié, J. M., y otros 4 autores, Delphi Method in Technological Foresight Studies: An Approach to Calculating the Number of Experts and the Application of the Competence Coefficient “k”, https://doi: 10.18684/bsaa(15)105-115, Rev.Bio.Agro, 15(1), 105-115 (2017) [ Links ]

Recibido: 02 de Septiembre de 2020; Aprobado: 04 de Noviembre de 2020

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons