nova página do texto(beta)
Espanhol (pdf)
Artigo em XML
Tradução automática
Citado por SciELO 
Citado por Google 
Similares em
SciELO 
Similares em Google 
Permalink
A partir del año 2010 se declara en psicología una crisis de la replicabilidad, que surge frente a las dudas sobre la confiabilidad de los resultados presentes en la ciencia psicológica, que no podrían ser repetidos si se intenta replicarlos (Shrout & Rodgers, 2018; Świątkowski & Dompnier, 2017). Esta crisis surgió en la psicología social (Pashler & Wagenmakers, 2012; Santos, 2013), para luego extenderse al resto de la disciplina (Yong, 2012). La primera estimación empírica de la reproducibilidad de la ciencia psicológica encontró que solo un 36% de los resultados de las replicaciones de 100 experimentos eran estadísticamente significativos (Open Science Collaboration OSC, 2015). Esta crisis ha generado una variada literatura sobre el tema, destinada a comprender sus causas, tanto en lo relacionado a las prácticas cuestionables de investigación (Fiedler & Schwarz, 2016; John, Loewenstein & Prelec, 2012; Sijtsma, 2016; Ware & Munafò, 2015; Wigboldus & Dotsch, 2016) como en los aspectos institucionales y culturales relacionados a la publicación (Driessen, Hollon, Bockting, Cuijpers & Turner, 2015; Franco, Malhotra & Simonovits, 2014; Giner-Sorolla, 2012; Ioannidis, Munafò, Fusar-Poli, Nosek & David, 2014; Kepes, Banks & Oh, 2014; Kühberger, Fritz & Scherndl, 2014; Simonsohn, Nelson & Simmons, 2014; Stanley, Doucouliagos & Ioannidis, 2017).
Se debe destacar que la crisis de la replicabilidad de los estudios no solo afecta a la psicología, sino a la generalidad de la investigación biomédica. En un estudio sobre 49 investigaciones clínicas altamente citadas, Ioannidis (2005) encontró que no es raro que los resultados iniciales mostrasen mayor tamaño del efecto o incluso que fuesen contradichos por estudios posteriores. En siete de las investigaciones los resultados se contradecían con estudios posteriores, en otros siete los efectos eran menores en las replicaciones, 20 fueron replicados y 11 no fueron probados posteriormente. Similar resultado se encontró en la comparación de los estudios de asociación originales y en metaanálisis en psiquiatría y neurología de cuatro trastornos, en la que el acuerdo no era mayor al azar, dependiendo del dominio estudiado; el rango de replicación iba de 6,3% en los estudios genéticos a un 86,4% en los estudios comportamentales (Dumas-Mallet, Button, Boraud, Munafo & Gonon, 2016). De manera similar al proyecto de estimación de la reproducibilidad realizado en psicología, el Reproducibility Project: Cancer Biology es una iniciativa destinada a replicar artículos relevantes en el campo de la biología del cáncer; a Julio de 2019, de las 14 investigaciones que han concluido, cinco estudios han reproducido parte importante de los resultados originales, cuatro han obtenido resultados que replican parcialmente los artículos originales, dos no han podido ser interpretados y tres no reproducen los resultados originales (Davis et al., 2019).
Una de las principales conclusiones de la literatura sobre la crisis de la replicabilidad es la necesidad de abandonar la idea de que los estudios únicos pueden entregar resultados válidos y confiables que pueden ser generalizables. El reporte inicial de un efecto debería ser el punto de partida de una serie de investigaciones que corroboren el efecto inicial y lo generalicen a distintas situaciones (Shrout & Rodgers, 2018; Tryon, 2016). Desde esta perspectiva, las replicaciones son fundamentales para el logro de una ciencia acumulativa y autocorrectiva, que permita verificar los efectos reales y refutar los falsos (Hüffmeier, Mazei & Schultze, 2016).
Replicar, la confirmación de resultados y conclusiones de un estudio de forma independiente por otra investigación, se considera el estándar de oro de la investigación (Jasny, Chin, Chong & Vignieri, 2011). Tradicionalmente, se entiende como el método de verificación de un hallazgo empírico por la repetición de un procedimiento específico; sin embargo, es posible ampliar este concepto para dar cuenta de la reproducibilidad de una teoría o resultado experimental con métodos distintos (Schmidt, 2009).
La replicación es una práctica eminentemente social. Lo que se entiende por replicación, las razones de su relevancia y las condiciones de una replicación exitosa varían de comunidad en comunidad científica a lo largo del tiempo (Danziger & Shermer, 1994; Schmidt, 2009). En primer lugar, el hecho de que la replicación sea considerada una norma definitoria de lo científico puede ser puesto en discusión (Schmidt, 2009). Por ejemplo, en el caso de la ciencia social cualitativa, se considera que la interpretación de los datos está asociada indisolublemente a la comprensión que tiene el investigador del fenómeno, por lo que es muy difícil replicar de forma independiente, aun disponiendo de los mismos datos (Freese & Peterson, 2017). En segundo lugar, la evaluación del mayor o menor grado de similitud de una replicación, en términos de procedimiento y resultados, difiere de acuerdo a los intereses y creencias de los distintos grupos de investigadores, por lo que no se pueden definir reglas abstractas ni absolutas de lo que corresponde a una replicación apropiada (Danziger & Shermer, 1994).
Se entiende por replicabilidad el grado en el cual se obtienen resultados consistentes cuando se repite un estudio (OSC, 2012). Se puede evaluar de forma dicotómica, como número de éxitos o fracasos en sucesivas replicaciones, usando como criterio las pruebas de hipótesis estadísticas (Anderson & Maxwell, 2017), así como de manera cuantitativa, evaluando en qué medida el tamaño del efecto original es semejante en las repeticiones del experimento (OSC, 2012). Es importante considerar que la falla en replicar no es un hecho negativo en sí, ya que puede incrementar la innovación, al promover la investigación sobre los factores que explican este hecho (OSC, 2015).
Hasta el año 2010, se estima que solo un 1,07% de las investigaciones publicadas en psicología correspondía a replicaciones (Makel, Plucker & Hegarty, 2012) . A partir de la segunda década del siglo XXI, destaca la labor de la OSC, una comunidad de investigadores en psicología que, mediante los protocolos y recomendaciones presentes en la plataforma web Open Science Framework (OSC, s.f.), ha estimado la reproducibilidad en la ciencia psicológica (OSC, 2015), evaluado el grado de variabilidad en la replicabilidad (Klein et al., 2014) y determinado la variación a lo largo del semestre de los efectos en estudiantes universitarios (Ebersole, Atherton et al., 2016).
Pese a la mayor importancia atribuida a la replicación, las nuevas modalidades de diseño basadas en esta metodología, tales como los Reportes Registrados de Replicación (Marsden, Morgan-Short, Trofimovich & Ellis, 2018), se encuentran en un estado incipiente de desarrollo. Por tanto, es esperable que se presenten las resistencias que se han observado frente a la introducción de otros cambios metodológicos dentro de la comunidad psicológica (Sharpe, 2013). Las causas de esta resistencia son múltiples, tanto técnicas como psicológicas y culturales (Gigerenzer, Krauss & Vitouch, 2004; Hunt, 1975; Makel & Plucker, 2014; Rosnow & Rosenthal, 1989). El factor sociocultural sería particularmente relevante, ya que las prácticas metodológicas psicológicas responden a una estructura ad hoc, que responde más bien a presiones institucionales y culturales que a principios pragmáticos o lógicos (Danziger, 1987; Michell, 2003a, 2003b; Westerman, 2006).
Es necesario considerar que existe una fuerte relación entre el proceso de investigación y la publicación en revistas científicas. La publicación ejerce gran influencia en la carrera de los investigadores, por lo que es lógico que estos desean publicar la mayor cantidad posible de artículos en revistas de alto prestigio (Nosek, Spies & Motyl, 2012), particularmente en aquellas con revisión de pares (Nicholas et al., 2015). El comportamiento de los editores y los revisores genera un fuerte sistema de incentivos, por lo que los investigadores ajustan sus artículos, y en parte el proceso de investigación que lo sustenta, a las expectativas de los evaluadores (Maner, 2014). No basta con producir un artículo que sea metodológicamente riguroso para ser publicado. El investigador debe saber que es aceptable para publicar por los editores y revisores pares, y obtener resultados que calcen con estas expectativas, particularmente la presentación de resultados claros, exitosos y novedosos (Giner-Sorolla, 2012).
Se observa en psicología una actitud negativa hacia la publicación de replicaciones, tanto por parte de los editores y revisores de revistas como por parte de las fuentes de financiamiento (McBee & Matthews, 2014). Una de las principales causas de este rechazo a las replicaciones es la presión por resultados novedosos. En un estudio sobre las instrucciones en 1151 revistas en psicología, se encontró que un importante porcentaje de revistas en psicología rechaza las replicaciones, ya sea explícitamente (1%) o implícitamente, al enfatizar la originalidad (33%; Martin & Clarke, 2017). Además de la búsqueda de novedad, los editores rechazarían las replicaciones, porque esto dañaría el ranking de sus revistas (Makel & Plucker, 2014), apreciación que resulta incorrecta, porque este tipo de estudios son tanto o más citados que los originales (Makel et al., 2012). Además, las replicaciones fallidas pueden ser negativas para las revistas como para los investigadores involucrados, tal como lo demuestra la polémica por las dificultades para replicar los resultados de las investigaciones sobre priming, que llevó al cuestionamiento de toda esa línea de investigación (Earp & Trafimow, 2015). Finalmente, se considera que realizar replicaciones refleja características negativas de las personas que las realizan, específicamente falta de prestigio, originalidad o emoción (Makel et al., 2012).
Aunque el proceso de comunicación académica se ha enfocado principalmente como un problema de estudio sociológico (Mabe & Mulligan, 2011), existe una abundante literatura que centra su atención en la conducta individual de publicar, que se considera un comportamiento social posible de explicar por factores sociocognitivos (Ware & Mabe, 2015). De particular interés resultan las motivaciones de los investigadores, con respecto a razones principales para publicar (Mulligan & Mabe, 2011), factores que se consideran al elegir una revista dónde enviar un artículo (Mabe & Mulligan, 2011; Nature Research, 2015), características positivas y negativas que se le atribuyen al proceso de revisión por pares (Nicholas et al., 2015) y motivos para publicar en español o inglés (López-Navarro, Moreno, Burgess, Sachdev & Rey-Rocha, 2015). En el ámbito específico de la replicación, destacan las investigaciones relacionadas a los efectos en las actitudes y creencias de las fallas en replicar. Ebersole, Axt y Nosek (2016) estudiaron cómo la reacción de un investigador frente a una replicación negativa afecta la evaluación de otros sobre sus habilidades y ética. Eriksson & Simpson (2013) analizaron las condiciones de publicación bajo las cuales se alteran las creencias en una replicación fallida.
Se pueden observar diversas limitaciones en la literatura sobre la publicación académica considerada como conducta. En primer lugar, si bien es posible reconocer las teorías de la cognición social como relevantes para el estudio del problema, ya que se utilizan constructos como actitud, creencia y motivación en varias investigaciones, no existe una teoría de carácter general que sirva como eje orientador del análisis. En segundo lugar, las investigaciones sobre la motivación para publicar se han concentrado en las razones para publicar y los atributos de las revistas y no en las características del tipo de publicación específica. Finalmente, la literatura sobre las creencias y actitudes referidas a las replicaciones atiende a la lectura de estas y no a su realización y posterior publicación. Por tanto, fue necesario considerar un modelo general que, atendiendo al tipo de factores considerados en la literatura -creencias, actitudes, motivación-, permitiese entender de modo integral la conducta de interés. Se seleccionó uno de los modelos más conocidos en psicología social, la teoría de la conducta planificada (TCP), que permite explicar la conducta racional bajo control volitivo limitado (Ajzen, 2012a; Fishbein & Ajzen, 2010). Este modelo ha mostrado su capacidad para predecir distintos tipos de conductas en estudios observacionales (Armitage & Conner, 2001; McEachan, Conner, Taylor & Lawton, 2011) y experimentales (Sheeran et al., 2016).
La TCP señala que la acción humana está influenciada por tres factores principales: (a) la actitud hacia la conducta, definida como una evaluación favorable o desfavorable de la conducta que se desea evaluar; (b) la norma subjetiva, correspondiente a la presión social percibida para realizar la conducta y (c) el control conductual percibido, asociado a la capacidad percibida para realizar el comportamiento. Estos tres factores llevan a la formación de una intención conductual, la cual se expresaría en la realización de una conducta específica si se presentan las condiciones propicias para ello (Ajzen, 2012b; Fishbein & Ajzen, 2010).
Las creencias, dentro del marco de la TCP, se definen como los atributos o propiedades que se asocian a un objeto o situación pertinente a la conducta estudiada. Cada uno de los determinantes de la intención y de la conducta son influenciados por creencias específicas. De esta manera, las actitudes están determinadas por creencias conductuales, correspondientes a la evaluación positiva o negativa de los atributos asociados a la conducta. Estos atributos se suelen expresar como consecuencias positivas (ventajas) o negativas (desventajas) de realizar la conducta. La norma subjetiva se sustenta en las creencias normativas, relacionadas a la percepción sobre el grado en que otros actores significativos para la persona aceptan o rechazan la conducta. Finalmente, el control conductual percibido se sustenta en creencias de control, relacionadas con la evaluación de distintos factores que facilitan o dificultan la realización de la conducta (Ajzen, 2012a; Fishbein & Ajzen, 2010).
Las creencias relevantes para explicar la conducta son las denominadas salientes, es decir, aquellas que son fácilmente accesibles en la memoria. Para identificarlas, se le solicita al participante que, respecto de una conducta específica -en este caso la publicación de una replicación- liste las principales ventajas y desventajas de realizarla, qué personas o grupos estarían a favor o en contra y qué factores podrían facilitarla o dificultarla (Fishbein & Ajzen, 2010).
La TCP ha sido criticada por diversos autores (Barber, 2015; Morgan & Bachrach, 2011; Ogden, 2003; Sniehotta, Presseau & Araújo-Soares, 2014), entre otros motivos, por la imposibilidad de ser refutada, de estar acotada a acciones racionales y por su escasa consideración a las condiciones del contexto. Pese a estas críticas, en este estudio se consideró que la TCP es un referente teórico interesante para estudiar las creencias asociadas a la publicación de replicaciones. Varias de las críticas antes nombradas responden a una mala comprensión del alcance de la TCP (Ajzen, 2011, 2014; Fishbein & Ajzen, 2010) o no resultan pertinentes a la conducta que se estudió en este trabajo.
En primer lugar, se ha afirmado que la TCP es un modelo no falsable, ya que siempre es posible crear explicaciones ad hoc para explicar la falta de ajuste de la teoría a una situación particular, no siendo posible probar la teoría en sí (Ogden, 2003). A este respecto, es posible señalar que la TCP es definida como un modelo libre de contenido para explicar la conducta humana, que se puede adaptar para explicar situaciones específicas (Ajzen, 2011). Es, por tanto, una teoría débil, que tiene valor en tanto dirige la atención a problemas que merecen ser atendidos de forma sistemática, más allá de lo correcto de las predicciones particulares (Eysenck, 1985). Desde la perspectiva de Lakatos (1978/1983), la TCP no sería una teoría específica, sino un programa de investigación, que tiene como núcleo firme la relación mediada entre creencias, predictores de la intención, intención y conducta, siendo su aplicación a situaciones específicas parte de la heurística positiva, que busca cómo conciliar los datos empíricos con el núcleo firme. Por ejemplo, la evidencia contraria a la hipótesis de suficiencia -toda la variabilidad en la conducta puede ser explicada por las diferencias en intención y estas, a su vez, por los cambios en actitudes, norma subjetiva y control conductual percibido-, que muestra la importancia de factores como los hábitos y la autorregulación, entre otros, como moderadores de la relación entre intención y conducta (Sniehotta et al., 2014), da cuenta de la riqueza de la TCP como generador de hipótesis particulares, que especifican las condiciones bajo las cuales el núcleo firme es aplicable.
En segundo lugar, se afirma que la TCP está limitada a conductas racionales o lógicas. Esto es incorrecto, ya que esta teoría no tiene como supuesto que el actor sea siempre racional. Las creencias que sostienen la conducta pueden ser incompletas e irracionales; lo único que afirma la teoría es que la intención y conducta serán consistentes con las creencias que las soportan (Ajzen, 2011). En el caso de este estudio, esta crítica no aplicaría, ya que la conducta de publicar un artículo es un comportamiento racional, que implica un fuerte grado de planificación y un relativamente bajo compromiso afectivo, por lo que las críticas a la TCP por su debilidad para enfrentarse a situaciones con alta carga afectiva o con impulsos que moderan la relación entre intención y conducta no aplicaría (Barber, 2015).
En tercer lugar, si bien se afirma que la TCP no puede explicar bien la conducta cuando existen fuertes restricciones e incentivos del exterior (Morgan & Bachrach, 2011), esta considera que la intención está influida por las creencias del sujeto sobre estos factores, las creencias normativas para lo referido a normas sociales y las creencias de control para otro tipo de factores, independientemente de si estos factores limitan o favorecen la conducta (Ajzen, 2011; Fishbein & Ajzen, 2010). De esta manera, el interés de esta investigación fue estudiar cuáles son los factores que los investigadores creen que afectan la conducta de publicar, independientemente del ajuste a la realidad de estas creencias.
Como conducta de referencia en el presente estudio se definió publicar un estudio de replicación dentro de un plazo de cinco años. Se decidió acotar esta acción, especificando tres tipos de replicaciones: replicación directa, replicación conceptual y adaptación de instrumentos. Se eligieron las replicaciones directas y conceptuales, porque la taxonomía de Schmidt (2009) es una de las más utilizadas y existe una abundante discusión sobre los aspectos positivos y negativos de ambos tipos de replicaciones (Cousineau, 2014; Crandall & Sherman, 2016; Nosek & Lakens, 2014; Simons, 2014; Stroebe & Strack, 2014). Se eligió la adaptación de instrumentos, porque constituye un tipo de estudio común, posible de ser catalogado como una replicación constructiva, de acuerdo a la taxonomía de Hüffmeier et al. (2016). Cuenta con directrices para su realización desde el año 1996 por parte de la Comisión Internacional de Test, que han tenido un amplio impacto (Muñiz, Elosua & Hambleton, 2013).
De acuerdo a los antecedentes antes planteados, el objetivo de la investigación fue comprender las creencias conductuales, creencias normativas y creencias de control relacionadas con la publicación de estudios de replicación directa, replicación conceptual y adaptación de instrumentos, en investigadores en psicología de Hispanoamérica y España.
Método
Este estudio cualitativo, basado en la respuesta a un cuestionario semiestructurado en línea, forma parte de un proyecto mayor, denominado “Teoría de la Conducta Planificada e Intención de Publicar Replicaciones en psicología”, tesis de grado del autor principal para optar al grado de Doctor en Psicología en la Universidad de Concepción, Chile, destinado a explicar la conducta de publicar replicaciones en investigadores en psicología.
Participantes
Se consideró como población de esta investigación a los investigadores con publicaciones en las revistas indexadas en la base de datos Scopus en la categoría de psicología, realizadas entre 2014 y 2016 con filiación en instituciones de Hispanoamérica o España, países que cuentan como idioma oficial el castellano. El total de artículos considerado en este estudio fue de 39287 artículos, incluidos en 1404 revistas científicas.
Se consideró como criterios de inclusión el que el participante contase con al menos un correo electrónico de contacto disponible y fuera autor o coautor de al menos un artículo pertinente a la psicología, tras la revisión manual de sus publicaciones disponibles en Scopus e Internet, cuando era necesario. Este último criterio fue agregado al constatarse que existen revistas multidisciplinarias que incluyen la psicología como asunto, pero en las cuales no necesariamente todos los artículos son pertinentes a dicha disciplina.
Se envió invitaciones a participar a un total de 605 investigadores, utilizando muestreo estratificado con afijación proporcional al tamaño del estrato. Los estratos fueron definidos de acuerdo al país de la filiación del último artículo publicado: Argentina, Chile, Colombia, México, España y otros países de Hispanoamérica. Para identificar la filiación de cada autor, se buscó el último artículo publicado según Scopus; para esto, entre los artículos del último año con publicaciones en el periodo 2014-2016, se seleccionó el artículo que presentaba el código mayor de identificación de Scopus. Se definió el tamaño de muestra considerando que se deseaba obtener un mínimo de 30 respuestas -10 por tipo de replicación- y que la tasa de respuestas en dos pilotos previos había sido de 5%.
Del total de envíos, 74 personas respondieron la encuesta en su totalidad (tasa de respuesta = 12,2%), tres aceptaron participar, pero no respondieron ninguna pregunta relativa a la replicación y 123 visitaron la presentación, sin realizar ninguna actividad. La distribución de participantes por tipo de replicación encuestada, que fue seleccionada al azar por la plataforma en línea, fue de 27 para adaptación de instrumentos, 22 para replicación conceptual y 25 para replicación directa.
La edad promedio de los 74 participantes que completaron la encuesta fue de 43,45 años (DE = 9,78), siendo un 58,1% mujeres. Del total de participantes, 44 declaran pertenecer a una disciplina de la psicología, en tanto que 30 no. Un 74,3% de los participantes afirman haber realizado estudios de magíster o maestría, y un 89,2% presenta estudios de doctorado. Tal como se puede observar en la (Tabla 1), el mayor número de participantes pertenece al estrato con filiación en instituciones españolas, pero, además de la nacionalidad española, se cuenta con investigadores de nacionalidad italiana, alemana y ecuatoriana. En el caso de los estratos de muestreo para Chile, Argentina, Colombia, México y otros países de Latinoamérica, la nacionalidad coincide con el estrato de muestreo.
Instrumento
El cuestionario Identificación de Creencias Relacionadas con la Publicación de Replicaciones se aplicó en formato electrónico. Al momento de ingresar a la plataforma de encuesta, a cada investigador se le asignó de forma aleatoria una de tres formas, cada una destinada a estudiar las creencias en un tipo específico de replicación: replicación directa, replicación conceptual y adaptación de instrumentos. El cuestionario comenzaba solicitando el consentimiento informado, para luego consultar por los antecedentes sociodemográficos y de formación generales. Después, se le presentaba al participante una viñeta identificando y explicando el tipo de replicación específica asignada (ver Anexo) y se le solicitaba que describiera, en formato de pregunta abierta, las principales ventajas y desventajas de publicar una replicación, qué personas o grupos estarían a favor o en contra de la publicación de una replicación y qué factores podrían facilitar o dificultar la publicación de una replicación.
Procedimiento
La presente investigación fue aprobada por el Comité de Ética y Bioética del Departamento de Psicología de la Universidad de Concepción. Previo a la aplicación de cada encuesta, se realizó el procedimiento de consentimiento informado por medio electrónico mediante el llenado de un formulario para todos los participantes, asegurándoles la confidencialidad de sus respuestas; solo el investigador principal tiene conocimiento de la identidad de los participantes. Al concluir el proceso, los resultados preliminares fueron enviados a todos los participantes.
Para preparar la recolección de información en línea de la identificación de creencias, se realizaron dos pilotos. El primer piloto tuvo como objetivo verificar la viabilidad del formato en línea para realizar la investigación y el segundo, mejorar los aspectos considerados deficitarios en el primer piloto. Estos pilotos fueron realizados bajo los mismos criterios de selección de la población de estudio, pero con publicaciones realizadas entre el 2011 y el 2013.
En una aplicación web diseñada ad hoc para este estudio, se incluyó la información disponible en la base de datos Scopus sobre nombre de autores, publicaciones y filiaciones. Combinando esta información, se determinó para cada autor el último artículo publicado en psicología, usando como país del autor la correspondiente a la primera filiación del artículo. Se realizó el muestreo por país, revisando individualmente cada autor para verificar si al menos uno de sus artículos era pertinente a la psicología, asignar sexo y eliminar duplicados.
Para contactar a los participantes, se enviaron correos electrónicos personalizados, que incluían el nombre del participante, el último artículo publicado en psicología indexado en Scopus y el enlace de contacto hacia la encuesta. A cada autor se le asignó un código único, que lo identificaba en la encuesta y evitaba accesos no autorizados en la plataforma.
Los participantes respondieron en una plataforma de encuesta en línea, administrada por los investigadores. Esta plataforma registraba la visita de los participantes, asignaba al azar una de las tres modalidades de replicación y redirigía al cuestionario electrónico, implementado sobre el software de encuestas en línea Limesurvey (Limesurvey GmbH, 2018).
Análisis de Datos
El análisis de los datos se realizó mediante análisis temático, el cual se define como el método que permite identificar, analizar y reportar patrones o temas en datos cualitativos. Un tema captura algo importante de los datos con respecto a la pregunta de investigación y representa algún tipo de patrón de respuesta o significado dentro de los datos (Braun & Clarke, 2006; Clarke & Braun, 2013). El procedimiento de análisis de datos fue diseñado considerando las recomendaciones realizadas por diversos autores (Braun & Clarke, 2006; Joffe & Yardley, 2004; Tuckett, 2005). El análisis se realizó en todas las etapas por los dos primeros autores, quienes en cada fase analizaron la información de forma independiente en el software Nvivo-11 (QSR International, 1999), para luego aunar criterios, con el objetivo de aumentar la confiabilidad del proceso y disminuir los sesgos personales. Posteriormente, se utilizó el software R (R Core Team, 2020) para realizar análisis de frecuencias. El análisis consideró cinco etapas: (a) revisión preliminar de los cuestionarios; (b) generación de códigos iniciales sobre los textos en bruto de los cuestionarios; (c) organización de los códigos en temas, siendo analizada la coherencia de estos temas, revisando de forma iterativa los extractos de texto pertinentes a los códigos; (d) análisis de la frecuencia de códigos por tipo de creencia y (e) identificación de temas definitivos, con selección de extractos de respuesta. El resultado del análisis temático, en forma narrativa, se encuentra disponible como datos anexos (https://osf.io/qw6u9/).
Resultados
El proceso de identificación de creencias permitió establecer cuáles son las creencias conductuales, normativas y de control salientes asociadas a la publicación de replicaciones para los investigadores, es decir, aquellas que se encuentran rápidamente disponibles en la memoria del participante. Fishbein & Ajzen (2010) definen como creencias modales aquellas que se expresan con mayor frecuencia por los participantes. Se utiliza como criterio de modalidad que una creencia sea nombrada al menos por el 20% de los investigadores en un determinado tipo de replicación.
Las citas textuales de los participantes se asocian a un código con la siguiente estructura:
Tipo de replicación y correlativo. RD: Replicación directa, RC: Replicación conceptual, AI: Adaptación de instrumento.
Sexo y edad. H: Hombre, M: Mujer; la edad va a continuación.
País: Se utiliza el código de dos letras (ISO 3166).
Disciplina: Se estandarizaron las respuestas de acuerdo la versión SKOS de la nomenclatura de ciencia y tecnología de la UNESCO, que es un sistema de clasificación del conocimiento ampliamente utilizado en proyectos de investigación y tesis doctorales (Pastor Sánchez, Martínez Méndez & Iniesta Ibáñez, 2019). La asignación de las respuestas originales a las categorías estandarizadas está disponible como un conjunto de datos anexo (https://osf.io/kjcdt/).
Si bien en la presentación del estudio y en las preguntas se explicita que se pregunta por la publicación de replicaciones, al contestar sobre las ventajas y desventajas de publicar replicaciones, es decir, las creencias conductuales, los participantes suelen responder por el proceso de investigación que lleva a la publicación, más que por la conducta específica de publicar. Sin embargo, al responder respecto a creencias normativas y de control, las respuestas tienden a enfocarse en la publicación en sí.
Creencias Conductuales
En la (Tabla 2) se pueden observar las creencias conductuales salientes, expresadas por al menos cuatro participantes, destacando la diferencia que existe en la frecuencia de cada creencia con respecto al tipo de replicación. Considerando el tipo de replicación específica, se pueden identificar las siguientes creencias conductuales modales relacionadas a la publicación de replicaciones: (a) todos los tipos de replicación permiten generalizar teorías y resultados a contextos distintos; (b) se consideran poco originales las publicaciones de replicaciones directas y conceptuales; (c) la publicación de replicaciones conceptuales es útil para estudiar el rol de la metodología en el estudio de una teoría; (d) las adaptaciones de instrumentos son útiles para comparar adecuadamente grupos en diferentes contextos y culturas, pero es necesario asegurar su adecuación al contexto y el ajuste psicométrico de las pruebas y (e) los resultados negativos de las replicaciones son difíciles de interpretar.
Generalizar teorías y resultados. Según los participantes, uno de los objetivos más importantes de las replicaciones es verificar en qué medida la teoría es generalizable a distintas situaciones. Los resultados de las replicaciones varían tanto por factores manipulados por el investigador como, por ejemplo, el uso de una metodología distinta o la aplicación a un grupo diferente, como por factores no controlables, como las diferencias individuales no medidas de los participantes. Así, la realización de replicaciones permite determinar en qué medida los resultados obtenidos en investigaciones previas son robustos, independientemente del contexto:
Supone una perspectiva de conocimiento universal, es decir, los hallazgos aspiran a aplicarse a una gran cantidad de circunstancias (sujetos) tendiendo a aumentar la validez externa. (RD10-H-34-AR-Psicología)
Se distinguen diversos factores que afectan el resultado de una replicación, los cuales pueden ser controlados o medidos por el investigador. Si el resultado de los estudios se replica en el nuevo estudio, se puede decir que estos son independientes del factor que ha sido manipulado o ha variado. En particular, se distinguen cuatro factores que pueden variar de replicación en replicación: (a) los participantes, (b) cambios atribuibles al paso del tiempo, (c) aspectos metodológicos específicos y (d) variables no controladas, propias de la aplicación específica.
Poca originalidad de las replicaciones directas y conceptuales. Los participantes señalan que la percepción de falta de novedad en las replicaciones, tanto en la temática como en el abordaje metodológico, las hacen menos atractivas para la publicación y, en menor medida, para el financiamiento por agencias y su autorización por las entidades responsables. Esto es particularmente evidente en las réplicas directas, en las que se espera reproducir el experimento u observación en toda su extensión:
Es difícil fundamentar un estudio como "réplica" de otro, se pide que los proyectos de investigación que elaboremos sean originales, que permitan responder a preguntas que son ausentes en la literatura, que resuelvan controversias en resultados o que generen nuevo conocimiento. La replicación de estudios parecen "refritos" y no se valora que pueda aportar datos nuevos. (RD1-M-44-MX-Neurociencias/Educación)
Como consecuencia de lo anterior, se señala que las réplicas constituyen un freno a la ciencia, una pérdida de recursos que podrían ser destinados como aporte a temas nuevos que necesitan atención:
El no aportar a otros temas que requieren ser investigados. Considero que en el ámbito científico hay líneas que están siendo atendidas ampliamente por los científicos, mientras que otras no se exploran o están siendo relegadas, debido a esta cuestión de la replicación conceptual. (RC10-M-38-
Replicaciones conceptuales permiten estudiar el efecto de la metodología. Ciertos resultados pueden ser fruto de características específicas del método utilizado en el estudio original. En el caso de la replicación conceptual, se puede probar la influencia del método al realizar variaciones voluntarias del dispositivo metodológico. Una replicación positiva permite afirmar que los resultados responden efectivamente a la teoría. Si la replicación es negativa, indica que los resultados dependen del método. La replicación conceptual, además, permite ampliar el rango de metodologías disponibles para investigar. Al comprobar que distintas opciones metodológicas son válidas para estudiar un mismo fenómeno, resulta útil para el diseño de nuevas metodologías en la investigación aplicada:
Es claro que la función de una teoría es explicar factos y predecir nuevos factos. La replicación conceptual permite testar la robustez de una teoría al variar la metodología. Si la teoría es robusta, tendrá que acertar la predicción, aunque sea desarrollada con metodología distinta. (RC20-H-45-IT-Psicología)
Consideraciones sobre las adaptaciones de instrumentos. De acuerdo a los investigadores, el rol principal de la adaptación de instrumentos es permitir su uso en distintos contextos al de origen en diferentes poblaciones. Los investigadores destacan dos aspectos: ajuste psicométrico y adaptación al contexto y cultura. En primer lugar, adaptar exitosamente un instrumento requiere mostrar su confiabilidad e indicadores de validez para el lugar donde será aplicado; esto implica obtener baremos para la población destino. En segundo lugar, el instrumento debe ser adecuado al contexto y cultura, lo que exige una traducción de calidad y ajustar el lenguaje para que sea comprensible por la población a investigar:
La principal [consideración] es que permite utilizar en investigación instrumentos fiables y válidos en la lengua y contexto en el que se usan. Permiten el uso no solo para investigación, sino para otros usos, para lo que es importante que la muestra normativa de referencia también esté adaptada, es decir que no solo se adapte el instrumento, sino que se genere también un baremo adaptado. (AI7-H-50-ES-Neurociencias)
En cuanto a la utilidad de las adaptaciones, los participantes relevan tres aspectos. Primero, se destaca su aplicación por profesionales e instituciones, para evaluación y tratamiento. Segundo, los instrumentos adaptados pueden ser usados en investigación para realizar estudios entre culturas. En tercer lugar, son indispensables en las replicaciones para lograr mostrar que una teoría es aplicable a múltiples poblaciones, particularmente cuando existen diferencias de idiomas.
Resultados negativos son de difícil interpretación. Según los participantes, interpretar los resultados negativos de una replicación presenta dificultades importantes, particularmente si es una replicación conceptual. La falla en replicar puede explicarse de varias maneras; por ejemplo, a que la hipótesis original no sea correcta, a cambios en el método o a diferencias individuales o de contexto no consideradas. Si bien esto es positivo, porque permitiría identificar variables relevantes que antes no habían sido consideradas, podría dificultar la publicación del artículo si no se logra encontrar una justificación razonable:
Si la replicación conceptual "falla" en el sentido de que lleva a resultados distintos de la predicción, no sabremos si esto es debido a la metodología diferente o a la muestra diferente. Por las mismas razones, aunque la replicación funcione, es decir, aunque se replique el resultado, alguien podría argumentar que es posible que el "efecto debido a la muestra diferente" y el "efecto debido a la metodología diferente" son significativos, pero tienen signos distintos y son cuantitativamente equivalentes. (RC20-H-45-IT-Psicología)
Creencias Normativas
Con respecto a las creencias normativas salientes, a partir de las respuestas de los investigadores se distinguen tres grandes grupos de actores: (a) la comunidad científica, correspondiente a los investigadores y estudiantes; (b) la institucionalidad relacionada a la ciencia, correspondiente a instituciones cuyo objetivo principal es realizar o financiar investigaciones y (c) los actores externos, que aprovechan los resultados de la investigación, pero no están dedicados a realizarla o financiarla. En la (Tabla 3) destaca en cada uno de estos grupos la gran variedad de actores nombrados, así como la diferencia en apoyo o rechazo, dependiendo del tipo de replicación.
Considerando la modalidad de cada creencia, se pueden realizar las siguientes afirmaciones sobre las creencias normativas relacionadas con la publicación de cada tipo de replicación:
Adaptación de instrumentos: Según los participantes, la publicación de adaptaciones es aceptada tanto por la comunidad científica, la institucionalidad relacionada a la ciencia y los actores externos. En particular, destaca el interés de las universidades o los lugares donde se trabaja por este tipo de publicaciones, particularmente por instituciones y profesionales que requieren instrumentos válidos para la evaluación y diagnóstico. Ningún actor presentaría una fuerte resistencia a este tipo de publicación.
Replicación conceptual: Destaca la ambigüedad con que los participantes evalúan la posición de las revistas científicas frente a este tipo de replicación. Un 31,8% de los autores afirma que las revistas rechazan la publicación de replicaciones conceptuales. Un porcentaje similar, 27,3%, señala que las revistas las aprueban. En general, no se observa ningún apoyo claro de algún referente, siendo frecuente la respuesta que "todos" apoyarían este tipo de publicación. Coincidente con esto, los investigadores afirman desconocer quienes rechazarían este tipo de publicaciones.
Replicación directa: Los participantes declaran que su publicación sería aprobada por los distintos actores de la comunidad científica, pero rechazada por la institucionalidad relacionada a la ciencia. La situación no es tan clara con respecto a los actores externos, ya que las instituciones gubernamentales y organizaciones no gubernamentales (ONG) aprobarían este tipo de publicaciones, en tanto que las revistas indexadas las rechazarían.
Considerando la importancia de las revistas en el proceso de publicación, es necesario realizar una descripción más detallada de las creencias de los participantes al respecto. Los investigadores creen que las revistas científicas, y en particular sus editores, serían renuentes a aceptar replicaciones, porque priorizan cierto grado de novedad conceptual, particularmente en temáticas en boga o que resultan importantes por la contingencia. Así, la revisión de resultados obtenidos a través de investigaciones previas, aun cuando cuenten con un amplio respaldo teórico, se vería como algo secundario. Sin embargo, un aspecto que podría revertir esta situación es la presencia de un resultado inesperado -obtener un resultado negativo- en un tema controversial o importante, especialmente si se ofrece una buena explicación.
Los participantes señalan que existen dos tipos de revistas que se mostrarían favorables a las replicaciones. Primero, se encuentran aquellas que declaran tener políticas positivas hacia las replicaciones y, segundo, aquellas revistas que declaran preferir la rigurosidad metodológica por sobre la novedad. Por lo tanto, el énfasis estaría puesto en que las réplicas cumplan con estándares de calidad, para ser aceptadas y posteriormente publicadas:
Las revistas tipo Plos o Frontiers acentúan la calidad metodológica del trabajo antes que la originalidad de los resultados, con lo que se facilita en alguna medida la publicación de replicaciones. Claro que hay que pagarlas, lo cual no es un aspecto menor. (RC4-H-41-AR-Psicología fisiológica)
El rechazo percibido de las revistas de mayor impacto a las replicaciones llevaría a los participantes a publicarlas en revistas con menor índice de impacto. Considerando las políticas nacionales de entrega de recursos en función del número de publicaciones de alto impacto, resulta razonable que los investigadores prefieran evitar realizar replicaciones:
[Factor que dificulta publicar es] El castigo que suele representar actualmente el publicar en revistas de impacto bajo (no solo no se tienen en cuenta las publicaciones, sino que se te castiga por tenerlas, una situación absolutamente absurda). (RD13-H-63-ES-Fisiología humana)
Creencias de Control
En el caso de las creencias de control, se puede observar en la (Tabla 4) que la disponibilidad de recursos y las características del tema estudiado son factores relevantes para la publicación de los tres tipos de replicaciones, de acuerdo a los participantes. Para las replicaciones conceptuales y directas son importantes las características de la investigación en sí, específicamente su calidad metodológica, así como la aceptación en las revistas científicas. Para la replicación conceptual es relevante el interés de la comunidad científica en general y de otros grupos como factor que apoya la realización de este tipo de estudios.
Discusión
El objetivo general del estudio fue comprender las creencias relacionadas con la publicación de estudios de replicación en investigadores en psicología de Hispanoamérica y España. Se encontró que los participantes consideran que la comunidad científica reconoce que la publicación de replicaciones directas, conceptuales y adaptaciones de instrumentos posee múltiples beneficios, tanto teóricos como prácticos. Sin embargo, los editores de las revistas científicas y la institucionalidad tendrían una posición negativa frente a la publicación de replicaciones directas y conceptuales, ya que serían investigaciones poco novedosas, de poco valor cuando los resultados son positivos, o de difícil interpretación cuando son negativos. Esta percepción negativa no aplica a las adaptaciones de instrumentos, que son consideradas fundamentales para la práctica y la investigación, mientras se siga un procedimiento riguroso que garantice el ajuste cultural y las propiedades psicométricas.
El mayor beneficio atribuido por los participantes a las replicaciones, su capacidad para generalizar resultados y teorías a contextos distintos, concuerda con lo descrito en la literatura epistemológica y metodológica respecto de las replicaciones (Kline, 2004; Schmidt, 2009). En el caso de la replicación directa, destaca el rol de las replicaciones internas realizadas por los autores del estudio original para proteger de los falsos positivos desde el inicio del estudio (Giner-Sorolla, 2012; Jarvis & Williams, 2016; Kunert, 2016; Robinson & Levin, 1997; Simons, 2014) y el control de las replicaciones independientes sobre las variables moderadoras relacionadas al contexto específico de aplicación (Martin & Clarke, 2017), permitiendo aumentar la precisión de los resultados al autocorregirse los que son producto del azar (Brandt et al., 2014; Cousineau, 2014; Nosek & Lakens, 2014). Con respecto a la replicación conceptual, si su resultado es positivo, aumenta la confianza en la teoría, que se hace independiente de la operacionalización específica (Crandall & Sherman, 2016). Si es negativo, indicaría la existencia de posibles moderadores que deben ser estudiados en futuras investigaciones (Klein et al., 2014). Además, las replicaciones conceptuales permitirían validar nuevas formas de investigar (Crandall & Sherman, 2016).
Cabe destacar que las replicaciones, ya sean estas directas, conceptuales o adaptaciones de instrumentos, permitirían ahorrar recursos, al aprovechar las experiencias tanto positivas como negativas de otros investigadores. Sin embargo, la presencia del sesgo de publicación, la mayor probabilidad de que un resultado estadísticamente significativo sea publicado con respecto a uno no significativo (Rosenthal, 1979), implicaría que no sean publicados los resultados negativos que refutan una teoría, siendo posible que una afirmación falsa dure décadas (Eriksson & Simpson, 2013; Nosek et al., 2012).
El rechazo que los participantes perciben de las replicaciones directas y conceptuales por parte de los editores y revisores de revistas de alto impacto concuerda con lo reportado en la literatura. El rechazo principalmente encubierto a las replicaciones (Martin & Clarke, 2017) se explicaría por la preferencia de los editores y revisores por investigaciones que presenten resultados claros y positivos, que confirmen las hipótesis iniciales (Fanelli, 2010, 2012; Greenwald, 1975) y que sean, además, estudios novedosos e interesantes (Rosnow & Rosenthal, 1989; Yong, 2012), lo que genera una falta de respeto general a la labor de replicación (McBee & Matthews, 2014). Ya que los investigadores desean publicar la mayor cantidad de artículos posible en las revistas más prestigiosas (Nosek et al., 2012), se justifica que se evite realizarlas.
Los participantes observan una aceptación general de todos los referentes hacia las adaptaciones de instrumentos. Esto se explicaría porque la adaptación de instrumentos es una actividad de larga data, útil para contar con instrumentos pertinentes para evaluar en la práctica, además de permitir mediciones válidas para distintos países e idiomas, con propósitos prácticos y de investigación (Muñiz et al., 2013).
Los participantes reportan como una dificultad importante para realizar replicaciones obtener recursos económicos y fondos concursables. Se observa una tendencia creciente a un mayor escrutinio de los gastos en ciencia y a una mayor responsabilidad en el uso de los recursos disponibles (Ovseiko, Oancea & Buchan, 2012). El problema está en que si se enfoca la meta de la labor científica principalmente desde una perspectiva de apoyo a la tecnología e innovación, como ocurre en el caso de Chile (Balbontín, Roeschmann & Zahler, 2018), los recursos asignables a comprobar los efectos de investigaciones pasadas serán menores. Además, considerando los cuestionamientos que se realizan a los investigadores, así como a las revistas y a las fuentes de financiamiento, cuando sus investigaciones no replican (Yong, 2012), resulta comprensible que se espere que los fondos no estén plenamente disponibles para labores de replicación.
Los investigadores destacan como un factor que facilita la publicación de estudios de replicación la presencia de un diseño riguroso. Si bien en la literatura se declara que los editores de revistas de alto impacto tienen un sesgo hacia la novedad (Giner-Sorolla, 2012; Rosnow & Rosenthal, 1989; Yong, 2012), eso no iría en desmedro de su preocupación por una metodología rigurosa. No se puede olvidar que son ellos los que incentivan las principales innovaciones para aumentar la calidad y transparencia de los métodos en psicología (Kidwell et al., 2016). Es comprensible, por tanto, que gran parte de la literatura sobre la crisis de la replicabilidad se centre en recomendaciones metodológicas y en formas de aumentar la transparencia del proceso de investigación (Fiedler & Schwarz, 2016; Finkel, Eastwick & Reis, 2015; Lishner, 2015; Picho, Maggio & Artino Jr., 2016; Sijtsma, 2016; Ware & Munafò, 2015; Wigboldus & Dotsch, 2016). Además, este hecho es deducible de la teoría estética de Giner-Sorolla (2012), quien señala que la publicación de artículos depende de qué tan estéticos sean los resultados, lo que depende de su perfección, claridad y novedad. Si el tercer elemento se elimina, como ocurre en el caso de la replicación directa, es necesario que el estudio aparezca con resultados muy claros y con una metodología impecable.
Las dudas sobre cómo se adaptan los procedimientos e instrumentos desarrollados en otras realidades son similares a las que se declaran en la psicología transcultural (Milfont & Klein, 2018) y en el estudio de la transferibilidad de intervenciones en el área de la salud (Morrison, Hoppe, Gillmore, Cluver, Higa & Wells, 2009). Se puede ver reflejada aquí una de las características propias de la psicología latinoamericana: su necesidad constante de estrategias y métodos alternativos para responder a los problemas sociales de sus países (Montero, 1989).
En conclusión, se puede afirmar que las creencias sostenidas por los investigadores coinciden con lo reportado por la literatura sobre el proceso de publicación científica y la realización de replicaciones. Si bien era esperable que las creencias conductuales y normativas de los investigadores fuesen más positivas hacia la adaptación de instrumentos que hacia las replicaciones conceptuales y directas, considerando los antecedentes teóricos existentes, este es el primer estudio que entrega datos empíricos respecto de esta hipótesis.
Entre las fortalezas de este estudio, está el procedimiento de análisis que buscó reflejar de manera fiel las diversas posturas de los participantes, que consideró la comparación constante entre los datos y los temas emergentes, así como un procedimiento iterativo de análisis independiente y en conjunto de los investigadores. Además, la transferibilidad de los resultados se ve aumentada al haber realizado un muestreo probabilístico, estratificado por el país de los investigadores, con un riguroso protocolo de selección de casos y reclutamiento. La selección de tres tipos de replicaciones resultó ser acertada. El uso de la adaptación de instrumentos como punto de referencia contra el cual comparar los otros dos tipos de replicaciones, permitió discriminar en qué medida ciertos patrones serían comunes o diferentes de acuerdo al tipo de replicación.
La principal limitación del estudio es el uso del diseño de encuesta, que no permitió ahondar en las interpretaciones de los participantes sobre los distintos temas. La baja tasa de respuestas, de solo un 12,2%, se puede explicar por el formato de respuesta abierta, que pareciera ser incómodo para los participantes, de acuerdo a lo reportado en los comentarios realizados en los pilotos y la aplicación final. Si bien el tamaño de muestra final estuvo de acuerdo a lo esperado para lograr determinar las creencias más frecuentes, no permite realizar análisis en función de los datos demográficos, como sexo, edad y nacionalidad, ya que las recomendaciones metodológicas indican que se requiere al menos de 20 casos por casilla para dar cuenta de efectos de relevancia (Simmons, Nelson & Simonsohn, 2011).
A futuro, para profundizar el estudio de las creencias en investigadores sobre la replicación, sería muy recomendable utilizar entrevistas semiestructuradas o focalizadas, así como grupos focales, posibles de implementar en línea. Resultaría interesante analizar en qué medida los investigadores consideran que la publicación es una acción separada o integral del proceso de diseño e implementación de una investigación. La forma en que los investigadores reportan las ventajas y desventajas de la publicación de replicaciones indica que tanto el diseño como la implementación y la publicación están considerados como un único proceso. También sería interesante contrastar las creencias sobre la replicación en países de habla inglesa, como también compararlas con las creencias relacionadas a investigaciones que buscan probar hipótesis originales.
Anexo
Viñetas de Descripción de Tipo de Replicación
Replicación Directa
La replicación directa es un tipo de estudio que repite una investigación previa, con los mismos objetivos y metodología por un equipo independiente, para verificar si los resultados obtenidos en la investigación original son robustos.
En términos concretos, se realiza una nueva investigación donde se mantienen los objetivos, la forma de obtener participantes, los instrumentos de medición, los procedimientos y los métodos de análisis estadísticos de la investigación original.
Si la réplica directa se aplica en un contexto diferente, deben realizarse las adaptaciones estrictamente necesarias para asegurar que los distintos aspectos de la metodología sean equivalentes entre el estudio original y la réplica.
Replicación Conceptual
La replicación conceptual es un tipo de estudio caracterizado por repetir una investigación previa por un equipo independiente, en el cual se mantienen los objetivos del estudio original, pero se evita imitar su metodología.
El objetivo de la replicación conceptual es verificar si la teoría que sostiene la investigación es robusta, ya que si los resultados son similares, implica que las hipótesis pueden ser corroboradas, aunque existan diferencias en la metodología concreta aplicada.
Un estudio ideal de este tipo debería realizarse explicándole a un investigador independiente solo los objetivos y resultados principales del estudio original. En la nueva investigación se deben desarrollar de forma autónoma el diseño, las mediciones y el análisis de datos.
Adaptación de Instrumentos
La adaptación de instrumentos es el tipo de estudio que tiene por objetivo permitir el uso de instrumentos en contextos lingüísticos y culturales diferentes a aquellos en que fueron construidos.
La adaptación implica una serie de procesos, tales como la realización de una o más traducciones, modificaciones del lenguaje y de las formas de aplicación para ajustarse a las características sociales y culturales del grupo al cual se quiere destinar el instrumento. También considera el estudio de las propiedades psicométricas y de indicadores de validez, ajustes del proceso de puntuación e interpretación, así como entregar documentación sobre las características del instrumento adaptado.
