SciELO - Scientific Electronic Library Online

 
vol.31 número3"Working Alliance Inventory" Versión Observacional: Traducción, Adaptación y Validación al CastellanoEstudio Bibliométrico Sobre Intervenciones Psicológicas para la Esquizofrenia índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

Compartir


Terapia psicológica

versión On-line ISSN 0718-4808

Ter Psicol vol.31 no.3 Santiago  2013

http://dx.doi.org/10.4067/S0718-48082013000300006 

 

Validación Chilena del Cuestionario de Evaluación del Apego Romántico Experiences in Close Relationships (ECR): Análisis de la Validez de Criterio

A Chilean Validation of the Romantic Attachment Questionnaire Experiences in Close Relationships (ECR): Analysis of Criterion Validity

 

Rosario Spencer

Universidad de Talca, Chile.

Mónica Guzmán

Universidad Católica del Norte, Chile.

Andrés Fresno

Universidad de Talca, Chile.

Nadia Ramos

Universidad de Talca, Chile.

Correspondencia a:


Resumen

El objetivo de esta investigación fue analizar la validez de criterio del cuestionario de apego romántico Experiences in Close Relationships (ECR, Brennan, Clark y Shaver, 1998) para la población chilena de adultos. Este cuestionario evalúa las dos dimensiones del apego romántico adulto: la evitación (de la intimidad) y la ansiedad (acerca de las relaciones). Los participantes fueron 549 adultos, quienes completaron el cuestionario ECR y el cuestionario de apego adulto CaMir. Se evaluó las propiedades psicométricas del cuestionario, mostrando que es un instrumento con una adecuada validez de criterio y con una estructura factorial que representa las dos dimensiones teóricas propuestas por los autores originales. Se concluye que la versión chilena del ECR es válida para examinar el apego romántico en la adultez.

Palabras clave: apego romántico, apego adulto, validación de instrumento, validez de constructo.


Abstract

The aim of this study was to analyze the criterion validity of the Chilean version of the Experiences in Close Relationships (ECR; Brennan, Clark y Shaver 1998) questionnaire in a sample of Chilean adults. This self-report questionnaire assesses two dimensions of romantic attachment: avoidance (of intimacy) and anxiety (about relationships). 549 Chilean adults completed the ECR and the Chilean version of the adult attachment questionnaire CaMir. Data analyses evaluated psychometric properties of the Chilean ECR, and showed adequate evidence of reliability, criterion validity, and a bifactorial structure similar to the original instrument. We can conclude that the Chilean version of the ECR is a reliable and valid measure to assess the romantic attachment in this population.

Key words: Romantic attachment, adult attachment, test adaptation.


 

Introducción

Bowlby (1980/1993), a través de la teoría del apego, plantea que desde la infancia, y a lo largo de toda la vida, las personas tienden a establecer vínculos afectivos selectivos y estables, y que la pérdida de estos impacta negativamente el desarrollo y bienestar personal.

En la infancia, las principales relaciones de apego se dan entre el niño y sus cuidadores (Bowlby, 1969/1998), y en la adultez, la relación que da cuenta del apego adulto es el vínculo de intimidad establecido con la pareja romántica (Hazan y Shaver, 1987). La experiencia de apego temprana del bebé con sus cuidadores tiene un impacto en la capacidad de formar vínculos en etapas ulteriores del desarrollo. Esto se explica a partir de lo que Bowlby (1969/1998, 1980/1993) propone como Modelo Operativo Interno de apego (internal working model), término empleado para describir las representaciones mentales que el bebé crea de sí mismo, de su figura de apego y de la relación entre ambos. Este modelo representacional se desarrolla tempranamente a partir de la internalización de pautas interaccionales entre los cuidadores y el niño (Bowlby, 1980/1993) y sirven de guía para futuras relaciones interpersonales (Benoit y Parker, 1994; Bretherton y Mundholland, 2008; Fonagy, Steele y Steele, 1991). De este modo, se plantea una continuidad de la calidad del apego, en la medida en que las características del vínculo de apego del bebé con sus cuidadores primarios se extenderían a otras relaciones significativas, por ejemplo, el vínculo de amistad o de pareja (Fraley, 2002; Fraley y Shaver, 2000).

A partir de los estudios pioneros de Hazan y Shaver (1987) el vínculo de pareja fue examinado a la luz de la teoría del apego (Hazan y Shaver, 1987), encontrándose aspectos similares entre las características del apego infantil y los patrones conductuales y sentimentales del vínculo romántico de pareja (Martínez y Santelices, 2005). Desde entonces, el apego romántico ha sido ampliamente estudiado (Mikulincer y Shaver, 2007), con el objetivo de examinar las creencias de las personas respecto a sus sentimientos, comportamientos, actitudes y pensamientos en una relación de pareja (Shaver, Belsky, y Brennan, 2000). Utilizando cuestionarios de autorreporte se han descrito dos dimensiones del apego romántico: la ansiedad y la evitación (Brennan, Clark y Shaver, 1998). La primera explica el grado en que una persona teme o se preocupa por ser abandonada o rechazada en las relaciones de pareja, mientras que la segunda concierne al grado en que una persona evita la intimidad, rechazando la cercanía física y psicológica con la pareja, mostrando molestias al tener que depender y apoyarse en esta (Obegi, Morrison, y Shaver, 2004).

Uno de los instrumentos más utilizados en los estudios sobre apego adulto romántico es el Experience in Close Relationship (Brennan, Clark, y Shaver, 1998), cuestionario que evalúa ambas dimensiones del apego adulto: evitación y ansiedad (Shaver y Mikulincer, 2002). A partir de la combinación de ambas escalas se definen 4 estilos de apego. El apego seguro (bajos niveles de ansiedad y evitación) presenta alta autoestima, confianza en los otros, y relaciones íntimas cercanas y autónomas. El estilo de apego inseguro temeroso (altos niveles de ansiedad y evitación) muestra una autoimagen negativa, una falta de confianza en los demás, y un elevado nivel de estrés en las relaciones. El estilo de apego inseguro preocupado (alta ansiedad y baja evitación) evidencia una autoestima dependiente de la opinión y aceptación de los demás. Finalmente, el estilo de apego inseguro desentendido (baj a ansiedad y alta evitación) se caracteriza por una visión de sí mismo idealizada, una negación de los sentimientos de estrés y una descalificación de las relaciones íntimas (Bartholomew y Horowitz, 1991). De acuerdo al análisis de Fraley, Waller y Brennan (2000), de los cuestionarios utilizados en la evaluación del apego adulto, éste es el que tiene mejores propiedades psicométricas. Los estudios que utilizan el ECR han permitido establecer relaciones entre apego romántico y temáticas relevantes para la psicología, como por ej emplo la evaluación y búsqueda de soporte social (Anders y Tucker, 2000; Mallinckrodt y Wei, 2005; Vogel y Wei, 2005), la violencia conyugal (Treboux, Crowell, y Waters, 2004) e incluso las patologías psiquiátricas (Vogel y Wei, 2005). Sin embargo, los resultados de estos estudios no son del todo generalizables en la medida en que fueron obtenidos a partir de poblaciones provenientes de Estados Unidos, Canadá y Europa (Alonso-Arbiol, Balluerka, y Shaver, 2007; Lafontaine y Lussier, 2003; Olsson, Sorebo y Dahl, 2010; Tsagarakis, Kafestios y Stalikas, 2007). Se evidencia una baja representatividad de poblaciones latinoamericanas en el estudio del apego romántico (del Giudice, 2011), y en el caso de Chile existen pocas iniciativas de investigación en apego adulto (Martínez y Santelices, 2005). Esto se explicaría por la escasez de medidas válidas que permitan realizar estas investigaciones (Martínez y Santelices, 2005), a excepción del cuestionario de apego adulto CaMir (Garrido, Santelices, Pierrehumbert y Armijo, 2009), validado para la población chilena, y que evalúa las estrategias de apego del adulto en términos generales (no específicamente en la pareja). Otra iniciativa en esta línea corresponde a la elaboración de una versión breve del ECR chileno, con una población similar, pero con una muestra de mayor tamaño que la del presente artículo, que sirvió para constatar la validez de constructo del instrumento, mostrando propiedades psicométricas adecuadas (Spencer, Alonso-Arbiol y Fresno, 2013). No obstante, para la elaboración de la versión breve del ECR chileno no se analizó la validez de criterio utilizando como medida de comparación otro instrumento de apego validado en Chile, planteándose por tanto la necesidad de realizar dichos análisis con el instrumento original y completo.

Considerando los antecedentes expuestos, el objetivo del presente artículo es analizar la validez de criterio de la versión chilena del cuestionario de apego romántico ECR, con la finalidad de contribuir al desarrollo de una versión del instrumento válida y fiable para su uso en población chilena de adultos de diversas edades. Se complementará el estudio de la validez de criterio con el análisis de la confiabilidad y de la estructura factorial del cuestionario, que permitan verificar los resultados encontrados en la propuesta de la versión breve del instrumento (Spencer et al., 2013).

Método

Participantes

Los participantes forman parte de un estudio más amplio que evalúa la transmisión intergeneracional del apego. Por esta razón, la muestra estuvo compuesta por padres, madres, y sus hijos e hijas adultos jóvenes provenientes de la región del Maule. Inicialmente la muestra se compuso de 555 adultos, pero tras detectar los casos atípicos y examinar que fuesen al azar, se eliminaron 6 casos, quedando la muestra formada por 549 sujetos (182 hijos/as, 184 madres y 183 padres).

La muestra de hijos/as (n =182) presenta un promedio de edad de 20.86 años (DE = 2.53) y se distribuye en un 58.8% de mujeres (n = 107) y un 41.2% de hombres (n = 75). La distribución según nivel socioeconómico (NSE) muestra que un 68.7% pertenecía a un NSE medio, 21.4% a un nivel medio alto, 4.9% a nivel alto, 4.4% a nivel medio bajo y 0.5% a nivel bajo. Un 48.9% de los participantes tenía una relación de pareja al momento de la evaluación.

La muestra de madres se compone por 184 mujeres, con un promedio de edad de 49.37 años (DE = 5.35). Un 69.6% pertenecía a un NSE medio, 23.4% medio alto, 3.8% medio bajo y 3.3% alto. La totalidad de las madres tenían una relación de pareja al momento de la evaluación.

La muestra de padres se compuso por 183 hombres, con un promedio de edad de 51.36 años (DE = 5.61). Un 47.5% pertenecía a NSE medio, un 34.4% a medio alto, un 15.3% medio bajo y un 2.7% al estrato alto. Al igual que las madres, la totalidad de los padres estaban involucrados en una relación de pareja al momento del estudio.

Las diferencias entre el NSE reportado por las madres y los padres se debe a que cada uno de ellos contestó en forma individual la encuesta sociodemográfica, por lo que en algunos casos se evidencian variaciones menores en estos resultados.

Para efectos de comparar diferencias en la ansiedad y evitación del apego en función del NSE y dado que algunos de los niveles sólo tenían un caso, se decidió reagrupar este en tres grupos: bajo y medio bajo, medio y un tercer grupo medio alto, alto.

Instrumentos

Experiences in Close Relationships (ECR, Brennan et al., 1998; Alonso-Arbiol et al., 2007 para la versión española). Este cuestionario de auto-reporte consta de 36 ítems que evalúan las dos dimensiones del apego romántico, la ansiedad (de las relaciones), y la evitación (de la intimidad) (Obegi, Morrison y Shaver, 2004). Cada dimensión corresponde a una escala, las cuales constan de 18 ítems evaluados en una escala Likert de 7 opciones, donde 1 significa "totalmente en desacuerdo" y 7 "totalmente de acuerdo". Los puntajes para cada dimensión del apego se obtienen a partir del promedio de los valores de los ítems correspondientes a cada una. Ejemplos de ítems serían "me preocupa bastante la posibilidad de perder a mi pareja" (ítem 8 escala ansiedad), y "prefiero no mostrar a mi pareja mis sentimientos personales" (ítem 1 escala evitación). Además de la evaluación dimensional, el ECR permite la distinción de 4 categorías de apego en el adulto: seguro, temeroso, preocupado y desentendido, que resultan de la combinación de ambas dimensiones.

Se realizó una aplicación piloto del instrumento español a un grupo reducido de personas (N=20) evidenciándose dificultades en la comprensión del idioma, razón por la cual se realizó una adaptación lingüística a partir de la versión española del ECR (ECR-S, Alonso-Arbiol et al., 2007) utilizando el método de validez de expertos. Cuatro psicólogos entendidos en la teoría del apego y en psicología de parejas evaluaron independientemente cada ítem y propusieron modificaciones en aquellos casos en el que el español utilizado no fuera apropiado para la población chilena. Así, siguiendo las indicaciones de Balluerka, Gorostiaga, Alonso-Arbiol y Haranburu (2007), los ítems fueron adaptados y reenviados a los jueces quienes examinaron la adecuación de los cambios en relación al sentido original de cada ítem, evaluando si los reactivos propuestos eran adecuados, medianamente adecuados o inadecuados. Los ítems problemáticos fueron adaptados en base a las sugerencias de los jueces y reenviados para su evaluación. El acuerdo interjuez evaluado a través del coeficiente Kappa fue de 0.7. Una vez obtenida la versión del ECR, se realizó una segunda aplicación piloto (N = 68) para evaluar la comprensión de los ítems en población de adultos chilenos. Siguiendo el modelo de Noftle y Shaver (2006), el cuestionario adaptado fue aplicado con la instrucción de responderlo en base las relaciones de pareja en general, no a alguna en particular. Se mantuvieron los 36 ítems originales. Los coeficientes alfa de Cronbach obtenidos en esta aplicación fueron de 0.82 (escala de evitación) y 0.83 (escala de ansiedad), por lo que se concluyó que la consistencia interna del cuestionario era buena, similar a la obtenida por Alonso-Arbiol et al., (2007). Las escalas evaluadas son independientes entre ellas, no estando correlacionadas.

Cuestionario de apego adulto «Cartes, Modèles Individuels de Relation (CaMir )» (Pierrehumbert, Karmanaiola, Sieye, Meisler y Halfon, 1996) validado para la población chilena por Garrido et al. (2009). Este cuestionario de auto-reporte tiene por objetivo examinar los modelos internos operantes (MIO) del apego en adultos. Se evalúan las estrategias relacionales del individuo a través de la exploración de los vínculos de apego de la infancia (pasado) y de los vínculos con la familia actual (presente). La versión chilena posee 71 ítems distribuidos en 13 escalas. El instrumento permite obtener puntajes de cada uno de los prototipos de apego para cada sujeto, y dar cuenta de estilos de apego adulto predominante mediante la agrupación de los puntajes obtenidos en las 13 escalas. De este modo, es posible realizar análisis considerando el apego tanto desde una perspectiva dimensional como categorial. La versión chilena del CaMir obtuvo una fiabilidad correcta, mostrando para la mayoría de las escalas valores alfa en un rango de 0.72 a 0.84. (Garrido et al., 2009). De acuerdo a los objetivos del presente estudio, sólo se tomarán en cuenta en los análisis los puntajes correspondientes a los prototipos de apego (seguro, rechazante y preocupado) y los estilos de apego.

Encuesta sociodemográfica. Se confeccionó una encuesta que permitiera recopilar los datos sociodemográficos de la muestra, tales como la edad, el género, el nivel socioeconómico (NSE) y el hecho de estar en una relación de pareja actualmente. El NSE se obtuvo a partir del examen de dos variables: el nivel educacional alcanzado por el/la principal proveedor del hogar (sin estudios a postgrado); y cierto número de bienes específicos presentes o ausentes en el hogar. La combinación de ambas variables permite formar una matriz que da cuenta de los siguientes NSE: 1= bajo, 2 = medio-bajo, 3 = medio, 4 = medio-alto, y 5 = alto (ADIMARK, 2004).

Procedimiento

Se contactaron universidades de la ciudad de Talca y se solicitó tener acceso a los estudiantes para poder presentarles el proyecto. Se realizaron charlas masivas para los alumnos de distintas carreras (seleccionadas al azar), en las cuales se explicó la investigación y se invitó a participar en ésta voluntariamente. Se solicitó que los jóvenes interesados fueran los encargados de transmitir la información a sus padres, apoyándose en un díptico informativo que contenía información similar a la expuesta en la charla. Se logró la aceptación de 555 personas (185 hijos con sus respectivos padres), quienes fueron incluidas en la investigación tras firmar un consentimiento informado, asegurándose la confidencialidad en el manejo de los datos y el anonimato de la participación. Los cuestionarios fueron completados de manera individual y aplicados o en el establecimiento universitario o en el domicilio de los participantes, en función de su disponibilidad. Los datos fueron recogidos antes del terremoto que afectó la región en 2010.

Análisis de datos

Se ocupó el programa SPSS 15.0 para realizar el análisis de los datos. Previo al examen preliminar de éstos y la evaluación de la estadística descriptiva, se procedió a evaluar la estructura factorial mediante un análisis factorial exploratorio, y la consistencia interna, mediante el alpha de Cronbach. Estos análisis se realizaron independientemente para la muestra de hijos, madres y padres. Además, para la evaluación de la validez de criterio se ocupó análisis correlacional y Análisis de la Varianza (ANOVA), para evaluar la asociación con los prototipos del CaMir y las diferencias con el estatus de la relación respectivamente. El análisis de la validez de criterio se realizó con la muestra de hijos, ya que con este grupo se puede examinar las diferencias del apego en función del estatus de la relación.

Resultados

Análisis preliminares

Antes de llevar a cabo los análisis, se examinó cada una de las muestras a fin de detectar casos atípicos y evaluar los siguientes supuestos requeridos.

Para la identificación de atípicos se utilizó la distancia de Mahalannobis, siendo eliminados 6 casos de los posteriores análisis.

Se realizó la prueba Kolmorogov-Smirnov para evaluar si las dimensiones del apego se distribuían normalmente. En las tres muestras, las escalas de ansiedad y evitación cumplieron este supuesto (p > .05).

Dada la no independencia de los datos en las 3 muestras evaluadas (madres, padres e hijos), los análisis se llevaron a cabo para cada una de manera separada.

Además, se realizaron los análisis descriptivos y se evaluaron las diferencias en la satisfacción según variables sociodemográficas, mediante sucesivos análisis de varianza (ANOVA) y pruebas t de Student.

Se calcularon los estadísticos descriptivos para cada subescala y se examinó la estructura factorial para evaluar la validez de constructo del instrumento. Asimismo, se examinó la consistencia interna mediante el alpha de Cronbach y las correlaciones inter-ítem de cada dimensión. Por último, se analizó la validez de criterio del ECR evaluando su asociación con el CaMir, instrumento ya validado en Chile y con el estatus de la relación (estar con o sin pareja al momento de la evaluación).

Si bien en la elaboración del ECR breve (Spencer et al., 2013) se analizaron las propiedades psicométricas del cuestionario, cabe precisar que dichos análisis se llevaron a cabo con una muestra más amplia (N = 773). Además, en el presente trabajo se toma en consideración la no independencia de las muestras, llevando a cabo análisis por separado para los grupos de padres, madres e hijos. Por estas razones, en este artículo se ha optado por volver a implementar estos análisis con la submuestra utilizada para analizar la validez de criterio.

Análisis Descriptivos

En la Tabla 1 se presenta la estadística descriptiva de las dimensiones del apego evaluadas por el ECR para cada una de las muestras, observándose puntajes similares en todas ellas.

 

Tabla 1. Estadística Descriptiva de las dimensiones del apego según ECR

 

Por su parte, en la Tabla 2, se presenta la distribución de los estilos de apego según el ECR en las tres muestras. En ella se observa que las tendencias son similares, con una mayor proporción de apegos preocupados, seguidos del estilo temeroso, luego seguro y en último lugar los patrones desentendidos.

 

Tabla 2. Distribución de Frecuencia de los Estilos de Apego según el ECR

 

Al examinar diferencias en las dimensiones del apego en las tres muestras evaluadas en función de las variables sociodemográficas. Los resultados indicaron que para la muestra de hijos no existían diferencias estadísticamente significativas según sexo en la ansiedad, t(180) = 0.96, p = .34, ni en la evitación, t(180) = -1.07, p = .29. Tampoco hubo diferencias según el nivel socioeconómico en la ansiedad, F(2.179) = 0.76, p = .47, ni en la evitación F(2.179) = 0.26, p = .77. En relación a la edad, hubo una correlación inversa entre ésta y las dos dimensiones del apego, ansiedad r(182) = -0.17, p = .02, y evitación, r(182) = -0.26, p = .00, es decir, a mayor edad, menor ansiedad y evitación.

En relación a la muestra de madres, no existen diferencias significativas en la evitación, F(2.181) = 1.61, p = .20, según el nivel socioeconómico, pero sí en la variable ansiedad, F(2.181) = 5.02, p = .08. Los contrastes post hoc con la prueba Tukey para varianzas homogéneas, indican que tales diferencias se dan entre el nivel socioeconómico bajo, medio bajo, M = 4.98 (DE = 0.53), 95% IC [4.49, 5.46] y el medio alto, alto, M = 3.84 (DE = 0.92), 95% [3.58, 4.11], siendo el primer grupo el que experimenta mayores niveles de ansiedad. En cuanto a la edad, no hubo asociación significativa con la ansiedad, r(184) = 0.03, p= 0.67, ni con la evitación, r(184) = 0.13, p = 0.09.

Finalmente, en relación a la muestra de padres, no existen diferencias significativas en la ansiedad, F(2.180) = 0.60, p = .55, ni en la evitación, F(2.180) = 0.26, p= 0.77, según el nivel socioeconómico. En cuanto a la edad, no hubo asociación significativa con la ansiedad, r (183) = 0.07, p = 0.34, ni con la evitación, r (184) = 0.05, p = 0.48.

Estructura factorial

A fin de examinar la validez de constructo del instrumento, se procedió a realizar sucesivos análisis factoriales exploratorios con cada una de las muestras evaluadas.

Muestra de madres. Se realizó un análisis factorial exploratorio del instrumento con la muestra de 184 mujeres, ocupando el método de extracción de ejes principales y rotación varimax. La solución factorial obtenida con tal método sugirió una solución de 10 factores que explicaron el 63.47% de la varianza.

Luego se repitió el análisis con una solución de dos factores, con el método de ejes principales y rotación varimax que explicó un 30.64% de la varianza. El primer factor explicó el 15.66 % de la varianza, mientras que el segundo un 14.98 %. La matriz de factores rotada evidenció que de los 36 ítems, 31 tienen cargas superiores a 0.30 (Kline, 2005), tal como puede observarse en la tabla 3. De estos, 13 tenían cargas factoriales en el factor denominado ansiedad (ítems pares), 18 en el factor denominado evitación (ítems impares) y 3 ítems cargan en ambos factores (12, 15 y 26). En el caso de los ítems 12 y 26, tienen cargas en la dirección esperada (ansiedad), pero la carga en el factor de evitación es mayor. En el caso del ítem 15, carga en la dirección correcta (evitación), pero también lo hace en la dirección inversa (negativamente) en el factor ansiedad.

 

Tabla 3. Análisis factorial exploratorio (ejes principales) con rotación varimax en muestra de madres (n = 184).
 
Nota. Las cargas inferiores a. 30 fueron suprimidas de la tabla.

 

Los restantes 5 ítems (16, 19, 21, 22, 34) no tienen cargas significativas en ninguno de los factores.

Muestra de padres. Se realizó el mismo análisis con la muestra de padres (n = 183) para evaluar nuevamente las cargas factoriales, especialmente el comportamiento de los ítems problemáticos de la primera muestra.

Se efectuó un análisis factorial exploratorio con una solución de 2 factores, ocupando el método Ejes principales y rotación varimax. Ambos factores explican un 29.43 % de la varianza. El primer factor, compuesto por 16 ítems, explicó el 14.14 % correspondiente a la dimensión de ansiedad, mientras que el segundo, compuesto por 14 ítems correspondientes a la dimensión de evitación, un 15.29 %.

Tal como puede observarse en la Tabla 4, los ítems 2, 14 y 36 cargan en el factor esperado (ansiedad), pero igualmente lo hacen en el factor evitación en la dirección opuesta. El ítem 26 por su parte, carga en el factor ansiedad, y también en el factor evitación.

 

Tabla 4. Análisis factorial exploratorio (ejes principales) con rotación varimax en muestra de padres (n = 183).
 
Nota. Las cargas inferiores a .30 fueron suprimidas de la tabla.

 

El resto de los ítems (22 y 29) tienen cargas inferiores a 0.30 en ambos factores.

Muestra de hijos. En el caso de la muestra de hijos (N = 182), en el mismo análisis factorial se observa que la solución de dos factores explica un 29.26 % de la varianza. El primer factor (ansiedad) explica el 13.67%, mientras que el segundo (evitación) explica el 15.59%. En este caso y tal como se observa en la Tabla 5, los ítems problemáticos fueron el 21, 16 y 29, que tienen cargas menores a las esperadas (0.30) en ambos factores, mientras que el ítem 26 tiene cargas similares en magnitud y dirección en ambos factores.

 

Tabla 5. Análisis factorial exploratorio (ejes principales) con rotación varimax en muestra de hijos (n = 182)
 
Nota. Las cargas inferiores a .30 fueron suprimidas de la tabla.

 

En resumen, el análisis de la validez de constructo indica que en términos generales las dos dimensiones teóricas propuestas, ansiedad y evitación, representan la estructura principal del instrumento.

Sin embargo, hay ítems cuyo comportamiento no es óptimo: el ítem 26 evidencia problemas en las 3 muestras ("Creo que mi pareja no quiere tener tanta intimidad emocional conmigo como a mí me gustaría"), pues tiene cargas en ambos factores. Por su parte, los ítems 21 ("Me es difícil permitirme depender de mi pareja"), 22 ("Pocas veces me preocupa la posibilidad de ser abandonado") y 29 ("Me siento cómodo dependiendo de mi pareja") tienen problemas en dos de las muestras, con cargas inferiores a la aceptable (0.30).

Confiabilidad

Dada la no independencia de los datos para las 3 muestras evaluadas (parejas e hijos), se calcularon coeficientes separados para cada una de ellas.

Los coeficientes de confiabilidad mediante el Alpha de Cronbach para las escalas fluctuaron entre 0.82 y 0.84 en la dimensión de ansiedad y entre 0.81 y 0.84 en la dimensión de evitación para las tres muestras, valores considerados adecuados, pese a ser levemente inferiores a la versión original (Brennan, Clark y Shaver, 1998) y a la versión española (Alonso-Arbiol et al., 2007).

 

Tabla 6. Índices de consistencia interna para las escalas del ECR en las tres muestras

 

Por su parte, al evaluar las correlaciones ítem-escala en las 3 muestras, éstas fluctuaron entre 0.06 y 0.68.

Validez de criterio

A fin de evaluar la validez de criterio del ECR, se examinó la relación existente entre las dimensiones de ansiedad y evitación del apego y los puntajes de los 3 prototipos del CaMir (Garrido et al., 2009). Este instrumento arroja puntajes en los tres estilos de apego: seguro, preocupado y desentendido. Los análisis de validez de criterio se realizaron en la muestra de hijos.

En la Tabla 7 se observa que ambas dimensiones del apego, evaluadas por el ECR, muestran una asociación inversa con el apego seguro, mientras que se asocian directamente con el apego desentendido y preocupado. Así, la dimensión de ansiedad se asocia de manera directa con el apego preocupado (r = 0.23) e inversamente con el apego seguro (r = -0.15). Por su parte, en el caso de la dimensión de evitación, se observa una relación inversa con el apego seguro medido por el CaMir (r = -0.19) y una relación directa con el apego desentendido (r = 0.23). Del mismo modo y tal como habría de esperarse teóricamente, la dimensión de ansiedad no tiene una asociación significativa con el apego desentendido (p >.05), ni la de evitación con el apego preocupado (p >.05).

 

Tabla 7. Correlación entre las Dimensiones del Apego del ECR y los prototipos de Apego del CAMIR
 
Nota.*p ≤ .05.

 

Por otra parte, estudios previos han mostrado que existe asociación entre las dimensiones del apego y el estar o no en una relación de pareja (Noftle y Shaver, 2006). Específicamente, se ha encontrado que la inseguridad en el apego, especialmente asociada a la evitación de la intimidad, está relacionada a no tener una relación de pareja o a tener relaciones más breves. De esta manera y también para evaluar la validez de criterio del ECR, se examinó si existía asociación entre el estatus de la relación (tener o no una pareja al momento de la evaluación) y los puntajes en las dimensiones de ansiedad y evitación del ECR en la muestra de hijos. Los resultados indican que existen diferencias estadísticamente significativas en la dimensión de evitación de la intimidad entre quienes tenían y no tenían una pareja al momento de la evaluación, F (2.179) = 16.35, p < .05. Específicamente, se encontró que los participantes que no tenían pareja puntuaban más alto en la dimensión de evitación que los que estaban con ella (sin pareja M = 3.01, DE = 0.75; con pareja M = 2.42, DE = 0.64). El tamaño del efecto para esta análisis fue medio, de acuerdo a los criterios de Cohen (1992) (d = 0.29), con una potencia estadística de 0.80.

En el caso de la dimensión de ansiedad ante el abandono, no hubo diferencias estadísticamente significativas entre los dos grupos F (2.179) = 1.54, p > .05.

Discusión

El presente estudio se propuso analizar la validez de criterio del cuestionario de apego romántico ECR en población chilena, con la finalidad de contribuir a la elaboración de una versión del instrumento válida para ser utilizada en población chilena de adultos de diversas edades. Los resultados demuestran la validez de criterio de la escala ECR para la población chilena. Además, confirman la fiabilidad y propiedades psicométricas del instrumento encontradas en la versión breve del mismo con una muestra similar, pero de mayor tamaño que la del presente estudio (Spencer et al., 2013).

Las dimensiones teóricas de ansiedad y evitación representan la estructura factorial de la versión chilena del ECR, por lo que el funcionamiento interno del instrumento es concordante con lo esperado desde un punto de vista teórico. Las escalas, en las tres muestras evaluadas, presentan buenos índices de consistencia interna, fluctuando éstos entre .81 y .84. Por otra parte, la mayoría de los ítems cargan en uno de los factores de manera similar a las del instrumento español. Pese a lo anterior, de los ítems originales del instrumento, hay cuatro que debieran revisarse, específicamente los ítems 26, 21, 22 y 29, pues presentan bajas saturaciones en alguna de las escalas o bien no discriminan adecuadamente en las muestras estudiadas. En relación a los ítems 26 y 29, éstos ya habían mostrado problemas similares en la versión española del instrumento, lo que podría indicar la inadecuación del reactivo para poblaciones hispanoparlantes, no obstante se requerirían estudios interculturales con poblaciones latinoamericanas para corroborar esta afirmación.

Por otra parte, los resultados muestran evidencias para la validez de criterio de las escalas ansiedad y evitación. Los puntajes de las escalas de la versión chilena del ECR se relacionan de la manera esperada con el cuestionario de apego adulto CaMir (Garrido et al., 2009). En este sentido, las dimensiones del apego, ansiedad y evitación se asocian inversamente con el apego seguro y directamente con el apego preocupado y desentendido (ansiedad con apego preocupado y evitación con apego desentendido). Así, las personas "seguras" muestran bajos puntajes en ansiedad y evitación, las personas "preocupadas" puntajes elevados en la escala ansiedad, y los "desentendidos", puntajes altos en evitación.

La validez de criterio del instrumento se constata también por los resultados de la relación entre las escalas del ECR y el estatus de relación de pareja (Alonso-Arbiol et al., 2008, Hazan y Shaver, 1987). Tal como se ha propuesto teóricamente, hay diferencias en los niveles de evitación entre quienes están y no están en una relación de pareja, pero no así en la dimensión de ansiedad (Alonso-Arbiol et al., 2007; Noftle y Shaver, 2006; Wongpakaran, Wongpakaran y Wedding, 2012). Esto es, las personas que no están en pareja tienen niveles de evitación más altos que aquellas que sí lo están. En este sentido, el evitar la intimidad y la cercanía física y psicológica con la pareja, y el rechazo que genera la dependencia emocional de otro, podría relacionarse con ausencia de relaciones de pareja, o vínculos esporádicos, cortos, sin un componente afectivo de intimidad, en los jóvenes de la muestra. Ahora bien, para evaluar este último punto sería necesario haber considerado la historia de relaciones de pareja de los jóvenes con altos puntajes en evitación.

En cuanto a las medias de ansiedad y evitación obtenidas por la muestra chilena, éstas son similares a las encontradas por Alonso-Arbiol et al. (2007) en la muestra española. En cuanto a la distribución de la población en función de los estilos de apego, se observa que en la población chilena habría una proporción mayor de apego preocupado y temeroso y menor de apego seguro, tendencia que se observa en las madres, padres e hijos. Esta distribución difiere de la encontrada por (Bakermans-Kranenburg y Van Ijzendoorn, 2009a) para el apego adulto en distintas culturas, evaluado mediante la AAI (Adult Attachment Interview, George, Kaplan y Main, 1985). No obstante, las comparaciones no son del todo posibles debido por una parte a la naturaleza de los instrumentos (cuestionario de autoadministración y entrevista) que impone limitaciones de orden metodológico (Martínez y Santelices, 2005). Además, el estudio intercultural mencionado (Bakermans-Kranenburg y van Ijzendoorn, 2009a) no integra ninguna muestra latinoamericana, por lo que no es posible afirmar que la distribución del apego encontrada corresponda a la de países latinos, con características socioculturales distintas de las poblaciones norteamericana, alemana, israelí y japonesa estudiadas. De ese modo las comparaciones de los resultados obtenidos y los reportados en la literatura son limitadas. Tomando en cuenta la distribución del apego adulto en Chile, evaluado por el CaMir (Garrido et al., 2009), si bien de los apegos inseguros, el preocupado es el que tiene mayor frecuencia, es el apego seguro el más representativo. Ahora bien, en cuanto a estudios que examinen el apego romántico en diversas culturas, se observa que en sociedades menos individualistas y más colectivistas, que privilegian la interdependencia entre individuos y grupos, como aquellas de Asia del este, el nivel de apego preocupado (Schmitt, Alcalay, Allensworth, Allik, Ault, Auster, et al., 2004) y de ansiedad en las relaciones (Wang y Mallinckrodt, 2006) es mayor que en los países occidentalizados. Este aspecto colectivista de la sociedad podría aplicarse al contexto chileno en particular, y latinoamericano en general, pero se requiere de estudios en otros países latinoamericanos que confirmen la hipótesis de las variaciones interculturales del apego adulto explicadas por esta y otras variables (Van Ijzendoorn y Bakermans-Kranenburg, 2010). Al revisar los resultados del meta-análisis de apego adulto (Bakermans-Kranenburg y van Ijzendoorn, 2009) se observa que en las poblaciones donde hay violencia intrafamiliar, los niveles de apego adulto preocupado aumentan significativamente. Dado la elevada prevalencia de la violencia intrafamiliar reportada por SERNAM (2012), la que durante la década del 2000 al 2010 alcanza prácticamente al 50% de la población chilena, podría pensarse que esta variable estaría afectando los resultados. No obstante, la violencia intrafamiliar no fue evaluada en el presente estudio por lo que no es posible saber su efecto en esta muestra.

En relación al género de los participantes, no se encuentran diferencias significativas para las dimensiones de ansiedad y evitación del apego, estando los resultados en concordancia con estudios precedentes (Lafontanie y Lussier, 2003; Olsson, Sorebo y Dahl, 2010; Tsagarakis, Kafestios y Stalikas, 2007), apoyando la hipótesis de que el género no afecta la calidad del apego adulto (Bakermans-Kranenburg y Van Ijzendoorn, 2009b; Mikulincer y Shaver, 2007). En este sentido, los resultados obtenidos no van en la línea de lo planteado por el meta-análisis de Del Giudice (2011) sobre las diferencias de género en la calidad del apego romántico en poblaciones preferentemente norteamericanas y europeas.

En cuanto a los resultados sobre las diferencias del apego romántico por nivel socioeconómico, se constata que sólo en la submuestra de madres, la dimensión de la ansiedad aumenta para aquellas mujeres de nivel socioeconómico bajo. Existe evidencia para afirmar que el tener un trabajo remunerado, un buen nivel de salud y de satisfacción con la vida se asocia a bajos puntajes en ansiedad y evitación (Olsson et al., 2010), aspectos que podrían relacionarse con un elevado nivel socioeconómico, pero que no explican por qué sólo afecta a la muestra de madres. Por otra parte, se ha encontrado una asociación entre el haber experimentado eventos de vida negativos y la ansiedad del apego (Drake, Sheffield y Shingler, 2011), y podría hipotetizarse un mayor riesgo de eventos negativos en niveles socioeconómicos bajos, sometidos a mayores niveles de estrés y presión económica, pero se requieren estudios que lo confirmen. Schmitt et al. (2003) asociaron el índice de desarrollo humano del país con el apego adulto, encontrando que en sociedades con mayores niveles de estrés, los niveles de evitación eran similares en hombres y mujeres, pero no reportan resultados en cuanto al nivel de ansiedad del apego y su relación con el índice de desarrollo. Por su parte, Van Ijzendoorn y Bakermans-Kranenburg (2010) encuentran una asociación entre el apego desentendido y la pobreza, señalando que las madres adolescentes de nivel socioeconómico bajo muestran mayores índices de evitación. Si bien este resultado es opuesto al encontrado en este estudio, refleja que la pobreza es una variable que puede afectar la calidad del apego de manera diferenciada en función del sexo. Los estudios sobre la asociación entre apego romántico y variables sociodemográficas son escasos por lo que requieren ser replicados (Olsson, Sorebo y Dahl, 2010).

En relación a la influencia de la edad de la muestra en la calidad del apego romántico, ni las madres ni los padres muestran que esta variable afecte ni en la ansiedad ni en la evitación del apego. No obstante, en la muestra de jóvenes (hijos e hijas) se observa que en edades más avanzadas de la adultez joven, los puntajes de ansiedad y evitación disminuyen. Algunos estudios proponen que en la adolescencia los niveles de inseguridad pueden aumentar (sobre todo la evitación), considerando que en esta etapa existe un distanciamiento de las figuras de apego primarias (físico para los que salen a estudiar fuera de sus casas y/o psicológico) y la creación de nuevos vínculos con los pares y la pareja (Allen, 2008; Van Ijzendoorn y Bakermans-Kranenburg, 2010). Estos niveles de inseguridad disminuirían al dejar atrás la adolescencia y comenzar la adultez joven, por una parte por la estabilización de los nuevos vínculos interpersonales, y por otra parte, porque las habilidades metacognitivas alcanzadas permiten al joven reevaluar sus vínculos tempranos, lo que podría tener un impacto en la significación de éstos en términos del apego (Allen, 2008). A partir de estos elementos, se puede plantear que los hijos e hijas más jóvenes del estudio (18 años) se encuentran en la etapa de adolescencia, lo que puede tener un impacto en el aumento de la inseguridad, la cual iría disminuyendo en la medida en que aumenta la edad del grupo. Futuras investigaciones tendrían que replicar estos resultados y complementarlos con seguimientos longitudinales.

Una de las limitaciones de este estudio es que las muestras usadas para la validación del instrumento no son independientes, lo que puede afectar los resultados en la medida de que hay estudios que muestran que la calidad del apego de los padres se correlaciona con la calidad del apego de los hijos (Van Ijzendoorn, 1995) en diadas madre-hijo, con bebés de 12 a 18 meses. Un estudio reporta la influencia del apego romántico de la madre sobre la calidad del apego romántico de la hija en la adultez joven (Obegi et al., 2004), no obstante se desconoce cómo afectaría el apego romántico del padre, y qué pasaría en el caso de los hijos varones. Se añade a lo anterior, la no adecuación de algunos ítems del cuestionario, los cuales podrían haber sido suprimidos. A pesar de estas limitaciones, considerando sus propiedades psicométricas, el ECR chileno se presenta como una herramienta válida y confiable para ser utilizada en la evaluación del apego romántico en Chile.

 

Referencias

Adimark GFK. (2004). Mapa Socioeconómico de Chile, Nivel socioeconómico de los hogares del país basado en datos del Censo 2002. Recuperado desde www.adimark.cl/medios/estudios/Mapa_Socioeconomico_de_Chile.pdf.

Allen, J. P. (2008). The attachment system in adolescence. In J. Cassidy y P. Shaver (Eds.), Handbook of attachment: Theory, research, and clinical applications (pp.419-435). New York: the Guilford Press.

Alonso-Arbiol, I., Balluerka, N., y Shaver, P. (2007). A Spanish version of the Experiences in Close Relationships (ECR) adult attachment questionnaire. Personal Relationships, 14, 45-63.

Alonso-Arbiol, I., Balluerka, N., Shaver, P., y Gillath, O. (2008). Psychometric properties of the Spanish and American versions of the ECR adult attachment questionnaire. European Journal of Psychological Assessment, 24, 9-13.

Anders, S. L., y Tucker, J. S. (2000). Adult attachment style, interpersonal communication competence, and social support. Personal Relationships, 7, 379-389.

Bakermans-Kranenburg, M., y van IJzendoorn, M. (2009a). The first 10.000 adult attachment interviews: distributions of adult attachment representations in clinical and non-clinical groups. Attachmenty Human Development, 11, 223-263.

Bakermans-Kranenburg, M., y van IJzendoorn, M. (2009b). No reliable gender differences in attachment across the lifespan. Behavioral and Brain Sciences, 32, 22-23.

Balluerka, N., Gorostiaga, A., Alonso-Arbiol, I., y Haranburu, M. (2007). La adaptación de instrumentos de medida de unas culturas a otras: Una perspectiva práctica. Psicothema, 19, 124-133.

Bartholomew, K., y Horowitz, L. (1991). Attachment styles among young-adults: a test of a 4 category model. Journal of Personality and Social Psychology, 61, 226-244.

Benoit, D., y Parker, K. (1994). Stability and transmission of attachment across three generations. Child Development, 65, 1444-1456.

Bowby, J. (1969/1998). El apego y la pérdida vol 1: El apego. Barcelona: Paidós.

Bowlby, J. (1980/1993). El apego y la pérdida vol 3: La pérdida. Barcelona: Paidós.

Brennan, K. A., Clark, C. L., y Shaver, P. R. (1998). Self-report measurement of adult attachment: An integrative overview. In J. A. Simpson y W. S. Rholes (Eds.), Attachment Theory and close relationships (pp. 46-76). New York: Guilford Press.

Bretherton, I., y Mundholland, K. (2008). Internal working models in attachment relationships: Elaborating a central construct in attachment theory. In J. Cassidy, P. R. Shaver (Eds.), Handbook of attachment: theory, research, and clinical applications (pp. 102-127). New York: Guilford Press.

Cohen, J. (1992). A power primer. Psychological Bulletin, 112, 155-159.

Del Giudice, M. (2011). Sex differences in romantic attachment: a meta-analysis. Personality and Social Psychology Bulletin, 37, 193-214.

Drake, K., Sheffield, D., y Shingler, D. (2011). The relationship between adult romantic attachment anxiety, negative life events, and compliance. Personality and Individuals Differences, 50, 742-746.

Fonagy, P., Steele, H., y Steele, M. (1991). Maternal representations of attachment during pregnancy predict the organization of infant-mother attachment at one year of age. Child Development, 62, 891-905.

Fraley, R. C. (2002). Attachment stability from infancy to adulthood: Meta-analysis and dynamic modeling of developmental mechanisms. Personality and Social Psychology Review, 6, 123-151.

Fraley, R., y Shaver, P. (2000). Adult romantic attachment: theoretical developments, emerging controversies, and unanswered questions. Review of General Psychology, 4, 132-154.

Fraley, R. C., Waller, N. G., y Brennan, K. A. (2000). An item response theory analysis of self-report measures of adul attachment. Journal Personality and Social Psychology, 78, 350-365

Garrido, L., Santelices, M. P., Pierrehumbert, B., y Armijo, I. (2009). Validación chilena del cuestionario de evaluación de apego en el adulto CAMIR. Revista Latinoamericana de Psicología, 41, 81-98.

George, C., Kaplan, N., y Main, M. (1985). Adult attachment interview: Unpublished manuscript. University of California , Berkeley, CA.

Hazan, C., y Shaver, P. (1987). Romantic love conceptualized as an attachment process. Journal of Personality and Social Psychology, 52, 511-524.

Kline, R. B. (2005). Principles and practice of structural equation modeling. New York: Guilford Press.

Lafontaine, M. F., y Lussier, Y. (2003). Structure bidimensionnelle de l'attachement amoureux: Anxiété face à l'abandon et évitement de l'intimité. Revue Canadienne des Sciences du Comportement, 35, 56-60.

Mallinckrodt, B., y Wei, M. (2005). Attachment, social competencies, social support, and psychological distress. Journal of Counseling Psychology, 52, 358-367.

Martínez, C., y Santelices, M. P. (2005). Evaluación del Apego en el Adulto: Una Revisión. Psykhe, 14, 181-191.

Mikulincer, M., y Shaver, P. (2007). Attachment in adulthood: Structure, dynamics, and change. New York: Guilford Press.

Noftle, E. E., y Shaver, P. R. (2006). Attachment dimensions and the big five personality traits: Associations and comparative ability to predict relationship quality. Journal of Research in Personality, 40, 179-208.

Obegi, J. H., Morrison, T. L., y Shaver, P. R. (2004). Exploring intergenerational transmission of attachment style in young female adults and their mothers. Journal of Social and Personal Relationships, 21, 625-638.

Olsson, I., Sorebo, O., y Dahl, A. (2010). The Norwegian version of the Experiences in Close Relationships measure of adult attachment: psychometric properties and normative data. Nord Journal of Psychiatry, 64, 340-349.

Pierrehumbert, B., Karmanaiola, A., Sieye, A., Meisler, C., y Halfon, O. (1996). Les modelès de relations: Développement d'un autoquestionnaire d'attachement pour adultes. Psychiatrie de l'enfant, 1, 161-206.

Schmitt, D., Alcalay, L., Allensworth, M., Allik, J., Ault, L., ... Austers, I.(2003). Are men universally more dismissing tan women? Gender differences in romantic attachment across 62 cultural regions. Personal Relationships, 10, 307-331.

Schmitt, D., Alcalay, L., Allensworth, M., Allik, J., Ault, L.,. Austers, I. (2004). Patterns and universals of adult romantic attachment across 62 cultural regions: Are models of self and of the other pancultural constructs? Journal of Cross Cultural Psychology, 35, 367-402.

SERNAM (2012). Prevalencia de la violencia contra la mujer en la última década en Chile. Recuperado desde http://estudios.sernam.cl/?m=syi=37.

Shaver, P. R., Belsky, J., y Brennan, K. A. (2000). The adult attachment interview and self-reports of romantic attachment: Associations across domains and methods. Personal Relationships, 7, 25-43.

Shaver, P. R., y Mikulincer, M. (2002). Dialogue on adult attachment: Diversity and integration. Attachment and Human Development, 4, 243-257.

Spencer, R., Alonso-Arbiol, I., y Fresno, A. (2013). Romantic Attachment in Chilean Adults: Development of a Short-form Version of the Experiences in Close Relationships. Spanish Journal of Psychology, 16, 1-9.

Treboux, D., Crowell, J. A., y Waters, E. (2004). When "new" meets "old": Configurations of adult attachment representations and their implications for marital functioning. Developmental Psychology, 40, 295-314.

Tsagarakis, M., Kafestios, K., y Stalikas, A. (2007).Reliability and validity of the Greek version of the revised Experience in close Relationship measures of adult attachment. European Journal of Psychological Assessment, 23, 47-55.

Van Ijzendoorn M., y Bakermans-Kranenburg, M. (2010). Invariance of adult attachment across gender, age, culture, and socioeconomic status? Journal of social and personal relationships, 27, 200-208.

Van Ijzendoorn, M. (1995). Associations between Adult attachment representations and parent-child attachment, parental responsiveness, and clinical status: A meta-analysis on the predictive validity of the Adult Attachment interview. Psychological Bulletin, 117, 387-403.

Vogel, D. L., y Wei, M. (2005). Adult attachment and help-seeking intent: The mediating roles of psychological distress and perceived social support. Journal of Counseling Psychology, 52, 347-357.

Wang, D. C., y Mallinckrodt, B. (2006). Differences between Taiwanese and U.S. cultural beliefs about ideal adult attachment. Journal of Counseling Psychology, 53, 192-204.

Waters, E., Crowell, J., Elliott, M., Corcoran, D., y Treboux, D. (2002). Bowlby's secure base theory and the social/personality psychology of attachment styles: Work(s) in progress. Attachment and Human Development, 4, 230-242.

Wongpakaran, T., Wongpakaran, N., y Wedding, D. (2012). Gender differences, attachment styles, self-esteem and romantic relationships in Thailand. International Journal of Intercultural Relations, 36, 409-4017.

 


(Rec: 24 de abril de 2012 / Acept: 11 de abril de 2013)

Correspondencia: Rosario Spencer, Facultad de Psicología Universidad de Talca, Avenida Lircay s/n, Talca, Chile. E-mail: rspencer@utalca.cl,rosariospencer@gmail.com, teléfono ++5671-201784

Nota de la Autora: Esta investigación ha sido financiada con la ayuda para proyectos de investigación concedida por el Fondo Nacional de Desarrollo Científico y Tecnológico del Gobierno de Chile (FONDECYT N° 11080093) a la primera autora.

La elaboración de este artículo contó con el apoyo del Programa de Investigación en Calidad de Vida y Ambientes Saludables de la Facultad de Psicología de la Universidad de Talca

 

Creative Commons License Todo el contenido de esta revista, excepto dónde está identificado, está bajo una Licencia Creative Commons