Este apartado tiene como objetivo analizar la influencia que ejercen los parámetros léxicos, gramaticales, discursivos, fónicos y de disfluencia en la comprensibilidad, el acento extranjero y la fluidez de los hablantes. Los análisis de la fiabilidad alcanzada por todos los jueces, mediante alfa de Cronbach, registra coeficientes muy elevados, tanto en la evaluación de las tres dimensiones como de los 14 parámetros lingüísticos (α ≥ 0.95).

Con el fin de comprobar si las puntuaciones de No expertos y Expertos pueden representarse juntas en un único valor, se analiza a continuación la existencia de posibles diferencias en la evaluación de la comprensibilidad, el acento extranjero y la fluidez. Para ello se realizaron tres t de Student independientes (p > 0.05 en los tests K-S para No expertos y S-W para Expertos) con cálculos del tamaño del efecto mediante g de Hedges o d de Cohen corregida. Los resultados revelan que los jueces Expertos ofrecen siempre puntuaciones más altas, y que estas son estadísticamente significativas en comprensibilidad (t(149) = 3.13, p = 0.002, g = 0.58) y en acento extranjero (t(149) = 3.83, p < 0.001, g = 0.70), aunque no en fluidez (t(149) = 1.60, p = 0.112, g = 0.29). Vista la existencia de diferencias significativas con tamaños del efecto moderados en dos de estas tres dimensiones, los análisis en los que intervienen estos jueces se mantienen siempre separados.

A continuación, se procedió a someter las 14 variables evaluadas por los jueces fonetistas y lingüistas a un análisis factorial con el objetivo de determinar si es posible sustituir los 14 parámetros lingüísticos por un número reducido de factores que explique la mayoría de la varianza observada. Para el cálculo del análisis factorial se empleó el Análisis de Componentes Principales y se implementó el método ortogonal de rotación Varimax con normalización Kaiser con el fin de maximizar las ponderaciones de los factores extraídos (Tabachnick y Fidell, 2007: 620-621). Como puede observarse en la Tabla 2, el análisis revela la existencia de dos factores subyacentes a las 14 variables empíricas (Bartlett = χ291 = 1257.41, p < 0.001; KMO = 0.896), que suman un alto 93.5 % de variabilidad total explicada. Por otro lado, ambos factores están bastante equilibrados en importancia, ya que el factor 1 y el factor 2 explican respectivamente un 52.7 % y un 40.8 % de este total de la varianza.

Si se observan las variables que definen a cada uno de los factores, se comprueba que el factor 1 está formado por las siete variables evaluadas por el grupo de lingüistas, de modo que se recogerán con el nombre de «Lexicogramática y discurso». Por su parte, el segundo factor suma la información de las siete variables empíricas evaluadas por los jueces fonetistas, de modo que se denominará «Pronunciación y disfluencias». Con el fin de recoger estas dos nuevas variables estadísticas en el modelo de regresión se calculó a continuación una media ponderada a partir de los valores de las cargas factoriales de los 14 parámetros en su correspondiente factor. Este promedio se obtiene multiplicando las cargas factoriales de los parámetros por sus puntuaciones reales obtenidas en la escala Likert y dividiendo a continuación la suma de estos elementos entre la suma de sus pesos ponderales. Siguiendo las recomendaciones de Pardo y San Martín (2010: 399), se comprobó el cumplimiento de los supuestos de homocedasticidad, linealidad, normalidad, no colinealidad e independencia sobre todas las variables.

En este análisis el estudio de la no colinealidad arrojó coeficientes de correlación superiores a 0.700 entre los factores (r = 0.788) y, en la mayoría de los

casos, entre los factores y las dimensiones. Para algunos investigadores, estos coeficientes de correlación introducen un problema de colinealidad que desaconseja que se consideren juntas las variables en el mismo análisis, dada la dificultad que tiene el modelo para evaluar las aportaciones de cada predictor sin que se superpongan entre ellos (Allison, 1999: 149; Field, 2009: 224; Pardo y San Martín, 2010: 401-402). Ante esta situación, algunas de las soluciones típicas sugeridas por estos y otros autores consisten, bien en eliminar una de las variables independientes que causan el problema o bien hacer una media entre ellas (Allison, 1999: 147; Tabachnick y Fidell, 2007: 91). Teniendo en cuenta que solo se dispone de dos variables predictoras y que no se quiere prescindir de ninguna de ellas, se realizaron dos modelos independientes de regresión univariada por cada uno de estos factores (X₁-Y; X₂‑Y). Esta estrategia consigue así eliminar del modelo la presencia de una variable parcialmente repetida sobre otra, sin privilegiar el estudio de solo una de ellas. Para facilitar la comparación de los resultados y simplificar su presentación, los análisis se exponen juntos en una misma tabla y en ella se incluyen tanto los obtenidos en el grupo de No expertos como en el de Expertos sobre el total de la muestra.

La Tabla 3 presenta los resultados obtenidos sobre la muestra total de hablantes en las tres dimensiones. Como puede observarse, la proporción de variabilidad que puede explicar cada variable predictora en la comprensibilidad es muy grande (cerca del 80 %, p < 0.001), aunque se pueden apreciar diferencias entre jueces No expertos y Expertos. Para los primeros, el factor de «Pronunciación y disfluencias» tiene una mayor capacidad predictiva de la comprensibilidad, mientras que para los Expertos es el factor de «Lexicogramática y discurso». En lo que concierne al acento extranjero, el factor de «Pronunciación y disfluencias» tiene mucha mayor capacidad predictiva sobre esta dimensión (aproximadamente el 90 %), frente al factor de «Lexicogramática y discurso», que tiene un peso inferior al 55 %. En los dos casos, el grupo de No expertos ofrece valores ligeramente más elevados que el de Expertos, y las regresiones resultan significativas con p < 0.001. En el caso de la fluidez, el peso de la variable «Pronunciación y disfluencias» es ligeramente más alto que el de «Lexicogramática y discurso» (en los dos grupos por encima del 82 % para el primero e inferior al 77 % para el segundo, todos con p < 0.001). Si se comparan los dos grupos de jueces los efectos son muy similares en ambos, con una leve diferencia también a favor de los No expertos.

A continuación se analiza, mediante correlaciones parciales, la asociación que presentan las 7 variables de «Pronunciación y disfluencias» por un lado, y las 7 de «Lexicogramática y discurso» por el otro, con las dimensiones de comprensibilidad, acento extranjero y fluidez considerando los dos grupos de evaluadores sobre el total de la muestra. Con este fin, se calcula en primer lugar el grado de asociación entre las 7 variables de «Pronunciación y disfluencias» con las tres dimensiones, mientras se controla la influencia de las variables de «Lexicogramática y discurso». Como muestra la Tabla 4, los valores de las 7 variables de «Pronunciación y disfluencias» son por lo general altos, aunque la intensidad de los coeficientes y el orden con que se clasifican varía entre las tres dimensiones y los dos grupos de jueces.

Tanto para los No expertos como para los Expertos las variables de «Tempo» y «Pausas» son las que muestran una asociación más fuerte con la comprensibilidad (r ≥ 0.62) y con la fluidez (r ≥ 0.83), mientras que los aspectos segmentales son los que menos lo están (r ≤ 0.53). Por el contrario, en los dos grupos las «Vocales y consonantes», el «Ritmo», la «Entonación» y el «Acento» son los que mantienen la mayor asociación con el acento extranjero (r ≥ 0.86). Esto es así especialmente en «Vocales y consonantes» (r = 0.95 para los No expertos y r = 0.93 para los Expertos), seguidas del «Ritmo» (r = 0.92 para los No expertos y r = 0.87 para los Expertos), y la «Entonación» (r = 0.92 para los No expertos y r = 0.86 para los Expertos).

Con el mismo objetivo de observar ahora cómo se relacionan las 7 variables de «Lexicogramática y discurso», se realizaron nuevas correlaciones parciales mientras se controlaba la influencia de las variables de «Pronunciación y disfluencias». Como puede observarse, la intensidad de los coeficientes y el orden con que se clasifican las variables varía también entre las tres dimensiones y los dos grupos de jueces. De modo similar a lo que ocurría con las variables de «Pronunciación y disfluencias», de nuevo aquí los valores de los No expertos suelen ser iguales o ligeramente superiores a los de los Expertos.

Para los No expertos, la «Precisión léxica» (r = 0.67), seguida de «Riqueza léxica» (r = 0.65), son las variables que ofrecen la mayor correlación con la comprensibilidad, mientras que para los Expertos estas son la «Corrección gramatical» (r = 0.68) y la «Precisión léxica» (r = 0.65). Para el acento extranjero, ninguna de estas variables resulta significativa en los dos grupos de jueces. En lo que concierne a la fluidez, las variables que obtienen correlaciones más altas en el caso de los jueces No expertos son la «Riqueza léxica» y la «Precisión léxica» (ambas con r = 0.72), y para los Expertos la «Riqueza léxica» (r = 0.67) y la «Profundidad discursiva» (r = 0.66).

Este apartado tiene como objetivo analizar cómo los 14 parámetros lingüísticos permiten diferenciar entre tramos de desempeño en comprensibilidad, acento extranjero y fluidez. Con este fin, los 40 hablantes se clasificaron primero en cuatro tramos de desempeño (Inicial, Intermedio, Avanzado y Superior; n = 10 por grupo) según las puntuaciones que otorgaron los jueces No expertos y Expertos (véase la Tabla 5). El tramo Inicial recoge aquí, por tanto, a los diez hablantes con peor desempeño evaluados por cada grupo de jueces, el tramo Intermedio a los diez siguientes, y así sucesivamente hasta llegar al tramo Superior donde se sitúan los diez mejores. Para estudiar el posible efecto de interacción entre los dos grupos de evaluadores y los cuatro tramos de desempeño en cada una de las dimensiones se realizan tres ANOVAS de dos factores (p > 0.05 en el test S-W). Los resultados de estos tres ANOVAS (p > 0.05 en el test S-W) revelan que el efecto de interacción no fue significativo ni en comprensibilidad (F_{3, 72} = 0.131, p = 0.941, η_p² = 0.005), ni en acento extranjero (F_{3, 72} = 0.050, p = 0.985, η_p² = 0.002), ni en fluidez (F_{3, 72} = 0.039, p = 0.990, η_p² = 0.002), lo que demuestra que el factor experiencia se comporta del mismo modo al cambiar de tramos.

Por su parte, el análisis de los efectos principales revela que las diferencias entre jueces desde esta perspectiva vuelven a confirmarse como significativas en comprensibilidad (F_{1, 72} = 4.779, p = 0.032, η_p² = 0.062) y en acento extranjero (F_{1, 72} = 7.298, p = 0.009, η_p² = 0.092), pero no en fluidez (F_{1, 72} = 0.820, p = 0.368, η_p² = 0.011), mientras que el análisis del efecto principal de los tramos muestra diferencias significativas en comprensibilidad (F_{3, 72} = 16.463, p < 0.001, η_p² = 0.407), en acento extranjero (F_{3, 72} = 9.842, p < 0.001, η_p² = 0.291) y en fluidez (F_{3, 72} = 19.148, p < 0.001, η_p² = 0.444). El estudio más concreto de las posibles diferencias entre los cuatro tramos de competencia en cada dimensión se realizó a continuación mediante ANOVAS de 1 factor, que detectaron, tanto en las pruebas ómnibus como en los análisis post hoc, diferencias significativas con p < 0.001 en todas las dimensiones y entre todos los tramos.

Con el fin de analizar, por tanto, cómo los 14 parámetros lingüísticos permiten diferenciar entre estos cuatro tramos de competencia percibidos por los jueces No expertos y Expertos en cada dimensión se realizan doce ANOVAS mixtos de dos factores (véase la Tabla 6). El diseño incluye, por tanto, un factor intersujetos donde se comparan las notas de los hablantes por tramos de desempeño y un factor intrasujetos con medidas repetidas donde se comparan los sujetos en los 14 parámetros evaluados. Los resultados de estos ANOVAS (p > 0.05 en el test S-W) muestran que existen diferencias estadísticamente significativas en todos los casos en los parámetros de «Pronunciación y disfluencias» y en los de «Lexicogramática y discurso» (p < 0.001), con tamaños del efecto muy grandes. Esto es así también entre los tramos de desempeño de los hablantes en todas las dimensiones y en los dos grupos de evaluadores (p < 0.001). El análisis del efecto de interacción entre parámetros y tramos ofrece diferencias significativas en la dimensión de fluidez en todos los casos (p < 0.05) con tamaños del efecto moderados, aunque ligeramente más grandes cuando intervienen los parámetros de «Pronunciación y disfluencias». No hay un efecto de interacción en comprensibilidad y acento, lo que indica que los parámetros muestran perfiles similares en los tramos, sin que se produzcan cruces estadísticamente significativos entre ellos.

La Tabla 7 muestra a continuación los resultados del análisis de los efectos simples (con corrección de Bonferroni) que se producen según las clasificaciones que realizan los jueces No expertos en las tres dimensiones. Como se puede observar, en comprensibilidad los tres parámetros de «Ritmo», «Repeticiones, reparaciones y falsos comienzos», y «Coherencia discursiva», permiten distinguir entre todos los tramos de esta dimensión. En el lado opuesto, los segmentos solo permiten distinguir entre los tramos Inicial y Avanzado/Superior, y entre Intermedio y Superior. Además, excepto los segmentos, el resto de parámetros de pronunciación distinguen mejor entre el tramo Inicial y el resto de tramos que los parámetros de lexicogramática y discurso, donde esta distinción se produce mejor en el extremo opuesto, entre los tramos Avanzado y Superior de comprensibilidad.

Para el acento extranjero los parámetros de pronunciación muestran una mejor capacidad distintiva que los parámetros de lexicogramática y discurso. El «Acento», el «Ritmo» y la «Entonación» permiten distinguir entre los cuatro tramos de acento extranjero, y las «Vocales y consonantes» entre todos los tramos excepto entre el Intermedio y el Avanzado. Por su parte, los parámetros de lexicogramática y discurso solo permiten distinguir entre el tramo Inicial y Avanzado/Superior, y entre el Intermedio y el Superior.

En la fluidez, los cuatro parámetros de «Pausas», «Repeticiones, reparaciones y falsos comienzos», «Riqueza léxica» y «Profundidad discursiva» permiten distinguir entre todos los tramos de esta dimensión. Tras ellos se sitúa el «Tempo», que permite distinguir entre todos los tramos excepto entre Avanzado y Superior, y la «Cohesión discursiva», que permite distinguir entre todos los tramos excepto entre Inicial e Intermedio.

La Tabla 8 muestra finalmente los resultados de los mismos análisis según la clasificación de los jueces Expertos. En comprensibilidad, solo el «Ritmo» permite distinguir entre los cuatro tramos de esta dimensión. Los parámetros de «Lexicogramática y discurso» distinguen de forma significativa todos los tramos entre sí a partir del tramo Intermedio, mientras que ninguno distingue entre Inicial e Intermedio, algo que sí hacen todos los parámetros de pronunciación, excepto los «Segmentos» y la «Entonación».

En acento extranjero ninguno de los 14 parámetros permite distinguir entre los cuatro tramos de esta dimensión, y en los parámetros de «Lexicogramática y discurso» solo el tramo Inicial muestra diferencias significativas con los tramos Avanzado y Superior. Los parámetros de «Pronunciación» muestran más diferencias significativas entre tramos, especialmente en los parámetros segmentales y suprasegmentales de «Acento», «Ritmo» y «Entonación».

En fluidez, solo el parámetro de «Repeticiones, reparaciones y falsos comienzos» permite distinguir en el grupo de Expertos entre los cuatro tramos de esta dimensión. Las «Vocales y consonantes» tienen la menor capacidad discriminante entre tramos, y solo lo hacen entre el tramo Inicial y Superior, y entre el tramo Intermedio y Superior.

Los resultados de este estudio muestran que, cuando los oyentes evalúan la comprensibilidad, tienden a considerar por lo general un gran número de variables lingüísticas para acceder al significado de la forma más rápida y eficiente posible. Esto determina que la comprensibilidad sea una dimensión que se asocia, a través de valoraciones perceptivas, con variados parámetros lingüísticos, como la pronunciación, el léxico, la gramática, las marcas de disfluencia o el discurso, tal y como se ha descubierto en otras investigaciones (Isaacs y Trofimovich, 2012; Saito et al., 2016, 2017). En cualquier caso, desde un punto de vista cuantitativo algunos parámetros tienen mayor incidencia que otros, y la comprensibilidad tiende a ofrecer asociaciones más altas con los aspectos lexicogramaticales y discursivos para los Expertos (especialmente con la «Corrección gramatical» y la «Precisión léxica») y con los parámetros de pronunciación para los No expertos (sobre todo con el «Ritmo» y las «Pausas»). Este comportamiento es similar al observado por Santamaría Busto (2015) con una tarea de menor complejidad –en este caso un monólogo sobre un tema familiar–, por lo que parece que estas diferencias de sensibilidad entre unos jueces y otros tienden a mantenerse independientemente de la prueba evaluada, aunque el «Ritmo» y el «Acento» para los Expertos, y especialmente el «Tempo» para los dos grupos, ganan en importancia cuando se puntúa una tarea más compleja.

El papel destacado del «Tempo» aparece recogido también en otros estudios, y se ha señalado considerando tanto la percepción que tienen los aprendientes de L2 sobre la velocidad de habla de los nativos (Derwing y Munro, 2001; Schwab, 2014), como las valoraciones que emiten los hablantes nativos sobre los tempos producidos por los hablantes de L2 (Munro y Derwing, 2001). Es posible, entonces, que las características de una tarea de cierta complejidad como es la descripción de una historieta haya dirigido la atención de los oyentes hacia este parámetro en la evaluación de la comprensibilidad, bien por el uso de tempos demasiado lentos que afectan a esta dimensión, bien por el uso de tempos adecuados que la favorecen. Este resultado coincide con el alcanzado por otras investigaciones para el inglés con tareas similares a esta (Saito et al., 2017; Crowther et al., 2018) o más complejas (Kang et al., 2010), en los que el tempo es una de las variables que más incide en la comprensibilidad de los hablantes.

Por su parte, el acento extranjero es una dimensión que, en línea con otros estudios (Trofimovich y Isaacs, 2012; Saito et al., 2017; Crowther et al., 2018), está fuertemente relacionada con las «Vocales y consonantes», seguidas de la «Entonación», el «Ritmo» y el «Acento». Esto es así independientemente de la experiencia de los jueces, aunque los No expertos muestran coeficientes más elevados que los Expertos en esta dimensión. La mayor incidencia que muestran las variables fónicas en el grupo de No expertos se mantiene también en la comprensibilidad y en la fluidez, lo que confirma de nuevo la mayor sensibilidad que tienen estos oyentes para percibir el componente fonético-fonológico del acento.

Finalmente, la fluidez es una dimensión que, de modo similar a la comprensibilidad, aunque generalmente con coeficientes más bajos, ofrece aquí asociaciones significativas con los aspectos fónicos, temporales, lexicogramaticales y discursivos. No obstante, los resultados muestran que en los dos grupos de jueces los parámetros de «Tempo» y «Pausas», y, en menor medida, «Repeticiones, reparaciones y falsos comienzos», destacan sobre el resto. Tales resultados coinciden con los señalados por otros estudios, en los que diversas medidas de velocidad y de pausas aparecen habitualmente como variables predictoras de la fluidez de los hablantes (Derwing et al., 2004; Kormos y Dénes, 2004; Rossiter, 2009), y tienen más incidencia que las reparaciones (Bosker et al., 2013).

Si se considera un análisis por tramos de desempeño en comprensibilidad, resulta reseñable cómo tanto para los No expertos como para los Expertos los hablantes con la peor competencia en pronunciación son también los que se diferencian de forma estadísticamente significativa en esta dimensión, mientras que los que mejor manejan los parámetros lexicogramaticales y discursivos son lo que se diferencian de sus compañeros de tramos de comprensibilidad inferiores. Este resultado tiene importantes implicaciones para la enseñanza, ya que, si lo que se pretende es mejorar la comprensibilidad de un hablante situado en un tramo muy malo de desempeño, el tratamiento de la pronunciación resultará lo más efectivo para que los oyentes perciban que realmente ha mejorado. Por el contrario, cuando el hablante ha superado ya un determinado umbral de comprensibilidad, el dominio del ritmo y de los aspectos lexicogramaticales se convierte ahora en una opción más rentable para que la mejoría del hablante le permita distinguirse de forma significativa en esta dimensión.

Por su parte, en el acento extranjero todos los parámetros fónicos diferencian de forma significativa a los hablantes situados en el tramo más bajo de este constructo, por lo que la enseñanza de cualquier aspecto, tanto segmental como suprasegmental, permitiría progresar de forma sustancial en esta dimensión. No obstante, cuando se supera un umbral de dominio en hablantes que tenían una baja competencia fonética se produce una diferencia muy significativa entre los jueces No expertos y Expertos. Para los primeros, el «Acento», el «Ritmo» y la «Entonación» resultan importantes para caracterizar el acento extranjero en todos sus tramos, mientras que no hay un ejemplo así en los Expertos, que, de nuevo, resultan ser menos sensibles a las variaciones de estos parámetros. A la hora de abordar en el aula esta dimensión los profesores deberían tener en cuenta, por tanto, que, aunque ellos no perciban la evolución de la competencia fonética de sus estudiantes o piensen que esta ha sido irrelevante, es muy posible que fuera del aula los interlocutores que están menos familiarizados con el español de estos hablantes sí se percaten de la mejoría, aunque luego sigan siendo más exigentes evaluándolos. En el lado opuesto, el conocimiento de los aspectos lexicogramaticales y discursivos diferencian mucho menos a los hablantes en acento extranjero, y solo lo hace con los que están situados en un tramo ya avanzado en esta dimensión.

Respecto a la fluidez, tanto para jueces No expertos como para Expertos el desarrollo de las «Repeticiones, reparaciones y falsos comienzos», seguido del «Tempo» y de las «Pausas», permite diferenciar de forma significativa a los hablantes en todos o casi todos los tramos, mientras que el dominio de los segmentos no resulta diferencial para distinguir en esta dimensión a unos hablantes de otros. En cambio, el «Ritmo» es el parámetro de pronunciación más efectivo cuando los hablantes han alcanzado ya un tramo intermedio. Es reseñable también cómo, en el caso de los parámetros lexicogramaticales y discursivos, los hablantes se distinguen siempre de los que tienen menos fluidez una vez que el desarrollo alcanzado en estos parámetros es elevado. Por tanto, si el objetivo del profesor es mejorar la fluidez de sus alumnos de forma efectiva, debería dar prioridad inicialmente al tempo y las vacilaciones, y, una vez que su fluidez mejora, incorporar a la enseñanza el ritmo y, posteriormente, los factores lexicogramaticales y discursivos.