1. INTRODUCCIÓNTOP

El abandono progresivo que, desde los años 90, ha sufrido la dimensión del acento extranjero en favor de otras dimensiones más importantes para la comunicación, como la inteligibilidad, la comprensibilidad o la fluidez, ha desarrollado recientemente una fértil línea de investigación sobre los aspectos lingüísticos que inciden en tales dimensiones. La inteligibilidad, o la medida en que el mensaje del hablante se comprende realmente, y la comprensibilidad, o la dificultad que experimenta el oyente para comprender dicho mensaje (vid. Munro y Derwing, 1995b), se insertan en lo que actualmente se conoce como «principio de inteligibilidad», siguiendo una célebre formulación planteada por Levis en el año 2005. En lo que se refiere a la pronunciación, el principio de inteligibilidad defiende que algunos elementos fónicos son más importantes que otros para el éxito de la comunicación, por lo que el objetivo de cualquier instrucción debería dirigir la atención del aprendiente hacia la producción reconocible, y no necesariamente nativa, de estas formas fonético-fonológicas.

El «principio de inteligibilidad» se contrapone a otro principio que ha marcado de forma sustancial la historia de la enseñanza-aprendizaje de la pronunciación, el «principio del acento nativo» (Levis, 2005). Este principio, que todavía goza de un gran predicamento en las aulas de segundas lenguas, tiene como objetivo la eliminación del acento extranjero, o lo que es lo mismo, la supresión de cualquier diferencia que presenta el acento de un hablante de L2 con respecto a las normas de una determinada comunidad lingüística nativa. El «principio del acento nativo» presupone así, falsamente, que todos los errores de pronunciación son igualmente importantes, que la eliminación de cualquiera de ellos redunda directamente en una mejora de la inteligibilidad o de la comprensibilidad, y que existe un modelo de referencia (el modelo nativo) que se debe alcanzar para que el hablante pueda comunicarse con éxito.

A pesar del énfasis que tradicionalmente se ha puesto en la dimensión del acento extranjero y en los consiguientes esfuerzos por seguir y alcanzar el referente nativo, el consenso creciente entre los investigadores es que, a la hora de abordar la enseñanza de la pronunciación, los hablantes de segundas lenguas deberían ser, en primer lugar, entendidos por sus interlocutores, y a continuación que su discurso fuera fácil de comprender. Poseer un acento extranjero, en cambio, no impide ni dificulta necesariamente la comunicación (Munro y Derwing, 1995a), es una consecuencia natural del aprendizaje de una segunda lengua (Derwing y Munro, 2005), está muy vinculado a la identidad (Szabo, 2006) y es extremadamente difícil de eliminar, ya que depende de una gran diversidad de variables, entre las que destacan la edad en la que se inicia el aprendizaje de la L2 y la frecuencia de uso y de exposición (Piske et al., 2001). Junto a estas diferentes perspectivas de abordar la producción oral, en los últimos años se ha suscitado también un profundo interés por otra dimensión que, a diferencia del acento extranjero, sí tiene una profunda incidencia en la comunicación, la fluidez, la cual suele entenderse como el grado de soltura, libre de excesivas pausas y titubeos, que presenta el discurso oral del hablante (Derwing y Munro, 2015).

Dada la distinta importancia que tienen estas cuatro dimensiones para que el acto comunicativo se desarrolle con éxito, uno de los principales objetivos de los estudios ha sido proveer a los profesores de las principales claves lingüísticas en que deben focalizar su atención para promover con más eficacia la inteligibilidad, la comprensibilidad o la fluidez de sus estudiantes, y descartar las que solo son marca de acento extranjero. Para abordar este asunto, el estudio conjunto de las variables lingüísticas (tanto fónicas como no fónicas) que podrían incidir en las distintas dimensiones empezó a realizarse para el inglés como L2 (Munro y Derwing, 1995a; Trofimovich y Isaacs, 2012; Saito et al., 2016), y pronto se extendió a otras lenguas como el francés (Préfontaine y Kormos, 2016; Bergeron y Trofimovich, 2017); el alemán (O’Brien, 2014); el japonés (Saito y Akiyama, 2017); el neerlandés (Pinget et al., 2014); o el español (McBride, 2015; Nagle y Huensch, 2020).

Los estudios realizados hasta la fecha han demostrado que los aspectos lingüísticos que intervienen en las distintas dimensiones no son siempre los mismos e inciden con fuerzas dispares. Por ejemplo, en los últimos años se ha demostrado que la comprensibilidad es una dimensión multiparamétrica sujeta a variables léxicas, gramaticales, fónicas, discursivas y de disfluencia (Isaacs y Trofimovich, 2012), y que no todos los problemas lingüísticos relacionados con el acento extranjero tienen por qué dificultar la comprensibilidad (Trofimovich y Isaacs, 2012). En lo que concierne al acento extranjero, se ha comprobado que este depende fundamentalmente de aspectos segmentales y suprasegmentales, aunque la dificultad de la tarea puede aumentar la influencia de los problemas gramaticales y léxicos (Crowther et al., 2018). Por último, en lo que respecta a la fluidez, se ha constatado que en ella intervienen aspectos temporales y marcas de disfluencia, como vacilaciones y reparaciones, aunque también pueden influir con distinta intensidad la gramática, el léxico o el ritmo (Sánchez Avendaño, 2002; Préfontaine y Kormos, 2016).

En español, la influencia de las variables lingüísticas está bien documentada en lo que concierne al acento extranjero, pero son todavía muy pocos los estudios (vid. Schairer, 1992; McBride, 2015; Santamaría Busto, 2015; y Nagle y Huensch, 2020) que han realizado tal análisis en una dimensión como la comprensibilidad, tan importante para la comunicación. Además, algunos de estos trabajos se han servido de tareas de expresión lectora, pero no de expresión oral. Por ejemplo, en el conocido estudio de Schairer (1992) sobre la comprensibilidad de anglohablantes de español como L2, los errores de pronunciación se cuantifican a través de una prueba de lectura, y se constata que los parámetros segmentales –especialmente las vocales–, seguidos de la resilabificación y de la articulación de la /r/, son los aspectos más influyentes. Sin embargo, el tipo de tarea impide considerar la incidencia de otros elementos que sí podrían resultar determinantes en el habla espontánea, como el uso de las pausas, la entonación, la corrección gramatical o la precisión léxica. Por ello, el empleo de estas tareas podría provocar, en última instancia, que la importancia de algunos de los parámetros analizados estuviera sobrevalorada. Del mismo modo, en el trabajo de McBride (2015) la comprensibilidad –dentro de un estudio más global que reúne el análisis de otros aspectos– se mide a partir de la lectura de un texto, lo que impide abrir también el análisis a otras unidades lingüísticas que no pueden valorarse.

Por otra parte, los estudios que han tenido en cuenta otro tipo de pruebas más abiertas para el análisis de la comprensibilidad (Santamaría Busto, 2015; Nagle y Huensch, 2020), no han analizado todavía cómo influye el desempeño de los hablantes en esta dimensión a la hora de valorar si todos los parámetros lingüísticos tienen realmente la misma importancia, como sí se ha hecho, recientemente, en el caso del inglés (vid. Saito et al., 2016). Dada la relevancia del español como lengua de estudio y de comunicación, la carencia de estudios sobre los parámetros que más influyen en una dimensión tan fundamental como la comprensibilidad, y si estos varían en función del grado de desempeño del hablante, resulta sorprendente. Tras el mandarín, el español es actualmente la segunda lengua en el mundo por número de hablantes nativos (Instituto Cervantes, 2020) y el tercer idioma, tras el inglés y el francés, de comunicación internacional (Constantinescu, 2015). Las proyecciones realizadas por diversos organismos, como el Instituto Cervantes (2020), indican, además, que el peso de la comunidad hispanohablante y del número de estudiantes de ELE crece a un ritmo sostenido.

Por si fuera poco, en los Estados Unidos, que es el país del que proceden los aprendientes de español analizados en esta investigación, el español es el idioma extranjero más estudiado en todos los niveles de enseñanza. Como señalan Looney y Lusin (2019), desde 1995 el español supera en volumen de estudiantes a todas las demás lenguas extranjeras juntas y en 2016 había, solo en el sistema universitario estadounidense, más de 700.000 estudiantes que aprendían español. Tal importancia tiene una explicación, y es que esta lengua es actualmente la segunda más hablada en ese país y se espera que, para 2060, los ciudadanos de origen hispano representen más de una cuarta parte de la población estadounidense, lo que convertirá a Estados Unidos en el segundo país por número de hispanohablantes en el mundo, solo precedido por México (Instituto Cervantes, 2020).

Teniendo en cuenta, por tanto, que el grueso de los estudios se ha dirigido al análisis del inglés, y que además no tengo constancia en nuestra lengua de ninguna investigación que haya considerado conjuntamente las dimensiones de la comprensibilidad, el acento extranjero y la fluidez atendiendo al grado de desempeño de los hablantes en estas dimensiones, se diseñó un experimento en el que 35 fonetistas y 35 lingüistas evaluaron respectivamente 7 variables de pronunciación y disfluencias y 7 variables lexicogramaticales y discursivas del discurso oral producido por 40 anglohablantes nativos con distintos niveles de competencia lingüística (A2, B1, B2 y C1). Al mismo tiempo, otro grupo compuesto por 109 jueces No expertos (evaluadores sin experiencia en la enseñanza y sin gran familiaridad con el español de anglohablantes nativos) y otro formado por 42 jueces Expertos (profesores de español como L2 muy familiarizados con este tipo de interlengua) evaluaron la comprensibilidad, el acento extranjero y la fluidez de los hablantes. El empleo de dos tipos de evaluadores, No expertos y Expertos, para medir las dimensiones, se realizó con el propósito de obtener datos complementarios que reflejaran las valoraciones de los dos grupos de personas nativas más habituales que estos hablantes encuentran tanto fuera como dentro del aula. El último propósito de este trabajo es comparar entonces los resultados ofrecidos por los No expertos y Expertos, ya que el modo en el que se relacionan las dimensiones y los factores lingüísticos que intervienen en ellas pueden arrojar diferencias entre los dos grupos.

Esta investigación pretende responder, por tanto, a las siguientes preguntas:

1.	¿Qué parámetros lingüísticos inciden en la comprensibilidad, el acento extranjero y la fluidez de los hablantes cuando se contrastan las puntuaciones de los jueces No expertos y Expertos con las calificaciones numéricas que realizan especialistas de la fonética y de la lingüística?
2.	¿Qué parámetros lingüísticos permiten distinguir mejor entre los tramos con los que se puede clasificar el desempeño de los hablantes en cada dimensión?
3.	¿Se producen diferencias entre los jueces No expertos y Expertos en cuanto a los parámetros que reciben más peso a la hora de evaluar las dimensiones?

Las hipótesis de este estudio son que los parámetros lingüísticos no inciden de la misma manera en las tres dimensiones, de modo que la comprensibilidad estará abierta a una gran variedad de aspectos; que el acento extranjero dependerá fundamentalmente de los parámetros segmentales y suprasegmentales; y que la fluidez estará más influida por los aspectos temporales y las marcas de disfluencia, aunque no hay una hipótesis abierta sobre cuál de ellos será más importante. Se espera también que algunos parámetros mantengan su influencia en las tres dimensiones, aunque con distintas intensidades, y que se produzcan diferencias cuando los hablantes se segmentan por tramos de desempeño. Por último, se espera que el peso de los parámetros también difiera en función de la experiencia de los jueces.

2. MÉTODOTOP

2.1. Participantes

2.1.1. Hablantes

Los hablantes de este experimento son 40 estudiantes de Estados Unidos (17 hombres y 23 mujeres) que tienen el inglés como L1 y están cursando un semestre de sus estudios en España, específicamente en los campus que dos universidades estadounidenses (New York University y Tufts University) tienen en Madrid. Su promedio de edad es de 20.2 años (D.E. = 0.61, rango = 19-22) y han sido clasificados por sus universidades en distintos niveles de competencia lingüística (A2, B1, B2 y C1; n = 10 por grupo). Los hablantes llevan estudiando español un promedio de 7.74 años (D.E. = 3.16, rango = 2‑15), y remiten un porcentaje medio de uso del español de 52.38 % (D.E. = 23.42, rango = 10‑90). Su grado de contacto en español con hispanohablantes [1], sobre una escala Likert de 9 niveles donde 1 representa «Ningún contacto» y 9 «Mucho contacto» es de 5.15 puntos (D.E. = 1.92, rango = 2‑9).

2.1.2. Evaluadores

Los cuatro grupos de evaluadores se obtuvieron a través de llamamientos personales por correo electrónico, anuncios en plataformas de Internet y, en el caso también de los profesores y de los lingüistas, de llamamientos realizados tanto por parte de este investigador como por parte de directores o coordinadores de estudios que trabajan para universidades estadounidenses en España. Por su parte, el grupo de fonetistas estaba integrado fundamentalmente por antiguos alumnos del –lamentablemente– ahora extinto Máster de Fonética y Fonología del CSIC y la UIMP que se cursaba en la ciudad de Madrid.

2.1.2.1. Evaluadores No expertos y Expertos

Estos dos grupos de evaluadores están compuestos por 109 jueces No expertos y 42 Expertos. El grupo de No expertos tiene un promedio de edad de 41.44 años (D.E. = 12.60, rango = 20-66), y el de Expertos de 45.95 años (D.E. = 8.70, rango = 26-65). Ninguno de los jueces No expertos tiene experiencia en la enseñanza del español como L2/LE, ni estudios en filología o lingüística a nivel universitario. Los jueces Expertos trabajan, en cambio, como profesores de español como L2 y tienen 19.52 años de experiencia (D.E. = 9.16, rango = 3‑44). Todos los jueces No expertos y Expertos residían en España, fundamentalmente en la ciudad de Madrid. Debido a que el conocimiento de la L1 del hablante es un factor que puede influir en las evaluaciones (Winke et al., 2013; Bergeron y Trofimovich, 2017), y a que en España la enseñanza de esta lengua es la que predomina con claridad en el sistema educativo obligatorio (Muñoz Zayas, 2013) y, por tanto, un porcentaje creciente y cada vez más mayoritario de la población la habla (INE, 2017), en este estudio solo participaron jueces que tuvieron conocimientos de la lengua inglesa.

Asimismo, se buscó que el grado de familiaridad de los jueces No expertos con el español de los hablantes no fuera el mismo que el que se esperaba de los jueces Expertos. Con este fin, para poder realizar el experimento los participantes debían contestar a unas preguntas de control al comienzo del cuestionario en las que se estableció un límite de 4 puntos sobre 9 tanto en grado de familiaridad con el español de anglohablantes nativos como en grado de contacto en español con estos hablantes. Como puede observarse en la Tabla 1, los jueces No expertos presentan un escaso grado de familiaridad con el español de este tipo de hablantes (M = 2.37, D.E. = 1.32) y poco contacto en español (M = 2.05, D.E. = 1.28). Por el contrario, los jueces Expertos manifiestan mucha familiaridad (M = 8.74, D.E. = 0.45) y mucho contacto en español (M = 8.52, D.E. = 0.80). Aunque con cifras sensiblemente inferiores a las de estos resultados, los Expertos señalan también un mayor contacto con otros hablantes que tienen el español como L2.

2.1.2.2. Evaluadores fonetistas y lingüistas

Estos dos grupos de evaluadores están formados por 35 lingüistas (profesores de E/L2 distintos a los anteriores) que evalúan 7 parámetros lexicogramaticales y discursivos y 35 fonetistas que evalúan 7 parámetros de pronunciación y de disfluencia. Como se observa en la Tabla 1, el promedio de edad de los jueces fonetistas es de 32.14 años (D.E. = 5.67, rango = 24‑50), y el de los profesores de 45.09 (D.E. = 11.20, rango = 26‑67). Los dos grupos están altamente especializados en sus respectivas disciplinas. El 97.1 % de los fonetistas tiene un Máster en fonética y fonología, en lingüística o un doctorado en este campo, el 51.4 % ha publicado sobre esta materia y el 54.3 % ha dado clases de estos contenidos. Por su parte, el 74.3 % de los profesores de español tiene un Máster o un doctorado en filología, lingüística o enseñanza del español como L2/LE, y el 25.7 % restante una licenciatura en filología hispánica, traducción e interpretación, o filología inglesa. El 65.7 % tiene también formación en evaluación (los fonetistas, un 11.4 %). El 100 % de los fonetistas y de los lingüistas habla inglés.

Por otra parte, todos los lingüistas tienen experiencia en la enseñanza del español como L2/LE, con un promedio de 16.83 años (D.E. = 9.64, rango = 3‑40). El 34.3 % de los fonetistas señala que también tiene este tipo de experiencia, aunque en su caso esta es mucho menor, casi siempre inferior a un año. Respecto al grado de familiaridad con el español de anglohablantes y el grado de contacto que mantienen con ellos en español, los profesores señalan respectivamente en una escala Likert de 9 niveles un 8.34 (D.E. = 1.00) de promedio en familiaridad (donde 1 = Ninguna familiaridad, y 9 = Muy familiarizado), y un 8.23 (D.E. = 1.11) en contacto (1 = Ningún contacto, 9 = Mucho contacto). Los fonetistas señalan un grado de familiaridad de 4.83 (D.E. = 1.87), y un grado de contacto en español de 3.86 (D.E. = 2.26).

2.2. Procedimiento

2.2.1. Tarea empleada

Siguiendo el tipo de tarea utilizado por otros investigadores, la tarea utilizada para obtener las muestras orales consistió en la descripción de una historia dispuesta en viñetas. Dicha historieta, propuesta por Celce-Murcia et al. (2010: 315), está estructurada en cuatro viñetas ordenadas que muestran a un monitor de acampada haciendo senderismo por el campo con un grupo de chicos jóvenes. Durante el recorrido, el hombre se da cuenta de que los chicos tienen miedo de estar en ese lugar, de modo que, para gastarles una broma, cuando llega la noche les cuenta una historia de miedo que les infunda aún más temor. La última viñeta finaliza con los chicos durmiendo plácidamente, mientras que el monitor no concilia el sueño porque se ha creído su propia historia.

La elección de esta tarea se debe a varias razones. En primer lugar, sus características hacen que sea más compleja, ya que, al contrario que otras, como el monólogo o la lectura de un texto, esta tarea obliga a emplear el vocabulario que requiere exactamente la historia para describirla con éxito, lo que impide que los hablantes puedan reconducir el discurso hacia usos lingüísticos en los que se sienten más cómodos. En segundo lugar, la tarea reproduce también situaciones cotidianas que los estudiantes pueden encontrar fuera del aula, como es la descripción de lo que sucede en una historia atendiendo a los objetos, los personajes y sus acciones. En tercer lugar, se espera que una tarea cognitivamente más exigente discrimine mejor entre tramos de desempeño de los hablantes que una tarea que no lo es, ya que estimulan la producción de versiones lingüísticas más complejas. Y, por último, se tiene en cuenta que este tipo de tarea ha sido –y sigue siendo– el más utilizado en las investigaciones sobre evaluación de la pronunciación de una L2, lo que facilita la comparación de los resultados que se obtengan.

Todas las muestras orales se recogieron en una habitación silenciosa mediante una grabadora H1 Handy Recorder en formato .wav, a una frecuencia de muestreo de 44.1 kHz y una resolución de 16 bits. Los hablantes dispusieron de aproximadamente 30-45 segundos de preparación para que pudieran familiarizarse con la historieta y pudieran plantear preguntas de carácter técnico (pero no lingüístico) si no entendían algo. Este tiempo de preparación es el mismo que el proporcionado en otros estudios para tareas similares (Derwing et al., 2004, 2006; Bergeron y Trofimovich, 2017), y se consideró apropiado porque permitía a los hablantes entender la historieta sin monitorizar el discurso hasta un punto en que afectara la espontaneidad de su producción oral (Ortega, 1999).

En línea con otras investigaciones previas que demuestran cómo los jueces pueden realizar evaluaciones fiables de estas dimensiones partiendo de muestras relativamente cortas, de entre 20 y 30 segundos (Trofimovich y Isaacs, 2012), las 40 muestras evaluadas en el presente experimento abarcan extractos de aproximadamente 30 segundos (rango = 27‑37), correspondientes al comienzo de la historia. Como es habitual en este tipo de estudios, los falsos comienzos y los posibles carraspeos situados al inicio se eliminaron, y los finales de todas las muestras coincidieron con pausas naturales.

2.2.2. Evaluación de las muestras

Debido a la duración de los cuestionarios y a las dificultades encontradas para obtener un número significativo de jueces que pudiera realizar el experimento de forma presencial en una misma sesión, la evaluación de las muestras se realizó en Internet a través de la plataforma Qualtrics. El experimento se podía hacer en varias sesiones, aunque una vez iniciado este solo permanecía activo durante un plazo de 72 horas. Asimismo, antes de proceder a la evaluación de las 40 muestras los jueces debían puntuar tres muestras adicionales que servían de familiarización y práctica, y podían consultar permanentemente la historieta pulsando sobre un enlace situado en la parte superior de la página. Por otra parte, se informó a los evaluadores que los hablantes tenían diferentes niveles de competencia lingüística y que los aspectos evaluados debían puntuarse de forma independiente, sin establecer correspondencias entre ellos o con los posibles niveles de lengua. También se les pidió que intentaran utilizar todas las posiciones de las escalas. Las muestras se presentaron de forma aleatoria para cada participante, de modo que todos los jueces las evaluaron en un orden distinto.

2.2.2.1. Evaluación de la comprensibilidad, el acento extranjero y la fluidez

En el caso de los jueces No expertos y Expertos la evaluación de las tres dimensiones se realizó de forma conjunta para cada muestra, ya que no hay diferencias entre evaluarlas juntas de forma simultánea o de forma consecutiva por separado (O’Brien, 2016). Tomando como referencia otros estudios que consideran que la medición de estas dimensiones se ajusta a las primeras impresiones e intuiciones del oyente (Trofimovich y Isaacs, 2012), las muestras solo podían oírse una vez, y además solo podían evaluarse una vez terminado el audio, de modo que el oyente debía escuchar toda la muestra antes de poder puntuarla. Las tres dimensiones evaluadas por estos jueces se definieron y se midieron a través de escalas Likert de la siguiente manera:

Comprensibilidad: grado de dificultad que experimenta el oyente para entender lo que dice el hablante. Se mide con una escala donde 1 = Muy difícil de entender; y 9 = Muy fácil de entender.

Acento extranjero: grado de diferencia que presenta el acento de un hablante con respecto a un nativo de español. Se mide con una escala donde 1 = Fuerte acento extranjero; y 9 = Sin acento extranjero.

Fluidez: grado de soltura, libre de excesivas pausas y titubeos, que presenta el discurso oral del hablante. Se mide con una escala donde 1 = Muy poca fluidez; y 9 = Excelente fluidez.

El experimento tenía una duración aproximada de 45 minutos, y los evaluadores podían realizar comentarios.

2.2.2.2. Evaluación de los 14 parámetros lingüísticos

Los jueces fonetistas y lingüistas debían evaluar con una escala Likert de 9 niveles 7 aspectos lingüísticos distintos que específicamente se correspondían con 7 aspectos de «Pronunciación y disfluencia» (grupo de fonetistas) y 7 aspectos de «Lexicogramática y discurso» (grupo de lingüistas). Los 7 parámetros evaluados por los fonetistas son:

1.	Vocales y consonantes: grado de interferencia fonético-fonológica de la L1 del hablante a la hora de pronunciar los segmentos del español.
2.	Acento: grado de interferencia fonético-fonológica de la L1 del hablante a la hora de realizar y colocar el acento en español.
3.	Ritmo: grado de interferencia fonético-fonológica de la L1 del hablante a la hora de marcar la duración silábica, el timbre de la vocal, la configuración de grupos tonales y la tensión articulatoria.
4.	Entonación: grado de interferencia fonético-fonológica de la L1 del hablante a la hora de realizar la melodía tonal de un enunciado.

Estos cuatro parámetros se miden con una escala donde 1 = Mucha interferencia del inglés; y 9 = Sin interferencia del inglés.

5.	Tempo: grado de velocidad de elocución del hablante a la hora de realizar el enunciado. Se mide con una escala donde 1 = Demasiado lenta/rápida; y 9 = Óptima.
6.	Pausas: uso que hace el hablante de las pausas durante la producción de su mensaje. Se mide con una escala donde 1 = Muy poco natural; y 9 = Muy natural.
7.	Repeticiones, reparaciones y falsos comienzos: frecuencia con la que el hablante realiza repeticiones, reparaciones y falsos comienzos durante la producción de su mensaje. Se mide con una escala donde 1 = Muy frecuentes; y 9 = Muy infrecuentes.

Debido a que la evaluación de estos aspectos requiere un análisis profundo de la muestra, los jueces tenían la opción de volver a escuchar el audio las veces que quisieran. Los 7 parámetros lingüísticos se evaluaron juntos en cada muestra, dispuestos en el orden en que se han presentado anteriormente, y se podían realizar comentarios. El experimento tenía una duración aproximada de 120 minutos, aunque varios jueces señalaron que les había llevado más tiempo realizarlo.

Por su parte, los jueces lingüistas evaluaron 7 aspectos relacionados con el léxico, la gramática y el discurso. En línea con otros estudios (Bergeron y Trofimovich, 2017; Saito, 2019), para minimizar la influencia de la pronunciación en la evaluación de estos aspectos, este grupo de jueces evaluó solo la transcripción ortográfica de las muestras con algunas pequeñas modificaciones: así, se eliminaron la escritura de pausas (por ejemplo ah, am), los errores específicos de pronunciación (p. ej. «cuatrou» o «lider» se escribieron como «cuatro» y «líder»)[2], y la puntuación, en este último caso con el fin de evitar la interpretación del propio investigador a la hora de situar las pausas o de valorar la entonación.

Al igual que el grupo de fonetistas, los jueces lingüistas tuvieron la opción de evaluar las muestras sin límite de tiempo. En su caso, se calculó una duración aproximada del experimento algo menor, de aproximadamente 100 minutos. Los parámetros lingüísticos que tuvieron que evaluar se dispusieron siempre en el mismo orden y en cada muestra se ofrecía también la posibilidad de realizar comentarios. Los parámetros evaluados son los siguientes:

1.	Riqueza léxica: grado de amplitud y variedad de vocabulario que presenta el hablante en español a la hora de describir el comienzo de la historieta. Se mide con una escala donde 1 = Vocabulario simple y repetitivo; 9 = Vocabulario variado.
2.	Precisión léxica: grado de pertinencia léxica que presenta el hablante en español a la hora de describir el comienzo de la historieta. Se mide con una escala donde 1 = Selección inapropiada de palabras; 9 = Selección apropiada de palabras.
3.	Complejidad sintáctica: grado de producción de estructuras sintácticas complejas que presenta el hablante en español a la hora de describir el comienzo de la historieta. Se mide con una escala donde 1 = Sintaxis simple y fragmentada; 9 = Sintaxis elaborada.
4.	Corrección gramatical: grado de presencia de errores de tipo morfológico y sintáctico que introduce el hablante en español a la hora de describir el comienzo de la historieta. Se mide con una escala donde 1 = Muchos errores gramaticales; 9 = Sin errores gramaticales.
5.	Coherencia discursiva: grado de sentido lógico que presentan y mantienen entre sí los elementos del texto. Se mide con una escala donde 1 = Narración sin sentido lógico, ideas no relacionadas; 9 = Narración con sentido lógico, ideas relacionadas.
6.	Cohesión discursiva: grado de presencia y uso de procedimientos de expresión que ayudan a conectar y relacionar elementos internos de la acción. Se mide con una escala donde 1 = No hay conectores y elementos de cohesión; 9 = Conectores y elementos de cohesión en lugares adecuados.
7.	Profundidad discursiva: grado de elaboración de la información que presenta el hablante a la hora de describir el comienzo de la historieta. Se mide por tanto con una escala donde 1 = Narración simple, sin detalles; 9 = Narración elaborada, detallada.

3. RESULTADOSTOP

3.1. Incidencia de los parámetros lingüísticos en las dimensiones

Este apartado tiene como objetivo analizar la influencia que ejercen los parámetros léxicos, gramaticales, discursivos, fónicos y de disfluencia en la comprensibilidad, el acento extranjero y la fluidez de los hablantes. Los análisis de la fiabilidad alcanzada por todos los jueces, mediante alfa de Cronbach, registra coeficientes muy elevados, tanto en la evaluación de las tres dimensiones como de los 14 parámetros lingüísticos (α ≥ 0.95).

Con el fin de comprobar si las puntuaciones de No expertos y Expertos pueden representarse juntas en un único valor, se analiza a continuación la existencia de posibles diferencias en la evaluación de la comprensibilidad, el acento extranjero y la fluidez. Para ello se realizaron tres t de Student independientes (p > 0.05 en los tests K-S para No expertos y S-W para Expertos) con cálculos del tamaño del efecto mediante g de Hedges o d de Cohen corregida. Los resultados revelan que los jueces Expertos ofrecen siempre puntuaciones más altas, y que estas son estadísticamente significativas en comprensibilidad (t(149) = 3.13, p = 0.002, g = 0.58) y en acento extranjero (t(149) = 3.83, p < 0.001, g = 0.70), aunque no en fluidez (t(149) = 1.60, p = 0.112, g = 0.29). Vista la existencia de diferencias significativas con tamaños del efecto moderados en dos de estas tres dimensiones, los análisis en los que intervienen estos jueces se mantienen siempre separados.

A continuación, se procedió a someter las 14 variables evaluadas por los jueces fonetistas y lingüistas a un análisis factorial con el objetivo de determinar si es posible sustituir los 14 parámetros lingüísticos por un número reducido de factores que explique la mayoría de la varianza observada. Para el cálculo del análisis factorial se empleó el Análisis de Componentes Principales y se implementó el método ortogonal de rotación Varimax con normalización Kaiser con el fin de maximizar las ponderaciones de los factores extraídos (Tabachnick y Fidell, 2007: 620-621). Como puede observarse en la Tabla 2, el análisis revela la existencia de dos factores subyacentes a las 14 variables empíricas (Bartlett = χ291 = 1257.41, p < 0.001; KMO = 0.896), que suman un alto 93.5 % de variabilidad total explicada. Por otro lado, ambos factores están bastante equilibrados en importancia, ya que el factor 1 y el factor 2 explican respectivamente un 52.7 % y un 40.8 % de este total de la varianza.

Si se observan las variables que definen a cada uno de los factores, se comprueba que el factor 1 está formado por las siete variables evaluadas por el grupo de lingüistas, de modo que se recogerán con el nombre de «Lexicogramática y discurso». Por su parte, el segundo factor suma la información de las siete variables empíricas evaluadas por los jueces fonetistas, de modo que se denominará «Pronunciación y disfluencias». Con el fin de recoger estas dos nuevas variables estadísticas en el modelo de regresión se calculó a continuación una media ponderada a partir de los valores de las cargas factoriales de los 14 parámetros en su correspondiente factor. Este promedio se obtiene multiplicando las cargas factoriales de los parámetros por sus puntuaciones reales obtenidas en la escala Likert y dividiendo a continuación la suma de estos elementos entre la suma de sus pesos ponderales. Siguiendo las recomendaciones de Pardo y San Martín (2010: 399), se comprobó el cumplimiento de los supuestos de homocedasticidad, linealidad, normalidad, no colinealidad e independencia sobre todas las variables.

En este análisis el estudio de la no colinealidad arrojó coeficientes de correlación superiores a 0.700 entre los factores (r = 0.788) y, en la mayoría de los

casos, entre los factores y las dimensiones. Para algunos investigadores, estos coeficientes de correlación introducen un problema de colinealidad que desaconseja que se consideren juntas las variables en el mismo análisis, dada la dificultad que tiene el modelo para evaluar las aportaciones de cada predictor sin que se superpongan entre ellos (Allison, 1999: 149; Field, 2009: 224; Pardo y San Martín, 2010: 401-402). Ante esta situación, algunas de las soluciones típicas sugeridas por estos y otros autores consisten, bien en eliminar una de las variables independientes que causan el problema o bien hacer una media entre ellas (Allison, 1999: 147; Tabachnick y Fidell, 2007: 91). Teniendo en cuenta que solo se dispone de dos variables predictoras y que no se quiere prescindir de ninguna de ellas, se realizaron dos modelos independientes de regresión univariada por cada uno de estos factores (X₁-Y; X₂‑Y). Esta estrategia consigue así eliminar del modelo la presencia de una variable parcialmente repetida sobre otra, sin privilegiar el estudio de solo una de ellas. Para facilitar la comparación de los resultados y simplificar su presentación, los análisis se exponen juntos en una misma tabla y en ella se incluyen tanto los obtenidos en el grupo de No expertos como en el de Expertos sobre el total de la muestra.

La Tabla 3 presenta los resultados obtenidos sobre la muestra total de hablantes en las tres dimensiones. Como puede observarse, la proporción de variabilidad que puede explicar cada variable predictora en la comprensibilidad es muy grande (cerca del 80 %, p < 0.001), aunque se pueden apreciar diferencias entre jueces No expertos y Expertos. Para los primeros, el factor de «Pronunciación y disfluencias» tiene una mayor capacidad predictiva de la comprensibilidad, mientras que para los Expertos es el factor de «Lexicogramática y discurso». En lo que concierne al acento extranjero, el factor de «Pronunciación y disfluencias» tiene mucha mayor capacidad predictiva sobre esta dimensión (aproximadamente el 90 %), frente al factor de «Lexicogramática y discurso», que tiene un peso inferior al 55 %. En los dos casos, el grupo de No expertos ofrece valores ligeramente más elevados que el de Expertos, y las regresiones resultan significativas con p < 0.001. En el caso de la fluidez, el peso de la variable «Pronunciación y disfluencias» es ligeramente más alto que el de «Lexicogramática y discurso» (en los dos grupos por encima del 82 % para el primero e inferior al 77 % para el segundo, todos con p < 0.001). Si se comparan los dos grupos de jueces los efectos son muy similares en ambos, con una leve diferencia también a favor de los No expertos.

A continuación se analiza, mediante correlaciones parciales, la asociación que presentan las 7 variables de «Pronunciación y disfluencias» por un lado, y las 7 de «Lexicogramática y discurso» por el otro, con las dimensiones de comprensibilidad, acento extranjero y fluidez considerando los dos grupos de evaluadores sobre el total de la muestra. Con este fin, se calcula en primer lugar el grado de asociación entre las 7 variables de «Pronunciación y disfluencias» con las tres dimensiones, mientras se controla la influencia de las variables de «Lexicogramática y discurso». Como muestra la Tabla 4, los valores de las 7 variables de «Pronunciación y disfluencias» son por lo general altos, aunque la intensidad de los coeficientes y el orden con que se clasifican varía entre las tres dimensiones y los dos grupos de jueces.

Tanto para los No expertos como para los Expertos las variables de «Tempo» y «Pausas» son las que muestran una asociación más fuerte con la comprensibilidad (r ≥ 0.62) y con la fluidez (r ≥ 0.83), mientras que los aspectos segmentales son los que menos lo están (r ≤ 0.53). Por el contrario, en los dos grupos las «Vocales y consonantes», el «Ritmo», la «Entonación» y el «Acento» son los que mantienen la mayor asociación con el acento extranjero (r ≥ 0.86). Esto es así especialmente en «Vocales y consonantes» (r = 0.95 para los No expertos y r = 0.93 para los Expertos), seguidas del «Ritmo» (r = 0.92 para los No expertos y r = 0.87 para los Expertos), y la «Entonación» (r = 0.92 para los No expertos y r = 0.86 para los Expertos).

Con el mismo objetivo de observar ahora cómo se relacionan las 7 variables de «Lexicogramática y discurso», se realizaron nuevas correlaciones parciales mientras se controlaba la influencia de las variables de «Pronunciación y disfluencias». Como puede observarse, la intensidad de los coeficientes y el orden con que se clasifican las variables varía también entre las tres dimensiones y los dos grupos de jueces. De modo similar a lo que ocurría con las variables de «Pronunciación y disfluencias», de nuevo aquí los valores de los No expertos suelen ser iguales o ligeramente superiores a los de los Expertos.

Para los No expertos, la «Precisión léxica» (r = 0.67), seguida de «Riqueza léxica» (r = 0.65), son las variables que ofrecen la mayor correlación con la comprensibilidad, mientras que para los Expertos estas son la «Corrección gramatical» (r = 0.68) y la «Precisión léxica» (r = 0.65). Para el acento extranjero, ninguna de estas variables resulta significativa en los dos grupos de jueces. En lo que concierne a la fluidez, las variables que obtienen correlaciones más altas en el caso de los jueces No expertos son la «Riqueza léxica» y la «Precisión léxica» (ambas con r = 0.72), y para los Expertos la «Riqueza léxica» (r = 0.67) y la «Profundidad discursiva» (r = 0.66).

3.2. La comprensibilidad, el acento extranjero y la fluidez en función de sus tramos de desempeño

Este apartado tiene como objetivo analizar cómo los 14 parámetros lingüísticos permiten diferenciar entre tramos de desempeño en comprensibilidad, acento extranjero y fluidez. Con este fin, los 40 hablantes se clasificaron primero en cuatro tramos de desempeño (Inicial, Intermedio, Avanzado y Superior; n = 10 por grupo) según las puntuaciones que otorgaron los jueces No expertos y Expertos (véase la Tabla 5). El tramo Inicial recoge aquí, por tanto, a los diez hablantes con peor desempeño evaluados por cada grupo de jueces, el tramo Intermedio a los diez siguientes, y así sucesivamente hasta llegar al tramo Superior donde se sitúan los diez mejores. Para estudiar el posible efecto de interacción entre los dos grupos de evaluadores y los cuatro tramos de desempeño en cada una de las dimensiones se realizan tres ANOVAS de dos factores (p > 0.05 en el test S-W). Los resultados de estos tres ANOVAS (p > 0.05 en el test S-W) revelan que el efecto de interacción no fue significativo ni en comprensibilidad (F_{3, 72} = 0.131, p = 0.941, η_p² = 0.005), ni en acento extranjero (F_{3, 72} = 0.050, p = 0.985, η_p² = 0.002), ni en fluidez (F_{3, 72} = 0.039, p = 0.990, η_p² = 0.002), lo que demuestra que el factor experiencia se comporta del mismo modo al cambiar de tramos.

Por su parte, el análisis de los efectos principales revela que las diferencias entre jueces desde esta perspectiva vuelven a confirmarse como significativas en comprensibilidad (F_{1, 72} = 4.779, p = 0.032, η_p² = 0.062) y en acento extranjero (F_{1, 72} = 7.298, p = 0.009, η_p² = 0.092), pero no en fluidez (F_{1, 72} = 0.820, p = 0.368, η_p² = 0.011), mientras que el análisis del efecto principal de los tramos muestra diferencias significativas en comprensibilidad (F_{3, 72} = 16.463, p < 0.001, η_p² = 0.407), en acento extranjero (F_{3, 72} = 9.842, p < 0.001, η_p² = 0.291) y en fluidez (F_{3, 72} = 19.148, p < 0.001, η_p² = 0.444). El estudio más concreto de las posibles diferencias entre los cuatro tramos de competencia en cada dimensión se realizó a continuación mediante ANOVAS de 1 factor, que detectaron, tanto en las pruebas ómnibus como en los análisis post hoc, diferencias significativas con p < 0.001 en todas las dimensiones y entre todos los tramos.

Con el fin de analizar, por tanto, cómo los 14 parámetros lingüísticos permiten diferenciar entre estos cuatro tramos de competencia percibidos por los jueces No expertos y Expertos en cada dimensión se realizan doce ANOVAS mixtos de dos factores (véase la Tabla 6). El diseño incluye, por tanto, un factor intersujetos donde se comparan las notas de los hablantes por tramos de desempeño y un factor intrasujetos con medidas repetidas donde se comparan los sujetos en los 14 parámetros evaluados. Los resultados de estos ANOVAS (p > 0.05 en el test S-W) muestran que existen diferencias estadísticamente significativas en todos los casos en los parámetros de «Pronunciación y disfluencias» y en los de «Lexicogramática y discurso» (p < 0.001), con tamaños del efecto muy grandes. Esto es así también entre los tramos de desempeño de los hablantes en todas las dimensiones y en los dos grupos de evaluadores (p < 0.001). El análisis del efecto de interacción entre parámetros y tramos ofrece diferencias significativas en la dimensión de fluidez en todos los casos (p < 0.05) con tamaños del efecto moderados, aunque ligeramente más grandes cuando intervienen los parámetros de «Pronunciación y disfluencias». No hay un efecto de interacción en comprensibilidad y acento, lo que indica que los parámetros muestran perfiles similares en los tramos, sin que se produzcan cruces estadísticamente significativos entre ellos.

La Tabla 7 muestra a continuación los resultados del análisis de los efectos simples (con corrección de Bonferroni) que se producen según las clasificaciones que realizan los jueces No expertos en las tres dimensiones. Como se puede observar, en comprensibilidad los tres parámetros de «Ritmo», «Repeticiones, reparaciones y falsos comienzos», y «Coherencia discursiva», permiten distinguir entre todos los tramos de esta dimensión. En el lado opuesto, los segmentos solo permiten distinguir entre los tramos Inicial y Avanzado/Superior, y entre Intermedio y Superior. Además, excepto los segmentos, el resto de parámetros de pronunciación distinguen mejor entre el tramo Inicial y el resto de tramos que los parámetros de lexicogramática y discurso, donde esta distinción se produce mejor en el extremo opuesto, entre los tramos Avanzado y Superior de comprensibilidad.