A comienzos de este año, Alexa lanzó en España una nueva experiencia para ayudar a los hispanohablantes a aprender inglés desde cero. 

Desarrollado en colaboración con Vaughn, el principal proveedor de aprendizaje de inglés en España, el programa de inglés inmersivo se centra en optimizar la pronunciación de los usuarios. 

Daniel Zhang, científico aplicado con Alexa AI, anunció a través de su blog en Amazon Science:

Ahora estamos ampliando esta oferta a México y a la población de habla hispana de Estados Unidos, y en el futuro planeamos añadir más idiomas. Esta experiencia de aprendizaje incluye lecciones estructuradas de vocabulario, gramática, expresión y pronunciación, con ejercicios prácticos y pruebas

Fortalezas del Programa 

Zhang resalta que lo más importante de esta nueva experiencia es su función de pronunciación, la cual proporciona información precisa cada vez que un cliente pronuncia mal una palabra o frase. 

“En la Conferencia Internacional de Acústica, Habla y Procesamiento de Señales (ICASSP) de este año, presentamos un artículo en el que describíamos nuestro innovador método de detección de errores de pronunciación”, señaló Zhang.

El método implementado por Alexa utiliza un novedoso modelo fonético de redes neuronales recurrentes (RNN-T) que predice los fonemas, las unidades más pequeñas del habla, a partir de la pronunciación del alumno.

De esta manera, el modelo puede proporcionar una evaluación detallada de la pronunciación a nivel de palabra, sílaba o fonema, lo que significa que, si un alumno pronuncia incorrectamente, por ejemplo, la palabra "rabbit" como "rabid", el modelo detectara la parte que está mal pronunciada y la comparará con la secuencia correcta. 

Para probarla, configure el idioma de su dispositivo a español y diga a Alexa “Quiero aprender inglés”.

Brechas de Conocimiento

Zhang destaca lo que llama dos brechas de conocimiento que no se habían abordado en anteriores modelos de pronunciación. 

Gracias al diseño de un léxico de pronunciación multilingüe y a la creación de un vasto conjunto de datos fonéticos mixtos para el programa de aprendizaje, el programa posee la capacidad de distinguir fonemas similares en distintos idiomas, por ejemplo, la "r" rodada en español vs. la "r" en inglés.

“La otra brecha de conocimiento es la capacidad de aprender patrones únicos de pronunciación errónea de los alumnos de idiomas, aprovechando la autorregresividad del modelo RNN-T, es decir, la dependencia de sus resultados de las entradas y salidas anteriores. Este conocimiento del contexto significa que el modelo puede captar patrones frecuentes de pronunciación errónea a partir de los datos del entrenamiento”, explica Zhang.

La Ciencia Detrás de la Experiencia

Señalando que es usual utilizar un modelo de secuencia a secuencia en las tareas de corrección de errores gramaticales, en este caso se invirtió la dirección de la tarea entrenando al modelo para pronunciar mal las palabras en lugar de corregir los errores de pronunciación. 

Además, para enriquecer y diversificar aún más las secuencias de fonemas L2 generados, se propuso un componente de decodificación diversificado y consciente de las preferencias que combina una búsqueda en haz diversificada con una pérdida de preferencia que se inclina hacia los errores de pronunciación similares a los humanos.

En resumen, el parafraseador de fonemas puede generar fonemas realistas de L2 para hablantes de un lugar específico, por ejemplo, fonemas que representen a un hablante nativo de español hablando en inglés.

“Actualmente seguimos estudiando varios métodos para mejorar nuestra función de evaluación de la pronunciación. Uno de ellos es la creación de un modelo multilingüe que pueda utilizarse para evaluar la pronunciación en muchos idiomas. También estamos ampliando el modelo para diagnosticar más características de pronunciación errónea, como el tono y el acento léxico”, agregó Zhang.