Objetivos alcanzados

El objetivo del proyecto METALEN es superar uno de los principales limitantes de las tecnologías de procesado del lenguaje natural, en particular, la falta de datos anotados para poder crear modelos de clasificación efectivos y precisos.

En este proyecto, se han desarrollado novedosas metodologías basadas en aprendizaje no supervisado y en metaaprendizaje (transfer learning and meta-learning). Estas tecnologías permiten aprovechar recursos desarrollados para cierto lenguaje o temática, reutilizándolos en nuevas herramientas con otros objetivos.

Los dos objetivos principales alcanzados durante el proyecto se pueden resumir en:

Objetivo 1: Desarrollo e Implementación de metodologías basadas en aprendizaje no supervisado y meta-aprendizaje para la extensión de clasificadores a nuevos idiomas.

Se han conseguido resultados muy buenos en la transferencia de modelos de clasificación del idioma inglés a otras lenguas. Se han conseguido crear modelos con pérdidas de solo un 5% de precisión respecto al modelo original en casi todos los idiomas europeos. En idiomas más lejanos, la precisión ha descendido en mayor medida (10-20%), como era esperable.

Objetivo 2: Desarrollo e Implementación de metodologías basadas en aprendizaje no supervisado y meta-aprendizaje para la extensión de clasificadores a nuevos casos de uso.

En los ejemplos de transferencia entre dominios, ha existido una gran variedad de resultados, según la similitud semántica entre dominios. El rango de pérdida de precisión se ha valorado entre un 10% y un 40% para los casos más desfavorables.

Para probar la utilidad y precisión de estos métodos, se utilizaron los clasificadores de detección de contenidos radicales desarrollados en inglés y árabe para construir clasificadores en idiomas distintos a estos dos aplicando metodología de transferencia de idiomas (ver entregables para una descripción más detallada de los resultados). Para probar los métodos de transferencia entre dominios, se construyeron clasificadores para detectar mensajes de extrema derecha y de delitos de odio (ver entregables para una descripción más detallada de los resultados).

Cronograma de los diferentes hitos alcanzados

Sirva el siguiente diagrama como resumen final de los hitos que se se han alcanzado durante el proyecto y las correspondientes fechas:

Hitos planificados:

Número	Nombre	Paquete	Fecha
Hito 1	Uso de recursos en mitad del proyecto	0	30/09/2020
Hito 2	Uso de recursos de final del proyecto	0	31/05/2021
Hito 3	Metodología de transferencia a otros idiomas	1	31/07/2020
Hito 4	INTERLENG, una tecnología de transferencia de idiomas	1	30/11/2020
Hito 5	Metodología de transferencia a otros campos	2	31/07/2020
Hito 6	INTERDOM, una tecnología de transferencia de conocimiento	2	30/11/2020
Hito 7	Resultados de los pilotos de la librería INTERLENG	3	31/05/2021
Hito 8	Resultados de los pilotos de la librería INTERDOM	4	31/05/2021

Se han completado con éxito todas las actividades e hitos del proyecto previstas.

Entregables

Se han completado con éxito los entregables previstos en el plan del proyecto, en las fechas previstas:

Número	Nombre	Fecha
Entregable 1	Reporte de uso de recursos en mitad del proyecto	30/09/2020
Entregable 2	Reporte de uso de recursos de final del proyecto	31/05/2021
Entregable 3	Informe de la metodología de transferencia a otros idiomas	31/07/2020
Entregable 4	Informe de descripción de INTERLENG, una tecnología de transferencia de idiomas	30/11/2020
Entregable 5	Informe de la metodología de transferencia a otros campos	31/07/2020
Entregable 6	Informe de descripción de INTERDOM, una tecnología de transferencia de conocimiento	30/11/2020
Entregable 7	Resultados de los pilotos de la librería INTERLENG	31/05/2021
Entregable 8	Resultados de los pilotos de la librería INTERDOM	31/05/2021

Entregables Públicos:

Entregables 3-4-5-6:

Entregable E3-INFORME DE LA METODOLOGÍA DE TRANSFERENCIA A OTROS IDIOMAS

Entregable E4-INTERLENG, UNA TECNOLOGÍA DE TRANSFERENCIA DE IDIOMAS

Entregable E5-INFORME DE LA METODOLOGÍA DE TRANSFERENCIA A OTROS CAMPOS

Entregable E6-INTERDOM, UNA TECNOLOGÍA DE TRANSFERENCIA DE CONOCIMIENTO

Entregable 7: Resultados de los pilotos de la librería INTERLENG

Entregable 8: Resultados de los pilotos de la librería INTERDOM

Proyecto financiado por el Ministerio de Asuntos Económicos y Transformación Digital del Gobierno de España, dentro del Plan de Tecnologías Habilitadoras Digitales.

Final Summary, Metalen Project

Achieved Goals

The goal of project METALEN is to overcome one of the main limitations of natural language processing technologies: the shortage of annotated data used to create efficient and accurate classification models.

This project has focused on the development of cutting-edge transfer learning and meta-learning technologies, which allow for the leveraging of resources developed for a specific language or topic in the development of tools with different purposes.

The two main goals that have been achieved during this project can be summarised as follows:

Goal 1: Development and implementation of non-supervised learning methodologies and meta-learning technologies for the application of classifiers to new languages.

Excellent results have been achieved regarding the transfer of classifier models from English to other languages. The technology showed only a 5% accuracy reduction from original models to secondary ones in almost all European languages. For more distant languages, accuracy rates diminished by 10-20%, as it was to be expected.

Goal 2: Development and implementation of non-supervised learning methodologies and meta-learning technologies for the application of classifiers to new use cases.

In the examples of domain transfer, results varied considerably depending on the semantic proximity between domains. The observed accuracy loss rate ranged between 10% and 40% in the most unfavourable cases.

To verify the usefulness and precision of these methods, classifiers for the detection of radical content in English and Arabic were used to build classifiers in other languages applying language transfer methodologies (see deliverables for a more detailed description of the results). To prove the domain transfer methods, classifiers were developed to detect extreme right messages and hate crimes (see deliverables for a more detailed description of the results).

Timeline of achieved milestones

See below the final summary of the milestones and their dates of achievement during the project lifetime:

Planned milestones

Number	Name	Package	Date
Milestone 1	Use of resources halfway through the project	0	30/09/2020
Milestone 2	Use of resources at the end of the project	0	31/05/2021
Milestone 3	Transfer methodology to other languages	1	31/07/2020
Milestone 4	INTERLENG, a language transfer technology	1	30/11/2020
Milestone 5	Transfer methodology to other domains	2	31/07/2020
Milestone 6	INTERDOM, a knowledge transfer technology	2	30/11/2020
Milestone 7	Pilot results from INTERLENG library	3	31/05/2021
Milestone 8	Pilot results from INTERDOM library	4	31/05/2021

All project activities and milestones have been successfully completed.

Deliverables

All deliverables projected have been successfully completed on time:

Number	Name	Package
Deliverable 1	Report on the use of resources halfway through the project	30/09/2020
Deliverable 2	Report on the use of resources at the end of the project	31/05/2021
Deliverable 3	Report on transfer methodology to other languages	31/07/2020
Deliverable 4	Description report on INTERLENG, a language transfer technology	30/11/2020
Deliverable 5	Report on transfer methodology to other fields	31/07/2020
Deliverable 6	Description report of INTERDOM, a knowledge transfer methodology	30/11/2020
Deliverable 7	Pilot results from INTERLENG library	31/05/2021
Deliverable 8	Pilot results from INTERDOM library	31/05/2021