Hacia una evaluación robusta e informada lingüísticamente de los LLMs. De los benchmarks a los escenarios de aplicación (TRAIL-LLMs) (AIA2025-163322-C65)
Proyecto de investigación llevado a cabo en la Universidad Nacional de Educación a Distancia (UNED) por el Departamento de Lenguajes y Sistemas Informáticos de la Escuela Técnica Superior de Ingeniería Informática en el marco del grupo nlp.uned.es y del centro de investigación LENAR, y por el Departamento de Filologías Extranjeras y sus Lingüísticas de la Facultad de Filología en el marco del grupo ACTUALing.
FINANCIACIÓN
Este proyecto ha sido financiado en la Convocatoria 2025 de «Proyectos de Investigación en el Ámbito de la Inteligencia Artificial» en el marco del Programa Estatal para la Investigación y el Desarrollo Experimental, del Plan Estatal de Investigación Científica y Técnica y de Innovación 2024-2027.
Presupuesto: 297.500 euros.
OBJETIVO
Este proyecto tiene como objetivo evaluar los modelos de lenguaje a gran escala (LLM) desde una doble perspectiva: la evaluación de sus competencias básicas y la evaluación de su rendimiento en tres escenarios de aplicación del mundo real (casos de uso):
CASO DE USO 1. Lenguaje claro en el ámbito jurídico-administrativo.
CASO DE USO 2. Anonimización de datos para la protección de la privacidad.
CASO DE USO 3. Ámbito biomédico.
Concretamente, el equipo arText es responsable del CASO DE USO 1, para cuyo desarrollo se ha definido la siguiente metodología:
| METODOLOGÍA | |||||
| FASE 1 | FASE 2 | FASE 3 | FASE 4 | FASE 5 | FASE 6 |
| Compilación de un corpus de textos del ámbito administrativo. | Adaptación del corpus a lenguaje claro mediante LLM. | Evaluación del rendimiento de los LLM para clarificar el corpus. | Posedición humana de las adaptaciones a lenguaje claro. | Diseño e implementación de un sistema híbrido de generación de textos claros que aúne IA generativa y simbólica. | Evaluación del rendimiento del sistema híbrido. |
EQUIPO
Por parte del grupo nlp.uned.es:
- Julio Gonzalo (investigador principal 1) (UNED)
- Enrique Amigó (UNED)
- Guillermo Marco (UNED)
- Anselmo Peñas (UNED)
- Laura Plaza (UNED)
- Álvaro Rodrigo (UNED)
- Eva Sánchez (UNED)
Por parte del equipo arText:
- Iria da Cunha (investigadora principal 2) (UNED)
- M. Ángeles Escobar (UNED)
- Montserrat Bermúdez Bausela (UNED)
- M. Amor Montané (Universitat de Barcelona)
- Susana Viñuales (UNED)
- Sara Pistola (UNED)
- Laia Vidal-Sabanés (Universitat de Barcelona)
PROyecto coordinado
El proyecto TRAIL-LLMs es un subproyecto del proyecto coordinado Humanizing AI with Language Technology (HumanAIze), liderado por el Basque Center for Language Technology (HiTZ) de la Universidad del País Vasco (EHU) y en el que participan, además de la UNED:
- el Centro de Inteligencia Digital (CENID) de la Universidad de Alicante (UA);
- el Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS) de la Universidade de Santiago de Compostela (USC);
- el Centro de Estudios Avanzados en Tecnologías de la Información y de la Comunicación (CEATIC) de la Universidad de Jaén (UJA);
- y el Barcelona Supercomputing Center (BSC).
NOTICIAS
Pincha aquí.