Análisis de los sesgos sociales que muestran los creadores LLM en euskera
Proyecto
Proyecto de investigación
Docente
Julia Shershneva
Centro
Ikuspegi, UPV/EHU
Empresa
Elhuyar
Curso
2024/2025
Descripción
Este proyecto desarrollará una novedosa herramienta: el primer benchmark de evaluación y medición de sesgos sociales de los creadores de LLM en euskera.
Además del desarrollo del benchmark, se realizará una evaluación manual de los actuales modelos lingüísticos en euskera. Será un proceso de evaluación manual con criterios de sentimiento, toxicidad, respeto y normas psicoecolingüísticas. Los modelos seleccionados se evaluarán con el benchmark desarrollado para medir los sesgos sociales. Los resultados de esta evaluación serán cuantificados y cualificados mediante un análisis multidisciplinar. Esto permitirá ver cómo actúan estos modelos en temas sensibles e identificar mejoras para reducir sesgos.