Análisis de los sesgos sociales que muestran los creadores LLM en euskera
Projet
Proyecto de investigación
Enseignant
Julia Shershneva
Centre
Ikuspegi, UPV/EHU
Entreprise
Elhuyar
Cours
2024/2025
Description
Este proyecto desarrollará una novedosa herramienta: el primer benchmark de evaluación y medición de sesgos sociales de los creadores de LLM en euskera.
Además del desarrollo del benchmark, se realizará una evaluación manual de los actuales modelos lingüísticos en euskera. Será un proceso de evaluación manual con criterios de sentimiento, toxicidad, respeto y normas psicoecolingüísticas. Los modelos seleccionados se evaluarán con el benchmark desarrollado para medir los sesgos sociales. Los resultados de esta evaluación serán cuantificados y cualificados mediante un análisis multidisciplinar. Esto permitirá ver cómo actúan estos modelos en temas sensibles e identificar mejoras para reducir sesgos.