Análisis de los sesgos sociales que muestran los creadores LLM en euskera
Project
Proyecto de investigación
Teacher
Julia Shershneva
Faculty
Ikuspegi, UPV/EHU
Company
Elhuyar
Course
2024/2025
Description
Este proyecto desarrollará una novedosa herramienta: el primer benchmark de evaluación y medición de sesgos sociales de los creadores de LLM en euskera.
Además del desarrollo del benchmark, se realizará una evaluación manual de los actuales modelos lingüísticos en euskera. Será un proceso de evaluación manual con criterios de sentimiento, toxicidad, respeto y normas psicoecolingüísticas. Los modelos seleccionados se evaluarán con el benchmark desarrollado para medir los sesgos sociales. Los resultados de esta evaluación serán cuantificados y cualificados mediante un análisis multidisciplinar. Esto permitirá ver cómo actúan estos modelos en temas sensibles e identificar mejoras para reducir sesgos.