Investigadores de la Universidad de Waterloo han desarrollado un método innovador de aprendizaje automático que detecta el discurso de odio en plataformas de redes sociales con una precisión del 88%, aliviando a los empleados de cientos de horas de trabajo emocionalmente dañino. Este avance, denominado Multi-Modal Discussion Transformer (mDT), es capaz de entender la relación entre texto e imágenes y situar los comentarios en un contexto más amplio, a diferencia de métodos anteriores.
Reducción de falsos positivos en monitoreo del discurso de odio
La capacidad del mDT para reducir los falsos positivos es especialmente significativa, ya que estos son a menudo identificados incorrectamente como discurso de odio debido al lenguaje culturalmente sensible. Liam Hebert, estudiante de doctorado en ciencias de la computación en Waterloo y primer autor del estudio, expresó su esperanza de que esta tecnología ayude a reducir el costo emocional de que los humanos revisen manualmente el discurso de odio.
Contexto y precisión
Los modelos anteriores han luchado históricamente para entender conversaciones matizadas o declaraciones contextuales. Alcanzando solo hasta un 74% de precisión en la identificación del discurso de odio. El equipo de Waterloo, ha superado este desafío al entrenar su modelo en un conjunto de datos que contiene comentarios aislados, y también el contexto de esos comentarios.
Importancia del contexto
Hebert subraya la importancia del contexto al entender el discurso de odio. Por ejemplo, el comentario “¡Eso es asqueroso!“, puede ser inocuo por sí mismo. Pero su significado cambia drásticamente si se refiere a una foto de pizza con piña en lugar de a una persona de un grupo marginado. Entender esta distinción es fácil para los humanos. Pero entrenar un modelo para comprender las conexiones contextuales en una discusión, incluyendo imágenes y otros elementos multimedia, es un problema muy complejo.
Datos del estudio
El modelo del equipo de Waterloo fue entrenado en 8,266 discusiones de Reddit con 18,359 comentarios etiquetados de 850 comunidades. Este enfoque integral también ha permitido una mayor precisión en la detección del discurso de odio.
Impacto en las redes sociales del discurso de odio
Con más de 3 mil millones de personas utilizando redes sociales diariamente, la necesidad de detectar el discurso de odio a gran escala es crucial. Lo que permite construir espacios donde todos sean respetados y se sientan seguros. Finalmente, Hebert destaca el impacto sin precedentes de estas plataformas y la importancia de esta tecnología en la creación de entornos en línea más seguros.
Publicación del estudio
La investigación, titulada Multi-Modal Discussion Transformer: Integrating Text, Images and Graph Transformers to Detect Hate Speech on Social Media, fue publicada recientemente en las actas de la Thirty-Eighth AAAI Conference on Artificial Intelligence.
Conclusión del uso de IA en el monitoreo del discurso de odio
Este avance en la detección del discurso de odio representa un paso significativo en la tecnología de inteligencia artificialLa inteligencia artificial (IA) se refiere a la capacidad de las máquinas para realizar tareas que normalmente requieren inteligencia humana. Es un campo fascinante que busca imitar las capacidades humanas para resolver problemas y... Más. También tiene el potencial de mejorar significativamente la salud emocional de los moderadores de contenido para crear un entorno en línea más seguro y respetuoso para todos.
Referencias
- Hebert, L., Sahu, G., Guo, Y., Sreenivas, N. K., Golab, L., & Cohen, R. (2024). Multi-Modal Discussion Transformer: Integrating Text, Images and Graph Transformers to Detect Hate Speech on Social Media. arXiv. https://doi.org/10.48550/arXiv.2307.09312. Consultado el 1 de junio de 2024.
