Por Asier Moneva
En un intento por entender qué factores hacen que el crimen se agrupe en lugares particulares en momentos específicos, los criminólogos ambientales han cambiado el enfoque de su análisis de la persona que comete o sufre el crimen al ambiente donde ocurre. Su premisa de partida es que las características de cada entorno favorecen o perjudican la delincuencia y que es posible intervenir en estos entornos para controlarla.
Recientemente se ha desarrollado el marco teórico Cybercrime and Place para extrapolar el análisis de los lugares del delito al ciberespacio. Ciertamente, parece contraintuitivo hablar de lugares en el ciberespacio, pero la connotación que la criminología ambiental da al concepto de lugar trasciende lo físico. Lo que cuenta de estos ciberlugares es que permiten la convergencia de personas y cosas. Y, en ausencia de guardianes, esta convergencia genera oportunidades para cometer delitos.
Un “nuevo” guardián en Twitter
En Twitter, los usuarios se relacionan constantemente con información publicada por otros usuarios en microentornos digitales definidos por la combinación de personas (es decir, cuentas de usuario), que dicen cosas (es decir, tweets) a otras personas (es decir, otras cuentas). La mayoría de las veces ésta es una actividad inofensiva, pero es posible que uno de estos tweets contenga un tipo de contenido radical llamado discurso de odio.
Cientos de millones de tweets se publican diariamente en Twitter. La policía y los proveedores de servicios examinan Twitter todos los días en busca de expresiones de odio para eliminarlas. Pero la incitación al odio es un fenómeno minoritario si tenemos en cuenta el contexto global de millones de mensajes que se publican en esta red social, y detectarlo en medio de tanto ruido se convierte en una tarea ardua. No es realista pensar por tanto que se pueda controlar todo el contenido publicado en Twitter. Sin embargo, los usuarios esperan que los administradores de esta red social así lo hagan.
Frente a este panorama, en el Centro Crímina hemos desarrollado un modelo de machine learning que se alimenta de los metadatos de cada tweet para determinar si contiene expresiones de odio con una precisión del 92%.
No es solo cuestión de semántica
La detección del discurso del odio plantea dos retos principales. En primer lugar, es complejo de definir y, por lo tanto, de delimitar. En segundo lugar, el dinamismo del lenguaje lo convierte en un fenómeno extraordinariamente adaptativo. Tradicionalmente se han utilizado enfoques semánticos para su detección. Estos enfoques consideran que un mensaje es discurso de odio si contiene ciertas palabras previamente clasificadas como radicales. Pero dependiendo del contexto, algunas palabras pueden ser engañosas y provocar una clasificación incorrecta.
Hemos utilizado un enfoque alternativo para superar las limitaciones de estos enfoques. En nuestra investigación planteamos la hipótesis de que las características de los microentornos digitales condicionan los patrones de discurso de odio. Basándonos en esta idea, hemos desarrollado un modelo de aprendizaje automático que se alimenta de los metadatos de cada tweet para determinar si contiene expresiones de odio con una precisión muy elevada, por encima del 90%. Utilizando una muestra de tweets enviados a través de Twitter tras el atentado terrorista de junio de 2017 en el Puente de Londres (N = 200.880), el presente estudio introduce un nuevo algoritmo diseñado para detectar mensajes de incitación al odio en el ciberespacio.
Mediante la aplicación de la técnica de clasificación de aprendizaje automático Random Forests (“bosques aleatorios» es una combinación de árboles de decisión donde cada árbol aporta un vector aleatorio con capacidad para clasificar un mensaje de forma independiente y que posteriormente se ensambla con los demás, componiendo un único árbol predictor), nuestro análisis viene a indicar que los metadatos asociados a la interacción y estructura de los tweets son especialmente relevantes para identificar el contenido que contienen. Por lo tanto, desde el Centro Crímina esperamos facilitar y reducir las tareas de análisis realizadas por la policía y los proveedores de servicios para mitigar el impacto de la incitación al odio en los usuarios de las redes sociales.
Asier Moneva es investigador FPU del Centro Crímina. Sus investigaciones se centran en el análisis y la prevención de la ciberdelincuencia.