Agregar Moderación de Contenido Automático (Texto)

Al publicar un post, comentario (muro/post), contenido textual de perfil, contenido textual de chat o mensaje, el contenido textual de estos elementos deberá pasar por el análisis automático de un modelo de aprendizaje profundo dirigido a la moderación de contenido. Evaluará diversos atributos, sin embargo, sólo disparará un flag cuando detecte situaciones específicas.

Acoso, amenazas y acoso amenazante: No disparará ningún flag ya que una acción de moderación contra este contenido solamente se hará presente con el reporte de un usuario que se vea afectado, teniendo en cuenta las limitaciones que el modelo tiene para identificar sarcasmo y de diferenciar insultos amistosos de insultos amenazantes.
Discurso de odio y odio amenazante: Disparará un flag (unicamente en casos de confianza alta) que enviará un reporte automático a soporte con prioridad mínima, con la finalidad de que un humano revise que el contenido cumple con los lineamientos de la comunidad.
Contenido ilícito: No disparará ningún flag debido a que este sistema busca priorizar el riesgo de un daño inmediato a alguien, una persona hablando sobre cómo evadir impuestos, por ejemplo, entraría en esta categoría.
Contenido ilícito violento: Disparará una flag que se enviará de forma directa en formato de reporte automático con prioridad máxima a soporte, para que un ser humano lo revise y tome las medidas que crea necesarias. Una persona pidiendo o proporcionando información sobre cómo conseguir armas puede entrar en esta categoría. En caso de posts, el contenido se marcará de forma preventiva y automática como NSFW, ocultándose a menores de edad.
Autolesiones e intento de autolesiones: Disparará una flag que se enviará en forma de reporte automático a soporte para revisión humana, y de la misma manera, mostrará al usuario una página especial que le redirigirá a recursos contra el suicidio. En caso de posts, el contenido se marcará de forma preventiva y automática como NSFW, ocultándose a menores de edad.
Instrucciones para autolesiones: Disparará una flag que se enviará en forma de reporte automático con prioridad máxima a soporte para revisión humana, y de la misma manera, mostrará al usuario una página especial que le redirigirá a recursos contra el suicidio. En caso de posts, el contenido se marcará de forma preventiva y automática como NSFW, ocultándose a menores de edad.
Contenido sexual: Disparará una flag que se enviará en forma de reporte automático con prioridad mínima a soporte para revisión humana, con la finalidad de verificar que el contenido no rompa los lineamientos de la comunidad acerca de contenido íntimo, revenge porn, NCII o solicitación de contenido explícito. En caso de posts, el contenido se marcará de forma preventiva y automática como NSFW, ocultándose a menores de edad.
Contenido sexual envolviendo menores: Bloqueo automático del contenido, impidiendo que el usuario haga de ese contenido algo público. Paralelamente, se disparará una flag que se enviará en forma de reporte automático con prioridad máxima a soporte, con la finalidad de monitorear y moderar contenido que pueda vincularse a conductas que envuelven grooming, acoso sexual a menores, CSAM o pedofilia.
Violencia/Contenido gráfico: Disparará una flag que se enviará en forma de reporte automático con prioridad mínima a soporte para revisión humana, con la finalidad de verificar que el contenido no rompa los lineamientos de la comunidad acerca de contenido perturbador, gore extremo, violencia ilícita, o contenido gore real. En caso de posts, el contenido se marcará de forma preventiva y automática como NSFW, ocultándose a menores de edad.

Basta agregar que este sistema analizará textos y no imágenes. Las imágenes ya tienen su sistema de análisis de contenido aplicado (Amazon Rekognition) y funciona con un 95-99% de correctitud.