Armé un bot de moderación con IA para mi gremio y esto es lo que aprendí

Nuestro gremio pasó de 15 a 60 miembros en dos meses, y el foro interno empezó a moverse mucho más rápido de lo que yo podía leer sola. Antes revisaba cada hilo nuevo a mano; ahora eso simplemente dejó de ser posible sin que se me acumularan horas de trabajo atrasado cada semana.

Por qué decidí armar un bot en vez de sumar más moderadores

Pensé primero en pedirle a alguien más del gremio que ayudara a moderar. Pero moderar bien exige conocer el contexto de la comunidad, y entrenar a alguien nuevo para eso toma tiempo que en ese momento no teníamos. Armar un bot que hiciera el primer filtro me pareció más rápido que formar a una persona desde cero.

Cómo lo armé

El stack terminó siendo bastante simple: un webhook que se dispara cada vez que se publica un hilo nuevo, que le manda el contenido a un modelo de lenguaje con un prompt fijo, y que guarda la clasificación en una tabla aparte antes de que yo la revise. Nada de infraestructura compleja, todo corre sobre funciones serverless que ya usábamos para otra cosa.

Las tres categorías que uso

• Sin problema aparente: se publica directo, no necesita mi revisión.
• Revisar cuando pueda: algo llamó la atención del modelo pero no parece urgente.
• Revisar ahora: posible ataque personal, spam, o contenido que viola las normas del gremio.

Esta clasificación no decide nada por sí sola. Solo ordena mi cola de trabajo para que yo llegue primero a lo que de verdad importa, en vez de leer todo en el orden en que se publicó.

Lo que aprendí en el camino

El primer prompt que escribí era demasiado estricto: marcaba como "revisar ahora" hasta bromas obvias entre amigos que se conocían de otros espacios. Tuve que darle ejemplos reales de conversaciones del propio gremio para que aprendiera el tono real de la comunidad, no un tono genérico de internet.

También aprendí que el bot necesita reentrenamiento cada tanto. Lo que era spam hace tres meses cambió de forma, y si no reviso los ejemplos de vez en cuando, empieza a dejar pasar cosas nuevas que antes habría marcado.

Qué pasa cuando se equivoca

Se equivoca, y bastante seguido al principio. Los primeros quince días guardé un registro aparte de cada clasificación que yo corregía a mano, para entender el patrón del error: casi siempre marcaba de más, nunca de menos, lo cual me pareció el tipo de error correcto para este caso. Prefiero revisar algo que no hacía falta revisar antes que dejar pasar algo grave sin que nadie lo vea.

Con ese registro fui ajustando el prompt cada semana, no cada día. Cambiarlo con demasiada frecuencia hacía que el comportamiento del bot se volviera impredecible de una clasificación a otra, así que terminé fijando una revisión semanal con ejemplos acumulados en vez de parchear cada caso suelto apenas aparecía.

Lo que sigue igual

Cada decisión de eliminar algo la sigo tomando yo. El bot nunca borra nada por su cuenta, solo prioriza. Y cualquier persona que se sienta afectada por algo publicado en el foro sigue hablando conmigo directamente, nunca con una respuesta automática.

Un bot de moderación no reemplaza el criterio humano, reemplaza el tiempo que gastaba leyendo en orden cronológico en vez de por urgencia real.

Si algún gremio quiere replicar esto, lo más importante no es la parte técnica, que es sencilla. Es dedicarle tiempo real a entrenar el prompt con ejemplos propios de la comunidad, no con ejemplos genéricos de internet.