Cómo le enseño a la IA a no inventar números en un reporte financiero
Un modelo de lenguaje no miente por maldad, completa lo que no sabe con algo plausible. Así es como lo obligo a admitir cuando no tiene el dato.
La primera vez que le pedí a una IA que armara un resumen ejecutivo a partir de una planilla de ventas, el resultado se leía perfecto. Bien escrito, bien estructurado, con cifras redondas y una conclusión clara. El problema es que dos de esas cifras no existían en ningún lado de mi planilla.
El problema no es que mienta, es que "completa"
Un modelo de lenguaje no inventa números por maldad. Cuando le falta un dato para cerrar una frase que suena bien, tiende a completar el hueco con algo plausible. Si le pedís "el crecimiento fue de X% respecto al trimestre anterior" y esa comparación no está en los datos que le diste, puede calcularla mal, redondearla de más, o directamente inventarla con tal de que la oración quede completa.
Lo que cambié en mi prompt
Ahora, antes de pedir cualquier resumen, agrego tres instrucciones fijas:
- Nunca calcules un dato que no esté explícito en la tabla que te paso, aunque parezca obvio.
- Si falta un dato para completar una comparación, decime que falta en vez de estimarlo.
- Citá la celda o fila exacta de donde sacaste cada cifra que menciones.
Esa última instrucción es la que más me sirvió. Cuando el modelo tiene que señalar de dónde sacó cada número, se nota enseguida si está inventando algo, porque no puede apuntar a ninguna fila real.
El resultado
Sigo revisando cada reporte a mano antes de enviarlo, pero ahora la revisión es mucho más rápida: solo tengo que confirmar que las citas apunten a donde dicen apuntar. Si el modelo no puede citar una fuente para un número, ese número no entra al reporte final. Punto.
Un asistente de IA que no puede decir "no sé" es más peligroso que uno lento. Pedirle que cite su fuente es la forma más simple que encontré de forzarlo a admitirlo.
No es una solución perfecta, y de vez en cuando todavía se me escapa algo raro. Pero pasé de encontrar un número inventado cada dos o tres reportes a encontrar quizás uno cada quince, y siempre en cifras que de todos modos habría revisado a mano.