Dando memoria a la IA: historial de conversación y contexto
La primera versión de la IA era amnésica. "Añadir pan" funcionaba. "Ponerlo para mañana" fallaba: la IA no sabía de qué tarea se hablaba. Había que darle memoria.
El problema del contexto
Los LLM no tienen memoria nativa. Hay que reenviar el historial completo en cada solicitud. Dos problemas: la ventana de contexto y el costo en tokens.
La ventana de contexto
Ventana deslizante con prioridades: el prompt del sistema siempre incluido, los 2 últimos intercambios siempre incluidos, las llamadas a funciones prioritarias. Los intercambios antiguos se resumen o eliminan según el presupuesto de tokens.
El impacto en los costos
Una conversación de 10 intercambios puede costar 5 veces más que un intercambio aislado. Límite de 20 intercambios por conversación, contador de tokens estimado, elección del modelo según la complejidad.
El fallback de OpenRouter
Si el modelo principal devuelve 429 o 503, el backend lo intenta de nuevo con OPENROUTER_FALLBACK_MODEL. Transparente para el usuario. Un AlertService envía un correo electrónico al administrador. En producción, 2-3 fallbacks por semana.
Lo que cambia la memoria
"Modificar la prioridad de la tarea que acabamos de crear", "Finalmente, poner esto para el viernes". La IA comprende los pronombres, las referencias, las correcciones. La diferencia entre una herramienta y un asistente.