Cómo controlar cuánto cuesta ejecutar Inteligencia Artificial: tokens, GPU, modelos locales y herramientas open source

La Inteligencia Artificial puede parecer barata cuando se prueba con pocos mensajes, pero puede volverse costosa cuando entra a producción. Un chatbot interno, un agente que consulta documentos, un sistema de generación de reportes, un asistente de programación o una API con miles de usuarios puede multiplicar rápidamente el consumo de tokens, llamadas a modelos, GPU, almacenamiento, embeddings, búsquedas y monitoreo.

El problema no es usar IA. El problema es usarla sin medición. Las plataformas de IA suelen cobrar por tokens de entrada, tokens de salida, tokens en caché, llamadas a herramientas, procesamiento por lotes o recursos adicionales. OpenAI, Anthropic y Google Gemini publican tablas de precios que separan entrada, salida, caché, procesamiento batch u otros conceptos, lo que confirma que el costo real depende del patrón de uso y no solo del modelo elegido.

1. El primer error: pensar que la IA cuesta “por pregunta”

Muchas personas creen que una consulta de IA cuesta lo mismo sin importar el tamaño del texto. No es así. En la mayoría de servicios LLM, el cobro depende de tokens. Un token puede ser una palabra corta, parte de una palabra, un signo, un fragmento de código o una unidad interna del modelo. Por eso, una pregunta breve con una respuesta larga puede costar más que una pregunta compleja con una respuesta corta.

Además, las aplicaciones modernas no envían solo la pregunta del usuario. También envían instrucciones del sistema, historial de conversación, documentos recuperados por RAG, ejemplos, herramientas disponibles, metadatos, contexto de seguridad y datos internos. Todo eso entra en la factura.

2. Fórmula básica para calcular el costo de una llamada

La fórmula más simple es:

Costo =
(tokens_entrada / 1,000,000 × precio_entrada)
+
(tokens_salida / 1,000,000 × precio_salida)
+
costos_adicionales:
  - caché
  - herramientas
  - embeddings
  - almacenamiento vectorial
  - búsqueda web
  - GPU
  - tráfico
  - monitoreo

Esta fórmula debe calcularse por modelo, usuario, aplicación, endpoint, caso de uso y ambiente. No sirve mirar solo el total mensual. Una empresa necesita saber qué proceso consume más: soporte al cliente, generación de informes, agentes internos, análisis documental, búsqueda semántica o automatización de código.

3. Los cuatro grandes costos de ejecutar IA

El gasto de IA no está en un solo lugar. Un sistema real puede combinar API de modelos, GPU propia, bases vectoriales, almacenamiento de documentos, monitoreo, logs, procesamiento batch, caché y herramientas externas.

4. Tokens de entrada: el gasto invisible

Los tokens de entrada son todo lo que envías al modelo. En aplicaciones con RAG, asistentes empresariales o agentes, el usuario puede escribir una pregunta de una línea, pero el sistema puede enviar veinte páginas de contexto sin que nadie lo note. Ese es uno de los principales motivos de facturas inesperadas.

Para reducir tokens de entrada, no envíes todo el documento. Recupera solo fragmentos relevantes, elimina texto repetido, resume conversaciones largas, corta metadatos innecesarios, usa plantillas breves y cachea instrucciones estáticas. Las páginas oficiales de precios de proveedores muestran que los tokens de entrada, salida, caché y procesamiento batch pueden tener tarifas distintas, por lo que optimizar cada categoría importa.

5. Tokens de salida: la respuesta larga también cuesta

Los tokens de salida son los que genera el modelo. En muchos proveedores suelen tener un precio mayor que los tokens de entrada. Esto obliga a controlar respuestas largas, especialmente cuando se generan reportes, artículos, análisis legales, código o explicaciones extensas.

La solución no es pedir siempre respuestas cortas, sino definir longitud por caso de uso. Un resumen ejecutivo puede tener 200 palabras; un informe técnico puede requerir 2.000; una clasificación puede devolver solo JSON. Cada tarea debe tener un límite razonable de salida.

Mala instrucción:
"Analiza todo y dame una respuesta completa."

Mejor instrucción:
"Devuelve máximo 8 viñetas.
Cada viñeta debe tener máximo 20 palabras.
No repitas información.
Si falta evidencia, responde 'No disponible'."

Para APIs:

* definir max_tokens o equivalente
* usar respuesta estructurada
* cortar generación cuando se alcanza el objetivo
* evitar que el modelo explique pasos innecesarios

6. El costo oculto de los agentes de IA

Los agentes pueden ser mucho más caros que una llamada simple porque realizan ciclos: razonan, llaman herramientas, leen archivos, consultan bases, hacen búsquedas, generan código, verifican resultados y vuelven a intentarlo. Google Gemini advierte en su documentación de precios que la inferencia de agentes administrados se cobra según las tarifas estándar del modelo, incluyendo tokens de entrada, salida y tokens intermedios o de razonamiento generados durante los bucles del agente.

Por eso, una pregunta aparentemente sencilla puede convertirse en 5, 10 o 30 llamadas internas. Si no hay límites, un agente puede consumir más presupuesto investigando que resolviendo.

7. Modelos locales: cuándo convienen y cuándo no

Ejecutar modelos locales puede reducir dependencia de proveedores externos y mejorar privacidad, pero no siempre reduce costos. El costo pasa de tokens API a hardware, GPU, electricidad, administración, actualizaciones, monitoreo, rendimiento, seguridad y personal técnico.

Ollama permite ejecutar modelos localmente y ofrece integración mediante API; su documentación indica que puede correr modelos en macOS, Windows o Linux, y su FAQ señala que, al ejecutar localmente, Ollama no ve los prompts ni datos del usuario. Para producción de alto rendimiento, vLLM se presenta como un motor open source de inferencia y serving con alto throughput, API compatible con OpenAI y soporte para una amplia gama de modelos open source.

8. GPU: el costo que más se subestima

Cuando una empresa ejecuta IA local o en nube, la GPU se convierte en el principal costo operativo. No basta saber cuántas GPUs tienes. Hay que saber utilización, memoria, temperatura, consumo, colas, latencia, throughput, tokens por segundo y tiempo ocioso.

NVIDIA DCGM Exporter permite exponer métricas de GPU para Prometheus; la guía de observabilidad de NVIDIA indica que GPU Operator puede desplegar DCGM Exporter junto con drivers y plugins de Kubernetes para monitorear GPUs en entornos Kubernetes.

9. Herramientas open source para controlar costos

Una estrategia seria necesita observabilidad. Debes registrar modelo, proveedor, usuario, aplicación, tokens de entrada, tokens de salida, latencia, error, costo estimado, prompt, versión del prompt, documentos usados y resultado.

Langfuse es una plataforma open source de observabilidad para aplicaciones LLM. Su documentación indica que puede rastrear uso y costo de cada llamada LLM, desglosar gasto por modelo, caso de uso y tiempo, y también soporta modelos personalizados si se proporcionan precios o uso.

10. Estrategias concretas para reducir costos de IA

11. Arquitectura recomendada para IA con control de costos

Una arquitectura madura no conecta la aplicación directamente al proveedor sin control. Debe existir una capa intermedia para observabilidad, límites, enrutamiento, caché, seguridad y auditoría.

Usuario / Aplicación
        ↓

Gateway de IA
↓
Políticas:

* límite por usuario
* límite por aplicación
* selección de modelo
* caché
* logging
* seguridad
  ↓
  Proveedor externo o modelo local
  ↓
  Observabilidad:
* tokens
* costo
* latencia
* errores
* calidad
* consumo GPU
  ↓
  Dashboard mensual de costos y optimización

12. Cuándo usar API y cuándo usar modelos locales

13. RAG barato: no conviertas tu base documental en una factura gigante

Los sistemas RAG pueden ahorrar costos si evitan enviar documentos completos. Pero también pueden elevar el gasto si recuperan demasiados fragmentos, duplican contenido, incluyen HTML basura o envían contexto irrelevante. La clave es mejorar recuperación antes de aumentar tokens.

14. Presupuesto, alertas y límites: la parte que todos olvidan

La IA necesita controles financieros como cualquier servicio cloud. Debes establecer límites por usuario, por aplicación, por equipo, por día y por mes. También conviene bloquear tareas caras si no tienen aprobación o si superan umbrales de seguridad.

15. Indicadores que debes revisar cada semana

16. Errores comunes que disparan el costo de la IA

17. Preguntas clave

Recomendamos

En resumen

Controlar cuánto cuesta ejecutar Inteligencia Artificial no se logra eligiendo simplemente el modelo más barato. Se logra entendiendo el costo completo: tokens de entrada, tokens de salida, agentes, herramientas, embeddings, RAG, GPU, latencia, calidad, observabilidad y operación.

Las empresas deben medir cada llamada, asignar costos por usuario y aplicación, usar modelos pequeños cuando sea suficiente, limitar salidas, cachear contexto repetido, evaluar modelos locales y monitorear GPUs. La IA rentable no es la que responde más bonito, sino la que entrega valor medible a un costo controlado.