AI-Native Engineering

El dolor

Llegas a esta página probablemente porque ya tienes agentes IA en producción y alguno de estos te suena:

• Lanzaste el primer agente IA hace 6 meses. Funciona bien en el demo pero degrada silenciosamente en producción. Cuando un usuario reporta “el agente respondió mal”, no podés reproducir el caso porque no guardaste el trace ni el contexto de retrieval.
• El equipo de producto pide “métricas del agente”. El equipo de ingeniería entrega un dashboard con count de llamadas, latencia p99 y tokens consumidos. Ninguna de esas métricas mide si el agente está respondiendo bien. El CEO ve verde, los usuarios ven respuestas inconsistentes.
• Hay un pipeline de evaluación pero corre solo en el dataset golden inicial, mide accuracy contra ground truth estático, y nadie sabe si los resultados son estadísticamente significativos o ruido. Cada vez que se cambia un prompt, el evaluation suite “sube” o “baja” sin que nadie pueda interpretar la diferencia.
• El agente toma decisiones que afectan plata, salud o operaciones críticas. Cuando falla, no hay runbook. El on-call recibe una alerta sin contexto y debe reconstruir manualmente qué hizo el agente, qué documentos recuperó, qué contexto tenía.
• El equipo sabe que necesita “agentic SRE” — observabilidad, alerting, evaluación continua, rotation de modelos, A/B testing con rigor estadístico — pero está construyendo prompts mientras el agente está en producción, y no hay capacidad para detener todo y construir la disciplina operacional desde cero.

Ninguno de estos es problema de modelo. Todos son problemas de ingeniería de producción aplicada a agentes IA, un campo donde la mayoría de equipos están aprendiendo en vivo con dinero real.

Lo que CultureTech prepara

Un Staff Engineer embebido en el equipo del cliente durante 3-6 meses, con foco en uno de estos dominios (no los cinco al mismo tiempo):

• Agentic SRE — observabilidad, SLO-driven alerting, postmortems, runbooks operacionales pensados para agentes IA, no para microservicios determinísticos. SLOs basados en quality metrics, no solo latency. Burn rate alerting que considera que un agente puede dar respuestas malas durante minutos antes de que el negocio lo note.
• LLM observability semántica — instrumentación que captura el full context de cada interacción: prompt, retrieved documents, intermediate reasoning, output, model version, embedding model version, retrieval strategy. Cada respuesta tiene trace completo reproducible. Vía Aether Telemetry, integrado al observability stack existente, no como tool separado.
• Evaluation engineering con rigor — datasets dinámicos que crecen con el feedback de producción, A/B testing con significancia estadística declarada y aplicada, regression detection automática cuando cambia un prompt o un modelo. No es “subir el accuracy” — es saber con cuánta confianza está subiendo.
• Agent governance operacional — quién puede deployar un cambio de prompt en producción, cómo se rota un modelo, cómo se hace rollback cuando el agente empieza a degradar, cuándo es seguro hacer fine-tuning vs cuándo basta con cambiar el system prompt. Compliance-aware si el sector lo requiere.
• Cost engineering de agentes — atribución real de costo por query, por feature, por usuario. Decisiones informadas sobre cuándo vale la pena cachear, cuándo vale la pena modelo más chico, cuándo vale la pena fine-tune vs prompt engineering.

El engagement entrega código en tu repo, dashboards en tu observability stack, evaluation suites en tu CI, runbooks que tu on-call sabe ejecutar. No entrega “AI strategy deck” ni “roadmap de adopción”.

Para quién es

• Organizaciones con agentes IA ya en producción (no en piloto) que sienten que están perdiendo control operacional. Si tu agente todavía no está en prod, este servicio es prematuro — primero llegá a prod, después llamanos.
• Sectores donde el costo del error del agente es alto: banca (decisiones que afectan tarjetas, créditos, fraude), salud (asistencia diagnóstica, triage), telco (recomendaciones operacionales, billing).
• Equipos de ingeniería que ya tienen SRE/Platform maduro para sus sistemas determinísticos pero reconocen que los agentes IA necesitan una disciplina operacional distinta que no han desarrollado todavía.

No es

• Consultoría de prompt engineering. No vendemos prompts. Vendemos la disciplina operacional para evaluar, deployar y operar prompts como artefactos versionados.
• Implementación de RAG genérica. Si necesitas un RAG pipeline desde cero, hay vendors específicos. Esta práctica atiende lo que viene después: hacer ese RAG operacionalmente confiable.
• Fine-tuning como servicio. No es nuestro foco. Si fine-tuning es parte de la solución, te ayudamos a operar el ciclo (when, how often, rollback) pero no entrenamos el modelo.
• AI strategy. Si necesitas decidir si tu organización debe usar IA, esa decisión es tuya. Esta práctica empieza después de esa decisión, cuando ya hay un agente que debe operar bien.

Cómo se cruza con el portafolio

• Aether Telemetry — la capa de observabilidad semántica que captura el full context de cada interacción de agente. Permite reproducir bugs, atribuir costos, y generar evaluation datasets desde tráfico real de producción.
• Themis — agentes AIOps que consumen las señales de Aether para automatizar runbooks. Aplica cuando el cliente quiere agent-of-agents pattern (agentes que operan otros agentes) con disciplina operacional desde el día uno.
• Agentic SRE — el playbook que introduce agentes IA en el ciclo SRE sin perder rigor operacional.
• AI Governance LATAM — las 4 dimensiones (identidad, evaluación, observabilidad, accountability) para gobernar agentes en producción con compliance regional.

Cuándo activa

Q3 2026. Antes de eso, la capacidad senior con la combinación específica (LLM ops + SRE + rigor estadístico) está comprometida con el lanzamiento del portafolio inicial.

El proceso es: discovery semana (sin costo, requiere acceso a observabilidad y evaluación actuales) → propuesta con scope acotado a un dominio → engagement de 3-6 meses → handoff documentado. Sin retainer obligatorio post-engagement.