Objetivo

Section titled “Objetivo”

Verificar rapidamente si el runtime sigue enroutando bien y si minimal / observe siguen siendo ligeras.

Flujo de lectura

Section titled “Flujo de lectura”
  1. Mirar la distribucion por family.
  2. Revisar latencia por family.
  3. Revisar tokens por family.
  4. Revisar errores y bloqueos por family.
  5. Confirmar que minimal y observe no crecen en coste semantico.

Que significa cada family

Section titled “Que significa cada family”
FamilyLectura operativa
minimalDebe ser corta, barata y sin contexto pesado
observeDebe usar solo informacion observable
tool_fastpathDebe resolver herramientas sin inflar el prompt
cognitivePuede usar contexto y recall, pero controlado
learningSolo para endpoints internos de aprendizaje

Queries rapidas

Section titled “Queries rapidas”

Distribucion

Section titled “Distribucion”
sum by (family) (ailab_route_family_total)

Latencia promedio

Section titled “Latencia promedio”
sum by (family) (rate(ailab_route_family_latency_ms_sum[5m])) / sum by (family) (rate(ailab_route_family_latency_ms_count[5m]))
histogram_quantile(0.95, sum by (le, family) (rate(ailab_route_family_latency_ms_bucket[5m])))

Tokens

Section titled “Tokens”
sum by (family) (rate(ailab_route_family_prompt_tokens_total[5m]))
sum by (family) (rate(ailab_route_family_completion_tokens_total[5m]))

Errores y bloqueos

Section titled “Errores y bloqueos”
sum by (family) (rate(ailab_route_family_errors_total[5m]))
sum by (family) (rate(ailab_route_family_blocked_total[5m]))

Grafana

Section titled “Grafana”

Dashboard: AI-LAB Route Family Observability Baseline

URL: http://192.168.1.40:3000

Paneles Grafana

Section titled “Paneles Grafana”
PanelObjetivo
Route Family DistributionVer que family domina el trafico
Latency by Route FamilyDetectar rutas simples lentas con promedio real
Prompt Tokens by FamilyVer inflacion de contexto
Completion Tokens by FamilyVer salida real por family
Errors by FamilyVer fallos por familia
Blocked by FamilyVer bloqueo de policy por familia

Como detectar regresiones

Section titled “Como detectar regresiones”

Regresion de contexto

Section titled “Regresion de contexto”

Señal:

  • minimal sube en prompt tokens
  • observe sube en prompt tokens
  • minimal sube en latencia

Interpretacion:

  • se esta inyectando contexto innecesario
  • se esta reintroduciendo recall pesado
  • se esta perdiendo la ruta minima

Regresion tool fastpath

Section titled “Regresion tool fastpath”

Señal:

  • tool_fastpath sube en errores o bloqueos
  • tool_fastpath baja en throughput y sube en latencia

Interpretacion:

  • parser de tools roto
  • fastpath no se esta activando bien
  • demasiada carga en la ruta de tools

Regresion cognitive

Section titled “Regresion cognitive”

Señal:

  • cognitive domina el trafico trivial
  • cognitive absorbe saludos o reportes simples

Interpretacion:

  • el clasificador esta siendo demasiado permisivo
  • el runtime dejo de respetar la segmentacion

Checklist de validacion

Section titled “Checklist de validacion”
  • minimal responde con latencia y tokens bajos.
  • observe no usa HARD_FACTS pesados.
  • tool_fastpath no arrastra contexto completo.
  • cognitive sigue siendo la ruta pesada, no la predeterminada.
  • learning solo aparece en endpoints internos.
  • ailab_embedding_truncations_total no sube en usos normales.

Baseline esperado

Section titled “Baseline esperado”
  • minimal y observe deben quedarse por debajo de cognitive en tokens y latencia.
  • Si suben, hay regresion de contexto.
  • Si learning crece sin motivo, hay ruido de observabilidad o jobs mal encaminados.