Se introdujo un fastpath tool-aware para tool_use en el router y el gateway. El objetivo era cortar contexto pesado, mantener tool_calls estructurado y medir si la mejora era real.
Implementacion
Section titled “Implementacion”runtime/gateway/tool_request_classifier.pyruntime/llm/router_api.pyruntime/gateway/openai_gateway.py
Bateria de latencia
Section titled “Bateria de latencia”Comparacion entre una instancia temporal de prueba y la produccion local activa.
| Ruta | Test | Produccion local |
|---|---:|---:|---|
| router tool_use | 2992.5 ms | 2986.0 ms |
| gateway tool_use | 2983.0 ms | 2995.7 ms |
| router normal | 16337.7 ms | 21993.1 ms |
| gateway normal | 39463.4 ms | 37793.4 ms |
Baseline previo
Section titled “Baseline previo”Antes del fastpath y del routing tool-aware, la misma peticion tool_use sobre el servicio desplegado seguia cerca de 29.5s de media.
Hallazgos
Section titled “Hallazgos”- El fastpath del router si reduce la latencia de
tool_usede forma fuerte. qwen/qwen3.6-27benrx9070ya queda priorizado paratool_use.- Test y produccion local convergen en el mismo comportamiento.
- El gateway devuelve
tool_callsestructurado sin romper el bridge OpenAI-native. - Los saludos triviales van por ruta breve, sin
HARD_FACTS. sudo rebooty variantes peligrosas quedan bloqueadas por policy.- Los saludos triviales ganan incluso si el cliente manda
toolspor defecto. - Los bloques
<system-reminder>se eliminan de entrada y salida.
Resultado
Section titled “Resultado”La fase queda alcanzada.
router: exito.gateway: exito.tool_useestable con fastpath.