Síntoma

Section titled “Síntoma”

Target 192.168.1.50:9183 en Prometheus reportado como caído:

"health": "down",
"lastError": "Get \"http://192.168.1.50:9183/metrics\": context deadline exceeded"

Diagnóstico

Section titled “Diagnóstico”

El sistema de telemetría GPU tiene dos rutas distintas:

  • 9182 para windows_gpu_* en GPU AI Metrics.
  • 9183 para gpu_temperature_celsius, gpu_smalldata y gpu_power_watts en AI-LAB GPUs y metricas.labrazahome.com/gpus.

Tras el reboot del lab aparecieron dos regresiones:

  • .50:9182 dejó de emitir windows_gpu_* porque windows_exporter quedó sin el collector gpu.
  • .60:9183 seguía arrancando con una versión vieja de gpu_metrics.ps1 que generaba labels sin comillas y Prometheus la rechazaba.

Problemas encontrados y soluciones

Section titled “Problemas encontrados y soluciones”
#ProblemaCausaSolución
1Puerto 9183 no accesible desde red localFirewall de Windows bloqueando tráfico entrantenetsh advfirewall firewall add rule name="GPU Metrics 9183" dir=in action=allow protocol=TCP localport=9183
2Métricas rechazadas por PrometheusEtiquetas sin quotes: gpu=RX9070 en lugar de gpu="RX9070"Añadido [char]34 alrededor de valores en gpu_metrics.ps1
3Task programada GPUExporter no se reiniciabaProceso PowerShell heredado y wrapper wscript frágilRecrear la tarea como powershell.exe -File gpu_metrics.ps1 directo
4windows_gpu_* desapareció en .50:9182windows_exporter quedó con collectors.enabled: "[defaults],textfile"Activar gpu en config.yaml y reiniciar el servicio

Arquitectura del exporter GPU

Section titled “Arquitectura del exporter GPU”
GPUExporter (scheduled task, cada 1 min)
  └─ powershell.exe → gpu_metrics.ps1
       └─ HttpListener en :9183 con LibreHardwareMonitorLib.dll
            └─ /metrics → sensores GPU (temp, load, clock, power, D3D)


GPUSensorCollector (scheduled task, cada 1 min)
  └─ powershell.exe → get_gpu_sensors.ps1
       └─ Out-File → textfile/gpu_sensors.prom

Fix adicional: encoding en get_gpu_sensors.ps1

Section titled “Fix adicional: encoding en get_gpu_sensors.ps1”

El script get_gpu_sensors.ps1 usaba Out-File sin -Encoding ascii, generando el fichero en UTF-16 LE. Prometheus no puede parsear UTF-16. Se añadió -Encoding ascii a todas las líneas Out-File.

Verificación de dashboards Grafana

Section titled “Verificación de dashboards Grafana”

Servidor: 192.168.1.40:3000 (Grafana v13.0.1)

Targets Prometheus — 14/14 UP

Section titled “Targets Prometheus — 14/14 UP”
GrupoTargetsHealth
ai-lab-gpu-metrics192.168.1.50:9183, 192.168.1.60:9183✅ UP
ai-lab-gpu-rx9070192.168.1.50:9182✅ UP
ai-lab-gpu-rx7900xt192.168.1.60:9182✅ UP
ai-lab-node192.168.1.30:9100✅ UP
ubuntu-server192.168.1.40:9100✅ UP
ai-lab-gateway192.168.1.30:8008✅ UP
ai-lab-cadvisor192.168.1.30:8081✅ UP
dockercadvisor:8080✅ UP
cloudflare-tunnelcloudflare-tunnel:2000✅ UP
windows11-nas192.168.1.200:9182✅ UP
serv2025-hyperv2192.168.1.100:9182✅ UP
serv2025-market192.168.1.150:9182✅ UP
unpoller192.168.1.40:9130✅ UP

Dashboards en carpeta AI-LAB

Section titled “Dashboards en carpeta AI-LAB”
DashboardPanelsDatasource(s)Estado
GPU AI Metrics30Prometheus✅
Cognitive Runtime Core19Prometheus✅
Energy / Thermal Operations18Prometheus✅
Event Bus16Prometheus✅
AI Governance16Prometheus + Infinity✅
Episodic Memory15Prometheus + Infinity✅
AI-LAB Runtime — ubuntu-ialab14Prometheus✅
AI Sessions13Prometheus + Infinity✅
Cluster Topology11Prometheus + Infinity✅

Total: 9 dashboards, 152 paneles funcionales

Métricas GPU en vivo

Section titled “Métricas GPU en vivo”
MétricaRX9070RX7900XT
GPU Core Temp51°C29°C
GPU Memory Temp72°C54°C
Hot Spot53°C34°C
VRAM Total16304 MB20464 MB
VRAM Used15452 MB19940 MB
VRAM Free852 MB524 MB
GPU Package Power51 W57 W
GPU Memory Clock2505 MHz—
D3D Load (3D)0%0%

APIs del runtime verificadas

Section titled “APIs del runtime verificadas”
EndpointRutaStatus
AnalyticsGET /api/analytics✅ 200
WatchdogGET /api/watchdog✅ 200
Model PerformanceGET /api/model-performance✅ 200
Learning PatternsGET /api/learning/patterns✅ 200

Resumen operativo

Section titled “Resumen operativo”
SistemaEstado
Servicios systemd (router, live-api, heartbeat)✅ Todos running
Puertos API (8083, 8084, 8008, 4322)✅ Todos respondiendo
Prometheus targets✅ 14/14 UP
Grafana dashboards AI-LAB✅ 9/9 con datos
GPUs (RX9070, RX7900XT)✅ Métricas GPU completas en 9182 + 9183
FASE 12 learning engine✅ Ciclo completo operativo

Commit

Section titled “Commit”
31421a3 docs: informe completo sesion telemetria GPU + disciplina prompting
980e5d9 fix: pre-commit restart ailab-docs service after build