Cámara es una criatura robótica hecha sobre una cámara PTZ comercial (Dahua, controlada por ONVIF) y una Raspberry Pi 5. Su tarea más básica es mantener la cara de una persona centrada en la imagen mientras camina por la sala y, si está de espaldas, mirar hacia donde estaría su cara.
Suena simple, pero su cuerpo no fue hecho para eso: obedece unos 7 comandos por segundo y tarda en arrancar y en frenar. Cada vuelta del lazo de seguimiento pasa por tres partes.
Captura
Qué ve Cámara y hacia dónde está mirando en este instante.
Procesamiento
Dónde está la persona en el cuadro, dónde está en el mundo y a qué velocidad va.
Tracking
Qué velocidad pedirle a sus motores para acompañar a la persona sin pasarse.
Captura: ver lo de ahora, no lo de hace un rato
Todo lo que Cámara ve le llega con retraso, y cada orden que le manda a sus motores también tarda. A la suma la llamamos tiempo muerto, y es lo que más limita qué tan bien puede seguir a alguien.
El video llega por RTSP desde el substream de la PTZ (704×480, MJPEG). Un hilo aparte lo lee sin parar y el lazo toma siempre el último frame, así nunca decide mirando imágenes en cola. La posición de los motores se lee por un canal distinto al de las órdenes.
| formato | costo del video por llamada | latencia del video |
|---|---|---|
| MJPEG | +36 ms | 0.04 s |
| H.264 2 Mbps | +9 ms | 0.30–0.34 s |
| H.264 Baseline, GOP 15 | — | 0.34 s |
H.264 abarata cada llamada, pero el video llega 7 veces más tarde: el tiempo muerto del lazo pasa de 0.25 a 0.52 s.
| kbps | comando p50 | lectura de posición p50 |
|---|---|---|
| 8192 | 80 ms | 140 ms |
| 4096 · elegido | 57 ms | 95 ms |
| 2048 | 56 ms | 91 ms |
A 4096 kbps el ruido del detector sube de σ 0.0013 a 0.0017, con 100% de detección. Bajar más no compra nada.
OnvifLoginCheck=false): −15% por llamada. A cambio, cualquiera en la red local puede mover la PTZ por ONVIF.El tiempo muerto es la cifra que manda
Limita cuánta corrección admite el control. Un códec o un transporte se elige por la latencia total del lazo, no por lo que cuesta cada llamada.
Todo actuador tiene un techo de tasa
Hay que medir cuántas órdenes y lecturas absorbe de verdad. Pedirle más no lo acelera: lo satura.
Procesamiento: dónde está la persona y hacia dónde va
Cámara usa dos detectores. La cara le da un encuadre fino. El cuerpo la salva cuando la persona está de espaldas o de perfil y no hay cara que ver. Los dos se alternan:
Hay cara: YuNet encuadra. Sin cara: YOLO11n busca el cuerpo en cada frame y apunta a donde estaba la cara dentro de la caja, para que Cámara no salte al cambiar. Siguiendo un cuerpo: YuNet corre una vuelta de cada dos, solo para recuperar la cara; así el lazo va a ~22 Hz en vez de ~15.
Después, la posición de la persona se pasa a coordenadas pan/tilt de la PTZ y ahí se estima su velocidad. En píxeles no sirve: el error en la imagen también cambia cuando Cámara gira.
| modelo | p50 | frames | de espaldas |
|---|---|---|---|
| YOLO11n-256 | 33 ms | 100% | 27/27 |
| YOLO11n-320 | 48 ms | 99% | 27/27 |
| NanoDet-Plus (onnxruntime) | 45 ms | 92% | 27/27 |
| MobileNet-SSD | 54 ms | 75% | 27/27 |
| modelo | resultado |
|---|---|
| YuNet | 21–73 ms según el ancho de proceso (384–640 px). 5 landmarks. |
| SCRFD-500M | Misma cobertura (80%), 12 ms más caro. |
| Haar cascade | Pierde la cara cada pocos frames. |
La tasa de detección pesa más que la precisión
Un detector liviano en cada frame sigue mejor que uno bueno que mira a saltos, y combinar dos detectores cubre los casos que uno solo pierde.
Estimar el blanco en el mundo, no en la imagen
El error en píxeles mezcla el movimiento de la persona con el propio. Filtrado ahí, la velocidad estimada sale contaminada.
Tracking: acompañar en vez de perseguir
Cámara no le pide a la PTZ que vaya a un punto: le pide una velocidad y la corrige en marcha. Esa velocidad tiene dos partes. La primera es la de la persona, para moverse junto con ella. La segunda es una corrección que crece con cuánto se alejó del centro del cuadro.
¿Cómo predice? Con una suposición simple: que en el instante siguiente la persona sigue a la misma velocidad. No hay un modelo de cómo camina la gente ni un filtro de Kalman. Cámara estima la velocidad de ahora y la extrapola en línea recta 0.25 s hacia adelante, que es lo que tarda en ver (0.05 s) más lo que tarda en empezar a moverse (0.20 s). Esa anticipación nunca puede ser mayor que el error que está corrigiendo: así, con la persona centrada, el ruido no mueve la cámara solo.
La velocidad de la persona se arma con dos mediciones: la velocidad de la cámara (la pendiente de sus últimas posiciones, ~0.5 s) más lo rápido que la persona se desplaza dentro del cuadro. La corrección tampoco es fija: la ganancia crece con el error, así que cerca del centro corrige suave y lejos corrige fuerte.
Comandar velocidad: ContinuousMove cambia de velocidad en marcha sin frenar. Su rango útil es de 3 a 35 °/s, y una persona caminando a 3 m va a ~19 °/s. Frenar antes: la parada se decide con el error que va a quedar después de 0.20 s de tiempo muerto y 0.10 s de arrastre, no con el de ahora. Saltar si el error es grande: un AbsoluteMove recupera de una vez a alguien que quedó lejos.
| modo | comandos | centrado | |dx| final |
|---|---|---|---|
| posición | 1 | 1.3 s | 0.067 |
| velocidad pura | 9 | 2.7 s | 0.011 |
| chase | 7 | 1.2 s | 0.019 |
| configuración | |dx| p50 | recorrido | pausa p90 |
|---|---|---|---|
| sin anticipar | 0.195 | 470° | 1.25 s |
| solo estimador | 0.227 | 409° | 0.96 s |
| anticipación | 0.167 | 622° | 0.48 s |
Con el blanco quieto, el chase no manda ningún comando en 30 s. Con una cara fija, la anticipación no oscila.
Acompañar en vez de perseguir
Comandar velocidad y sumar la de la persona da continuidad. Se paga en recorrido (+32%), y ese costo también se mide.
Frenar según el error que va a quedar
Un actuador con retardo y arrastre se pasa si se frena mirando el error de ahora. Hay que descontar lo que va a seguir avanzando.
Cómo lo medimos
Cada número de este post salió de una prueba dedicada, corrida en la Pi y no en un computador de escritorio. Las configuraciones se intercalan (A, B, A, B…) para que la luz o la red no favorezcan a una, y cada comparación se repite antes de creerle.
| prueba | herramienta | estímulo | qué mide |
|---|---|---|---|
| Costo de cada llamada y códec | luf-002 plant | PTZ quieta, con y sin video | ms por orden y lectura; latencia del video por correlación cruzada |
| Bitrate del substream | plant substream | cara fija | orden p50 y ruido del detector |
| Detectores | luf-002 bench-person | 240 frames de frente, perfil y espaldas | ms p50 y % de frames detectados |
| Lazo completo, A/B | luf-002 ab | cara impresa a 1 m (n=4); persona por la sala a 1–3 m (n=3, 30 s) | |dx|, comandos, recorrido y pausa p90 |
| Uso real | --trace + luf-002 trace | 3 minutos en la sala | Hz de cada detector y % de frames con una persona |
Para comparar se usan estímulos que no cambian entre corridas: una cara impresa quieta o un video de una cara en loop en un iPad. La persona real entra al final, para confirmar que lo que ganó con el estímulo fijo también gana en la sala.
Las pruebas que tocan la configuración de la PTZ guardan un respaldo, la restauran al terminar y leen de vuelta cada valor escrito: la cámara responde OK incluso a parámetros que no existen.
Lo que se lleva a otras criaturas robóticas
Más allá de esta cámara, estas son las lecciones de método que salieron de medir cada parte.
Medir los dos lados de cada canje
Casi ninguna mejora sale gratis. Si solo se mide lo que se gana, la decisión puede salir al revés.
Comparar con estímulos repetibles
Un blanco fijo o un video en loop da la misma prueba en cada corrida y permite comparar medianas. La persona real va al final, para confirmar.
Verificar el instrumento antes de creerle
Un arnés de medición también tiene bugs: una imagen sin enderezar, una configuración que responde OK sin aplicarse, una función que figura activa y no hace nada.