Saltar al contenido
Criaturas robóticas sociales

Cómo Cámara sigue a una persona

Una persona cambia de rumbo sin avisar, y Cámara siempre ve y reacciona un poco tarde: seguirla es apuntar a donde va a estar.

Cámara es una criatura robótica hecha sobre una cámara PTZ comercial (Dahua, controlada por ONVIF) y una Raspberry Pi 5. Su tarea más básica es mantener la cara de una persona centrada en la imagen mientras camina por la sala y, si está de espaldas, mirar hacia donde estaría su cara.

Suena simple, pero su cuerpo no fue hecho para eso: obedece unos 7 comandos por segundo y tarda en arrancar y en frenar. Cada vuelta del lazo de seguimiento pasa por tres partes.

Captura

Qué ve Cámara y hacia dónde está mirando en este instante.

Procesamiento

Dónde está la persona en el cuadro, dónde está en el mundo y a qué velocidad va.

Tracking

Qué velocidad pedirle a sus motores para acompañar a la persona sin pasarse.

Captura: ver lo de ahora, no lo de hace un rato

Todo lo que Cámara ve le llega con retraso, y cada orden que le manda a sus motores también tarda. A la suma la llamamos tiempo muerto, y es lo que más limita qué tan bien puede seguir a alguien.

El video llega por RTSP desde el substream de la PTZ (704×480, MJPEG). Un hilo aparte lo lee sin parar y el lazo toma siempre el último frame, así nunca decide mirando imágenes en cola. La posición de los motores se lee por un canal distinto al de las órdenes.

Códec del substream
formatocosto del video por llamadalatencia del video
MJPEG+36 ms0.04 s
H.264 2 Mbps+9 ms0.30–0.34 s
H.264 Baseline, GOP 15—0.34 s

H.264 abarata cada llamada, pero el video llega 7 veces más tarde: el tiempo muerto del lazo pasa de 0.25 a 0.52 s.

Bitrate del substream (MJPEG)
kbpscomando p50lectura de posición p50
819280 ms140 ms
4096 · elegido57 ms95 ms
204856 ms91 ms

A 4096 kbps el ruido del detector sube de σ 0.0013 a 0.0017, con 100% de detección. Bajar más no compra nada.

−20 msSin verificar credenciales ONVIF (OnvifLoginCheck=false): −15% por llamada. A cambio, cualquiera en la red local puede mover la PTZ por ONVIF.
+132%Un canal paralelo para leer la posición. El servidor HTTP de la PTZ atiende de a uno y encarece las órdenes. Descartado.
0 msApagar audio, multicast, SNMP o bajar el stream principal. Sin efecto medible. Mandar órdenes por CGI en vez de ONVIF: +51%, peor.
~7 HzRefresco de la posición, fijo en el firmware. Preguntar más seguido no trae datos nuevos.
Conclusión

El tiempo muerto es la cifra que manda

Limita cuánta corrección admite el control. Un códec o un transporte se elige por la latencia total del lazo, no por lo que cuesta cada llamada.

Conclusión

Todo actuador tiene un techo de tasa

Hay que medir cuántas órdenes y lecturas absorbe de verdad. Pedirle más no lo acelera: lo satura.

Procesamiento: dónde está la persona y hacia dónde va

Cámara usa dos detectores. La cara le da un encuadre fino. El cuerpo la salva cuando la persona está de espaldas o de perfil y no hay cara que ver. Los dos se alternan:

Hay cara: YuNet encuadra. Sin cara: YOLO11n busca el cuerpo en cada frame y apunta a donde estaba la cara dentro de la caja, para que Cámara no salte al cambiar. Siguiendo un cuerpo: YuNet corre una vuelta de cada dos, solo para recuperar la cara; así el lazo va a ~22 Hz en vez de ~15.

Después, la posición de la persona se pasa a coordenadas pan/tilt de la PTZ y ahí se estima su velocidad. En píxeles no sirve: el error en la imagen también cambia cuando Cámara gira.

Detector de cuerpo · Pi 5, 240 frames de frente, perfil y espaldas
modelop50framesde espaldas
YOLO11n-25633 ms100%27/27
YOLO11n-32048 ms99%27/27
NanoDet-Plus (onnxruntime)45 ms92%27/27
MobileNet-SSD54 ms75%27/27
Detector de cara
modeloresultado
YuNet21–73 ms según el ancho de proceso (384–640 px). 5 landmarks.
SCRFD-500MMisma cobertura (80%), 12 ms más caro.
Haar cascadePierde la cara cada pocos frames.
25.8 HzCara en vivo, en la Pi con el lazo completo corriendo.
22.5 HzCuerpo en vivo. YOLO11n cuesta lo mismo que YuNet y corre en cada frame sin cara.
94%Frames con una persona detectada en 3 minutos de uso real.
σ 0.0016Ruido del detector, en cuadro normalizado, con una cara fija.
cv2.dnnMotor elegido. onnxruntime no mejora a YOLO11n en la Pi (32.5 vs 34.1 ms).
Conclusión

La tasa de detección pesa más que la precisión

Un detector liviano en cada frame sigue mejor que uno bueno que mira a saltos, y combinar dos detectores cubre los casos que uno solo pierde.

Conclusión

Estimar el blanco en el mundo, no en la imagen

El error en píxeles mezcla el movimiento de la persona con el propio. Filtrado ahí, la velocidad estimada sale contaminada.

Tracking: acompañar en vez de perseguir

Cámara no le pide a la PTZ que vaya a un punto: le pide una velocidad y la corrige en marcha. Esa velocidad tiene dos partes. La primera es la de la persona, para moverse junto con ella. La segunda es una corrección que crece con cuánto se alejó del centro del cuadro.

¿Cómo predice? Con una suposición simple: que en el instante siguiente la persona sigue a la misma velocidad. No hay un modelo de cómo camina la gente ni un filtro de Kalman. Cámara estima la velocidad de ahora y la extrapola en línea recta 0.25 s hacia adelante, que es lo que tarda en ver (0.05 s) más lo que tarda en empezar a moverse (0.20 s). Esa anticipación nunca puede ser mayor que el error que está corrigiendo: así, con la persona centrada, el ruido no mueve la cámara solo.

La velocidad de la persona se arma con dos mediciones: la velocidad de la cámara (la pendiente de sus últimas posiciones, ~0.5 s) más lo rápido que la persona se desplaza dentro del cuadro. La corrección tampoco es fija: la ganancia crece con el error, así que cerca del centro corrige suave y lejos corrige fuerte.

0.25 sHorizonte de la predicción: 0.05 s de video más 0.20 s de tiempo muerto del motor.
27 °/sTope de velocidad que se le cree a la persona en pan. Una persona caminando a 3 m va a ~19 °/s; más que el tope es ruido.
25 °/sCompuerta: si la cámara gira más rápido, no se le cree a la imagen y la anticipación cae a cero. Ante la duda, no anticipa.

Comandar velocidad: ContinuousMove cambia de velocidad en marcha sin frenar. Su rango útil es de 3 a 35 °/s, y una persona caminando a 3 m va a ~19 °/s. Frenar antes: la parada se decide con el error que va a quedar después de 0.20 s de tiempo muerto y 0.10 s de arrastre, no con el de ahora. Saltar si el error es grande: un AbsoluteMove recupera de una vez a alguien que quedó lejos.

Tres modos · blanco fijo, desvío de 18°
modocomandoscentrado|dx| final
posición11.3 s0.067
velocidad pura92.7 s0.011
chase71.2 s0.019
Anticipación · persona por la sala entre 1 y 3 m, n=3
configuración|dx| p50recorridopausa p90
sin anticipar0.195470°1.25 s
solo estimador0.227409°0.96 s
anticipación0.167622°0.48 s

Con el blanco quieto, el chase no manda ningún comando en 30 s. Con una cara fija, la anticipación no oscila.

Conclusión

Acompañar en vez de perseguir

Comandar velocidad y sumar la de la persona da continuidad. Se paga en recorrido (+32%), y ese costo también se mide.

Conclusión

Frenar según el error que va a quedar

Un actuador con retardo y arrastre se pasa si se frena mirando el error de ahora. Hay que descontar lo que va a seguir avanzando.

Cómo lo medimos

Cada número de este post salió de una prueba dedicada, corrida en la Pi y no en un computador de escritorio. Las configuraciones se intercalan (A, B, A, B…) para que la luz o la red no favorezcan a una, y cada comparación se repite antes de creerle.

Las pruebas
pruebaherramientaestímuloqué mide
Costo de cada llamada y códecluf-002 plantPTZ quieta, con y sin videoms por orden y lectura; latencia del video por correlación cruzada
Bitrate del substreamplant substreamcara fijaorden p50 y ruido del detector
Detectoresluf-002 bench-person240 frames de frente, perfil y espaldasms p50 y % de frames detectados
Lazo completo, A/Bluf-002 abcara impresa a 1 m (n=4); persona por la sala a 1–3 m (n=3, 30 s)|dx|, comandos, recorrido y pausa p90
Uso real--trace + luf-002 trace3 minutos en la salaHz de cada detector y % de frames con una persona

Para comparar se usan estímulos que no cambian entre corridas: una cara impresa quieta o un video de una cara en loop en un iPad. La persona real entra al final, para confirmar que lo que ganó con el estímulo fijo también gana en la sala.

Las pruebas que tocan la configuración de la PTZ guardan un respaldo, la restauran al terminar y leen de vuelta cada valor escrito: la cámara responde OK incluso a parámetros que no existen.

Lo que se lleva a otras criaturas robóticas

Más allá de esta cámara, estas son las lecciones de método que salieron de medir cada parte.

1

Medir los dos lados de cada canje

Casi ninguna mejora sale gratis. Si solo se mide lo que se gana, la decisión puede salir al revés.

2

Comparar con estímulos repetibles

Un blanco fijo o un video en loop da la misma prueba en cada corrida y permite comparar medianas. La persona real va al final, para confirmar.

3

Verificar el instrumento antes de creerle

Un arnés de medición también tiene bugs: una imagen sin enderezar, una configuración que responde OK sin aplicarse, una función que figura activa y no hace nada.