Saltar al contenido
Criaturas robóticas sociales

Cómo Cámara oye

Cámara reconoce «oye cámara» sin internet, sabe de qué lado le hablaron y gira hacia allá.

Cámara es una criatura robótica hecha sobre una cámara PTZ comercial y una Raspberry Pi 5. Cuando alguien le dice «oye cámara» —su palabra de activación—, la entiende, sabe de qué lado vino la voz y gira hacia allá.

Su oído es el micrófono de un PS3 Eye, una fila de micrófonos a 20 mm uno de otro. La voz llega un poco antes al micrófono más cercano, y por esa diferencia Cámara sabe de qué lado le hablan. Después, Vosk —un reconocedor de voz que corre en la Pi, sin internet— entiende «oye cámara» y queda 4 segundos esperando un comando, dentro de un vocabulario cerrado de 62 palabras: «sígueme», «foto», «baila»…

El oído de Cámara: el PS3 Eye y sus micrófonos, en fucsia, montados en la base junto a la Raspberry Pi. Gíralo con el mouse o el dedo.

Escuchar

Un solo programa abre el micrófono y reparte audio y dirección.

Localizar

De qué lado vino la voz: izquierda, frente o derecha.

Entender

Reconocer «oye cámara» sin internet.

Escuchar: un micrófono, un solo dueño

El PS3 Eye entrega 4 canales a 16 kHz. Los abre un solo programa, ODAS, que calcula de dónde viene el sonido y reparte dos cosas: la dirección y el audio ya enfocado hacia ella. Nadie más toca el micrófono.

Ese audio «enfocado» sale de una técnica llamada beamforming. Como la voz llega a cada micrófono con un pequeño desfase, ODAS atrasa cada canal lo justo para que la voz que viene de la dirección elegida quede alineada, y después los suma. La voz se suma consigo misma y se refuerza; el ruido que viene de otros lados queda desalineado y se diluye. Es como girar la oreja hacia quien habla, sin mover nada.

Esquema de beamforming: tres canales con voz y ruido desfasados, el atraso que alinea la voz y la suma donde la voz se refuerza y el ruido se diluye
Esquema: los desfases están exagerados para que se vean.
Conclusión

Un recurso físico, un solo dueño

Si dos programas abren el mismo dispositivo, las fallas aparecen de a ratos y no se pueden reproducir.

Localizar: el lado, no el ángulo

La voz llega un poco antes a un micrófono que a otro, y ese corrimiento es la dirección. Con tres micrófonos en línea, la fila mide 40 mm: alcanza para distinguir izquierda de derecha, no para dar un ángulo fino. Con la voz al frente lee 0 en 20 de 20 muestras; de lado, la lectura se dispersa ±15°.

A: los 3 micrófonos en línea y una voz llegando en diagonal. B: la misma onda llega a cada micrófono con decenas de microsegundos de diferencia
Entre un micrófono y el otro hay decenas de microsegundos, menos que una muestra a 16 kHz. Alcanza para saber el lado.

La dirección se lee hacia atrás: cuando Cámara reconoce «oye cámara», la frase ya pasó. Mira los 2.0 a 0.2 s anteriores y los compara con los 3.5 s de antes. Gana el lado que creció, no el más fuerte: así no gana el ruido que ya estaba en la sala.

Cuánto tiene que crecer un lado para ganar, sobre 13 llamadas reales con el lado anotado
criterioaciertosgiros al lado contrario
por sector de 15°, umbral 0.107/130
por lado, umbral 0.109/130
por lado, umbral 0.06 a 0.0810/131

Exigir menos gana una llamada, pero agrega un giro al lado equivocado. Cuando no está segura, Cámara no gira: busca.

Conclusión

Pedirle al sensor lo que la geometría da

Una apertura corta separa lados; exigirle ángulos solo agrega ruido a la decisión.

Conclusión

Equivocarse de lado es peor que no saber

El umbral se elige contando los errores que más cuestan, no los aciertos.

Entender: pocas palabras, sin internet

El reconocedor es Vosk, que corre en la Pi y solo conoce una lista cerrada: la palabra de activación y 62 palabras de comando. No oye el audio crudo: oye lo que ODAS arma apuntando hacia donde cree que está la voz. Cada palabra tiene que pasar una confianza de 0.60, y tras «oye cámara» el comando tiene que llegar dentro de 4 s.

Dejarle a Vosk solo «oye cámara» ahorra 25 % de CPU, pero rompe decir «oye cámara sígueme» de corrido. Por eso Vosk sigue oyendo todas las palabras, y lo que se filtra es qué hacer con ellas.

Conclusión

Lo que se oye en casa, se queda en casa

Un robot que escucha todo el día en una casa no debería mandar ese audio a un servidor. Reconocer la voz en el mismo robot, sin internet, hace de la privacidad una propiedad del diseño y no una promesa.

Conclusión

Vocabulario cerrado, por ahora

Con pocas palabras, un reconocedor chico acierta mucho más y no inventa órdenes que nadie dio. Es lo justo para obedecer comandos; conversar pedirá abrirlo.

Problemas encontrados

Un canal muerto perdía la mitad de las hotwords

Cámara dejaba de reconocer «oye cámara» de a ratos, sin un solo error. La causa: uno de los cuatro micrófonos estaba muerto. Tres canales daban −49 a −47 dBFS y se parecían entre sí (correlación 0.79–0.87); el cuarto daba −79 dBFS y no se parecía a ninguno (~0.00): ruido de fondo, no un micrófono.

Captura real de los 4 canales del PS3 Eye: tres oyen la sala y el canal 3 queda plano en −79 dBFS
El canal 3 no falla: entrega datos, pero solo oye su propio ruido.

Un canal muerto no hace fallar a ODAS: le hace calcular otra dirección, y el audio que le pasa a Vosk apunta al lugar equivocado. Lo probamos con 8 «oye cámara» grabados una vez y pasados por los tres caminos:

El mismo audio, tres caminos
caminohotwords de 8
audio crudo, un canal8/8
ODAS con los 4 mics4/8
ODAS con 3 mics8/8

El arreglo fue un renglón de configuración: sacar el canal muerto. El costo: con 3 mics la dirección da el lado, no el ángulo.

Conclusión

Un canal muerto no falla, miente

Hay que vigilar la salud de cada canal: el sistema sigue corriendo, con datos falsos.

Conclusión

Comparar sobre el mismo estímulo

Grabar una vez y pasar el mismo audio por cada variante hace la prueba repetible.

El ventilador, el ruido más cercano

El ventilador de la Pi está detrás de los micrófonos, a unos 40 mm. La Pi lo regula sola en cinco velocidades, de 0 (apagado) a 4 (máximo), según su temperatura. Con la sala en silencio, la dirección que lee Cámara se va hacia el ventilador apenas pasa a velocidad 2: desde ahí, su oído apunta al ventilador y no a quien le habla.

El ventilador contra el oído, en silencio
velocidadRPMdirección leída
00+3°
13200+5°
25500+26°
37500+28°
49200+27°

En velocidad 1 no molesta. Desde la 2, el ruido de fondo sube de −52 a −40 dBFS, con tonos en 1.8–2.06 kHz: justo donde está la voz.

Por qué acelera el ventilador

Para seguir a una persona, Cámara busca caras en cada cuadro del video de la cámara. Es una cadena: más cuadros de video por segundo → más CPU → más temperatura → ventilador más rápido → más ruido. Buscar caras (YuNet) se lleva 31 de los ~34 ms que hay por cuadro. Siguiendo a alguien, la Pi llegaba a 64–73 °C, con el ventilador en velocidad 3.

Qué probamos

Filtrar el ruido. No funcionó. Ignorar la dirección del ventilador corre el máximo al borde de lo ignorado: a centímetros, no suena desde un punto sino desde una zona. Quitarle los tonos tampoco, porque además es un soplido que cubre todas las frecuencias. Restar su huella devuelve el orden de los lados, pero no el ángulo.

Darle aire. El aire caliente que botaba el disipador se quedaba dentro de la carcasa, y el ventilador volvía a enfriar la Pi con ese mismo aire caliente. Diseñamos e imprimimos dos piezas: un extractor —una campana de 30×30 mm sobre el ventilador con un tubo de ~25 mm que toma aire fresco de la ventana de la tapa— y una salida que bota el aire caliente por la cara de la Sense HAT, lejos de los micrófonos.

Gíralo con el mouse o el dedo. En fucsia, las dos piezas nuevas: el extractor trae aire fresco desde la tapa y la salida bota el caliente lejos de los micrófonos.
Con y sin circulación de aire, con el robot despierto
sin circulación (caja cerrada)con extractor y salida
temperatura de la Pi81.5–83.7 °C64–73 °C
ventiladorvelocidad 4 (~9900 rpm)velocidad 3 (~7900 rpm)
la Pi se frena por calorsíno

Unos 10–18 °C menos, pero no es una comparación limpia: entre una medición y otra también cambió el software (menos hilos para buscar caras, ritmo de reposo). Lo seguro es que la Pi dejó de frenarse.

Menos cuadros por segundo. Con el ventilador fijo en velocidad 1, cada nivel menos baja la Pi unos 4 °C. Funciona, pero seguir a alguien con pocos cuadros es seguirlo peor.

Tope de cuadros por segundo contra temperatura, con el ventilador fijo en velocidad 1 y una persona en cuadro
tope de fpstemperatura (último minuto)rango
868.8 °C65.6–72.7 °C
465.2 °C63.4–67.8 °C
261.3 °C59.5–62.8 °C

Cada nivel corrió 4 minutos y arrastra calor del anterior, así que los números pecan de altos. Ninguno llegó a frenar la Pi.

Cómo lo resolvimos

El aire ayudó, pero el ruido nace en el cómputo. La solución fue que el seguimiento no trabaje cuando no hace falta, y que el oído sepa cuándo no creerse:

87 %Buscar caras solo si algo cambió. Antes de buscar, compara el cuadro con el anterior; si nada se movió, usa lo que ya encontró. Se salta el 87 % de las búsquedas con alguien quieto y el 94 % con la sala vacía.
4.3 %De un núcleo de la CPU pasó a costar buscar caras, desde 25 %. En reposo, la Pi bajó a 57.3 °C con el ventilador en velocidad 1, la que no molesta.
70 °CVentilador más tarde. Subimos la temperatura en que el ventilador pasa a velocidad 2: de 60 a 70 °C. La Pi sigue lejos de los 80 °C en que se frena.
reposoRitmo de reposo. Si la persona está quieta o no hay nadie, el seguimiento baja de ritmo, y un movimiento chico no lo vuelve a acelerar.
≥ 2Velocidad del ventilador desde la que no se cree al oído. Ahí Cámara no confía en la dirección de la voz y no gira hacia el ventilador.
Conclusión

El ruido más difícil es el del propio robot

Está a centímetros, cambia con lo que hace el robot y no se filtra como el ruido de la sala.

Conclusión

Bajar el cómputo inútil es filtrar en la fuente

No procesar un cuadro que no cambió baja a la vez la temperatura, el ventilador y el ruido.

Cómo lo medimos

Todo en la Pi y en la sala real. Las grabaciones se hacen una vez y se reprocesan con cada variante, así la comparación es sobre el mismo audio.

Las pruebas
pruebaherramientaestímuloqué mide
Reloj y nivel por canalluf-002 plant mictono conocidoHz, dBFS, correlación
Hotword A/Bhotword-ab.py8 «oye cámara» grabadoshotwords de 8
Ventilador contra direccióndoa-raw.shsilencio y voz, ventilador comandado de 0 a 4dirección, dBFS
Lado de la hotworddoa-criterio.py13 llamadas reales anotadasaciertos, giros al lado contrario
Temperatura según fpstermica-fps.shpersona en cuadro, ventilador fijo en 1°C

Lo que se lleva a otros robots

1

El cómputo también hace ruido y calor

Procesar solo cuando algo cambia baja a la vez la CPU, la temperatura y el ruido del ventilador.

2

Revisar cada canal por separado

En un sensor de varios canales hay que mirar el nivel y el parecido entre canales: uno muerto no da error, cambia el resultado.

3

Grabar una vez, comparar muchas

Pasar el mismo audio por cada variante hace que la diferencia sea del método y no de la toma.