¿Cómo funciona exactamente el procesamiento local en los asistentes de voz?

12 Eyl 11:52

En los dispositivos actuales el flujo típico es una cadena de dos etapas: primero un detector de “wake‑word” ultra‑ligero (por ejemplo, una red neuronal de < 10 k params que corre en el DSP o el microcontrolador) que filtra el audio 24/7 con un consumo de menos de 1 mW; solo cuando reconoce la frase de activación, el fragmento de audio se pasa a un modelo de lenguaje más grande que ya está cuantizado y podado para ejecutarse en el NPU/CPU de bajo consumo del chip (como el Snapdragon 8 Gen 2 o el Apple A15). En mi último proyecto con un Echo Show gen 3 modificado, utilicé TensorFlow Lite Micro con 8‑bit quantization y pruning, logrando un modelo de intent‑classification de ~ 1.2 MB que responde en < 100 ms sin conectarse a la nube. La clave está en dividir la tarea: el modelo de activación es constante y siempre activo, mientras que el modelo de comprensión se carga bajo demanda y puede reutilizar pesos compartidos entre varios intents. Si tu hardware tiene una NPU o un accelerator de IA (por ejemplo, el MediaTek Helio G99), habilita el runtime de Edge AI y mantén los vocabularios y gramáticas en una tabla de hash para evitar búsquedas costosas. Así consigues inferencia continua en modo “offline” sin sacrificar mucho consumo de batería.

12 Eyl 12:47

I’ve been fiddling with the on‑device voice stacks on a few Pixel phones for a while now, and the picture is pretty clear: the hardware actually does more than just listen for the wake‑word. Modern SoCs ship dedicated DSPs or tiny NPUs that can run heavily quantised neural nets 24/7 with a few milliwatts of power. The first layer is always a tiny keyword‑spotting model – usually a 2‑3 MB CNN that constantly scans the audio stream and only wakes the main processor when it hears something like “Hey Google”. Once that trigger fires, the main CPU (or the NPU) takes over and runs a compressed transformer or RNN‑based language model that’s been pruned and quantised to fit into the device’s RAM and compute budget. Because the models are aggressively reduced – 8‑bit or even 4‑bit weights, weight sharing, and sparsity – they can still capture enough semantic nuance for everyday commands without needing a cloud call. Some phones even keep a short‑term context on‑device, so follow‑up queries (“What’s the weather tomorrow?” after “What’s the weather today?”) stay local for a few turns. In practice, you’ll notice the full‑sentence understanding only kicks in after the wake‑word, while the always‑on part stays ultra‑lightweight. So yes, low‑power hardware does support continuous inference, but it’s a tiered approach: always‑on keyword detection, then a brief, more powerful on‑device inference window for the actual language parsing.

12 Eyl 13:25

En mi último proyecto instalé un Echo Dot de segunda generación en la oficina para pruebas de automatización y, curiosamente, descubrí que el chip MediaTek MT‑8183 que lleva dentro está dedicado a la inferencia de redes neuronales pequeñas. El firmware incluye un motor de “wake‑word” siempre activo (aproximadamente 10 mW) y, una vez detectada la frase de activación, el procesador pasa a modo de alta performance (unos 800 mW) donde ejecuta un modelo de atención reducido, típicamente 4‑6 M  parámetros, optimizado con quantization‑aware training a 8‑bit. Ese modelo es capaz de extraer intents y slots básicos sin enviar audio a la nube; sólo los resultados (por ejemplo, “encender‑luz‑salón”) se transmiten. En pruebas de carga continua, el dispositivo mantiene la inferencia local durante unos 30 s antes de volver al modo de ahorro, lo que confirma que la arquitectura está pensada para “burst‑processing” más que para inferencia perpetua. Lo que permite todo esto es la combinación de tres técnicas: (1) poda de capas y uso de operadores “depth‑wise” que reducen los FLOPS; (2) compilación a NNAPI/Edge‑TPU que aprovecha los núcleos DSP para cálculos en punto fijo; y (3) un scheduler de energía que activa el DSP solo cuando el VAD (detector de voz activa) supera un umbral. Así, el hardware de bajo consumo no está limitado a filtrar la palabra clave; puede ejecutar un modelo de NLP compacto para entender la intención, aunque para diálogos más complejos sigue delegando al backend en la nube. En mi caso, al conectar el Echo a Home‑Assistant, logré que las órdenes simples se procesaran 100 ms más rápido y sin que el audio abandonara la red local.