¿CON QUÉ IA?A quién le sirve. Negocios con muchas llamadas, como clínicas, restaurantes o talleres, y desarrolladores que quieren un asistente telefónico propio; es un montaje técnico.
Qué hicieron
Un servidor FastAPI recibe el audio de Twilio por un WebSocket (una conexión continua) y lo envía a Deepgram Flux, que transcribe y detecta cuándo acaba el turno de quien habla. Al terminar el turno, la transcripción pasa a un modelo de lenguaje, las palabras que va generando se envían a ElevenLabs para convertirlas en voz y el audio vuelve directo a Twilio. Si el interlocutor interrumpe, se cancelan el modelo y la voz y se vacía el buffer de Twilio. Los canales de voz ya conectados se mantienen calientes.
Cómo salió
En local, la latencia era de unos 1,7 s. Al desplegarlo en la UE bajó a unos 790 ms, algo mejor que los 840 ms que estima Vapi. Cambiar gpt-4o-mini por llama-3.3-70b de Groq la dejó en unos 400 ms. El primer turno era más lento.
Conviene saber
El montaje llevó un día y unos 100 $ en créditos de API. Mantén el servidor en la misma región que Twilio, Deepgram y ElevenLabs, porque la ubicación redujo la latencia a la mitad.
Qué necesitas
- Una cuenta de Twilio con un número de teléfono
- Cuentas en un servicio de voz a texto, un modelo de lenguaje y un servicio de texto a voz
- Un servidor propio donde se ejecute el programa, a ser posible en la misma región que los servicios
- Conocimientos de programación, porque el caso usó Python
- Un presupuesto de créditos para pruebas
Cómo hacerlo tú, paso a paso
- Decide el uso, por ejemplo atender las llamadas de una clínica.
- Pide a tu asistente de programación que prepare el proyecto con voz a texto en continuo, un modelo de lenguaje y texto a voz en continuo.
- Conecta los proveedores: Twilio para el teléfono, un servicio de transcripción, un modelo y un servicio de voz.
- Pide que gestione bien las interrupciones: si la persona habla, el asistente debe callarse.
- Añade un registro que mida la latencia, que es el tiempo entre que acabas de hablar y el asistente empieza a contestar.
- Haz una llamada de prueba y mira la latencia media.
- Mejora el resultado colocando el servidor cerca de los servicios y probando modelos más rápidos.
Ayúdame a crear un agente de voz por teléfono en [lenguaje, por ejemplo Python] para [uso, por ejemplo atender las llamadas de una clínica dental], con transcripción de voz a texto en continuo, un modelo de lenguaje y conversión de texto a voz en continuo, con el objetivo de responder en menos de 500 ms y gestionar bien las interrupciones. Prepara el proyecto, conecta [proveedores, por ejemplo Deepgram, una API de modelo, ElevenLabs y Twilio] y añade un registro de latencia. Habrás terminado cuando una llamada de prueba funcione y el registro muestre la latencia media. Pregunta antes de hacer llamadas reales o de comprar números.
Consejos
- Pon el servidor en la misma región que los servicios que usas. En el caso, la ubicación redujo la latencia a la mitad.
- Un modelo más pequeño contesta más rápido, y uno más grande suele responder mejor. Prueba las dos opciones.
- Antes de usarlo con clientes reales, avisa de que hablan con una IA y define cuándo pasa a una persona.
Preguntas frecuentes
¿Por qué importa tanto el medio segundo?
En una llamada, esperar más de un segundo se nota y hace que la gente hable por encima del asistente.
¿Cuánto cuesta?
El caso se montó en un día con un gasto pequeño en créditos. En uso real pagarás cada servicio, normalmente por minuto de llamada, así que mira sus tarifas.
Fuentes
La conversación en Hacker News, 2 de marzo de 2026 ↗En el directorio desde el 3 de octubre de 2026.
@Nueltek en X