Le pipeline vocal temps réel : STT → LLM → TTS

Une conversation vocale naturelle tolère mal les silences. Pour répondre vite, on ne peut pas traiter la parole en bloc : il faut un pipeline en streaming, où chaque étape commence avant que la précédente ne soit finie.

Les quatre étages

Micro → VAD → STT → LLM → TTS → Haut-parleur
        │     │     │     │
        │     │     │     └─ génère la réponse en flux (token par token)
        │     │     └─ transcrit en continu (résultats partiels)
        │     └─ détecte quand l'utilisateur parle / se tait
        └─ capture audio

VAD : savoir quand l’utilisateur a fini

La détection d’activité vocale (Voice Activity Detection) repère les silences pour décider quand l’utilisateur a terminé sa phrase — sans le couper, ni attendre trop longtemps. C’est un réglage délicat qui conditionne le ressenti.

Le pipelining, clé de la réactivité

L’astuce : ne pas attendre la fin de chaque étape. Le STT produit des transcriptions partielles ; dès la fin de phrase, le LLM génère en streaming ; et la synthèse vocale (TTS) commence à parler les premiers mots pendant que le reste se calcule.

Le budget de latence

L’objectif : un délai perçu sous ~1 seconde entre la fin de ta phrase et le début de la réponse. Chaque étage grignote ce budget, d’où l’intérêt du streaming et, pour la confidentialité comme la vitesse, d’un traitement local quand c’est possible.

Gérer l’interruption

Un vrai dialogue, c’est aussi pouvoir couper la parole. Le pipeline doit détecter que tu reprends la parole pendant que le compagnon parle, stopper la synthèse et réécouter. Sans ça, l’échange paraît robotique.