Conversations transparentes à faible latence avec un chatbot IA

WhisperFusion s'appuie sur les capacités des outils open source WhisperLive et WhisperSpeech

Conversations transparentes à faible latence avec un chatbot IA, WhisperFusion s'appuie sur les capacités des outils open source WhisperLive et WhisperSpeech

WhisperFusion s'appuie sur les capacités de WhisperLive et WhisperSpeech en intégrant Mistral, un Grand Modèle de Langage (LLM), au-dessus du pipeline de conversion de la parole au texte en temps réel.

LLM et Whisper sont optimisés pour fonctionner efficacement en tant que moteurs TensorRT, maximisant ainsi les performances et les capacités de traitement en temps réel. WhiperSpeech est quant à lui optimisé avec torch.compile.

Caractéristiques

• Synthèse vocale en temps réel : Utilise OpenAI WhisperLive pour convertir le langage parlé en texte en temps réel.
• Intégration d'un grand modèle linguistique : Ajoute Mistral, un grand modèle de langage, pour améliorer la compréhension et le contexte du texte transcrit.
• Optimisation TensorRT : LLM et Whisper sont optimisés pour fonctionner en tant que moteurs TensorRT, garantissant un traitement de haute performance et de faible latence.
• torch.compile : WhisperSpeech utilise torch.compile pour accélérer l'inférence qui rend le code PyTorch plus rapide en compilant le code PyTorch dans des noyaux optimisés.

Démarrage

• Le conteneur TensorRT-LLM est pré-construit, whisper et phi sont convertis en moteurs TensorRT et le modèle WhisperSpeech est pré-téléchargé pour commencer à interagir rapidement avec WhisperFusion.
  
  

  Code :

  Sélectionner tout

   docker run --gpus all --shm-size 64G -p 6006:6006 -p 8888:8888 -it ghcr.io/collabora/whisperfusion:latest

• Démarrer l'interface graphique Web
  
  

  Code :

  Sélectionner tout

  1
  2
  cd examples/chatbot/html
   python -m http.server

Et vous ?

Qu'en pensez-vous ?

Voir aussi :

Un homme se serait suicidé après avoir parlé de ses craintes concernant le changement climatique à un chatbot d'IA, sa veuve affirme que l'IA l'a rendu solitaire avant de le pousser au suicide

Anthropic announce Claude 2.1, alimentant l'expérience de chat claude.ai et offrant des avancées dans les capacités clés pour les entreprises, y compris un contexte de jetons de 200K

Les cofondateurs de Google DeepMind et de LinkedIn lancent un chatbot d'IA appelé Pi pour concurrencer ChatGPT, il se veut moins toxique que ChatGPT, mais couvre moins de cas d'utilisation