Aperçu des pipelines d'IA

​

En bref

• Pipelines sont une ou plusieurs tâches d’inférence (par exemple, Whisper, transfert de style, détection) exécutées séquentiellement sur les images vidéo.
• Gateways dirigent les tâches vers des Orchestrators et workers; le protocole gère le paiement et la coordination.
• BYOC (Apportez votre propre calcul) et ComfyStream sont deux façons de faire fonctionner ou d’étendre des pipelines avec vos propres modèles et nœuds.

​

Cas d’utilisation

• Reconnaissance vocale (Whisper)
• Transfert de style ou filtres (Stable Diffusion)
• Suivi et détection d’objets (YOLO)
• Segmentation vidéo (segment-anything)
• Masquage ou floutage du visage
• BYOC (Apportez votre propre calcul)

​

Qu’est-ce qu’une pipeline ?

• Modifier la vidéo (par exemple, ajouter des superpositions)
• Générer des métadonnées (par exemple, transcript, boîtes englobantes)
• Transmettre les résultats à un autre nœud

​

Architecture

​

Passerelle et travailleurs

• Orchestrateursenvoyer des tâches d’inférence dans la file d’attente et exécuter (ou déléguer à) des travailleurs.
• Travailleurss’abonner aux types de tâches (par exemple, whisper-transcribe) et les exécuter.
• Portailsrouter les tâches des clients vers des nœuds compatibles. Cela se fait hors chaîne ; le protocole (Arbitrum) gère les paiements et les récompenses.

​

Types de travailleurs

​

Format de définition de pipeline

{
  "streamId": "abc123",
  "task": "custom-pipeline",
  "pipeline": [
    { "task": "whisper-transcribe", "lang": "en" },
    { "task": "segment-blur", "target": "faces" }
  ]
}

• Tâches au format JSON via la passerelle
• gRPC par image (faible latence)
• Téléchargement des résultats via un webhook

​

Apportez votre propre calcul (BYOC)

1. Cloner ComfyStream ou implémenter l’API de traitement.
2. Ajoutez des plugins pour Whisper, ControlNet ou d’autres modèles.
3. Inscrivez votre nœud avec la passerelle (et éventuellement sur la chaîne).

​

Voir également

• BYOC — Exécutez vos propres travailleurs IA et enregistrez-vous sur le réseau
• ComfyStream — Pipelines basés sur ComfyUI et intégration du Gateway
• Livepeer IA (aperçu) — Aperçu du produit et cas d’utilisation
• Architecture technique du réseau — Gateway, Orchestrator, et protocole

​

Ressources

• GitHub ComfyStream
• Livepeer Docs AI Studio
• Forum : exemples de pipelines
• Explorateur — Statistiques du réseau et du nœud