Fonctions et services de la passerelle

​

Ce que fait un opérateur de passerelle

• Les demandes de travail et les requêtes API
• Le routage des charges de travail vers le meilleur Orchestrator (nœud GPU)
• La gestion des prix, des capacités et des métadonnées de service
• La publication des offres (inférence IA, transcodage vidéo et plus) sur le Marché
• Surveillance de la performance, de la latence et de la fiabilité

​

Fonctionnalités clés du marché

​

1. Découverte des capacités

• Prise en charge des modèles IA
• Versioning et poids des modèles
• Compatibilité des pipelines
• Type de GPU et classe de calcul

​

2. Tarification dynamique

• la classe de GPU
• la complexité du modèle
• le SLA de latence
• les exigences de débit
• Région

​

3. Concurrence de performance

• Vitesse
• Fiabilité
• Qualité GPU
• Efficacité coût

• Qualité du routage
• Fonctionnalités prises en charge
• Latence
• Adaptation de l’écosystème des développeurs

​

Intégration BYOC

• Exécuter des modèles d’IA personnalisés
• Exécuter des workflows d’apprentissage automatique
• Exécuter des calculs arbitraires
• Prise en charge des charges de travail d’entreprise

​

Avantages du marché

• Choix des développeurs — choisissez le meilleur modèle, le meilleur prix et les meilleures performances
• Incentifs économiques — les nœuds meilleurs gagnent plus de travail
• Évolutivité — l’offre du réseau croît indépendamment de la demande
• Innovation déverrouillée — de nouveaux modèles et pipelines peuvent être ajoutés instantanément
• Décentralisation — aucun opérateur unique ne contrôle le flux de travail

​

Résumé

• Les passerelles exposent des services
• Les orchestrateurs les exécutent
• Les applications choisissent la meilleure option