Für dasselbe Modell lassen sich mehrere Upstream-Quellen einrichten
Der Zustand jeder Quelle wird separat überwacht; eine Anfrage kann wechseln, wenn eine andere Quelle verfügbar ist.
Zuverlässigkeit:
So werden Anfragen behandelt
Wenn eine Upstream-Quelle ein Problem hat, kann eine Anfrage eine andere verfügbare Quelle versuchen. Ist keine verfügbar, wird ein Fehler zurückgegeben.
Wie eine Anfrage die Quelle wechseln kann
Bei jeder Anfrage wird der Zustand der Quelle geprüft; ein Wechsel kommt infrage, wenn eine andere Quelle verfügbar ist.
Lange Aufgaben, real von Kunden gelaufen
Historische Aufzeichnungen enthalten einen Text-Stream von bis zu 60 Minuten und eine Video-Aufgabe von bis zu 9.8 Stunden.
60 Minuten
Längster gemessener Text-Stream
67,462 tokens, aufgezeichnet
9.8 Stunden
Längste gemessene Video-Aufgabe
Asynchrone Generierung, aufgezeichnet
Historische Messdaten der Plattform, kein Leistungsversprechen.
Für lange Aufgaben kann api.bazaarlink.ai verwendet werden. Dieser API-Zugang wird getrennt von der Website bereitgestellt.
So funktioniert es
Vier Fakten dazu, wie Anfragen in verschiedenen Situationen verarbeitet werden.
Bei wiederholten Fehlern kann eine Quelle vorübergehend übersprungen werden
Ist eine andere Quelle verfügbar, kann die Anfrage wechseln. Andernfalls wird ein Fehler zurückgegeben.
Retries passieren, bevor du irgendetwas siehst
Wir prüfen, ob ein Modell antwortet, bevor Inhalte gestreamt werden. Nach Beginn des Streams wird die Antwort nicht über eine andere Quelle fortgesetzt.
Fehlschläge bleiben in deinem Nutzungsprotokoll sichtbar
In deinem Nutzungsprotokoll siehst du Wiederholungen und Fehlercodes; der Name der verwendeten Quelle wird dort nicht angezeigt.
Wenn die Verbindung erst nach Beginn der Antwort abbricht
Ist keine Quelle verfügbar, wird ein klarer Fehler statt einer unvollständigen Antwort angezeigt; diese Anfrage wird nicht berechnet. Das beschreibt den Mechanismus und ist keine Verfügbarkeitsgarantie. Ein SLA in deinem Vertrag gilt entsprechend.
Wie Quellenwechsel und Circuit Breaker funktionieren
Die Dokumentation erklärt die Prüfung des Quellenstatus, die Schwellenwerte des Circuit Breakers und die Felder im Nutzungsprotokoll.
Teste es einmal mit deinem eigenen Traffic
In fünf Minuten eingerichtet; bei einem Quellenproblem kann die Anfrage zu einer anderen verfügbaren Quelle wechseln.
So kann eine Anfrage eine andere Quelle versuchen