Incident-Playbook

Reaktionsverfahren für häufige Probleme.

Verbindungsprobleme

WebSocket-Verbindungsabbruch

Symptome: WebSocket-Verbindung unterbrochen, keine Nachrichten empfangen

Maßnahmen:

1. Auto-Reconnect mit exponentiellem Backoff implementieren
2. REST-Endpunkte abfragen, um verpasste Aktualisierungen nachzuholen
3. Nach dem Reconnect alle Kanäle erneut abonnieren

Prävention: Verbindungsstatus überwachen und robuste Reconnect-Logik implementieren

API-Timeout

Symptome: REST-Anfragen laufen in ein Timeout oder geben 5xx-Fehler zurück

Maßnahmen:

1. Mit exponentiellem Backoff erneut versuchen
2. Health-Endpunkt prüfen: GET /health
3. Anfragerate reduzieren, wenn das System überlastet ist

Prävention: Request-Throttling und Circuit Breaker implementieren

Order-Probleme

Hohe Ablehnungsrate

Symptome: Viele Orders werden abgelehnt

Untersuchung:

1. Ablehnungsgründe prüfen über GET /orders?wallet=...
2. Margin überprüfen: GET /portfolio?wallet=...
3. Tier prüfen: GET /user-tier?wallet=...
4. Sicherstellen, dass die Instrumente nicht verfallen sind: GET /instruments

Maßnahmen:

• Bei Margin-Problemen: Positionsgröße reduzieren oder Sicherheiten hinzufügen
• Bei Tier-Problemen: Auf tier2 upgraden oder Verkäufe decken
• Bei Verfall: Andere Instrumente verwenden

Fehlende Fills

Symptome: Orders wurden ausgeführt, aber keine Fill-Benachrichtigungen erhalten

Untersuchung:

1. GET /fills?wallet=... auf Fills prüfen
2. WebSocket-Abonnement des fills-Kanals verifizieren
3. WebSocket-Verbindungsstatus prüfen

Maßnahmen:

• Den fills-Kanal erneut abonnieren
• REST-Endpunkt nach verpassten Fills abfragen
• Fills mit dem Order-Status abgleichen

Veralteter Order-Status

Symptome: Order-Status in REST stimmt nicht mit WS überein

Untersuchung:

1. WebSocket-Verbindungsstatus prüfen
2. Sicherstellen, dass der Order-Cache aktuell ist
3. REST- und WS-Order-Status vergleichen

Maßnahmen:

• Nach WS-Reconnect REST abfragen, um den Rückstand aufzuholen
• REST als maßgebliche Quelle (Source of Truth) für den Abgleich verwenden

MMP-Probleme

MMP löst zu häufig aus

Symptome: Viele Orders werden durch MMP storniert

Untersuchung:

1. MMP-Konfiguration prüfen: GET /mmp-config?wallet=...&currency=...
2. Fill-Muster und kumulative Metriken überprüfen
3. Prüfen, ob die Limits zu niedrig sind

Maßnahmen:

• MMP-Limits erhöhen (Qty, Delta, Vega)
• interval_ms erhöhen, um mehr Fills im Zeitfenster zuzulassen
• Quotierungsfrequenz reduzieren

MMP löst nicht aus

Symptome: Fills überschreiten die Limits, aber MMP löst nicht aus

Untersuchung:

1. Verifizieren, dass MMP aktiviert ist: GET /mmp-config?wallet=...&currency=...
2. mmp_enabled=true bei den Orders prüfen
3. Sicherstellen, dass die Währung mit dem Basiswert der Order übereinstimmt

Maßnahmen:

• MMP für Orders aktivieren: mmp_enabled=true
• MMP für die korrekte Währung konfigurieren
• Limits bei Bedarf anpassen

Margin-Probleme

Unzureichende Margin

Symptome: Orders werden mit der Meldung "Insufficient margin" abgelehnt

Untersuchung:

1. Portfolio prüfen: GET /portfolio?wallet=...
2. Margin-Berechnung überprüfen
3. Prüfen, welches Szenario fehlschlägt

Maßnahmen:

• Positionsgröße reduzieren
• Sicherheiten hinzufügen (sobald der Einzahlungsprozess implementiert ist)
• Positionen schließen, um Margin freizusetzen
• Exposure absichern, um den Worst-Case-Verlust zu reduzieren

Fehlender Spotpreis

Symptome: Orders werden mit der Meldung "No spot price available" abgelehnt

Untersuchung:

1. Konnektivität des Hyperliquid-Spotpreis-Feeds prüfen
2. Verifizieren, dass das Symbol des Basiswerts korrekt ist
3. Prüfen, ob der Spotpreis-Feed betriebsbereit ist

Maßnahmen:

• Warten, bis sich der Spotpreis-Feed erholt hat
• Falls verfügbar, einen anderen Basiswert verwenden
• Support kontaktieren, wenn das Problem weiterhin besteht

Systemprobleme

Hohe Latenz

Symptome: Langsame API-Antworten oder verzögerte WebSocket-Nachrichten

Untersuchung:

1. Systemlast prüfen
2. Antwortzeiten überwachen
3. Netzwerkkonnektivität prüfen

Maßnahmen:

• Anfragerate reduzieren
• Request-Throttling implementieren
• Support kontaktieren, wenn das Problem weiterhin besteht

Rate Limiting

Symptome: Anfragen werden abgelehnt oder gedrosselt

Aktuell: Das Rate Limiting wird pro Wallet durchgesetzt. Details finden Sie unter Rate Limits.

Maßnahmen:

• Den Retry-After-Header prüfen und vor einem erneuten Versuch warten
• X-RateLimit-Remaining überwachen, um das Erreichen der Limits zu vermeiden
• Wenn möglich, Bulk-Endpunkte verwenden

Notfallverfahren

Kill Switch

Sofortmaßnahmen:

1. Alle Orders stornieren: DELETE /bulk_order oder DELETE /bulk_order_cloid
2. WebSocket trennen
3. Quotierungssystem stoppen

Wiederherstellung:

1. Verifizieren, dass alle Orders storniert wurden: GET /orders?wallet=...
2. Portfolio überprüfen: GET /portfolio?wallet=...
3. Grundursache untersuchen
4. Quotierung nach Behebung des Problems wieder aufnehmen

Datenabgleich

Nach einem Vorfall:

1. REST-Endpunkte nach dem aktuellen Zustand abfragen
2. Orders abgleichen: GET /orders?wallet=...
3. Fills abgleichen: GET /fills?wallet=...
4. Portfolio abgleichen: GET /portfolio?wallet=...
5. WebSocket-Abonnements wieder aufnehmen

Eskalation

Wenn das Problem weiterhin besteht:

1. Bekannte Probleme und Staging-Hinweise überprüfen, die mit dem Zugang bereitgestellt wurden
2. Runbooks für detaillierte Verfahren konsultieren
3. Support kontaktieren mit:
   • Wallet-Adresse
   • Fehlermeldungen
   • Zeitstempeln
   • Schritten zur Reproduktion