OA
Alle Projekte Cloud & Betrieb · Kubernetes

Rush Hour

Der Shop überlebt die Black Friday Nacht und ich kann es beweisen.

So hält der Shop den Ansturm

Der Beweis

0überverkauft: 500 Käufer, 10 Sneaker, genau 10 Bestellungen
2 → 6Katalog Server, 0,00 % Fehler, auch wenn einer ausfällt
43sbis ein Zahlungsproblem automatisch erkannt ist
3Prüfungenpro Commit: getestet, gescannt, signiert

Das Problem

Alle kommen gleichzeitig. Dazu ein riskantes Update und ein langsamer Zahlungsdienst.

  1. Banken am Zahltag
  2. Ticketverkauf beim Konzert Drop
  3. Logistik vor Weihnachten

Probier es selbst

Du bist die Verkaufsnacht. Schick den Ansturm, spiel ein fehlerhaftes Update ein, lass einen Server ausfallen. Der Shop hält.

Probier es aus: folge den goldenen Hinweisen.

Uhrzeit23:58:00Zeitraffer, 10 ×
● Bestellungen pro Minute● Fehlerrate
Shop Versionv1.4 stabil
Zahlungsdienstläuft
Laufende Server
Sneaker auf Lager10 von 10 Paar
0 verkauft · 0 zu viel verkauft
120Bestellungen pro Minute
0,1 %Fehlerrate jetzt
100,00 %Erfolgreiche Bestellungen seit Start, Ziel 99,5 %
0nach Wartezeit bezahlt

0 Bestellungen in dieser Nacht

Im Browser nachgebaut mit den Werten aus dem echten Testlauf: Update nach 45 s zurückgenommen, Zahlung 65 s gestört, Spitze 696 Bestellungen pro Minute. Der echte Code mit Kubernetes, Argo Rollouts und Grafana liegt auf GitHub.

Wenn etwas schiefgeht

  1. Notbremse für Zahlungen: Zahlung hängt, die Bestellung wartet statt zu scheitern
  2. Rückerstattung: zu spät bezahlte Bestellungen bekommen ihr Geld zurück
  3. Aufräumen: hängende Bestellungen löschen, Ware wieder freigeben

Game Day

6 Minuten Verkaufsnacht, simuliert. Mit absichtlich kaputtem Update und Zahlungsausfall mittendrin.

45sbis das fehlerhafte Update automatisch zurückgenommen war
93,1%der Checkouts liefen auch in dieser Zeit durch
696Bestellungen pro Minute in der Spitze
  1. Mitternacht: Ansturm auf den Shop
  2. Fehlerhaftes Update wird eingespielt
  3. Das System nimmt es automatisch zurück
  4. Zahlung langsam, Bestellungen warten 65 Sekunden
  5. Alle wartenden Bestellungen danach bezahlt

Der Checkout verfehlte sein Verfügbarkeitsziel (98,1 % statt 99,5 %). Genau dafür ist das Fehlerbudget da. Der Catalog blieb bei 100 %.

omar.dev@web.de