GitHub: Veraltete Routing-Einträge leiten Datenbankschreibvorgänge zweimal an einem Tag an außer Betrieb genommene Server weiter
Am 7. Oktober 2026 führte ein routinemäßiger Austausch eines Rechners in der Datenbankorchestrierung von GitHub dazu, dass Schreibvorgänge für mehrere zentrale Datenbanken kurzzeitig an bereits außer Betrieb genommene Datenbankserver weitergeleitet wurden. Beim ersten Ausfall waren die Schreibvorgänge nach etwa 10 Minuten wieder möglich. GitHub setzte daraufhin die automatisierten Wartungsarbeiten aus. Eine automatisierte Aufgabe berücksichtigte diese Unterbrechung jedoch nicht und löste eine weitere Leader-Wahl aus, die später am selben Tag zu einem zweiten Ausfall führte. Dieses Postmortem beleuchtet, wie das Zusammenspiel aus veralteten Einträgen, einer automatischen Leader-Wahl und unzureichenden Validierungsprüfungen, die fehlerhafte Konfigurationen zuließen, den ersten Ausfall verursachte. Außerdem wird erläutert, warum es zu einem zweiten Ausfall kam und welche Erkenntnisse Teams daraus für Routing-Änderungen und Sicherheitsmechanismen bei Wartungsarbeiten gewinnen können.
Unternehmen und Produkt
GitHub ist eine Plattform zum Hosten von Code und zur Zusammenarbeit bei der Softwareentwicklung. GitHub veröffentlicht monatliche Verfügbarkeitsberichte, in denen die Incidents zusammengefasst werden, die im Vormonat zu Beeinträchtigungen der Dienste geführt haben.
Der Bericht von GitHub beschreibt eine Gruppe von Rechnern, die das Routing von Datenbankschreibvorgängen verwalten. Sie bestimmen, welche Datenbankserver die Schreibvorgänge für die jeweiligen zentralen Datenbanken empfangen. Einer dieser Rechner wird zum Leader gewählt und veröffentlicht die Routing-Konfigurationen, nach denen der Datenverkehr in der Produktionsumgebung gesteuert wird. Im Rahmen routinemäßiger Wartungsarbeiten werden diese Rechner ausgetauscht. Einige dieser Wartungsarbeiten erfolgen automatisiert.
Was war passiert?
GitHub beschreibt die Ausfälle als Folge eines problematischen Zusammenspiels zwischen der Datenbankorchestrierung und dem Routing in der Produktionsumgebung. Der erste Ausfall verlief in vier Schritten. Beim zweiten Ausfall wiederholten sich die Schritte 2 bis 4.
- Ein neuer Rechner wurde mit veralteten Einträgen gestartet: Im Rahmen routinemäßiger Wartungsarbeiten wurden die Rechner ausgetauscht, die das Routing von Datenbankschreibvorgängen verwalten. Einer der neuen Rechner wurde mit Einträgen gestartet, in denen bereits außer Betrieb genommene Datenbankserver weiterhin als gültige Ziele aufgeführt waren.
- Der neue Rechner wurde zum Leader gewählt: Er wurde automatisch zum Leader der Gruppe gewählt und erhielt damit die Kontrolle über die Routing-Konfigurationen.
- Er veröffentlichte fehlerhafte Routing-Konfigurationen: Als Leader veröffentlichte der Rechner Konfigurationen, durch die Schreibvorgänge für mehrere zentrale Datenbanken an die außer Betrieb genommenen Server weitergeleitet wurden.
- Die Konfigurationen bestanden die Validierungsprüfungen: Die fehlerhaften Konfigurationen bestanden die bestehenden Validierungsprüfungen von GitHub und wurden sofort wirksam. Infolgedessen schlugen Schreibvorgänge für die betroffenen Datenbanken fehl.
Der erste Ausfall endete, als ein bereits vorher eingesetzter Rechner mit korrekten Einträgen zum Leader wurde und die richtigen Routing-Konfigurationen veröffentlichte. GitHub identifizierte den neuen Rechner als Fehlerursache und setzte die automatisierten Wartungsarbeiten aus, um einen erneuten Ausfall zu verhindern.
Der zweite Ausfall: Der neue Rechner war zu diesem Zeitpunkt noch nicht aus der Gruppe entfernt worden. Später am selben Tag berücksichtigte eine automatisierte Wartungsaufgabe die angeordnete Unterbrechung nicht und löste eine weitere Leader-Wahl aus. Der neue Rechner wurde erneut zum Leader, woraufhin sich derselbe Fehler wiederholte. Erst als ein anderer Rechner erneut die Führung übernahm, war der Ausfall beendet. Anschließend entfernte GitHub den neuen Rechner aus der Gruppe.
Das grundlegende Problem bestand darin, dass veraltete Zustandsinformationen durch einen automatisierten Prozess maßgeblich wurden. Die veralteten Einträge auf dem neuen Rechner führten erst dann zu Problemen, als dieser durch die automatische Leader-Wahl die Kontrolle über die Routing-Konfigurationen erhielt. Die Validierungsprüfungen erkannten die fehlerhaften Konfigurationen nicht. Der zweite Ausfall verdeutlicht ein weiteres Problem: Ein Sicherheitsmechanismus – die Aussetzung der Wartungsarbeiten – wurde von genau dem automatisierten Prozess ignoriert, den er eigentlich stoppen sollte.
Timeline
Alle Zeitangaben erfolgen in koordinierter Weltzeit (UTC), wie von GitHub angegeben. Im Folgenden bezeichnet „Ausfall“ den Zeitraum, in dem Schreibvorgänge fehlschlugen, während sich „Incident“ auf den jeweiligen Vorfall bezieht, den GitHub in seinem Bericht aufführt.
- 7. Oktober 2026
- 15:14 Uhr: Erster Incident. Laut dem GitHub-Bericht begann dieser um 15:14 Uhr und dauerte 1 Stunde und 11 Minuten. Der erste Ausfall der Schreibvorgänge dauerte etwa 10 Minuten. Der Bericht enthält jedoch keine genauen Uhrzeiten für diesen Ausfall. Das automatisierte Monitoring schlug aufgrund fehlgeschlagener Schreibvorgänge Alarm, woraufhin GitHub einen Incident deklarierte.
- Nach dem ersten Ausfall: Ein bereits vorher eingesetzter Rechner mit korrekten Einträgen übernahm die Rolle des Leaders, sodass die Schreibvorgänge wieder funktionierten. GitHub identifizierte den neuen Rechner als Fehlerursache und setzte die automatisierten Wartungsarbeiten aus.
- 16:52 bis 17:01 Uhr: Zweiter Ausfall laut den Incident-Updates von GitHub. Eine automatisierte Wartungsaufgabe berücksichtigte die Unterbrechung nicht und löste eine weitere Leader-Wahl aus. Der neue Rechner wurde erneut zum Leader. Die Schreibvorgänge funktionierten wieder, nachdem ein vorher eingesetzter Rechner die Rolle des Leaders übernommen hatte.
- 17:17 Uhr: Zweiter Incident. Laut GitHubs Bericht begann dieser um 17:17 Uhr und dauerte 47 Minuten. GitHub entfernte den neuen Rechner aus der Gruppe, bevor der Incident als behoben galt. Der genaue Zeitpunkt der Entfernung wird im Bericht nicht genannt.
- 12. November 2026: GitHub veröffentlichte seinen Verfügbarkeitsbericht für Oktober mit einer gemeinsamen Zusammenfassung beider Ausfälle.
Die im Bericht angegebenen Incident-Dauern (1 Stunde und 11 Minuten bzw. 47 Minuten) sind länger als die beschriebenen Ausfälle der Schreibvorgänge (etwa 10 bzw. 9 Minuten). GitHub erläutert diesen Unterschied nicht.
Time to Detect (TTD): Von GitHub nicht angegeben. Beim ersten Ausfall schlug das automatisierte Monitoring aufgrund fehlgeschlagener Schreibvorgänge Alarm. Wie der zweite Ausfall erkannt wurde, geht aus dem Bericht nicht hervor.
Time to Resolve (TTR): Beim ersten Ausfall waren Schreibvorgänge nach etwa 10 Minuten wieder möglich, beim zweiten nach etwa 9 Minuten (16:52 bis 17:01 Uhr). Insgesamt waren die Schreibvorgänge somit rund 19 Minuten lang beeinträchtigt. Laut GitHubs Bericht dauerten die beiden Incidents hingegen 1 Stunde und 11 Minuten bzw. 47 Minuten.
Wer war betroffen?
Die Ausfälle beeinträchtigten Schreibvorgänge auf der gesamten GitHub-Plattform. Laut GitHub war der Lese-Zugriff auf Inhalte weitgehend nicht betroffen.
- Zentrale Schreibvorgänge: Bei Kunden konnten Fehler auftreten, wenn sie Code pushten, sich anmeldeten, Pull Requests oder Issues aktualisierten oder Änderungen über die API vornahmen.
- Abhängige Dienste: Auch Webhooks, GitHub Apps und OAuth (Open Authorization), Actions, Code Scanning, Codespaces und Copilot waren betroffen.
- Ausmaß: Beim ersten Ausfall erreichte die Fehlerrate bei Web- und API-Anfragen einen Spitzenwert von 8,9 %, wobei mehr als 12.000 Organisationen betroffen waren. Beim zweiten Ausfall lag der Spitzenwert bei 9,3 % und betraf mehr als 11.000 Organisationen. Einige Organisationen waren von beiden Ausfällen betroffen.
GitHub zufolge gingen keine bereits gespeicherten Daten verloren. Vorgänge, die während der Ausfälle fehlgeschlagen waren, konnten nach der Wiederherstellung des Betriebs erfolgreich wiederholt werden.
Wie reagierte GitHub?
Bei beiden Ausfällen waren Schreibvorgänge wieder möglich, sobald ein bereits bestehender Rechner mit korrekten Einträgen die Rolle des Leaders übernahm und die richtigen Routing-Konfigurationen veröffentlichte. Nach dem ersten Ausfall identifizierte GitHub den neuen Rechner als Fehlerursache und setzte die automatisierten Wartungsarbeiten aus. Nach dem zweiten Ausfall entfernte GitHub den neuen Rechner aus der Gruppe. In einem späteren Update zum zweiten Ausfall teilte GitHub mit, dass Maßnahmen zur Fehlerbehebung umgesetzt worden seien und nicht mit einem erneuten Auftreten des Problems zu rechnen sei.
Laut GitHubs Bericht wurden in drei Bereichen Verbesserungen vorgenommen:
- Außerbetriebnahme von Servern: GitHub hat den Prozess zur Außerbetriebnahme von Datenbankservern verbessert, um zu verhindern, dass veraltete Einträge zurückbleiben.
- Routing-Rechner und Wartungsarbeiten: GitHub hat die Kontrollen für das Hinzufügen neuer Rechner zur Verwaltung des Datenbank-Routings verschärft und Maßnahmen ergriffen, um sicherzustellen, dass automatisierte Wartungsprozesse eine angeordnete Unterbrechung berücksichtigen.
- Validierung: GitHub hat die Validierungsprüfungen für Datenbank-Routing-Konfigurationen verstärkt, damit fehlerhafte Konfigurationen erkannt werden, bevor sie wirksam werden.
Wie kommunizierte GitHub?
- Ein separater Incident für jeden Ausfall: GitHub erfasste jeden der beiden Ausfälle als separaten Incident. Zum zweiten Ausfall veröffentlichte das Unternehmen Updates in seinem Incident-Thread in der GitHub-Community.
- Der zweite Ausfall wurde als Wiederholung des ersten identifiziert: Im Update zum zweiten Ausfall nannte GitHub den Zeitraum der Beeinträchtigung (16:52 bis 17:01 Uhr), bestätigte, dass alle Systeme wieder funktionierten, und erklärte, dass es sich um eine Wiederholung des ersten Ausfalls handelte. Außerdem teilte GitHub mit, dass die Ursachenanalyse noch laufe und an einer dauerhaften Lösung gearbeitet werde.
- Zeitpunkt der Erfassung des zweiten Incidents: Laut Bericht begann der zweite Incident um 17:17 Uhr und damit 16 Minuten, nachdem die Schreibvorgänge um 17:01 Uhr wiederhergestellt worden waren.
- Gemeinsamer Bericht etwa fünf Wochen später: Im am 12. November veröffentlichten Verfügbarkeitsbericht für Oktober erläuterte GitHub beide Ausfälle gemeinsam und ging dabei auf die Ursachen, Auswirkungen und Folgemaßnahmen ein. Der Bericht behandelt insgesamt acht Incidents, die im Oktober die Dienste von GitHub beeinträchtigten, darunter die beiden Vorfälle vom 7. Oktober. GitHub betont darin, dass mit steigenden Kapazitäten auch die Betriebssicherheit verbessert werden müsse. Zudem räumt das Unternehmen ein, dass die Zuverlässigkeit noch nicht den eigenen Anforderungen entspreche, und bekräftigt seinen Grundsatz: Verfügbarkeit vor Kapazität vor neuen Funktionen.
Wichtige Erkenntnisse für andere Teams
- Nicht nur Server, sondern auch veraltete Einträge entfernen: Die Datenbankserver waren bereits außer Betrieb genommen worden, doch auf einem neu hinzugefügten Rechner waren weiterhin Einträge vorhanden, die auf diese Server verwiesen. Bei der Außerbetriebnahme müssen sämtliche Verweise entfernt werden. Zudem sollte vor der Aufnahme neuer Rechner in die Gruppe überprüft werden, ob ihre Einträge dem aktuellen Zustand entsprechen.
- Eine Leader-Wahl ist wie ein Deployment zu behandeln: Der Rechner, der zum Leader gewählt wird, kann die Routing-Konfigurationen in der Produktionsumgebung sofort ändern. Ein neu hinzugefügter Rechner sollte daher erst dann als vertrauenswürdig gelten und die Rolle des Leaders übernehmen dürfen, wenn sichergestellt ist, dass seine Zustandsinformationen aktuell sind.
- Nicht nur das Format, sondern auch den Inhalt validieren: Die fehlerhaften Konfigurationen bestanden die bestehenden Validierungsprüfungen. Bei der Validierung von Routing-Konfigurationen sollte deshalb nicht nur geprüft werden, ob diese formal korrekt sind, sondern auch, ob die Zielserver tatsächlich verfügbar, funktionsfähig und für die jeweiligen Schreibvorgänge vorgesehen sind.
- Eine angeordnete Unterbrechung muss sämtliche Prozesse stoppen: Die Aussetzung der Wartungsarbeiten sollte einen erneuten Ausfall verhindern. Eine automatisierte Aufgabe ignorierte diese jedoch. Not-Aus-Mechanismen und vorübergehende Sperren müssen daher zentral durchgesetzt und getestet werden, anstatt sich darauf zu verlassen, dass jedes einzelne Tool sie berücksichtigt.
- Den fehlerhaften Rechner vor der Wiederaufnahme des Betriebs entfernen: Als die nächste Leader-Wahl ausgelöst wurde, befand sich der fehlerhafte Rechner noch immer in der Gruppe. Solange die Fehlerursache nicht beseitigt ist, stellt die Wiederherstellung des Betriebs lediglich eine vorübergehende Lösung dar und keine dauerhafte Fehlerbehebung.
- Auch niedrige Fehlerraten können weitreichende Auswirkungen haben: Spitzenwerte von 8,9 % und 9,3 % erscheinen zunächst moderat. Tatsächlich waren jedoch beim ersten Ausfall Schreibvorgänge von mehr als 12.000 Organisationen und beim zweiten von mehr als 11.000 Organisationen betroffen. Die Auswirkungen eines Incidents sollten daher nicht nur anhand der Fehlerrate bewertet werden, sondern auch danach, wie viele Nutzer und Organisationen dadurch an ihrer Arbeit gehindert wurden.
- Wiederholte Ausfälle klar als solche benennen: GitHub stellte in seinem Update ausdrücklich einen Zusammenhang zwischen dem zweiten und dem ersten Ausfall her. So konnten Kunden, die sich bereits auf die Auswirkungen des ersten Ausfalls eingestellt hatten, besser nachvollziehen, was sich inzwischen geändert hatte.
Kurzfassung
Am 7. Oktober 2026 führte ein problematisches Zusammenspiel zwischen der Datenbankorchestrierung und dem Routing in der Produktionsumgebung von GitHub zu zwei Ausfällen bei Datenbankschreibvorgängen. Im Rahmen routinemäßiger Wartungsarbeiten an den Rechnern, die das Routing von Datenbankschreibvorgängen verwalten, wurde ein neuer Rechner mit veralteten Einträgen hinzugefügt, in denen bereits außer Betrieb genommene Datenbankserver weiterhin aufgeführt waren. Als dieser Rechner automatisch zum Leader gewählt wurde, veröffentlichte er Routing-Konfigurationen, die Schreibvorgänge für mehrere zentrale Datenbanken an diese Server weiterleiteten. Die fehlerhaften Konfigurationen bestanden die bestehenden Validierungsprüfungen. Beim ersten Ausfall schlugen Schreibvorgänge etwa 10 Minuten lang fehl, bis ein bereits bestehender Rechner die Rolle des Leaders übernahm. GitHub setzte daraufhin die automatisierten Wartungsarbeiten aus. Eine automatisierte Aufgabe berücksichtigte diese Unterbrechung jedoch nicht und löste eine weitere Leader-Wahl aus. Da sich der fehlerhafte Rechner noch immer in der Gruppe befand, verursachte er einen zweiten Ausfall von etwa 9 Minuten. Beim ersten Ausfall erreichte die Fehlerrate bei Web- und API-Anfragen einen Spitzenwert von 8,9 %, wobei mehr als 12.000 Organisationen betroffen waren. Beim zweiten Ausfall lag der Spitzenwert bei 9,3 % und betraf mehr als 11.000 Organisationen. GitHub hat nach eigenen Angaben inzwischen den Prozess zur Außerbetriebnahme von Datenbankservern verbessert, die Kontrollen für das Hinzufügen neuer Routing-Rechner und die Einhaltung von Wartungsunterbrechungen verschärft sowie die Validierung von Routing-Konfigurationen verstärkt. Die wichtigste Erkenntnis für alle Teams: Bei der Außerbetriebnahme von Servern müssen auch sämtliche veralteten Einträge zuverlässig entfernt werden. Routing-Konfigurationen sollten nicht nur auf ihre formale Korrektheit, sondern auch auf ihre tatsächliche Gültigkeit geprüft werden. Zudem muss sichergestellt sein, dass eine angeordnete Unterbrechung automatisierte Prozesse tatsächlich stoppt.
So kann ilert helfen
- Bei fehlgeschlagenen Schreibvorgängen sofort die richtigen Verantwortlichen alarmieren: Beim ersten Ausfall von GitHub schlug das automatisierte Monitoring aufgrund fehlgeschlagener Schreibvorgänge Alarm. Mit Dienstplänen und Eskalationsrichtlinien stellen Sie sicher, dass die zuständigen Techniker innerhalb weniger Minuten per Push-Benachrichtigung, SMS oder Sprachanruf erreicht werden.
- Mit einer Statusseite transparent über den aktuellen Stand informieren: Die Statusseiten von ilert lassen sich innerhalb von Sekunden oder automatisch auf Basis von Incidents aktualisieren. So wissen Kunden jederzeit, welche Dienste betroffen sind – auch wenn es sich um einen wiederholten Incident handelt.
- Die Ursachenanalyse mit integriertem AI SRE beschleunigen: Die Funktionen von ilert AI SRE helfen den zuständigen Teams, während eines Incidents Alarmierungen, kürzlich vorgenommene Änderungen und relevante Kontextinformationen zusammenzuführen und anschließend einen Entwurf für das Postmortem zu erstellen.

