AI-First Incident Management. Mit Fokus auf Datenschutz.

‍

Die ilert Mobile App wird hauptsächlich von Responder:innen genutzt, um Benachrichtigungen über kritische Alarme zu empfangen, unterwegs darauf zu reagieren und den aktuellen On-Call-Status einzusehen. Sie bietet verschiedene Funktionen, darunter kritische Push-Benachrichtigungen, Schnellaktionen für Alerts und individuelle Einstellungen für kritische Benachrichtigungen. Mit der App können Responder:innen ihre aktuellen On-Call-Schichten und Eskalationsregeln einsehen, Schichten von Kolleg:innen übernehmen oder Vertretungsanfragen erstellen, um Kolleg:innen um eine Übernahme der On-Call-Schicht zu bitten. Letzteres ist eine neue Funktion von ilert, die sich als besonders hilfreich für die Kommunikation zwischen Nutzer:innen erwiesen hat. In diesem Beitrag werfen wir einen genaueren Blick auf die Entwicklung dieser Funktion und die Herausforderungen, die dabei zu bewältigen waren.

Warum wurden Vertretungsanfragen eingeführt?

Seit der Einführung der On-Call-Schedules können Nutzer:innen sogenannte Overrides erstellen – also spezielle Schichten, die Vorrang vor regulären Schichten haben. Ein Override erlaubt es, eine andere Person für eine ganze oder teilweise Schicht als On-Call-Verantwortliche:n einzutragen. Overrides müssen nicht an bestehende Schichten gebunden sein – sie können für beliebige Zeiträume erstellt werden, auch außerhalb definierter Schichten.

‍

Später wurde die Funktion „Take On-Call“ eingeführt, also die Möglichkeit, eine fremde Schicht zu übernehmen. Beide Methoden erzeugen technisch gesehen einen Override, doch keine stellt sicher, dass die jeweils andere Person über diese Änderung informiert wird. Das führte in der Praxis dazu, dass Personen plötzlich für Schichten verantwortlich waren, ohne davon zu wissen – was im Ernstfall kritisch sein kann.

‍

Die Lösung war ein neuer Flow: Nutzer:innen sollten die Möglichkeit bekommen, gezielt eine andere Person um die Übernahme einzelner On-Call-Zeiträume zu bitten – mit klarer Kommunikation und Rückmeldung. Daraus entstand das Konzept der Vertretungsanfragen.

Design der REST API für Vertretungsanfragen

Der typische Ablauf einer Vertretungsanfrage ist:

1. Nutzer:in A erstellt eine Vertretungsanfrage und bittet Nutzer:in B, eine oder mehrere Schichten ganz oder teilweise zu übernehmen.
2. Nutzer:in B erhält eine Benachrichtigung und kann die Anfrage annehmen oder ablehnen.
3. Nutzer:in A wird über die Entscheidung informiert.

‍

‍

Die Vertretungsanfragen-API basiert auf einem eigenen Entity-Typ mit mindestens folgenden Feldern:

• sender
• receiver
• shifts
  

‍

Zusätzlich haben wir ein Nachrichtenfeld (message) eingeführt, damit Nutzer:innen zusätzliche Informationen zur Anfrage übermitteln können. Für die UI haben wir außerdem den aktuellen Status (state) und das Erstellungsdatum (createdAt) als Read-only-Attribute bereitgestellt. Bei einer Ablehnung kann optional ein Kommentar mit der Begründung (declineComment) übermittelt werden. Zur Anzeige mehrerer Anfragen in der Listenansicht und für sinnvolle Filter wurde das Feld state in Kombination mit einem im Frontend berechneten Status expired genutzt. Eine Vertretungsanfrage gilt als abgelaufen, wenn die letzte enthaltene Schicht beendet ist.

‍

Neben klassischen Create- und Read-Operationen wurden eigene Endpunkte fürs Akzeptieren, Ablehnen und Zurückziehen eingeführt. Update- und Delete-Operationen gehören aktuell nicht zum Flow und sind nicht geplant.

Vom Mockup zur finalen UI

‍

Zwischen Mockup und finaler Version der Ansicht zur Erstellung einer Vertretungsanfrage gibt es keine großen Unterschiede. Lediglich das Styling wurde angepasst, und es wurde ein zusätzliches Infofeld zur Zeitzone eingeführt. Die finalen Versionen der Listen- und Detailansicht sehen folgendermaßen aus:

‍

Kommunikation ist der Schlüssel

Ein zentrales Ziel dieser Funktion ist es, Nutzer:innen dazu zu motivieren, frühzeitig auf Vertretungsanfragen zu reagieren – da On-Call-Schichten zeitgebunden und oft kurzfristig sind. Außerdem sollen alle relevanten Kommunikationsprozesse in der ilert Mobile App stattfinden, sodass ein Toolwechsel überflüssig wird. Dafür wurden mehrere Kommunikationswege implementiert:

Push-Benachrichtigungen

Sobald eine Aktion bei einer Vertretungsanfrage erfolgt, wird eine Push-Benachrichtigung an die jeweils betroffene Person gesendet:

• Vertretungsanfrage erstellt → Empfänger:in wird benachrichtigt
• Anfrage angenommen/abgelehnt → Absender:in wird benachrichtigt
• Anfrage storniert → Empfänger:in wird benachrichtigt
  

Aber was passiert, wenn die empfangende Person die Mobile-App nicht nutzt?

‍

E-Mail

ilert prüft, ob die relevanten Nutzer:innen über mindestens ein registriertes Push-Token (ein eindeutiger Geräte-Identifikator) verfügen. Falls nicht, wird automatisch eine E-Mail an die primäre Adresse mit den Details zur Vertretungsanfrage gesendet.

In-App Badge‍

‍Da Push-Benachrichtigungen versehentlich übersehen oder weggeswiped werden können – auch bei zeitkritischen Anfragen – wurde in der Listenansicht ein roter Kreis (Badge) oben links am Menü-Icon eingeführt. Dieser zeigt an, ob ungelesene Vertretungsanfragen vorhanden sind. Zusätzlich zeigt der Menüpunkt eine Zählung aller offenen Anfragen an.

Filter bereitstellen, aber UI schlank halten

Eine Filtermöglichkeit für Vertretungsanfragen in der Listenansicht ist notwendig – beispielsweise für empfangene und gesendete Anfragen. Ein weiterer, komplexerer Filter betrifft nur relevante Anfragen, also solche, die noch nicht abgelaufen oder beantwortet sind.

‍

Da bereits ein Toggle für „Erhalten / Gesendet“ existiert, hätte ein zusätzlicher „Aktuell / Alle“-Toggle die Oberfläche überladen.

‍

Ein Vorschlag war eine Filterleiste wie bei der Alert-Liste – diese Idee wurde jedoch verworfen, da sie zum Releasezeitpunkt nur einen Filter enthalten hätte, was nicht stimmig gewirkt hätte. Die finale Lösung: standardmäßig werden nur offene Anfragen (Status Pending) angezeigt, alle weiteren sind über einen Button zugänglich. Diese Lösung bietet die beste Balance zwischen Übersichtlichkeit und Funktionalität.

‍

Alltag bringt Details ans Licht

Nach dem Release begann das ilert-Team selbst mit der Nutzung der Funktion – und stieß schnell auf eine Schwäche: Nach dem Ausführen einer Aktion (Accept, Decline, Cancel) verschwand die betreffende Anfrage sofort aus der Liste, ohne dass der veränderte Status ersichtlich war.

‍

Zwei Verbesserungen wurden daraufhin umgesetzt:

‍

• Nach einer Aktion bleibt man in der Detailansicht, um den aktualisierten Status direkt zu sehen.
• Relevante Anfragen bleiben 24 Stunden nach einer Aktion weiterhin in der Liste sichtbar.

‍

Zuvor verschwand eine Anfrage sofort nach der Statusänderung aus der Liste, da diese auf dem state-Feld basierte. Um auch kürzlich bearbeitete Anfragen anzuzeigen, wurde ein zusätzlicher Query-Parameter in der API eingeführt. Damit kann das Frontend eine createdAt-Zeitgrenze definieren. Die Antwort enthält dann alle Vertretungsanfragen – unabhängig vom Status – ab diesem Zeitpunkt bis jetzt. So können Nutzer:innen alle offenen sowie kürzlich bearbeiteten (innerhalb der letzten 24 Stunden) Anfragen einsehen.

‍

‍Haben Sie die ilert App noch nicht installiert? Probieren Sie sie gerne aus – jetzt für Android oder iOS herunterladen.

‍

Wir freuen uns sehr, dass Rollbar ab sofort Teil des ilert-Integrationskatalogs ist! Diese neue technische Partnerschaft ermöglicht es Softwareteams, dank Rollbar Anwendungsfehler in Echtzeit zu erkennen und sofort mit den leistungsstarken Alarmierungs- und Incident-Management-Funktionen von ilert darauf zu reagieren.

Was ist Rollbar?

Rollbar ist eine umfassende Plattform zur Echtzeit-Fehlerüberwachung und -behebung, die Entwicklungsteams dabei unterstützt, Probleme schneller zu erkennen, zu analysieren und zu beheben – bevor sie sich auf die Nutzer auswirken. Durch detaillierteEinblicke in Anwendungsfehler über den gesamten Softwarelebenszyklus hinweg ermöglicht Rollbar es Teams, qualitativ hochwertigen Code mit mehr Vertrauen in seine Qualität auszuliefern. Mit Kunden wie CircleCI, Twilio, Babbel und Salesforce ist Rollbar die Lösung für Teams, die Zuverlässigkeit und eine nahtlose Benutzererfahrung in den Mittelpunkt stellen.

‍

Im Kern bietet Rollbar eine umfassende Sicht auf den Zustand Ihrer Anwendung, indem es Fehler in dem Moment erfasst, in dem sie auftreten. Egal ob Backend-Exception oder Frontend-Absturz – Rollbar sammelt detaillierte Metadaten, darunter Stack Traces, Request-Parameter und Benutzerdaten, sodass Entwickler Fehler schnell und gezielt beheben können.

‍

Die wichtigsten Funktionen von Rollbar:

‍

• Echtzeit-Überwachung: Fehler werden sofort erkannt und veranschaulicht.
• Intelligente Gruppierung: Reduziert Alarmflutdurch die Gruppierung von Fehlern mithilfe von maschinellem Lernen.
• Umfassender Kontext: Fehleranalysen mit vollständigem Kontext – von lokalen Variablen bis zu betroffenen Nutzern.
• Bereit für den Unternehmenseinsatz: Skalierbar mit Ihrer Infrastruktur, inklusive hoher Sicherheitsstandards und Integrationen.

So profitieren Sie von der Rollbar-Integration

Mit dieser neuen Integration können Rollbar-Alarmierungen automatisch Incidentsin ilert auslösen – und so eine schnelle und gezielte Incident-Response durch Ihre Engineering- und SRE-Teams ermöglichen.

‍

Vorteile der Integration für Ihr Team:

‍

• Sicher bereitstellen: Sie werden sofort benachrichtigt, wenn bei einer neuen Bereitstellung ein Fehler auftritt. Sie können schnell zurückrollen oder Fehler beheben, ohne auf Beschwerden von Nutzern warten zu müssen.
• Brücke zwischen Dev und Ops: SREs und Entwickler arbeiten effizienter zusammen, da ilert Rollbar-Alarmierungen über Ihre bevorzugten Kanäle (Telefon, SMS, Push, Microsoft Teams und mehr) an die richtige diensthabende Person weiterleitet.
• Zentralisierte Ursachenanalyse: ilert empfängt Alarmierungen aus verschiedenen Quellen, was die Ursachenanalyse beschleunigt. Als zentrale Dispatching-Plattform kann ilert Rollbar-Alerts mit Alarmierungen aus anderen Systemen korrelieren und so eine schnellere Incident-Lösung ermöglichen.

So verbinden Sie Rollbar mit ilert

‍

Der Einstieg ist ganz einfach. Um Rollbar mit ilert zu integrieren, folgen Sie einfach unserer Schritt-für-Schritt-Anleitung. In nur wenigen Minuten können Sie:

‍

1. Eine Alarmierungsquelle- in ilert erstellen.
2. Eine Endpoint-URL generieren.
3. Den Webhook in Ihren Rollbar-Einstellungen hinzufügen.

‍

Sobald die Verbindung hergestellt ist, sendet Rollbar Fehlerbenachrichtigungen an ilert. Dort können Sie diese mithilfe Ihrer bestehenden Bereitschaftspläne, Eskalationsregeln und Benachrichtigungseinstellungen verwalten.

Im Februar 2025 hat Checkmk die Checkmk Cloud (SaaS) eingeführt – eine vollständig gemanagte, cloudnative Implementierung ihrer Monitoring-Plattform, die als Service bereitgestellt wird. Diese Lösung wurde so entwickelt, dass sie einen unkomplizierten Betrieb ermöglicht und Unternehmen die Überwachung ihrer IT-Infrastruktur erlaubt, ohne eigene Installationen, Wartung oder manuelle Updates vornehmen zu müssen. Die SaaS-Version ist sowohl mit Cloud- als auch mit On-Premises-Systemen kompatibel und vereint diese in einer einzigen, übersichtlichen Plattform.

‍

Da Checkmk eine der beliebtesten Monitoring-Lösungen unter ilert-Nutzer:innen ist, haben wir uns entschieden, die neue SaaS-Version eingehend zu testen und eine detaillierte Anleitung zu erstellen, die zeigt, wie Sie Ihr Checkmk-Monitoring mit der Incident-Management-Plattform von ilert integrieren können.

‍

Falls Sie an einer Stelle nicht weiterkommen oder etwas unklar ist, kontaktieren Sie einfach das ilert Support-Team über das Chat-Widget. Wir helfen Ihnen gerne weiter!

Was diese Anleitung abdeckt

Diese Schritt-für-Schritt-Anleitung hilft Ihnen dabei:

‍

• Checkmk Cloud Monitoring für cloudbasierte und On-Premises-Infrastrukturen einzurichten und zu konfigurieren
• Einen dedizierten IAM-Nutzer in Ihrem AWS-Konto mit den notwendigen Berechtigungen zu erstellen, damit Checkmk auf Ihre AWS-Ressourcen zugreifen und diese überwachen kann
• Ein übersichtliches Dashboard zu erstellen, um Performance-Metriken zu visualisieren, Anomalien zu erkennen und Einblicke in Echtzeit zu gewinnen
• Kritische Checkmk-Alarme über mehrere Kanäle wie SMS, Anrufe, Messenger oder Push-Benachrichtigungen mithilfe von ilert zu empfangen

Voraussetzungen: Das benötigtigen Sie für diese Anleitung

• Ein registriertes Konto bei Checkmk
• Ein AWS-Konto mit API-Zugriff
• Zugriff auf IAM (Identity and Access Management)
• Eine Checkmk Cloud-Instanz, die über den Browser erreichbar ist
• Einen Windows-Rechner

Schritt 1: Hinzufügen eines Windows-Hosts über den Checkmk-Agenten

Das Hinzufügen von Hosts ist mit Checkmk Cloud deutlich unkomplizierter geworden, da Überwachungsagenten direkt auf den Zielsystemen bereitgestellt werden können. Dieser Ansatz reduziert den manuellen Konfigurationsaufwand und verkürzt die Einrichtungszeit, was Administrator:innen dabei hilft, ihre Monitoring-Infrastruktur effizient zu skalieren.

‍

1. Wählen Sie das Agentenpaket für Windows aus.
2. Öffnen Sie PowerShell auf Ihrem Windows-Rechner und folgen Sie folgenden Anweisungen.

‍

3. Navigieren Sie zum neu hinzugefügten Host.

Schritt 2: Erstellen eines IAM-Benutzers für Checkmk

1. Öffnen Sie in AWS den IAM-Dienst und navigieren Sie zum Bereich Users.

‍

2. Klicken Sie oben rechts auf „Create User“.

‍

3. Geben Sie einen User name ein.

‍

4. Im nächsten Schritt klicken Sie auf Attach policy directly und wählen ReadOnlyAccess unter den Berechtigungs Richtlinien (Permission policies) aus.

‍

5. Klicken Sie auf Create user.

‍

6. Wählen Sie den neu erstellten User aus.

‍

7. Klicken Sie auf Security credentials.

‍

8. Klicken Sie nun auf Create access key.

‍

9. Wählen Sie Third-party Service, bestätigen Sie die Meldung und klicken Sie auf Next.

‍

10. Optional: Legen Sie einen Description tag fest.

‍

11. Ein Access key und ein Secret key werden generiert. Diese beiden Keys benötigen Sie im weiteren Verlauf der Einrichtung für das Cloud- basierte Monitoring mit Checkmk Cloud.

Schritt 3: Hinzufügen eines AWS-Hosts

1. Klicken Sie in der Seitenleiste auf Setup -> Hosts.

‍

2. Klicken Sie auf Add host.

‍

3. Geben Sie einen Host name ein und setzen Sie die IP address family auf ‘No IP’, anschließend speichern Sie den Host.

‍

4. Navigieren Sie in der Seitenleiste zu Setup -> VM, cloud, container.

‍

5. Wählen Sie nun Amazon Web Services (AWS) aus.

‍

6. Klicken Sie auf Add rule.

‍

7. Geben Sie die Access key ID und den Secret access key Ihres AWS-Kontos in die entsprechenden Felder ein.
8. Wählen Sie anschließend die Optionen aus, die Sie überwachen möchten.

‍

9. Navigieren Sie nun in der Seitenleiste zu Setup -> Hosts.

‍

10. Wählen Sie den zuvor erstellten Host aus.

‍

11. Klicken Sie auf Save & run service discovery.

‍

‍

12. Navigieren Sie zu Setup -> Dynamic host management.

‍

13. Klicken Sie auf Add connection.

‍

14. Geben Sie eine Unique ID und einen Title in die entsprechenden Felder ein.
15. Aktivieren Sie unter Delete vanished hosts die Option ‘Automatically delete hosts without piggyback’.
16. Speichern Sie anschließend die Verbindung.

‍

17. Um die vorgenommenen Änderungen zu übernehmen, klicken Sie oben rechts auf Changes.

‍

18. Klicken Sie nun auf Activate on selected sites.

‍

19. Navigieren Sie anschließend in der Seitenleiste zu Monitor -> AWS EC2 instances.

‍

20. Diese Ansicht bietet einen allgemeinen Überblick über Ihre EC2 Instances.

Schritt 4: Intuitive Dashboards zur Leistungsüberwachung erstellen

Checkmk-Dashboards sind anpassbare visuelle Oberflächen, die Echtzeit-Einblicke in den Zustand und die Performance Ihrer Cloud- und On-Premises-Systeme bieten.

‍

1. Navigieren Sie in der Seitenleiste zu Customize -> Dashboards.

‍

2.  Klicken Sie auf Add dashboard.

‍

3. Wählen Sie spezifische Objekte aus, auf die das Dashboard eingeschränkt werden soll. In diesem Leitfaden setzen wir die Einschränkung auf: ‘No restrictions to specific objects’.
4. Klicken Sie auf Continue.

‍

5. Geben Sie eine Unique ID und einen Title ein und klicken Sie anschließend auf Save & go to dashboard.

‍

6. Navigieren Sie nun zu Dashboard -> Enter layout mode.

‍

7. Navigieren Sie zu Add -> Combined graph.

‍

8. Geben Sie einen Custom title für das Diagramm ein.

‍

9. Wählen Sie die Service-Filterbedingung ‘Service (exact match)’ und geben Sie ‘AWS/EC2 CPU utilization’ als Wert ein.

‍

10. Wählen Sie ‘CPU utilization’ als Graph und legen Sie den gewünschten Time range fest.

‍

11. Klicken Sie auf Save.

‍

12. Die Dashboard-Funktion von Checkmk ermöglicht es Ihnen, Größe und Layout Ihres Dashboards vollständig anzupassen.

‍

13. Um die Einrichtung abzuschließen, navigieren Sie zu Dashboard -> Leave layout mode.

Schritt 5: Checkmk Cloud mit ilert verbinden

Um Checkmk Cloud mit ilert zu verbinden, fügen Sie eine neue Notification rule vom Typ ‘ilert’ hinzu und geben anschließend den Integration key Ihrer Checkmk-Alertquelle in ilert ein.

‍

Weitere Informationen finden Sie im Checkmk-Integrationsleitfaden von ilert.