KI & Incident Management
/
Entwicklung von KI-Funktionen
Optimierung der LLM-App-Entwicklung
Bei der Entwicklung und Weiterentwicklung unserer LLM-basierten Funktionen aktualisieren wir regelmäßig unsere Prompts und experimentieren mit verschiedenen Modellen sowie deren Parametern. Um Änderungen systematisch zu testen, setzen wir auf bewährte Methoden:
Nutzung von JSON für strukturiertes Testen
Wo immer möglich, verwenden wir den JSON mode von OpenAI, um die Ausgaben zu verifizieren. Dieser strukturierte Ansatz ermöglicht es uns, auf weniger zuverlässige Methoden wie String-Vergleiche oder Prüfungen von Ausgabestrings zu verzichten.
Wo immer möglich, verwenden wir den JSON mode von OpenAI, um die Ausgaben zu verifizieren. Dieser strukturierte Ansatz ermöglicht es uns, auf weniger zuverlässige Methoden wie String-Vergleiche oder Prüfungen von Ausgabestrings zu verzichten.
Verwendung einer Bibliothek zum Schreiben von Tests für LLMs
Wir setzen promptfoo ein - eine Bibliothek, die das Schreiben von Tests für LLMs erleichtert – um eine umfassende Testsuite zu erstellen. Diese Tests werden mit sorgfältig ausgewählten Beispiel-Prompts und den dazugehörigen erwarteten Ergebnissen erstellt. Dieser Ansatz vereinfacht nicht nur den Testprozess, sondern stellt auch sicher, dass unsere Tests langfristig robust und relevant bleiben.
Wir setzen promptfoo ein - eine Bibliothek, die das Schreiben von Tests für LLMs erleichtert – um eine umfassende Testsuite zu erstellen. Diese Tests werden mit sorgfältig ausgewählten Beispiel-Prompts und den dazugehörigen erwarteten Ergebnissen erstellt. Dieser Ansatz vereinfacht nicht nur den Testprozess, sondern stellt auch sicher, dass unsere Tests langfristig robust und relevant bleiben.
Kontinuierliche Verbesserung und stetiges Experimentieren
Unser Anspruch auf beste Qualität motiviert uns, unsere Prompts kontinuierlich zu verfeinern. Durch das Experimentieren mit verschiedenen Modellen und die Anpassung ihrer Parameter streben wir eine optimale Performance an. Systematisches Testen ist hierbei entscheidend, da es uns ermöglicht, unsere LLMs objektiv zu bewerten und stetig zu verbessern.
Unser Anspruch auf beste Qualität motiviert uns, unsere Prompts kontinuierlich zu verfeinern. Durch das Experimentieren mit verschiedenen Modellen und die Anpassung ihrer Parameter streben wir eine optimale Performance an. Systematisches Testen ist hierbei entscheidend, da es uns ermöglicht, unsere LLMs objektiv zu bewerten und stetig zu verbessern.
Sind Sie bereit, Ihr Incident-Management zu verbessern?
Kostenlos starten
