nasde-toolkit

Was es tut

nasde-toolkit ist eine Befehlszeilenoberfläche zum Benchmarking und zur Bewertung von KI-Coding-Agenten über mehrere Anbieter hinweg. Es ermöglicht Entwicklern, die Leistung von Claude, Codex, Gemini und anderen LLMs bei benutzerdefinierten Programmieraufgaben mithilfe ihrer eigenen Abonnements oder API-Schlüssel zu testen und zu vergleichen.

Wie man es einrichtet

Installieren Sie nasde-toolkit über pip oder klonen Sie es von GitHub. Konfigurieren Sie Ihre API-Schlüssel für Claude, Codex und/oder Gemini in Umgebungsvariablen. Definieren Sie Ihre Benchmark-Aufgaben und führen Sie Bewertungsbefehle über die CLI aus, um detaillierte Leistungsberichte und Vergleiche zu erstellen.

Hauptmerkmale

• Unterstützung für mehrere KI-Coding-Agenten (Claude, Codex, Gemini)
• Anpassbare Benchmark-Aufgaben, die mit Ihrem Arbeitsablauf übereinstimmen
• LLM-as-a-Judge-Bewertungsmethodik
• Sandbox-Umgebung für sichere Codeausführung
• Integration mit dem Model Context Protocol (MCP)
• Detaillierte Bewertungsmetriken und Leistungsanalysen
• Erweiterbares Framework auf Python-Basis