nasde-toolkit

Cosa fa

nasde-toolkit è un'interfaccia a riga di comando per benchmark e valutazione di agenti di codifica AI tra più fornitori. Consente agli sviluppatori di testare e confrontare le prestazioni di Claude, Codex, Gemini e altri LLM su compiti di codifica personalizzati utilizzando i propri abbonamenti o chiavi API.

Come configurarlo

Installa nasde-toolkit tramite pip o clonalo da GitHub. Configura le tue chiavi API per Claude, Codex e/o Gemini nelle variabili di ambiente. Definisci i tuoi compiti di benchmark ed esegui comandi di valutazione tramite la CLI per generare report dettagliati sulle prestazioni e confronti.

Caratteristiche principali

• Supporto per più agenti di codifica AI (Claude, Codex, Gemini)
• Compiti di benchmark personalizzabili allineati al tuo flusso di lavoro
• Metodologia di valutazione LLM-as-a-Judge
• Ambiente sandbox per esecuzione sicura del codice
• Integrazione con il Protocollo di Contesto del Modello (MCP)
• Metrica di valutazione dettagliata e analisi delle prestazioni
• Framework estensibile basato su Python