nasde-toolkit

O que faz

nasde-toolkit é uma interface de linha de comando para avaliar e comparar agentes de codificação de IA entre vários provedores. Permite que os desenvolvedores testem e comparem o desempenho de Claude, Codex, Gemini e outros LLM em tarefas de codificação personalizadas usando suas próprias assinaturas ou chaves API.

Como configurar

Instale o nasde-toolkit via pip ou clone do GitHub. Configure suas chaves API para Claude, Codex e/ou Gemini em variáveis de ambiente. Defina suas tarefas de benchmark e execute comandos de avaliação através da CLI para gerar relatórios de desempenho detalhados e comparações.

Principais recursos

• Suporte para múltiplos agentes de codificação de IA (Claude, Codex, Gemini)
• Tarefas de benchmark personalizáveis alinhadas ao seu fluxo de trabalho
• Metodologia de avaliação LLM-as-a-Judge
• Ambiente sandbox para execução segura de código
• Integração com o Model Context Protocol (MCP)
• Métricas de avaliação detalhadas e análises de desempenho
• Framework extensível baseado em Python