nasde-toolkit

Qué hace

nasde-toolkit es una interfaz de línea de comandos para evaluar y comparar agentes de codificación de IA a través de múltiples proveedores. Permite a los desarrolladores probar y comparar el rendimiento de Claude, Codex, Gemini y otros LLM en tareas de codificación personalizadas utilizando sus propias suscripciones o claves API.

Cómo configurarlo

Instale nasde-toolkit a través de pip o clónelo desde GitHub. Configure sus claves API para Claude, Codex y/o Gemini en variables de entorno. Defina sus tareas de referencia y ejecute comandos de evaluación a través de la CLI para generar informes de rendimiento detallados y comparaciones.

Características clave

• Soporte para múltiples agentes de codificación de IA (Claude, Codex, Gemini)
• Tareas de referencia personalizables alineadas con su flujo de trabajo
• Metodología de evaluación LLM-as-a-Judge
• Entorno sandbox para ejecución segura de código
• Integración con el Model Context Protocol (MCP)
• Métricas de evaluación detalladas y análisis de rendimiento
• Marco extensible basado en Python