nasde-toolkit

Что он делает

nasde-toolkit — это интерфейс командной строки для бенчмаркинга и оценки AI-кодирующих агентов от различных провайдеров. Он позволяет разработчикам тестировать и сравнивать производительность Claude, Codex, Gemini и других LLM на индивидуальных задачах кодирования с использованием их собственных подписок или API-ключей.

Как настроить

Установите nasde-toolkit через pip или клонируйте его с GitHub. Настройте свои API-ключи для Claude, Codex и/или Gemini в переменных окружения. Определите свои задачи бенчмаркинга и запускайте команды оценки через CLI для генерации подробных отчетов о производительности и сравнений.

Ключевые особенности

• Поддержка нескольких AI-кодирующих агентов (Claude, Codex, Gemini)
• Настраиваемые задачи бенчмаркинга, соответствующие вашему рабочему процессу
• Методология оценки LLM-as-a-Judge
• Песочница для безопасного выполнения кода
• Интеграция с Протоколом Контекста Модели (MCP)
• Подробные метрики оценки и аналитика производительности
• Расширяемая структура на основе Python