nasde-toolkit

何をするか

nasde-toolkitは、複数のプロバイダーにわたるAIコーディングエージェントのベンチマークおよび評価のためのコマンドラインインターフェースです。開発者は、独自のサブスクリプションまたはAPIキーを使用して、Claude、Codex、Gemini、その他のLLMのパフォーマンスをカスタムコーディングタスクでテストおよび比較できます。

セットアップ方法

pipを介してnasde-toolkitをインストールするか、GitHubからクローンします。環境変数にClaude、Codex、および/またはGeminiのAPIキーを設定します。ベンチマークタスクを定義し、CLIを通じて評価コマンドを実行して、詳細なパフォーマンスレポートと比較を生成します。

主な機能

• 複数のAIコーディングエージェント（Claude、Codex、Gemini）をサポート
• ワークフローに合わせたカスタマイズ可能なベンチマークタスク
• LLM-as-a-Judge評価方法論
• 安全なコード実行のためのサンドボックス環境
• モデルコンテキストプロトコル（MCP）との統合
• 詳細な評価指標とパフォーマンス分析
• Pythonベースの拡張可能なフレームワーク