oh-my-knowledge

Ce qu'il fait

oh-my-knowledge est un cadre d'évaluation conçu pour évaluer et améliorer systématiquement les entrées de connaissance LLM. Il vous permet de corriger votre modèle tout en variant les artefacts évalués—prompts, corpus RAG, compétences et flux de travail d'agents. Le cadre fournit une rigueur statistique intégrée pour garantir des résultats d'évaluation fiables et reproductibles.

Caractéristiques clés

• Intervalles de confiance bootstrap pour les tests de signification statistique
• Alpha de Krippendorff pour la mesure de la fiabilité inter-évaluateurs
• Correction de biais de longueur pour contrôler les confusions de longueur des artefacts
• Courbes de saturation pour identifier l'exhaustivité de l'évaluation
• Soutien à l'ensemble multi-juge pour des évaluations robustes
• Approche d'évaluation en tant que code pour la reproductibilité
• Soutien pour divers composants de connaissance LLM (prompts, RAG, compétences, flux de travail)

Comment configurer

Clonez le dépôt depuis GitHub et installez les dépendances. L'outil est conçu comme un cadre basé sur Python qui s'intègre avec Claude et d'autres LLM. Des instructions de configuration détaillées sont disponibles dans la documentation du projet. Les utilisateurs peuvent ensuite définir leurs scénarios d'évaluation et effectuer des analyses statistiques sur leurs artefacts LLM.