oh-my-knowledge

Cosa fa

oh-my-knowledge è un framework di valutazione progettato per valutare e migliorare sistematicamente gli input di conoscenza LLM. Ti consente di correggere il tuo modello variando gli artefatti da valutare: prompt, corpus RAG, competenze e flussi di lavoro degli agenti. Il framework fornisce rigore statistico integrato per garantire risultati di valutazione affidabili e riproducibili.

Caratteristiche principali

• Intervalli di confidenza bootstrap per test di significatività statistica
• Alpha di Krippendorff per la misurazione dell'affidabilità inter-valutatore
• Correzione della lunghezza per controllare i confondimenti legati alla lunghezza degli artefatti
• Curve di saturazione per identificare la completezza della valutazione
• Supporto per ensemble multi-giudice per valutazioni robuste
• Approccio evaluation-as-code per la riproducibilità
• Supporto per vari componenti di conoscenza LLM (prompt, RAG, competenze, flussi di lavoro)

Come impostare

Clona il repository da GitHub e installa le dipendenze. Lo strumento è progettato come un framework basato su Python che si integra con Claude e altri LLM. I dettagli delle istruzioni di configurazione sono disponibili nella documentazione del progetto. Gli utenti possono quindi definire i loro scenari di valutazione ed eseguire analisi statistiche sui loro artefatti LLM.