oh-my-knowledge

Ne yapar

oh-my-knowledge, LLM bilgi girdilerini sistematik olarak değerlendirmek ve geliştirmek için tasarlanmış bir değerlendirme çerçevesidir. Değerlendirilen eserleri—promtlar, RAG corpusları, beceriler ve ajan iş akışları—değiştirirken modelinizi düzeltmenizi sağlar. Çerçeve, güvenilir ve tekrarlanabilir değerlendirme sonuçları sağlamak için yerleşik istatistiksel titizlik sunar.

Ana Özellikler

• İstatistiksel anlamlılık testi için bootstrap güven aralıkları
• Değerlendirici güvenilirliği ölçümü için Krippendorff'un alfa değeri
• Artifact uzunluğu karışıklıklarını kontrol etmek için uzunluk-bias düzeltme
• Değerlendirme tamamlanabilirliğini belirlemek için doygunluk eğrileri
• Sağlam değerlendirmeler için çoklu yargıç topluluğu desteği
• Tekrarlanabilirlik için değerlendirme-kod yaklaşımı
• Çeşitli LLM bilgi bileşenleri (promtlar, RAG, beceriler, iş akışları) desteği

Nasıl kurulur

GitHub'dan depoyu klonlayın ve bağımlılıkları yükleyin. Araç, Claude ve diğer LLM'lerle entegre olan Python tabanlı bir çerçeve olarak tasarlanmıştır. Ayrıntılı kurulum talimatları proje belgelerinde mevcuttur. Kullanıcılar, değerlendirme senaryolarını tanımlayabilir ve LLM eserleri üzerinde istatistiksel analizler gerçekleştirebilir.