oh-my-knowledge

ما الذي يفعله

oh-my-knowledge هو إطار تقييم مصمم لتقييم وتحسين مدخلات معرفة LLM بشكل منهجي. يسمح لك بإصلاح نموذجك أثناء تغيير العناصر التي يتم تقييمها - المطالبات و RAG والمهارات وعمليات تدفق الوكلاء. يوفر الإطار صرامة إحصائية مدمجة لضمان نتائج تقييم موثوقة وقابلة للتكرار.

الميزات الرئيسية

• فترات ثقة bootstrap لاختبار الدلالة الإحصائية
• ألفا كريبندورف لقياس موثوقية التقييم بين المقيمين
• تصحيح الطول للتحكم في الارتباكات المتعلقة بطول العناصر
• منحنيات التشبع لتحديد اكتمال التقييم
• دعم مجموعة متعددة من الحكام لتقييمات قوية
• نهج evaluation-as-code لإمكانية التكرار
• دعم لمكونات معرفة LLM المختلفة (المطالبات و RAG والمهارات وعمليات التدفق)

كيفية الإعداد

قم باستنساخ المستودع من GitHub وتثبيت التبعيات. تم تصميم الأداة كإطار عمل قائم على Python يتكامل مع Claude و LLMs الأخرى. تتوفر تعليمات إعداد مفصلة في وثائق المشروع. يمكن للمستخدمين بعد ذلك تعريف سيناريوهات التقييم الخاصة بهم وإجراء تحليلات إحصائية على عناصر LLM الخاصة بهم.