oh-my-knowledge

Что это делает

oh-my-knowledge — это рамка оценки, предназначенная для систематической оценки и улучшения входных данных знаний LLM. Она позволяет вам исправлять вашу модель, изменяя оцениваемые артефакты — подсказки, корпуса RAG, навыки и рабочие процессы агентов. Рамка предоставляет встроенную статистическую строгость, чтобы гарантировать надежные и воспроизводимые результаты оценки.

Ключевые особенности

• Интервалы доверия bootstrap для тестирования статистической значимости
• Альфа Криппендорфа для измерения надежности между оценщиками
• Коррекция длины для контроля за путаницей длины артефактов
• Кривые насыщения для определения полноты оценки
• Поддержка многосудейского ансамбля для надежных оценок
• Подход evaluation-as-code для воспроизводимости
• Поддержка различных компонентов знаний LLM (подсказки, RAG, навыки, рабочие процессы)

Как настроить

Клонируйте репозиторий с GitHub и установите зависимости. Инструмент разработан как фреймворк на основе Python, который интегрируется с Claude и другими LLM. Подробные инструкции по настройке доступны в документации проекта. Затем пользователи могут определить свои сценарии оценки и проводить статистические анализы своих артефактов LLM.