oh-my-knowledge

O que faz

oh-my-knowledge é uma estrutura de avaliação projetada para avaliar e melhorar sistematicamente as entradas de conhecimento LLM. Permite que você corrija seu modelo enquanto varia os artefatos sendo avaliados—prompts, corpora RAG, habilidades e fluxos de trabalho de agentes. A estrutura fornece rigor estatístico integrado para garantir resultados de avaliação confiáveis e reproduzíveis.

Principais características

• Intervalos de confiança bootstrap para testes de significância estatística
• Alpha de Krippendorff para medição de confiabilidade entre avaliadores
• Correção de viés de comprimento para controlar confusões de comprimento de artefatos
• Curvas de saturação para identificar a completude da avaliação
• Suporte a conjunto de múltiplos juízes para avaliações robustas
• Abordagem de avaliação como código para reprodutibilidade
• Suporte para vários componentes de conhecimento LLM (prompts, RAG, habilidades, fluxos de trabalho)

Como configurar

Clone o repositório do GitHub e instale as dependências. A ferramenta é projetada como uma estrutura baseada em Python que se integra com Claude e outros LLMs. Instruções detalhadas de configuração estão disponíveis na documentação do projeto. Os usuários podem então definir seus cenários de avaliação e realizar análises estatísticas sobre seus artefatos LLM.