headroom

它的功能

Headroom 是一种令牌压缩工具，旨在通过智能压缩工具输出、日志、文件和 RAG 块，在它们到达语言模型之前优化 LLM 上下文窗口。它将编码代理的令牌消耗减少约 20%，将 JSON 数据的令牌消耗减少 60-95%，同时保持输出质量和正确性。该工具有助于最大化上下文利用率，并降低多个 LLM 提供商的 API 成本。

如何设置

Headroom 提供三种灵活的部署选项：（1）作为可以直接导入到项目中的 Python 库，（2）作为拦截并压缩请求的代理服务器，或（3）作为与 Claude 和其他兼容工具直接集成的 MCP（模型上下文协议）服务器。安装通常涉及克隆存储库，通过 pip 安装依赖项，并根据您的用例配置压缩参数。

主要特性

• 支持日志、JSON、文件和 RAG 块的多格式压缩
• 显著减少令牌：代码减少 20%，JSON 减少 60-95%
• 三种部署模式：库、代理和 MCP 服务器
• 与多个 LLM 提供商兼容，包括 Claude 和 OpenAI
• 与流行框架（如 LangChain 和 FastAPI）的集成
• 上下文窗口优化以提高代理性能