本文由Aideas Agent整理并推荐。项目地址：/comet-ml/opik， 程序语言：Python， 收藏: 5,458， 分支: 366， 今日收藏: 62 stars today。

Opik 是一个开源的 LLM 评估框架，旨在评估、测试和监控 LLM 应用程序。由 Comet 开发。

Opik 的功能

您可以使用 Opik 来：

• 开发：
• 追踪： 在开发和生产过程中跟踪所有 LLM 调用和痕迹。
• 注释： 通过使用 Python SDK 或 UI 记录反馈分数来注释您的 LLM 调用。
• 游乐场： 在提示游乐场中尝试不同的提示和模型。
• 评估： 自动化 LLM 应用程序的评估过程：
• 数据集和实验： 存储测试用例并运行实验。
• LLM 作为评判标准： 使用 Opik 的 LLM 作为复杂问题的评判标准，例如幻觉检测、审核和 RAG 评估。
• CI/CD 集成： 使用我们的 PyTest 集成将评估作为 CI/CD 流程的一部分运行。
• 生产监控：
• 记录所有生产痕迹： Opik 设计用于支持高容量的痕迹，使监控生产应用程序变得容易。
• 监控仪表板： 查看反馈分数、痕迹计数和代币随时间的变化。
• 在线评估指标： 使用 LLM 作为评判标准轻松评分所有生产痕迹，并识别生产 LLM 应用程序中的任何问题。

安装

Opik 可以作为完全开源的本地安装或使用 Comet.com 作为托管解决方案。最简单的方式是创建一个免费的 Comet 账户。

如果您想自托管 Opik，可以通过克隆代码库并使用 Docker Compose 启动平台：

# 克隆 Opik 代码库
git clone git@github.com:comet-ml/opik.git

# 导航到 opik/deployment/docker-compose 目录
cd opik/deployment/docker-compose

# 可选，强制拉取最新镜像
docker compose pull

# 启动 Opik 平台
docker compose up --detach

# 现在您可以在浏览器中访问 http://localhost:5173！

开始使用

要开始使用，您需要首先安装 Python SDK：

pip install opik

安装 SDK 后，您可以通过运行 opik configure 命令进行配置：

opik configure

这将允许您通过设置正确的本地服务器地址或如果您使用云平台，则设置 API 密钥来配置 Opik。

记录痕迹

Opik 支持多种集成，您可以使用我们的集成之一开始记录痕迹：

• OpenAI：记录所有 OpenAI LLM 调用的痕迹
• LiteLLM：使用 OpenAI 格式调用任何 LLM 模型
• LangChain：记录所有 LangChain LLM 调用的痕迹
• Haystack：记录所有 Haystack 调用的痕迹
• Anthropic：记录所有 Anthropic LLM 调用的痕迹
• Bedrock：记录所有 Bedrock LLM 调用的痕迹
• CrewAI：记录所有 CrewAI 调用的痕迹
• DeepSeek：记录所有 DeepSeek LLM 调用的痕迹
• DSPy：记录所有 DSPy 运行的痕迹
• Gemini：记录所有 Gemini LLM 调用的痕迹
• Groq：记录所有 Groq LLM 调用的痕迹
• Guardrails：记录所有 Guardrails 验证的痕迹
• Instructor：记录所有通过 Instructor 进行的 LLM 调用
• LangGraph：记录所有 LangGraph 执行的痕迹
• LlamaIndex：记录所有 LlamaIndex LLM 调用的痕迹
• Ollama：记录所有 Ollama LLM 调用的痕迹
• Predibase：微调和服务开源大型语言模型
• Ragas：用于您的检索增强生成（RAG）管道的评估框架
• watsonx：记录所有 watsonx LLM 调用的痕迹

如果您使用的框架不在上述列表中，可以随时提出问题或提交 PR 以进行集成。

如果您不使用上述任何框架，您还可以使用 track 函数装饰器来记录痕迹：

import opik

opik.configure(use_local=True) # 本地运行

@opik.track
def my_llm_function(user_question: str) -> str:
    # 您的 LLM 代码在这里

    return "Hello"

LLM 作为评判标准的指标

Python Opik SDK 包含多个 LLM 作为评判标准的指标，以帮助您评估 LLM 应用程序。要使用它们，只需导入相关指标并使用 score 函数：

from opik.evaluation.metrics import Hallucination

metric = Hallucination()
score = metric.score(
    input="法国的首都是什么？",
    output="巴黎",
    context=["法国是一个位于欧洲的国家。"]
)
print(score)

Opik 还包括多个预构建的启发式指标以及创建您自己的能力。

评估您的 LLM 应用程序

Opik 允许您在开发过程中通过数据集和实验评估您的 LLM 应用程序。您还可以使用我们的 PyTest 集成作为 CI/CD 流程的一部分运行评估。