在当今人工智能飞速发展的时代，大语言模型（LLM）层出不穷，其性能评估变得至关重要。Opik 作为一个开源的大语言模型评估平台，为开发者和研究人员提供了强大的工具和功能。下面将为大家详细介绍 Opik 项目。

简介

Opik 是由 Comet 推出的一个开源的大语言模型评估框架，其代码仓库位于
https://github.com/comet-ml/opik 。该项目的主要目的是对 LLM 应用程序、RAG 系统和智能体工作流等进行调试、评估和监控，最终产出质量更优、性能更高、成本更低的 LLM 工具和工作流。

Opik 能很好地帮助 LLM 应用开发者，在开发阶段进行紧密的追踪和评估，功能包括：

• 追踪：跟踪所有大语言模型 LLM 的调用和 Trace 信息
• 标注：能够使用 Python SDK 或 UI 界面记录反馈打分，为 LLM 调用进行标注记录
• 测试平台：提供了一个提示词测试平台，能够在其中尝试不同的提示词和模型

评估是 Opik 提供的最为核心的功能之一，其实现了 LLM 应用程序评估的自动化，提供了包括：

• 数据集与实验：能够存储测试用例，进行数据集管理，并运行 LLM 实验
• 评判指标：提供 LLM 评判指标来处理复杂问题，包括：幻觉检测、内容审核和 RAG 检索增强生成评估等（答案相关性、上下文准确性）
• CI/CD 集成：能够把 PyTest 集成在 CI/CD 管道中自动运行评估流程

而到了线上生产阶段，Opik 还能持续进行监控和在线评估：

• 记录生产追踪信息：Opik 支持处理大量的 Trace 信息，便于在生产环境中监控应用程序
• 监控仪表盘：能在 Opik 仪表盘中查看反馈分数变化趋势、Trace 信息数量和令牌使用情况等数据
• 在线评估指标：Opik 的 在线评估指标能给所有生产 Trace 信息打分，并识别生产环境中 LLM 应用程序存在的问题

使用

Opik 支持本地独立部署，使用 Docker Compose 进行。首先拉取代码仓库到本地：

git clone https://github.com/comet-ml/opik.git

然后进入目录，拉取最新的 Docker 镜像：

cd opik/deployment/docker-compose
docker compose pull

拉取完成后，使用 Docker-Compose 以后台方式启动：

docker compose up --detach

启动完成后，就可以在浏览器中访问 http://localhost:5173 进入 Opik 的管理界面了，侧边栏提供了包括项目、提示工程库、数据集、实验和反馈定义等功能。

Opik 还提供了 Python SDK，能够集成到 LLM 应用中进行监控和评估，使用 pip 进行安装：

pip install opik

安装完成后，运行以下命令进行初始化配置：

opik configure

针对不同的 LLM 模型，Opik 都提供了简便的集成方式，如对于 OpenAI，一个简单的例子如下：

from opik.integrations.openai import track_openai
from openai import OpenAI

openai_client = OpenAI()
openai_client = track_openai(openai_client)

prompt="Hello, world!"

response = openai_client.chat.completions.create(
    model="gpt-3.5-turbo",
    messages=[
      {"role":"user", "content":prompt}
    ],
    temperature=0.7,
    max_tokens=100,
    top_p=1,
    frequency_penalty=0,
    presence_penalty=0
)

print(response.choices[0].message.content)

通过 opik.integrations.openai 直接提供的 track_openai 函数，对 openai_client 进行处理后，就能自动完成 API 调用的跟踪和记录，包括输入的 prompt、使用的具体模型和生成的响应等，这些日志都能在 Opik 的项目面板进行查看。

总结

Opik 作为一个开源的大语言模型评估框架，为 LLM 开发者和研究人员提供了一个强大的优化工具，能广泛应用于大语言模型应用的研发、优化和评估过程中。

对于开发者来说，可以从 LLM 应用的研发阶段开始，就持续使用 Opik 来评估和监控，设计最适合的模型、工作流和架构进行应用开发和优化。而对于研究人员来说，Opik 可以帮助他们进行大语言模型的性能研究和比较，推动大语言模型技术的发展。