法学硕士开源可观测平台

Helicone 是一个用于语言学习模型 (LLM) 的开源可观察平台。它具有以下功能：

• 在用户友好的 UI 中记录您对 OpenAI 的所有请求
• 缓存、自定义速率限制和重试
• 跟踪用户和自定义属性的成本和延迟
• 每个日志都是一个游乐场：在 UI 中迭代提示和聊天对话
• 分享结果并与您的朋友或队友协作
• （即将推出）用于记录反馈和评估结果的 API

快速使用??

在此处https://helicone.ai/注册即可获取您的 API 密钥。

export HELICONE_API_KEY=<your API key>

pip install helicone

from helicone.openai_proxy import openai

response = openai.Completion.create(
	model="text-davinci-003",
	prompt="What is Helicone?",
	user="alice@bob.com",
	# Optional Helicone features:
	cache=True,
	properties={"conversation_id": 12},
	rate_limit_policy={"quota": 100, "time_window": 60, "segment": "user"}
)

然后在Helicone：https://github.com/Helicone/helicone/blob/main/www.helicone.ai查看您的日志。

本地设置

Helicone 的云产品部署在 Cloudflare 上，确保 API 请求的延迟最低。

为了在本地启动，Helicone 由四项服务组成：

• 前端（节点）
• 代理工作者（Wrangler）
• 应用数据库（Supabase）
• 分析数据库 (ClickHouse)

如果您有任何疑问，请联系help@helicone.ai或加入Discord。

安装 Wrangler 和 Yarn

nvm install 18.11.0
nvm use 18.11.0
npm install -g wrangler
npm install -g yarn

安装Supabase

brew install supabase/tap/supabase

安装和设置 ClickHouse

# This will start clickhouse locally
python3 clickhouse/ch_hcone.py --start

运行所有服务

cd web

# start supabase to log all the db stuff...
supabase start

# start frontend
yarn
yarn dev

# start worker (simulates oai.hconeai.com)
# in another terminal
cd worker
yarn
wrangler dev --local

# Make your request to local host
curl --request POST \
  --url http://127.0.0.1:8787/v1/chat/completions \
  --header 'Authorization: Bearer <KEY>' \
  --data '{
	"model": "gpt-3.5-turbo",
	"messages": [
		{
			"role": "user",
			"content": "Can you give me a random number?"
		}
	],
	"temperature": 1,
	"max_tokens": 7
}'

# Now you can go to localhost:3000 and create an account and see your request.
# When creating an account on localhost, you will automatically be signed in.

安装.env文件

确保您的 .env 文件位于web/.env.这是一个例子：

NEXT_PUBLIC_STRIPE_PUBLISHABLE_KEY=""
STRIPE_SECRET_KEY=""
NEXT_PUBLIC_HELICONE_BILLING_PORTAL_LINK=""
NEXT_PUBLIC_HELICONE_CONTACT_LINK="https://calendly.com/d/x5d-9q9-v7x/helicone-discovery-call"
STRIPE_PRICE_ID=""
STRIPE_STARTER_PRICE_ID=""
STRIPE_ENTERPRISE_PRODUCT_ID=""
STRIPE_STARTER_PRODUCT_ID=""
DATABASE_URL="postgresql://postgres:postgres@localhost:54322/postgres"
NEXT_PUBLIC_SUPABASE_ANON_KEY="eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJzdXBhYmFzZS1kZW1vIiwicm9sZSI6ImFub24iLCJleHAiOjE5ODM4MTI5OTZ9.CRXP1A7WOeoJeXxjNni43kdQwgnWNReilDMblYTn_I0"
NEXT_PUBLIC_SUPABASE_URL="http://localhost:54321"
SUPABASE_URL="http://localhost:54321"
SUPABASE_SERVICE_KEY="eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJzdXBhYmFzZS1kZW1vIiwicm9sZSI6InNlcnZpY2Vfcm9sZSIsImV4cCI6MTk4MzgxMjk5Nn0.EGIM96RAZx35lJzdJsyH-qQwv8Hdp7fsn3W0YpN81IU"

项目地址：https://github.com/Helicone/helicone?tab=readme-ov-file