前言

我們基于gpt開發(fā)的時(shí)候，其實(shí)調(diào)試prompt的時(shí)間占比的很大的，90%的時(shí)間花在prompt調(diào)試也不過分。今天給大家介紹一個(gè)最近在使用上來比較好的Prompt工具，開發(fā)起來簡單，功能非常實(shí)用。

它就是：promptlayer.com/

官網(wǎng)介紹

PromptLayer 是一個(gè)開發(fā)工具，可讓您跟蹤、管理和共享 GPT 提示工程。它充當(dāng)您的代碼和 OpenAI 的 python 庫之間的中間件，記錄您的所有 API 請(qǐng)求并保存相關(guān)元數(shù)據(jù)，以便在 PromptLayer 儀表板中輕松瀏覽和搜索。

怎么運(yùn)行的

PromptLayer 通過包裝您的 OpenAI API 請(qǐng)求并在發(fā)送后記錄有關(guān)它們的數(shù)據(jù)來工作。這一切都在您的機(jī)器上完成，您的 API 密鑰永遠(yuǎn)不會(huì)發(fā)送。這意味著它不會(huì)干擾您現(xiàn)有代碼庫的功能，也不需要對(duì)您的應(yīng)用程序架構(gòu)進(jìn)行任何更改。您需要做的就是將 PromptLayer 作為附加組件添加到您現(xiàn)有的 LLM 應(yīng)用程序中，然后像往常一樣開始發(fā)出請(qǐng)求。

當(dāng)您發(fā)出 OpenAI API 請(qǐng)求時(shí)，PromptLayer 會(huì)記錄它們并保存相關(guān)元數(shù)據(jù)，例如使用的提示、返回的響應(yīng)以及傳遞的任何其他參數(shù)。此數(shù)據(jù)由 PromptLayer 存儲(chǔ)，可以通過 PromptLayer 儀表板輕松訪問。

github.com/MagnivOrg/p…

特征

PromptLayer 的一些主要功能包括：

• API 請(qǐng)求日志記錄： PromptLayer 記錄您所有的 OpenAI API 請(qǐng)求，允許您在 PromptLayer 儀表板中搜索和探索請(qǐng)求歷史記錄。

• 元數(shù)據(jù)跟蹤： 在后臺(tái)，PromptLayer在請(qǐng)求發(fā)出后記錄每個(gè) OpenAI 請(qǐng)求，保存相關(guān)元數(shù)據(jù)，例如使用的提示、返回的響應(yīng)以及傳遞的任何其他參數(shù)。

• 易于集成： PromptLayer 是現(xiàn)有 LLM 應(yīng)用程序的附加組件，無需更改應(yīng)用程序的體系結(jié)構(gòu)。

• 專為生產(chǎn)而設(shè)計(jì)： PromptLayer 旨在幫助維護(hù)生產(chǎn)中的 LLM 并協(xié)助開發(fā)過程。它是產(chǎn)品就緒的，即使失敗也不會(huì)干擾您的應(yīng)用程序的功能。

• 協(xié)作： PromptLayer 允許您與他人分享您的提示工程，從而輕松地與隊(duì)友協(xié)作項(xiàng)目或與更廣泛的社區(qū)分享您的工作。

使用教程

python中使用

安裝

pip install promptlayer

導(dǎo)入，并重新賦值openai = promptlayer.openai ,官方文檔上是說：所有 OpenAI 請(qǐng)求都是從您的機(jī)器本地發(fā)出的，PromptLayer 只是記錄請(qǐng)求

import promptlayer
promptlayer.api_key = "<YOUR PromptLayer API KEY pl_xxxxxx>"
openai = promptlayer.openai

跟原生的openai調(diào)用一樣，使用create創(chuàng)建，區(qū)別是pl_tags 是你在promptlayer創(chuàng)建的標(biāo)簽

openai.Completion.create(
					engine="text-ada-001", 
					prompt="My name is", 
					pl_tags=["name-guessing", "pipeline-2"]
)

完整代碼如下：

import promptlayer
import os
promptlayer.api_key = os.environ.get("PROMPTLAYER_API_KEY")
openai=promptlayer.openai
openai.api_key = os.environ.get("OPENAI_API_KEY")
openai.Completion.create(
					engine="text-ada-001", 
					prompt="My name is", 
					pl_tags=["name-guessing", "pipeline-2"]
)

結(jié)合LangChain使用

導(dǎo)入

import os
from langchain.chat_models import PromptLayerChatOpenAI
from langchain.schema import HumanMessage

設(shè)置PROMPTLAYER_API_KEY

os.environ["PROMPTLAYER_API_KEY"] = "**********"

使用

chat = PromptLayerChatOpenAI(pl_tags=["langchain"])
chat([HumanMessage(content="I am a cat and I want")])

RESTAPI使用

import requests
request_response = requests.post(
    "https://api.promptlayer.com/rest/track-request",
    json={
        "function_name": "openai.Completion.create",
				// kwargs will need messages if using chat-based completion
        "kwargs": {"engine": "text-ada-001", "prompt": "My name is"},
        "tags": ["hello", "world"],
        "request_response": {"id": "cmpl-6TEeJCRVlqQSQqhD8CYKd1HdCcFxM", "object": "text_completion", "created": 1672425843, "model": "text-ada-001", "choices": [{"text": " advocacy"\n\nMy name is advocacy.", "index": 0, "logprobs": None, "finish_reason": "stop"}]},
        "request_start_time": 1673987077.463504,
        "request_end_time": 1673987077.463504,
				"prompt_id": "<PROMPT ID>",
				"prompt_input_variables": "<Dictionary of variables for prompt>"
        "api_key": "pl_<YOUR API KEY>",
    },
)

參數(shù)：

• api_key

• function_name— 函數(shù)的名稱。它應(yīng)該是以下之一openai.Completion.create，或者openai.ChatCompletion.create我們使用它來知道如何正確解析響應(yīng)

• kwargs — 傳遞給 OpenAI API 的關(guān)鍵字參數(shù)。通常它至少應(yīng)該包括engine。prompt如果您使用的是聊天完成或 GPT-4，它應(yīng)該包含messages而不是prompt.

• request_response— OpenAI 的回應(yīng)（他們是如何把它還給你的）

• request_start_time— 你開始向 OpenAI 發(fā)出請(qǐng)求的時(shí)間

• request_end_time— 你結(jié)束對(duì) OpenAI 的請(qǐng)求的時(shí)間

• tags — 可選的字符串標(biāo)簽數(shù)組，用于在 PL 儀表板上標(biāo)記此請(qǐng)求

• prompt_id— 可選的您用于此請(qǐng)求的 PL 注冊(cè)表中提示的 ID（請(qǐng)參閱get-prompt-template如何獲取此 ID，或者您可以從儀表板中的 URL 獲取它）

• prompt_input_variables— 可選的用于模板的輸入變量。這用于語法突出顯示，更重要的是，用于在您想要迭代提示時(shí)進(jìn)行回測。

更多

分享prompt

總結(jié)時(shí)刻

本文介紹了一個(gè)基于GPT的Prompt調(diào)試工具PromptLayer，它可以幫助開發(fā)者跟蹤、管理和共享GPT的提示，并且提供了API請(qǐng)求日志記錄、元數(shù)據(jù)跟蹤、易于集成、專為生產(chǎn)而設(shè)計(jì)和協(xié)作等功能。開發(fā)者可以通過安裝promptlayer包并重新賦值openai = promptlayer.openai來使用PromptLayer，同時(shí)將其作為附加組件添加到現(xiàn)有的LLM應(yīng)用程序中。此外，本文還介紹了如何結(jié)合LangChain和RESTAPI使用PromptLayer。

以上就是集調(diào)試共享及成本控制Prompt工具PromptLayer使用指南的詳細(xì)內(nèi)容，更多關(guān)于Prompt工具PromptLayer的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

最新評(píng)論