如何让Claude API在产生某些特殊单词后停止？

Question

我有一些话不希望克劳德说出。无论我如何提示它，它仍然会在输出中产生的可能性不为零。所以我想让它在产生这样一个单词时停止，而不是浪费地产生长序列，无论如何我都会过滤掉这些序列并浪费金钱。有办法做到这一点吗？

到目前为止我有这样的基本提示

payload = {
    "prompt": "Tell me a 500 word joke but make sure it doesn't include the word 'blood' ",
    "model": "claude-3-5-sonnet-20240620",
    "max_tokens_to_sample": 50
}

headers = {
    "Authorization": f"Bearer {API_KEY}",
    "Content-Type": "application/json",
}

response = requests.post(API_ENDPOINT, json=payload, headers=headers)

我尝试根据提示运行它，但我注意到有时“血”这个词仍然会出现在 500 字的笑话中，我必须修剪或忽略它，所以这是浪费资源。

Answer 1

请参阅 API 中的“stop_sequences”。但我不确定这是否会大大降低你的资源成本。最好使用强烈的提示，甚至可能进行微调。

https://docs.anthropic.com/en/api/complete

停止序列 细绳[] 将导致模型停止生成的序列。

我们的模型停在“ Human:"，并且将来可能会包含其他内置停止序列。通过提供 stop_sequences 参数，您可以包含导致模型停止生成的其他字符串。