Claude模型长文本回忆优化执行手册
Claude 官方发布的一篇博客，很实用，链接🔗https://www.anthropic.com/index/prompting-long-context
下面是用ChatGPT4的web browsing功能把这篇博客通过特定的prompt 转换成的一本「执行手册」，可以简单参考一下，具体信息建议还是从原文链接看：
基于您的要求和提供的文章内容，以下是一份详细、具体、逻辑清晰且可操作的执行手册
Claude模型长文本回忆优化执行手册
本手册旨在指导用户通过特定步骤和方法，优化Claude模型在处理长文档时的回忆能力。
一、目标定义
- 评估和优化Claude模型在长文档上下文中正确回忆特定信息的能力。
二、准备阶段
2.1 数据源选择
- 选择一个公开可用的、日常发布的政府文档，作为测试的基础数据源。
2.2 文档分段与问题生成
- 将选定的文档分成多个部分。
- 使用Claude为每个部分生成五个选择题，每个题目包含三个错误答案和一个正确答案。
三、多选题生成策略
3.1 避免过于明显的问题
- 确保问题不应包含答案。
3.2 避免模糊的短语
- 避免使用模糊的短语，如“此文档”或“此段落”，而应明确指定问题所指的段落。
四、评估与测试
4.1 模型选择
- 使用Claude Instant 1.2模型进行测试。
4.2 回忆能力测试
- 在不同情境下测试Claude的回忆能力，例如仅提供Claude用于编写问题的确切段落，评估Claude能否正确回答自己生成的问题。
五、提示策略
5.1 Base策略
- 直接要求Claude回答问题。
5.2 Nongov Examples策略
- 提供与政府文档无关的两个正确回答的常识性选择题示例。
5.3 Two Examples策略
- 提供两个与文档上下文中的其他部分有关的正确回答的选择题示例。
5.4 Five Examples策略
- 同上，但提供五个示例。
六、优化提示
6.1 使用
- 在测试各种提示策略时，同时测试是否使用，在其中指示Claude提取相关引用。
6.2 答案段落位置测试
- 根据答案所在段落的位置（开始、结束或输入的中间）测试这些策略。
6.3 上下文长度测试
- 通过测试包含70K和95K令牌文档的效果，以了解上下文长度对结果的影响。
通过遵循本执行手册的指导，用户可以有条不紊地进行测试和优化，以提高Claude模型在长文档上下文中的回忆能力。