选自微软博客
(资料图片)
机器之心编译
机器之心编辑部
大模型有了,下一步就是设计 Prompt 了。几个月来,ChatGPT、GPT-4 等大模型陆续发布。这些模型表现出了强大的涌现能力,但模型生成的结果是随机的,时好时坏,部分原因与 Prompt 的设计密切相关。
很多人将 Prompt 比喻为大模型的咒语,在引导模型生成内容方面影响很大,如何选择 Prompt 成了每个 AI 研究者关注的问题。最近微软官方出了一份教程,该教程介绍了 Prompt 设计和工程中的一些高级玩法,涵盖系统消息、少样本学习、非聊天场景等内容。
每部分内容都有技术介绍和示例展示,下面我们看看具体内容有哪些。
关于 Prompt,你应该了解这些
系统消息
系统消息包含在 Prompt 的开头,用于为模型提供上下文、说明或与用例相关的其他信息。用户可以通过系统消息描述模型应该回答什么、不应该回答什么,以及定义模型回复的格式。
下图示例展示了系统消息和模型生成的回复:
通常,系统消息还可以是这样的:
上表中 Assistant 是一个由 OpenAI 训练的大语言模型。
Assistant 是一个智能聊天机器人,旨在帮助用户回答问题。要求模型只能使用给定的上下文来回答问题,如果不确定答案,你可以说「我不知道」。
Assistant 是一个智能聊天机器人,例如其能帮助用户回答税务相关问题。
又比如你是一个 Assistant,旨在从文本中提取实体。用户将粘贴一串文本,你将以 JSON 对象的形式回应你从文本中提取的实体。
这是输出格式的示例:
上面就是关于系统消息的介绍,不过一个重要的细节是,即使是设计良好的系统消息,模型仍有可能生成与系统消息指令相矛盾的错误回复。
小样本学习
让语言模型适应新任务的一种常见方法是使用小样本学习。小样本学习提供了一组训练样本作为 Prompt 的一部分,以便为模型提供额外的上下文信息。
用户和 Assistant 之间的一系列信息(以新的 Prompt 格式编写)可以作为小样本学习的示例。这些示例可用于引导模型以某种方式做出响应、模拟特定行为并为常见问题提供种子答案。
Prompt 的基本结构。
非对话场景
虽然当前大模型的主要应用场景是对话生成场景,但也可以用在非对话场景。例如,对于情感分析场景,你可能会使用以下 Prompt:
使用明确的指令
一般来讲,信息在 Prompt 中出现的顺序很重要。由于 GPT 类模型是以特定方式构建的,该构建过程定义了模型对输入的处理方式。研究表明,在 Prompt 开始时告诉模型你希望它执行的任务,然后再共享其他上下文信息或示例,可以帮助模型产生更高质量的输出。
最后重复一遍指令
模型容易受到最新偏差的影响,在这种情况下,末尾 Prompt 信息可能比开头 Prompt 信息对输出的影响更大。因此,在 Prompt 末尾重复指令值得一试。
对输出的操作
这种情况是指在 Prompt 末尾包含几个单词或短语以获得符合所需形式的模型响应。例如,使用诸如「Here’s a bulleted list of key points:\n- 」之类的 Prompt 可以帮助确保输出格式为项目符号列表。
添加语法
为 Prompt 添加语法,例如标点符号、标题等,这样做使输出更容易解析。
下面示例中,不同的信息源或 step 之间添加了分隔符(在本例中为 ---)。这种操作允许使用 --- 作为生成的停止条件。此外,部分标题或特殊变量以大写形式出现以进行区分。
把任务分解
如果将任务分解为更小的 step,大型语言模型 (LLM) 通常会表现得更好。
注意,这里使用了语法来区分各个部分并对输出进行初始化。在这个简单的例子中,将任务从一个 step 分解为两个 step 结果并不很明显,但是当试图对包含许多事实声明的大块文本进行此操作时,将任务分解会产生显著的差异。
思维链提示
这是分解任务技术的一种变体。在这种方法中,不是将任务拆分为更小的 step,而是指示模型响应逐步进行并呈现所有涉及的 step。这样做可以减少结果不准确,并使评估模型响应更加容易。
提供真实上下文
在该方法下,本文建议提供给模型真实数据。一般来讲,原始数据越接近最终答案,模型需要做的工作就越少,这意味着模型出错的机会就越少。在下面示例中,系统消息提供了最新的文章,然后要求模型给出一些早期客户,模型准确的给出了答案。
除此以外,微软在这份指南中还介绍了关于 Prompt 其他技巧,大家可以前去原文查看,获取更多信息。
责任编辑:
很多人将Prompt比喻为大模型的咒语,在引导模型生成内容方面影响很大,如何选择Prompt成了每个AI研究者关注
中国网财经5月11日讯(记者李冰岩)近日,陕西黑猫(601015 SH)子公司以现金5 53亿元收购控股股东所持金宝利丰
同花顺数据中心显示,可靠股份5月10日获融资买入153 54万元,占当日买入金额的10 65%,当前融资余额4281 42
同花顺数据中心显示,川恒股份5月10日获融资买入891 13万元,占当日买入金额的10 14%,当前融资余额1 47亿
买保险怎样缴费最划算?一般长期保险缴费方式主要有两种,其一是趸交,是指投保人一次性缴清所有的保费。这种情况下需要缴纳的保费总额更少
5月10日,滴滴宣布,滴滴自动驾驶公司与广汽埃安新能源汽车股份有限公司签订深化合作协议,共同发布无人驾
可转债套利操作技巧有哪些?1、转股套利在转股期限内,当溢价率为负时,投资者立马把手中的可转债进行转股操作,再把转换成的股票在二级市场
办不了银行卡的原因有哪些?去银行办不了卡可能是以下原因导致的:1、个人资料不齐备:银行需要核实客户的身份和财务状况,如果客户提交的身
买保险一般买几个险种?在购买保险时,具体要买几个险种,需要根据自己的实际情况来考虑,例如以下几个方面:1、考虑预算买保险的时候,预算
中超最新积分榜:申花领跑海港紧追,三镇第6山东第9,中超,申花,山东省,天津津门虎
保险拒保了以后还能投保吗?保险拒保了以后还是可以投保的,主要有两种情况:【1】如果是短暂的身体健康问题导致的保险被拒保,用户可以等自
5月11日华宝基金管理有限公司发布《华宝第三产业灵活配置混合型证券投资基金暂停申购、转换转入及定期定额
基金净值有哪些类型?【1】基金单位净值单位净值是指当前的基金总净资产除以基金总份额,可简单理解为买一份基金的价格。其计算公式为:基金
这是4月9日拍摄的贵南高铁贵州段三标营盘清水河双线特大桥(无人机照片)。新华社记者杨文斌摄记者从中国铁
今天小编肥嘟来为大家解答以上的问题。昌邑文山幼儿园,昌邑文山相信很多小伙伴还不知道,现在让我们一起来
基金净值显示的是前一天的净值吗?是的。在基金产品当天净值未公布的情况下,投资者当天白天看到的基金产品净值一般是前一天的净值。而基金
关于正宗的尖椒兔怎么做最好吃的内容,包含尖椒兔怎么做尖椒兔怎么做好吃,尖椒兔的家常做法
保险抵税什么意思?保险抵税就是指用户投保固定的保险产品,支付的保费是可以抵扣个人所得税的纳税额的,从而可以减免一部分的个人所得税。
微信分付提前还款会降额吗?微信分付提前还款是否会降额,要分情况来讨论:1、提前还款后,后续按时还款:微信分付提前还款后,后续用户仍然
买ETF基金和股票的区别是什么?1、定义不一样:ETF基金是基金公司发行的集合资产管理计划。股票是上市公司发行的凭证,用户购买股票后是上市
税延养老保险和个人养老金区别?【1】定义不一样:税延养老保险是在缴纳税款时,按照规定缴纳一定数额的养老保险费用,享受税收优惠的一种保
五天五一小长假期间,大润发全国榴莲销售同比增长126%,华东区同比增长高达2 5倍,同时,榴莲也带动了大润
中国商务新闻网是商务部国际商报社主办,国家互联网信息办公室批准的国家一类新闻网站,是全国商务系统网络
中国商务新闻网是商务部国际商报社主办,国家互联网信息办公室批准的国家一类新闻网站,是全国商务系统网络
中国商务新闻网是商务部国际商报社主办,国家互联网信息办公室批准的国家一类新闻网站,是全国商务系统网络
如何抓好今冬明春市场监管领域安全生
12月16日,达州市达川区市场监督管理局下发《市场监管领域今冬明春安全生产隐患大排查大整治行动工作方案》,要求下属各部门从2022年12月16日起至2023年3月15日,全面聚焦城镇燃气、特种设备、危险化学品、烟花爆
《2021年度中国对外直接投资统计公报
金港高速公路连接柬埔寨首都金边和该国最大深水海港西哈努克港,是中国路桥按建造—运营—移交模式投资的项目,采用中国设计及质量标准,横跨5个省份,全长187 05公里,双向四车道。金港高速公路通车后,从金边到
总体保持稳定恢复态势 工业经济展现
2022年1至10月,浙江省宁波市811家汽车制造业规上工业总产值2646 8亿元,同比增长14 2%。图为11月19日,工人在领克汽车宁波梅山工厂的总装车间作业。今年以来,受疫情多发散发、市场需求不振等因素影响,国内工业
14家券商获首批个人养老金代销展业资
11月18日晚间,证监会发布《个人养老金基金销售机构名录》,共37家机构入围,其中券商14家,银行16家,独立基金销售机构7家。14家券商包括华泰证券、中信证券、海通证券、国泰君安、申万宏源、中金财富和长江证券
北京再担保承保规模超6000亿 覆盖中
北京中小企业融资再担保有限公司(简称北京再担保)发布的最新数据显示,成立14年来已累计承保规模超过6000亿元,覆盖中小微企业(农户)超过16万户次,积极推动北京市中小微企业融资规模不断扩大。北京再担保2008年
Copyright @ 2001-2023 www.u74.cn All Rights Reserved 商业时报网 版权所有 关于我们
网站信息内容, 均为相关单位具有著作权,未经书面授权,转载注明出处
未经商业时报网书面授权,请勿建立镜像,转载请注明来源,违者依法必究