强过AutoGPT!微软重磅研究提出APO算法,「自动提示」淘汰提示工程师-微资讯
2023-05-22 16:01:47 来源:清一色财经
手写提示既费时又费力,微软研究人员的APO算法提供了一种自动化的解决方案。无需调整超参数或模型训练,APO可以显著提高提示的性能,并具有可解释性。
模型调教得好不好,提示(prompt)最重要。
(资料图片仅供参考)
在优化和改进提示工程的过程中,提示变得越来越精巧、复杂。
据Google Trends,提示工程在过去的6个月受欢迎程度急剧上升,到处都是关于提示的教程和指南。
比如,一个在网上爆火的提示工程指南GitHub已经狂澜28.5k星。
然而,完全用试错法开发提示可能不是最有效的策略。
为了解决这个问题,微软研究人员开发了一种全新提示优化方法,称为自动提示优化(APO)。
论文地址:https://arxiv.org/pdf/2305.03495.pdf
手写提示省了
近来,各种迹象表明,在大规模网络文本中训练的大型语言模型在跨越各种NLP任务中有时表现不佳。
这些LLMs都是通过提示来遵循人的指令。然而,编写这些自然语言提示仍然是一个手工试错的过程,需要人们付出巨大努力,甚至还得具备专业知识。
因此,还得需要自动,或半自动的程序来帮助程序员写出最好的提示。
最近的一些研究,通过训练辅助模型,或对提示进行可微表示来研究这个问题。
然而,这些工作假定可以访问到LLM的内部状态变量,而实操的人通常通过API与LLM进行交流。
其他的工作则通过强化学习或LLM基础反馈对提示进行离散操做。
这些算法也可能需要对LLM的低级访问,还会产生不可理解的输出,或依赖于无方向蒙特卡罗搜索(monte-carlo search)的语义空间上的提示。
对此,微软研究人员提出了自动提示优化(APO),一个通用的和非参数提示优化算法。
APO是一种受数值梯度下降(numerical gradient descent)启发的通用非参数提示优化算法,旨在自动化和改进LLM的快速开发过程。
APO算法的整体框架
这一算法建立在现有的自动化方法的基础上,包括训练辅助模型,或提示的可微表示,以及使用强化学习或基于LLM的反馈进行离散操作。
与以前的方法不同,APO通过在基于文本的苏格拉底对话(Socratic dialogue)中使用梯度下降法来解决离散优化的障碍。
它用LLM反馈代替了差异,用LLM编辑代替了反向传播。
更具体来讲,该算法首先利用小批量的训练数据获得自然语言「梯度」,以描述给定提示中缺陷的。
这些梯度指导编辑过程,在梯度的相反语义方向上编辑当前提示符。
然后,再进行更广泛的集束搜索(beam search),以扩大提示的搜索空间,将提示最佳化问题转化为集束候选的选择问题。
非参数「梯度下降」的离散提示优化
自动提示优化框架假设可以访问由输入和输出文本对(数字、类别、汇总等)组成的初始提示和训练数据:。
要注意的是,所有提示p都是从相干自然语言的空间中提取的。
研究人员假设访问了一个黑盒LLM API,,它返回由连接p和x组成的提示符可能的文本延续y (例如,少样本提示符和输入示例,或Chatbot角色和对话历史)。
在这种情况下,APO算法迭代精化了提示以产生,对于某些度量函数和域内测试或开发数据,这是最佳提示的一个近似。
梯度下降
在研究的设置中,梯度下降法是指 (1) 用一批数据评估提示符的过程,(2) 创建一个局部丢失信号,其中包含关于如何改进当前提示符的信息,然后 (3) 在开始下一次迭代之前,在梯度的相反语义方向编辑提示符。
在此,研究人员使用一对静态LLM提示来完成这个过程,如图所示。
第一个提示是创建丢失信号「梯度」,叫做。
虽然特定的内容可能会有所不同,但是必须始终考虑当前提示,以及在一小批数据(特别是错误数据集)上的行为,并生成缺陷的自然语言摘要。这个摘要变成了梯度。
就像传统的梯度一样,梯度表示参数空间中的一个方向,这会使模型用当前提示描述缺陷的自然语言空间变得更糟糕。
第二个提示符叫做,虽然这个提示符也是变化的,但它必须始终采用梯度和当前提示符,然后在与相反的语义方向上对执行编辑,即修复指示的问题。
与传统的机器学习设置不同,研究人员并没有生成一个单一的梯度或编辑,而是生成了一些方向,可以改善当前的提示。
集束搜索
接下来,研究者描述了梯度下降用于指导集束搜索在提示符空间上的运行。这个集束搜索是提示训练算法的外部循环。
集束搜索是一个迭代优化过程,在每次迭代中,当前提示符用于生成许多新的候选提示符。
接下来,一个选择过程就是用来决定哪些提示,值得继续进行到下一次迭代。这个循环允许对多个提示符候选进行增量改进和探索。
实验评估
为了评估 APO 的有效性,微软研究小组将其与三种最先进的NLP任务即时学习基线进行了比较,包括越狱检测、仇恨语音检测、假新闻检测和讽刺检测。
APO在所有四个任务中都持续超越基线,在蒙特卡洛(MC)和强化学习(RL)基线上取得了显著的进步。
平均而言,APO比MC和RL基线分别提高了3.9%和8.2% ,比原始提示提高了15.3% ,比AutoGPT提高了15.2%。
结果表明,提出的算法可以提高初始提示输入31%的性能,超过最先进的提示学习基线平均4-8% ,而依赖较少的LLM API调用。
此外,研究人员还展示了优化过程的可解释性,并调查了算法的缺点。
值得注意的是,这些改进是在没有额外的模型训练或超参数优化的情况下完成的,这表明了APO如何有效改进了LLM的提示。
对于提示工程来说,APO的出现是非常兴奋的。
APO通过使用梯度下降法和集束搜索自动化快速优化提示过程,减少了快速开发所需的人力和时间。
实证结果表明,该模型能够在一系列自然语言处理任务中迅速提高质量。
越狱是一项新的任务,目标是确定用户对LLM的输入是否代表越狱。我们将越狱定义为一种用户互动策略,旨在让AI打破自己的规则。
发现微软研究员带来的改变游戏规则的自动提示优化(APO)!一个强大的通用框架,用于优化LLM提示。
标签:
相关阅读
- (2023-05-22)强过AutoGPT!微软重磅研究提出APO算法,「自动提示」淘汰提示工程师-微资讯
- (2023-05-22)《荣耀乒乓》剧情被观众疯狂吐槽:这是乒乓,不是国足 环球快报
- (2023-05-22)杨紫琼晚宴跳舞具体是什么情况 全球速讯
- (2023-05-22)世界速读:广西柳州市2023年“世界计量日”活动暨“育苗扶壮计量服务中小企业行”专项活动正式启动
- (2023-05-22)快看:供销社概念大幅走高 中农联合、天鹅股份涨停 湖南发展等拉升
- (2023-05-22)2023贵州·黔南(国际)铁人三项赛在都匀激情开赛-全球资讯
热点推荐
- (2023-05-22)强过AutoGPT!微软重磅研究提出APO算法,「自动提示」淘汰提示工程师-微资讯
- (2023-05-22)大卡车运货视频真实_大卡车运货
- (2023-05-22)东方国信:公司整体智慧电厂样板工程已落地
- (2023-05-22)天天快消息!首钢股份:公司可批量供应800MPa及以下强度级别水电钢产品
- (2023-05-22)环球热讯:冰山冷热:公司重大资产重组已于2022年11月实施完成
- (2023-05-22)罗普斯金:公司5条全自动光伏边框加工生产线产能利用率约为70%-环球动态
- (2023-05-22)凯龙高科:公司重结晶碳化硅项目产能设计为50万升/年
- (2023-05-22)新生活化妆品4.5折是正品吗?新生活化妆品单品价格表
- (2023-05-22)《荣耀乒乓》剧情被观众疯狂吐槽:这是乒乓,不是国足 环球快报
- (2023-05-22)沈阳市全市全域封闭吗?沈阳菜市场封闭了吗?
- (2023-05-22)举杯相邀·醉美新郑 | 金星啤酒助力新郑市2023首届啤酒狂欢节
- (2023-05-22)桃花源记节奏划分图片_桃花源记节奏划分-世界报资讯
- (2023-05-22)教育基金定投收益怎么样?教育基金分红有必要吗?
- (2023-05-22)是谁在缔造越南经济神话?越南2023年第一季度gdp
- (2023-05-22)杨紫琼晚宴跳舞具体是什么情况 全球速讯
- (2023-05-22)微头条丨上海期货交易所发布调整燃料油期货品种相关合约交易手续费的通知
- (2023-05-22)宏观风险未完全解除 短期高低硫燃料油将区间震荡
- (2023-05-22)博威合金:公司在手订单充裕 原有产能利用率已饱和
- (2023-05-22)SuperCLUE中文通用大模型基准测评发布:“360智脑”多项能力国内领跑|世界快资讯
- (2023-05-22)凌钢股份:公司不生产军工产品|世界热消息
- (2023-05-22)良品铺子小食仙携手国际IP 打造高品质食品守护儿童健康成长 焦点热文
- (2023-05-22)M.latin马拉丁19周年 与朋友们一起的时光旅行
- (2023-05-22)“挖呀挖”黄老师回应素颜被吐槽:想把最真实的自己带给大家
- (2023-05-22)专家称电子健康码并非防疫健康码 防疫健康码出现异常怎么回事?
- (2023-05-22)手足口病保险报销吗?小福星保险里有手足口报销吗?
- (2023-05-22)世界速读:广西柳州市2023年“世界计量日”活动暨“育苗扶壮计量服务中小企业行”专项活动正式启动
- (2023-05-22)天然翡翠都是有哪些特征?天然缅甸a货翡翠好不好?
- (2023-05-22)桂林暴雨371所学校停课,雨势减弱!强降雨云系将影响广东 当前视讯
- (2023-05-22)重庆暴雨袭城 重庆未来几日气温将破30度?
- (2023-05-22)环球播报:东利机械:目前专营悬架减振器的公司处于筹建期
- (2023-05-22)远大智能:海参崴港与我公司产品出口无直接关系
- (2023-05-22)每日快播:走进下庄寻乡村好物“渝快”直播助乡村振兴——重庆农商行在巫山县下庄村举办助农直播带货活动
- (2023-05-22)7600万元!重庆农商行获批重庆市首批地方法人机构碳减排支持工具资金 环球微头条
- (2023-05-22)当前关注:超图软件: 公司本次发行股票事宜主要目的为引入战略投资者
- (2023-05-22)贵州大巴车事件原因最新消息 贵州一大巴开进水库了?
- (2023-05-22)快看:供销社概念大幅走高 中农联合、天鹅股份涨停 湖南发展等拉升
- (2023-05-22)招行回应烂尾楼断供事件:正在开会 楼盘烂尾断供最新消息
- (2023-05-22)义乌疫情源头找到了吗?义乌疫情封控区地图
- (2023-05-22)31省新增本土46例 全国今日新冠新增多少?
- (2023-05-22)长沙二手家具市场在哪 长沙二手家具市场_当前信息
- (2023-05-22)双桥首届金银花节暨中小学生劳动实践主题活动举办
- (2023-05-22)焦点热讯:广元窑进校园 让传统技艺活起来
- (2023-05-22)知“食”党课上起来 社区居民乐开怀
- (2023-05-22)第十届“中国当代徐霞客”颁奖 世界速递
- (2023-05-22)全球播报:白城农商银行召开助力民企发展营销动员大会
- (2023-05-22)【环球时快讯】彩蝶实业:上半年我司销售人员有前往美国、巴基斯坦等国家拜访客户或参加展会
- (2023-05-22)每日视点!前4月汽车销量Top 10出炉!东风、上汽等销量下滑
- (2023-05-22)博思软件:百望云属于公司的发票及延展业务服务商
- (2023-05-22)天天新动态:康辰药业:公司目前产品重点聚焦于出凝血及围手术期、肿瘤及免疫、骨质疏松及急性骨丢失领域
- (2023-05-22)联化科技:英国子公司已完成产线升级改造工作 产品产能利用率逐步提升-播报
- (2023-05-22)2023贵州·黔南(国际)铁人三项赛在都匀激情开赛-全球资讯
- (2023-05-22)今日讯!拜登:得到泽连斯基亲自保证,F-16不会被拿来攻击俄领土
- (2023-05-22)毕业证做旧黄的方法_纸张做旧黄最快的方法 全球百事通
- (2023-05-22)和GL8一个级别,还配侧滑门,裸车低至15万多值得买吗? 全球热闻
- (2023-05-22)富奥股份:富赛汽车电子已取得红旗、一汽大众、一汽丰田等多个项目订单_环球通讯
- (2023-05-22)格力电器:目前在巴西、巴基斯坦建有生产制造基地
- (2023-05-22)一品红:一季度公司医药制造产品实现收入70627.24万元 同增41.64%|重点聚焦
- (2023-05-22)世界观察:贝达药业:兰宏博士仍在公司正常任职 负责相关研究工作
- (2023-05-22)东南网架:公司参与承建了杭州奥体中心主体育馆等亚运场馆
- (2023-05-22)天天时讯:沈阳浑南一宗仓储用地解除成交确认书 此前成交价1873.80万元
- (2023-05-22)光伏产业链压力自下而上传导 硅片库存高企带崩硅料价格_每日快报
- (2023-05-22)传言佳能将发布EOS R100与28mm F2.8镜头 机身售价479美元 天天报道
- (2023-05-22)【天天速看料】航天信息:公司目前正在积极布局人工智能硬件和云计算技术
- (2023-05-22)遥望科技:近期公司与人民日报合作进行乡村振兴系列助农直播第三场 天天热讯
- (2023-05-22)京东JDG捧起MSI奖杯 斩获队史首个英雄联盟国际赛事冠军 头条
- (2023-05-22)东方雨虹公益行:“虹世界·绿环境”系列活动正式启动 当前快报
- (2023-05-22)东方雨虹SAM-924:以高品质赢得口碑赞誉_全球速读
- (2023-05-22)最新一期贷款市场报价利率公布 连续9个月不变
- (2023-05-22)【项目快进简讯】杜桥托育中心项目_时快讯
- (2023-05-22)天天热头条丨代售点买的火车票怎么退_代售点
- (2023-05-22)与数字化导航事业共成长-全球今头条
- (2023-05-22)广东石化全厂智能化项目正式上线
- (2023-05-22)厦门国际银行:以高质量金融服务 激活实体经济“一池春水”|当前焦点
- (2023-05-22)环球最资讯丨心系投资者 携手共行动——湘财证券开展第五届“5·15全国投资者保护宣传日”系列宣传
- (2023-05-22)360入选首批北京市通用人工智能产业创新伙伴计划成员
- (2023-05-22)天天观热点:第三十一届中国戏剧梅花奖揭晓2
- (2023-05-22)洛阳加快培育直播电商、跨境电商等线上经济新业态(直播电商 乘风而上)_环球热头条
- (2023-05-22)当前看点!重庆藻渡水库主体工程开工,总投资101.2亿元
- (2023-05-22)妻子去世10年男子仍帮老丈人插秧 网友:有情有义真男人 新消息
- (2023-05-22)上海港汇恒隆广场520特别联动音乐剧《剧院魅影》中文版 呈现浪漫音乐盛宴
- (2023-05-22)塔里木油田打穿地下5000米砾石层 刷新国内纪录 天天快播
- (2023-05-22)渤海湾旅大4-2油田再添“新丁”|世界热推荐
- (2023-05-22)油价延续小幅上涨 最新资讯
- (2023-05-22)全球观热点:西方正试图动摇破坏俄罗斯与欧佩克间的石油盟友关系
- (2023-05-22)热门:中石化又一领导辞职!
- (2023-05-22)环球精选!燕京啤酒:桂林漓泉是公司控股子公司
- (2023-05-22)当前热讯:软通动力成为文心千帆大模型平台生态伙伴,与百度智能云共同探索大模型产业落地
- (2023-05-22)环球热讯:张向晨:国际贸易正在缓慢发生长期构造性变化
- (2023-05-22)在清华五道口全球金融论坛上,德国央行、匈牙利央行这样说! 全球微动态
- (2023-05-22)【环球热闻】我发现互联网工作的性价比还在持续走低,没看到好转的迹象
- (2023-05-22)关于新增平安银行股份有限公司为上投摩根时代睿选股票型证券投资基金代销机构的公告_聚看点
- (2023-05-22)李易峰家庭背景如何?赞赞新时代李易峰景甜江疏影mv
- (2023-05-22)盐碱地治理,要用好科技和市场力量_独家
- (2023-05-22)李易峰的现任女友是谁?李易峰官宣过女友吗?
- (2023-05-22)陈百强什么原因怎么走的?为陈百强扶灵的四女子
- (2023-05-22)构建良好应用生态圈 助数字人民币“飞入寻常百姓家”
- (2023-05-22)天天精选!4-0横扫日本张本智和,4-1横扫冲冠,世界第二王楚钦霸气开局
- (2023-05-22)这就是22碱基的味道?Ruler:旺乎啊、施尤啊 我好开心啊!_热资讯
- (2023-05-22)当前热文:面板垫使用前如何处理 硅胶面板的处理方法
- (2023-05-22)追着花儿看新疆|家庭小院盛开民族团结之花_焦点热讯