Datawhale干货
【资料图】
作者:平凡@知乎,诺桑比亚大学,在读博士
今天晚上,花了一点儿时间看了两篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdfDatawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,花了一点儿时间看了两篇文章:《Emergent
“五一”假期,出行量激增,多地开启“人从众”模式;4月,企业生产经营活动延续恢复发展态势;多家国际机
证券时报记者刘灿邦 5月1日当天,山东聊城中化集团鲁西化工双氧水生产区发生爆炸火灾事故并造成重大人员
5月2日,随着宝钢股份党委常委、副总经理胡宏下达项目上线令,智慧营销IMC及海外ERP一步项目正式上线。营销
意甲第33轮,尤文2-1莱切,结束联赛四轮不胜,先赛一场超拉齐奥暂升第二。最新积分榜如下:(夜神)
印尼雅加达2023年5月4日 美通社 --尽管全球经济动荡,2023年第一季度,印尼人民银行(PTBankRakyatIndonesi
这个“五一”假期,全市上下凝心聚力,用优质暖心的服务,为游客保驾护航,营造了“安全有序、文明有礼、南
新湖南,主流新媒体,移动新门户。-分享自@新湖南
近年来,A股上市公司以现金分红回报股东的意愿明显增强,分红规模逐年递增,屡创新高。 同花顺数据显示
1、正态性D检验亦称达戈斯蒂诺检验,是由正态性W检验经修正得到的一种正态分布拟合检验,适用于样本容量n较
原标题:世界最高海中大桥成功合龙工人日报-中工网记者张翀通讯员王鑫洲杜才良李冕4月28日,广东省交通集团
1、廊庑,汉语词语,拼音是lángwǔ,注音:ㄌㄤˊㄨˇ释义:堂前的廊屋。2、2、《汉书·窦婴传》引此文,
三湘都市报·新湖南客户端5月2日讯(全媒体记者丁鹏志刘文)5月1日,在张家界天门山景区天门狐仙点位,在岗
“靴子”落地。当地时间5月2日(本周二),纽约证券交易表示,将启动第一共和银行(NYSE:FRC)的股票退市
辽宁能源公告,公司于2023年3月30日收到上海证券交易所《关于受理辽宁能源煤电产业股份有限公司发行股份购
系统之家5月3日最新消息,Win11在此前发布过一个全新的时钟应用,并且拥有全新的外观并与Spotify进行整合,
1、1 世界贸易组织(WorldTradeOrganization,简称为WTO);2 世界旅游组织(WorldTourismOrganization
据央视新闻,截至5月3日13时,云南隆阳2级地震已造成10人轻伤,其中9人已出院、1人留院观察。灾区群众已全
绍兴这3个村,明确拆迁!,拆迁,鉴湖,东浦,越城区,施家桥,绍兴市,城乡房屋建筑数据
交易商品牌 产地交货地最新报价磷酸氢二钾 98%,25KG 袋东营市鑫浩化工有限公司国产山东省13000元 吨济南
交易商品牌 产地交货地最新报价无水三氯化铁 98 5%含量,颗粒河南森涛环保科技有限公司国产河南省3200元 吨
交易商品牌 产地交货地最新报价葡萄糖(无水) 99 8%济南卓越化工科技有限公司国产山东省5350元 吨
群众在哪里,新时代文明实践就延伸到哪里。在惠水县,有一座青年主题公园,这里结合实际,因地制宜,以“惠
近日,备受瞩目的2023年央视主持人大赛正式对外开启了招募工作,在央视频官方账号放出的宣传片中,出现了康
今日迎返程高峰中国铁路武汉局预计发送旅客超90万人次:据媒体新闻,记者从中国铁路武汉局集团公司获悉,“
如何抓好今冬明春市场监管领域安全生
12月16日,达州市达川区市场监督管理局下发《市场监管领域今冬明春安全生产隐患大排查大整治行动工作方案》,要求下属各部门从2022年12月16日起至2023年3月15日,全面聚焦城镇燃气、特种设备、危险化学品、烟花爆
《2021年度中国对外直接投资统计公报
金港高速公路连接柬埔寨首都金边和该国最大深水海港西哈努克港,是中国路桥按建造—运营—移交模式投资的项目,采用中国设计及质量标准,横跨5个省份,全长187 05公里,双向四车道。金港高速公路通车后,从金边到
总体保持稳定恢复态势 工业经济展现
2022年1至10月,浙江省宁波市811家汽车制造业规上工业总产值2646 8亿元,同比增长14 2%。图为11月19日,工人在领克汽车宁波梅山工厂的总装车间作业。今年以来,受疫情多发散发、市场需求不振等因素影响,国内工业
14家券商获首批个人养老金代销展业资
11月18日晚间,证监会发布《个人养老金基金销售机构名录》,共37家机构入围,其中券商14家,银行16家,独立基金销售机构7家。14家券商包括华泰证券、中信证券、海通证券、国泰君安、申万宏源、中金财富和长江证券
北京再担保承保规模超6000亿 覆盖中
北京中小企业融资再担保有限公司(简称北京再担保)发布的最新数据显示,成立14年来已累计承保规模超过6000亿元,覆盖中小微企业(农户)超过16万户次,积极推动北京市中小微企业融资规模不断扩大。北京再担保2008年
Copyright @ 2001-2023 www.u74.cn All Rights Reserved 商业时报网 版权所有
网站信息内容, 均为相关单位具有著作权,未经书面授权,转载注明出处
未经商业时报网书面授权,请勿建立镜像,转载请注明来源,违者依法必究