Datawhale干货
作者:平凡@知乎,诺桑比亚大学,在读博士
(资料图)
今天晚上,花了一点儿时间看了两篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf
2.https://arxiv.org/pdf/2301.05217.pdf
Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,花了
大家好,我是良许。在我的直播间,每天晚上都有人在问,我今年30多岁了
Datawhale干货作者:太子长琴,算法工程师,Datawhale成员前言ChatGPT
CSGO的皮肤交易平台有很多,但很多皮肤交易平台的手续都非常高,买个皮肤还不如直接开一个,小编为大家整理了十个好用的csgo皮肤交易平台给
【中国电信广东客服:受影响的移动用户接听语音业务已全面恢复】财联社
6月8日,重庆市科学技术协会第六次代表大会召开。上游新闻记者从会上获
聚焦民营经济,江汉区致力优化营商环境极目新闻记者张理晶通讯员肖文竹
湖北枣阳:爱心助考圆梦起航枣阳市北城派出所民警彭小龙乘驾铁骑将证件
最新消息:定了!本周六!极目新闻记者邹浩湖北省2023年普通高考已结束
防患于未“燃”!武昌民警进社区演练消防救援极目新闻记者吴昌华通讯员
1、兰石化招生考什么意思1、兰州职业技术学院兰州职业技术学院是2001年
1、兰石化单招考什么2020兰石化单招分数线300分。2、兰石化单招考什么
中专和职高的区别:性质不同;户别不同,户别也就是户籍的类别,一般是
1、可以打开拿着自己的公共交通卡,去任何一个地铁站通过电脑分析查询
1、上海迪士尼乐园于2016年6月16日正式建成开园。2、它是中国内地首座
1、你好,具体步骤:打开辽事通点击右下角的我,点击城市服务找到页面中
1、吃醋和约的意思是不一样的。吃醋,一般多指的是男女关系中的嫉妒情
1、关不上的窗(周传雄),失眠(许慧欣),如果我变成回忆(tank),
1、每天都有2、星期一半价:新奥尔良烤鸡腿堡5元 份;培根燕麦堡5元 份
1、熔点是固体将其物态由固态转变(熔化)为液态的温度。2、20号钢的20
1、择业意愿就是你在毕业之后选择就业方面比较偏向于哪个工作,这个时
1、农行的借记卡是不能透支或欠费的,没有这个功能。2、如果您持有农行
1、先把SIM从手机一侧拆下来,有的手机卡槽位置在手机底部,记得先拿出
1、数据显示,2021年双十一全网交易额为9652亿元,同比增长122%,未突
6月8日北向资金增持2 07万股三元生物。近5个交易日中,获北向资金增持
如何抓好今冬明春市场监管领域安全生
12月16日,达州市达川区市场监督管理局下发《市场监管领域今冬明春安全生产隐患大排查大整治行动工作方案》,要求下属各部门从2022年12月16日起至2023年3月15日,全面聚焦城镇燃气、特种设备、危险化学品、烟花爆
《2021年度中国对外直接投资统计公报
金港高速公路连接柬埔寨首都金边和该国最大深水海港西哈努克港,是中国路桥按建造—运营—移交模式投资的项目,采用中国设计及质量标准,横跨5个省份,全长187 05公里,双向四车道。金港高速公路通车后,从金边到
总体保持稳定恢复态势 工业经济展现
2022年1至10月,浙江省宁波市811家汽车制造业规上工业总产值2646 8亿元,同比增长14 2%。图为11月19日,工人在领克汽车宁波梅山工厂的总装车间作业。今年以来,受疫情多发散发、市场需求不振等因素影响,国内工业
14家券商获首批个人养老金代销展业资
11月18日晚间,证监会发布《个人养老金基金销售机构名录》,共37家机构入围,其中券商14家,银行16家,独立基金销售机构7家。14家券商包括华泰证券、中信证券、海通证券、国泰君安、申万宏源、中金财富和长江证券
北京再担保承保规模超6000亿 覆盖中
北京中小企业融资再担保有限公司(简称北京再担保)发布的最新数据显示,成立14年来已累计承保规模超过6000亿元,覆盖中小微企业(农户)超过16万户次,积极推动北京市中小微企业融资规模不断扩大。北京再担保2008年
Copyright @ 2001-2023 www.u74.cn All Rights Reserved 商业时报网 版权所有 关于我们
网站信息内容, 均为相关单位具有著作权,未经书面授权,转载注明出处
未经商业时报网书面授权,请勿建立镜像,转载请注明来源,违者依法必究