Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
(相关资料图)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签：
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent
1、四上课本1-4单元知识点第一单元：大数的认识1．10个一万是（十万）；10个十万是（一百万）；10个一百万
智通财经APP讯中国船舶600150租赁03877公布于2023年5月10日公司的全资特殊目的公司FortuneRopaxI及FortuneR
多彩贵州网讯(本网记者石琳婕)5月10日，记者从贵州省工业和信息化厅获悉，第三届贵阳工业博览会将于5月26日
央视新闻客户端讯美国枪击事件频发，美国路易斯安那州警方当地时间9日称，一名14岁的女孩近日因玩捉迷藏躲
韩国经济跌出世界前十，多数民众拒绝反华，还呼吁文在寅再度出山,美国,日本,文在寅,尹锡悦,俄罗斯,韩国经济
武威市气象台2023年05月10日17时02分发布霜冻蓝色预警信号：预计11日清晨，我市古浪县，天祝藏族自治县，凉
正海磁材近期在接受调研时表示，公司已具备年产2 4万吨的生产能力，其中THRED（重稀土扩散技术）年产能已超
网上是可以查看个人征信的，搜索中国人民银行征信中心官网，进入之后在页面下方找到互联网个人信用信息服务
第十七届国际医疗器械设计与制造技术展览会（简称：MedtecChina2023）即将于下月1-3日在苏州举办。展会首次
每经记者叶峰每经编辑肖芮冬大盘全天震荡分化，沪指继续调整跌超1%，创业板指创年内新低后触底反弹。盘面上
不同的州对考生的报名条件不同，大部分的州要求150semesterhours(equivalentto5年)的大学学历，但也有少数
信用卡停息挂账怎么做第一种方法是向银行客服进行致电，第二种是携带好个人资料前往线下发卡行的银行网点进
Tecno（传音）推出了一款全新的5G手机，Camon20Premier5G。该手机采用荔枝纹皮革和纳米晶陶瓷背板，经过56
郑州大学党委教师工作部发布的“说明”。 郑州大学官网截图 摄中新网郑州5月10日电针对“女子称11年前遭
1、准备鸡爪500克，超市买的冷冻鸡爪即可。2、买的鸡爪尽量挑大小均匀、品相好无瑕疵的。3、买回来的冷冻鸡
裙装，是女人最好的装束。裙装的魅力，在于自由的风格切换。裙装不仅是浪漫优雅的，也可以是高级霸气的。不
每经AI快讯，长虹美菱近期接受投资者调研时称，2023年，公司冰箱柜出口方面，受前期透支带来的需求疲软以及
注意事项：1 婚检要尽量与婚期拉开时间距离，一旦检出问题，能争取时间治疗。婚检证明的有效期是三个月。2
投资者提出质疑，新疆冰湖金樽酒业是如何刚成立就成为汉诺佳池的第一大供应商的？汉诺佳池2021年从地方财政
今日（5月10日），Capcom官方公布《街头霸王6》古烈的角色介绍影片，喜欢观看体育比赛、遛狗。讨厌城府很深
1、云南师范艺术分怎么算在不低于40分的基础上，根据该校实际情况综合确定体育专业成绩录取控制线。对持有
近期，特斯拉在中国市场4天内连续涨价2次，涉及Model3、ModelY、ModelS和ModelX等车型，涨幅从2000元到1 9
乡村守护人，让乡村价值被看见
同花顺数据中心显示，西部创业5月9日获融资买入1480 72万元，占当日买入金额的20 88%，当前融资余额1 15亿
要说什么最能体现女人味，我投丰满、挺拔的胸部一票！挺拔的事业线，让女性举手投足间散发迷人气息，男人心
近日，有网友爆料称自己在11年前遭郑州大学一老师PUA长达两年半，遭侵犯致怀孕后还被其带去医院打胎。5月10
同花顺（300033）金融研究中心5月10日讯，有投资者向亚香股份（301220）提问，请问如果美继续加息来抑制国
5月9日北向资金减持10 14万股华如科技。近5个交易日中，获北向资金减持的有3天，累计净减持5 51万股。近20
据比亚迪官微，比亚迪海豹冠军版将于5月10日正式上市。官微显示，该款车售价21 28万元起，续航里程最高达70
Copyright © 2015-2023 今日服装网版权所有 备案号：沪ICP备2023005074号-40 联系邮箱：5 85 59 73 @qq.com
意大利海空军F-35战机同时登上加富尔号航母 
