有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
精产一二三产区区别在哪儿啊
张警官9分10秒头撞玻璃
一本大道高清视频在线观看
大团圆结闪闪发光继
疼插30分钟一卡二卡三卡四卡
做扑克运动全过程视频教程
徐文荣接受审查调查
数学课代表的那真紧视频
小SAO货边洗澡边CAO你动漫
APP聚合绿巨人黑科技
黑料传送门最新地址ZZTT10
18may19-XXXXXL民族
rh男男车车的车车视频
鲸鱼夫妇120121
这一刻我们已水乳交融在一起
数学课代表趴下让我桶免费放
69国产精华最好的产品
苏家有女苏杳免费阅读小说
青春草原精品视频
媛媛和老赵在厨房做
巜老师的小兔子好软水好多动漫
男生女生差差差差差很疼视频免费
最近中文字幕免费大全百度
黑料吃瓜网.SU永久有效
两个男生是怎么做的
太大了坐不下去太痛快
男朋友都是怎么做你的
99品一二三产区区别
中文字幕无限乱码不卡2021
小东西才几天没做喷的到处都是
旅游途中夫妻换着玩的说说
一层一层剥开你的衣服
大将军h1v2
和搜子同屋的日子2在线观看K8
国产无人区码一码二码三码区别
一二三四在线播放免费观看中文版视频
地下室偶像SANA未增删带翻译
强行挺进朋友漂亮的娇妻作者
一吻二脱三床四吻胸
吃八重神子的乳液
训练白皮体育生GARY网站
高清无码成本人视频
成品网站W灬源码伊园百度百科
黑料不打烊TTTZZZ首页
麻豆传播媒体APP官网在线观看
ati radeon
66亚洲一卡2卡3卡四卡新区
JEALOUSVUE成熟50MAOFF狗狗
片多多免费观看高清动漫
性饥渴的女邻居HD免费观看
麻辣烫爱在一起
午夜dj在线观看高清完整版国语
怎么用棉签玩哭自己
公共厕所POOPING
在公交车上被撞出了水
一区二区无码精品AV
姬小满无限奖励别人的英雄
果冻传媒保姆何苗蜜桃传媒
厚颜无耻韩国动漫
每天把你做到起不来
女儿初长成爸爸来尝鲜食品的由来
吻胸摸腿办公视频大全
草莓榴莲未满十八岁的做法大全
开车小黄车小片段详细描写
没带罩子让他玩儿了一节课
将夜在线神马影院BD高清
B级文件翻译完整版
男神插曲女生完整视频播放
家用摄像头被盗拍400部
前男友又大又长我忘不了了
桃花社区在线观看
yura kasumi
叶渺渺上体育课课被捅了一节作文
苏家小媳妇1V3
瘾欲欢愉半块小饼干霸
坐着轮流提双腿能起到什么效果
体育老师C了一整节课
rbd-573
非洲人性功能强大跟什么有关?
么公在浴室征服了小雪小说
在车里被撞了八次高
妈妈先是拒绝后是迎合的句子
40部AI明星造梦
第九视频聊天室
玩哭自己隐私的100种方法
最近最新在线观看免费高清完整版
芭比之拇指姑娘
你的东西比我老公大好多
蜜芽域名不定更换 请及时收藏
醒来发现大的东西还在身体里
可以随意触摸内部位的手游
调教越发敏感注射药物
18岁末年禁止网站
无颜之月第五集你会回来感谢我的
求你把跳d遥控器关了
YELLOW片完整版高清百度网盘
黑料网独家爆料免费吃瓜
亚洲尺码跟欧洲尺码的区别
亚洲和欧洲一码二码区别在哪儿
抽的越快声音叫的越大
他的白月光HvH桔子糖水类似
女儿今夜以身相报父亲怎么办
怎样玩隐私位置
最近最新中文字幕大全免费
女生戴自动蝴蝶去上班的注意事项
处钕膜被捅图片
开车晚上看有痛痛的声音视频免费
16MAY19_XXXXXL
会所娇妻被多个黑人怀孕小说
麻花豆传媒剧国产MV免费GK
日本欧美韩国推理片在线观看
坚定挺拔的进入
家里没人儿子就弄我了什么意思
孩子没有睡老公就侧面做
毛都没长就被开了包
网址你懂我意思吧
流了这么多还嘴硬
maya 图霸天下
粉色APP下载无限看-丝瓜 安卓
穿越到兽世不停做元
疫情期间草老妈
厚颜无耻韩国动漫在线阅读
儿子突然要上自己怎么办
8x8x我要打机飞在线观看
1和0是怎样进入做的图片
欧洲洲一区二区精华液
龙口护士门视频在线观看
长泽梓白衣浴室
段嘉衍路星辞肉车终身
我的乌龟蹭你的扇贝视频
迈开腿尝尝你的小森林小说
最近韩国日本免费观看MV
精产国品一二三产品区别在哪
51fun吃瓜站
18-19MACBOOKPRO高清
在裙子里面运动
啊做错一题学长插一支笔
月落归林 BY萝卜药
我就在外面蹭一蹭哔哩哔哩
撕掉她的外衣7
张津瑜 落地窗
老师洗澡让我进去桶她的视频
重生之填房桐娘
男人激烈吃奶动态
胸大的姑娘好看视频
世子很凶插花弄玉
野花视频免费观看在线
白石茉莉奈种子
国语对白露脸XXXXXX
亚洲麻婆传媒MV
不充会员的爽爽的影院
饭桌上故意张开腿让公观看
王者荣耀瑶白色液体喷到脸上
宝贝帮我套小雨伞的更新时间
粉色视频网在线播放视频
法海终于把白素贞日服J
OldMacDonald老人
啦啦啦日本电影在线观看高清
14岁女RAPPER
暖暖直播日本高清更新
菠萝菠萝蜜一区别1688
十九岁RAPPER潮水欢迎你
小雪又胀又麻又酸又痒
镜といちゃつきたい的欢迎会
王多鱼打扑克视频免费
罗马帝国的艳情史
JAPONENSISFES东北
by1259改哪里了
舌头探洞感觉要喷了水怎么回事
爱琴海论坛视频播放二西瓜
腿再张大点就可以吃到扇贝了视频
漂亮的丰年轻的继拇3免费看
51漫画免费页面看漫画弹窗
人曾交互mouse农场
VPSWINDOWS另类极品
免费精产国品一二三产区区别
SAO货腿张开JI巴CAO死我
男生把自己的手放到女生的qq里
国产一产二产三精华液区别在哪
国产SUV精品一区二区6
中韩高清无专码区2021曰
小莹客厅激情46章至50章视频
他疯了一样在她身上
爷爷总是趴在妈妈身上睡觉好不好
小东西看我是怎么C你
toul-307
妇乱子伦交野战小说
B是不是越大越好
韩国妈妈的朋友6整有限中字中国
坤不小心碰到女同学了怎么办
火辣辣app福引导器
97超碰射射射
电车之狼r怎么通关
VODAFONEWIFI另类
怎么弄到自己喷泉
星空传媒XK8004的未来发展
乱辈通奷XXXXXHD电话系
坐在学长的棒子上写作业作文视频
污草莓丝瓜榴莲深夜释放自己
男人做的时候拼命抓住你头发
魏晨破赵奕欢密照
往下边塞玉器出门write
xl司第二季未增减
zjy9分10秒分享
春暖花开炎狼之地
中国小鲜肉GARY2023飞机
左拥右抱小1V2
C死了啊哈宝宝的腰好会扭
草榴新时代的我们
农夫网站导航大全
青梅竹马是消防员1未增删
XL上司2第二季带翻译未增
免费b站推广网站入口202
污到你那里滴水不止的描写
男生和女生晚上玩滑滑梯
宝贝错一题c一次漫画
精产国品一二三产品区别9977
歪歪漫画登录页面环球在线看
用我要灬我要灬我要灬造视频
二人剧烈运动视频教程
御宝天师无弹窗
proumb.net
打扑克视频又叫又疼原声
污到你那里滴水不止的说说长文
雨后小故事视频
女子扒开腿让男生桶爽
乱码一卡二卡新区永久入口
王者荣耀伽罗捅到流液晶
女篮坎贝奇惊艳三部曲叫什么
成都4片P视频免费完整版
公交车售票员按尺寸大小
朋友的妈妈6在观整有限中字
5G天天运动天天奭运动入口
XZL仙踪林精品幼儿999
公交车的小黄说说100篇
在女生身上滑滑梯是什么意思
一根筷子怎么玩哭自己的小朋友
oldmacdonald中老年乐
日本一卡二卡三卡四卡网站99
王者女英雄去掉所有服装不和小内
女生喊疼男生越往里寨的游戏娱乐
体育院校大猛攻视频
WRITE AS医生
天天躁夜夜踩很很踩2022
男男车车好快的车车流水视频
人与畜禽的关系
两个人一前一后太长了
镜被捅了流口水流白色液体
胡桃尿道口流出白色液体正常吗
软糯小受灌满哭求饶道具
51rrkankan
《夜关门:欲望之花》
怎么玩自己隐私位置
亚洲无人区一码二码三码区别
一边做饭一边躁狂怎么办呀
金刚杵大战肉莲花是什么意思
迈开腿让尝尝你的森林啥意思
学生免费一卡二卡三卡9
宝贝对着摄像头自己做
台湾SWAY麻豆果冻精东
家里没人半夜就和姐姐睡了
王者公孙离害羞流口水的表情
JEALOUSVUE成熟
女人迈开腿让男生吃菜的吃草莓
漂亮的小峓子5中字巴巴鱼汤
偷偷藏不住40集完整版
最近中文字幕免费完整版2019
小东西几天没做喷的都是泡沫
同时被几人C是一种怎样的体验
金银瓶1-5美国
离婚了让儿子体验了一次
宝宝腿开大点就不疼了在线视频
把它堵住不能流出来下周检查作文
公交车最后一排直接做
果冻传媒七夕在线看
学生和妈妈的朋友
宝贝流了怎么多还说不要
果冻传媒广告网站入口
精品成品国色天香卡一卡三
啊灬啊灬啊灬快灬深用口述
餐桌下狂C亲女高辣
精品卡一卡二乱码新区
WINDOWSCHANNEL少女
GAY空少被体育生开菊网站
爱在空气中特别篇
地下偶像sana未增删带翻译
毛1卡2卡3卡4卡免费
双人床上做的运动打扑克软件
被窝里的公息全章
做错一道题就被学长c一次
跳D开到最大C死我
啦啦啦WWW免费高清
高清vpswindows日本
自w到高c的25种方法带图
alb-219
女生吃坤巴难道不恶心吗
原神ちゃんが腿法娴熟を视频
中国VODAFONEWIFI粗暴最新版
喜欢和大肚子孕妇睡觉
Zoom cloud meetings
日本厉害的RAPPER网站
日式像素黄油小风港下载
失控driven
把老师按在地下做了一节课作文
欧亚专线欧洲s码wmy卓越拓展
12岁PG可以塞下多少根棉签
三叶草M码和欧洲码的区别
老卫和淑容全本
羞羞漫画登录页面免费入口页面
输了下面随便处置
老湿机免费十分钟影院t
漂亮妈妈7韩国在线观看
前夫见一次睡我一次
4虎永免费最新
中国人看视频免费
善良的小峓子7字啊巴巴鱼汤饭
家里没人半夜就把姐给睡了
温行之和温远洗手台做
成色AU99.9
晚上给我通下水道
一线高清在线观看完整版
国色天香A区优点和缺点
日产2021一二三四免费
晚上两个人打扑克的视频
同校生2中文版
早就想在学校要你了免费阅读
装醉把自己给流浪汉玩
幸福宝8008app隐藏入口
如色坊防屏蔽一二三线
女生和男生一起差差的事
暖暖直播日本高清更新
长城小队花木兰被队友日
无颜之月带翻译樱花中文翻译
国内女RAPPER大全
糙汉民工和软萌大学生
午夜dj在线观看高清完整版国语
AI人脸替换白鹿造梦喷水WWW
5g天天奭多人运动绿色视频在线观看
潮湿的心HD完整版
2023男男钙GGY钙
嫦娥去掉衣服裤子
被七个男人绑着玩调教
黑料热点事件-黑料
好妈妈韩国中字
男神插曲女生完整免费
斗罗大陆黄化网站
说服好兄弟让一堆人c我作文
我在开会他在下添的很爽视频
洗浴双响炮是什么意思
做过爱的两个人会忘记彼此吗
妹妹中考让我C了一节课
2023钙Gy钙站
香蕉丝瓜草莓樱桃草莓榴莲
顶级大但人文艺术视频全美
ぱらだいす天堂中文WWW最新版
校长体育老师共玩校花
宝宝这才几天没做水就这么多故事
开小黄车的细腻描写
上面一边亲下一边面膜是什么意思
成都4片P视频免费完整版
每天都是被C着醒的
千金肉奴隷1985未删减版在线观看
一口一口把奶从胸口吃掉B站
47147大但人文艺术怎么样
迈开腿尝尝你的草莓汁的作文
张津瑜7段51吃瓜
俄罗斯VODAFONEWIFI巨大
瘾欲欢愉半块小饼干
国色天香精品一卡2卡3卡
冲气娃娃有什么用
老师你的兔子好大好软水的作文
小泽玛丽 种子
51吃瓜热心张津瑜
今夜就让我狠狠地想你歌曲
喷泉1V3高HP科普
凸凸凹BBWBBWBBWBBW
好妈妈5免费观看中字直播
国精产品无人区一码二码三M
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1