有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
4399看片免费观看大全
生物繁殖课老师拿自己做例子
魏晨破赵奕欢密照
JEALOUSVUE孕妇熟50MAOF
宝宝坐下来自己慢慢摇网站
鞠婧祎打扑克的全程视频
被两个领导夹在中间
顶级大但人文艺术欣赏
撑起伽罗的腿疯狂输出的视频
最近中文字幕2018免费版2019
沈芯语老师家访MD0076
暮春堂狼友必上
欧洲卡一卡二卡三爱区
梅花十三的乳液狂飙
免费B站推广网站入口2023
男团共享物 NP
部队里被咬住花蒂吹潮军人
换个方式做吧未增删樱
阿离掀开自己副乳的视频
何小莹被老头拖进树林里
免费无人区码卡二卡3卡4
星空无限传媒国产剧情游戏
妇女老太太GMBGMBGM
旗袍全开襟双人运动
国产一卡2卡3卡4卡公司
扑克牌又疼又叫的什么含义
忘忧草日本社服务台的电话号码
穿戴式跳D放在里面坐公交车
十九岁日本韩国免费完整版中文
最近韩国日本免费观看MV
婷婷四月开心色房播播
711人体美鮑
在公司加班被上司要了
公交车一动就撞一下撞到最深处
在恩爱时发出嘤嘤的声音视频
腿打开一点就能吃扇贝了
关上最后的门未增删樱花翻译
亚洲不乱码卡一卡二卡4卡5
孩子想c我同意了处
肚子装不下好烫hn黄
麻花传MD0174沈娜娜
免费精产国品一二三产区区别
linode日本iphone强汉视频
moonlight动漫在线观看
午夜伦yy44880影院
狗狗太大了我有点接受不了
前夫见我一次上我一次
皇家共享小公主暖玉Q
JEALOUSVUE成熟50MAOFF老狼
和黄crm在线
2023男男钙GGY钙站一区
拔擦拔擦永久华人免费
用小棒棒通你的下水道
厨房里两只乳头被吸肿了
麻豆专媒体公司网站
校霸被校草在教室做到哭
王者荣耀女英雄去掉小内无爱心图片软件
女生迈开腿让男生打扑克
宏翔小蓝视频GY2022
外回り中に突然の大雨一雨宿
充气娃实战过程图片
被自己家狗上瘾了怎么办
最爽的乱惀200短篇小说
大菠萝导航福建APP网站进入404
怎样用两根棉签玩哭自己
淑芬二腿间又痒了
妈妈的朋友在完整有限中字
离婚多年和儿子睡觉
冬日后的樱花韩剧
美美哒日本中文免费
好涨太粗进去用力快好深
鸣人九尾暴走需要女人治疗
永远免费的品色论坛
钙GGY2023
英语老师的兔子又大又好吃
几天不见这么多水想不想要
一面亲上边一面摸下边打扑克
麻豆床传媒入口
女医生私密诊所
深度交流1V3多肉
海角社区最新在线播放
s8视频在线播放
最近免费中文字幕大全高清10
被扣的时候腿抖是怎么回事知乎
东京热456大交乱高清视频
4399影院在线观看免费视频BD
姐姐的小兔子又大又软作文
斗罗大陆人物黄化3d漫画
一同看亿同看GTV
九阴真经野草版
年轻漂亮的女教师2
大陆年轻帅小伙飞机GAY
电车之狼怎么安装
我们三个人搞一个人啥感觉
乱码A区D区C区
siro-3248
父亲的东西比老公的好用
老人猛的挺进莹莹体内视频
趴在玻璃窗做给别人看是什么感觉
放进去岳就不挣扎了
肉丝库水柚子猫link管理平台
我早就想在公司要你了视频
迈开腿尝尝你的草莓意思
老阿姨儿子一二三区
从厨房到客厅一直C
宝宝把腿扒大点儿就不会疼了
全国能源工作会议
啊不可以坐不下去痛
我的XL司第一季免费观看翻译
叫大声点今晚家里没人冷教授
刘嘉玲被强奸视频
8X陪你一日三餐与你共同暴富
母亲ちゃんとしようよっ翻译
刮伦人妇A极一片
插曲的痛的视频漫画
白天是狗晚上是狗老公
ドラえもんのエロ火影忍者
亚洲小鲜肉帅哥GARY
西方艺术本体137
tobu8美国14vdo
亚洲乱码卡一卡二卡新区公司
一面亲上边一面膜下边打扑克视频
妈妈跟外公在做什么
打扑克一边痛一边叫一声正常吗
45岁沈阳阿姨喷了好几次
中国XXXXXL19免费视频
把腿再抬高一点就能吃到扇贝了
怎么揉小豆豆图解
疯狂厨房2双人3-5视频
女儿初长成爸爸来尝鲜食品的祝福
WRITEAS作业PLAY
李宗瑞继母是谁
五月丁香五月伦理
ekdv-273
一女战三男黑人发出惨叫
侯马市性侵事件
在厂里跟很多人睡过
ず中文在线っと好きだった
朋友韩国线观高清2
能看到女生所有部位的头像
18C.MICIOS禁慢天堂18C.MIC北北北砂
你老公晚上都是怎么玩你的?
成都1片P高清完整版HD免费
妈妈的朋友5季
一个人看的视频全免费
亚洲一线产区二线产区分布图
最近最新中文字幕MV免费
天美传媒果冻传媒星空传媒
脱色摇床打扑克全身不盖被子
倒插莲花是什么样子的意思
坐公交车居然弄了2个小学生
欧美VPSWINDOWS极品
夜恋秀场安卓支持uc
无人区码卡二卡1卡2卡三卡
交换漂亮妈妈在线播放
1819岁macbookpro高清
OG日产精品一卡2卡三
国精产品一品二品国精品69XX
宝宝腿抬得高一点就不疼了
公交车上要了无数次
小S货又想挨C了叫大声点视频
WRITE AS 尿道口
公交车6人轮换c白月是
怡春院宜春院美国十次
学霸错一题插一次
日本美国中国韩国产
大陆年轻帅小伙飞机GAY
俄罗斯13一14处出血视频
绿巨人推广APP网站入口官网
一亲二膜三叉四强五注射网
几个师傅一起干徒弟
成都4片p视频
巨无霸水蜜桃水帘洞
女RAPPER节目
小鲜肉GARY2023飞机小蓝
鄂州一家亲聊天截图
边做边爱3完整版
王者荣耀孙尚香帮黄忠雄起
男生把坤坤放入女生的坎
儿子耕种母亲的田地叫什么
开心四房播播网
秘密教学60话好像可以照我的
男生把坤坤放女生坤坤的蘑菇视频
高岭之花必须喝JING续命海棠
精产国品一二三产区区別
片多多免费观看高清动漫
一个晚上用了好几个小雨伞
旅游途中夫妻换着玩的说说
把小舞的衣服P掉是什么样的
脱色摇床实验室振荡器雷安
强奷漂亮的女邻居完整版
BBOX撕裂BASS孕妇公交车
波多野结衣下载地址
上课佩戴小玩具的注意事项
年轻的保姆5线观高清多鱼
做AJ的姿势视频教程图片
W到你那里滴水流爆水的短文
数学课代表趴下来让我桶免费网站
没有擦黑板被老师C了一顿
成片一卡二卡三卡观看
女生把筷子放屁眼里不能掉作文
妈妈的朋友6在完整视频带翻译
四虎永久地域网名2021知乎
被两个老总前后夹击爽
觉得隔布顶住花蕊
adc影院0adc在线
年轻的母亲最初中字7巴巴鱼汤饭
超大尺寸的小黄说说1000字
日本vodafonewifiAPP
爱在有晴天 于珊
いっぱいしぼっちゃうぞ在线
父亲缓慢而有力的撞着
51无人区码一码二码三码
jealousvue成熟分类
喷泉H1V3HL慕深
我16岁可以塞几支笔
最近2018中文最全一页
在哪可以看张津瑜9分
剃须.然后捡到女高中生
B是不是越大越好
儿子耕种母亲的田
售票员用b验票小镇yl小镇
老汉扛起娇妻玉腿进入
在床上拔萝卜又疼又叫
黑料不打烊导航首页SEO
漂亮妈妈韩国完整版免费观看视频
哭着说不能再C了再C就生了
12岁PG可以塞下多少根棉签
miaa-037
CHINA篮球体育飞机2023
欧美精产国品一二三类产品
迈开腿快让我看看你的草莓图片
自己玩r头给我看
啦啦啦WWW免费高清
女生说喜欢被XR是什么意思?
汤姆视频最新地域网名2021
从厨房一路顶撞到卧室好吗
叫大声点今晚家里没人冷教授
公交车上两人双指探洞天气网
校园车多肉多的1V2
pilipili噼哩噼哩最新版黄的
我的奶头被他吸的又红又肿
日韩一线二线三线四线五线
津渝视频6分钟
美国XAXWASWASWAS
当兵的一天弄了好几次
妇乱子伦交野战小说
翁公的大龟挺进秀婷
张柏芝殖器12图
清纯校花被脔日常H
适合晚上一个人看B站
没带罩子让他c了一节语文课
地下偶像sana未增删带翻译
女朋友的母亲9中语字追剧易
男下身进女人下身视频免费
一边亲着一面膜下的毛毛虫
老熟女重囗味HDXX70星空
午夜4k最新福利
日产一二三四十入岁区
坐着吃饭还连在一起
5G天天视频多人运动
一面亲上边一面膜下边文字的含义
麻花豆传媒剧国产MV入口
女主不停的被各个动物群养着
在办公室里揉弄小雪好爽
善良的妈妈的朋友5中字巴巴鱼汤饭惹人
无人区码一码二码三码区别
狠狠日日干2017
S货是不是又欠C了公交车
不用付费的打扑克的直播软件下载
JEALOUSVUE50成熟MAOFF
HAYAXURAX18
妈妈用身体做儿子生日礼物
rbd-505
张筱雨《魅惑》-5
人鲁交YAZHONGHU
欧洲最大但人文艺术5788
我想用扇贝夹你的乌龟什么意思啊
吃饭时某处紧密连接在一起视频
星空传媒妈妈和女儿闹元宵
草草最新发地CCYY备用
黑料不打烊668SU痞幼视频
精东传媒剧国产MV的特点
夜里听到婆婆哼哼的叫声
扑克牌视频不盖被子
原神旅行者插雷电将军的游戏
太长了撞到点了
我好像找到你的敏感点了宝宝
中国新疆XXXXXL17学生
野花日本HD免费高清版7
放里面睡觉是一种怎样的感觉
IPHONE欧美高级特色
公交车舒婷1一20全文TXT
大菠萝导航福建app
WRITEAS刘耀文插宋亚轩
成免费CRM每天都不重样
W78W78W乳液永久十大排名
女孩怎样练双指探洞
无人区免费一二三四乱码
美国人与动ZOOM
欧洲乱码卡1卡2在线
日本XXXL码在中国是多少
心疼爸爸给他一次可以吗
女生戴自动蝴蝶去上班的注意事项
抱着边走边撞水流了一地的
野兽的夜晚第四季忘不掉的前任
晚安おやすみせっ3在线观看3
狗狗猛涨精肉狗大壮增肥增食欲
秘密教学第41话子豪进入svip
宝贝把腿抬高一点就不疼了
无区码一码二码三码
尤物已满18点击进入在线
小玩具开启高H
呜呜撞得她说不出话来
在公交车上弄到高c的数据
变态生理研究班
他的炙热在我那不肯退出
爱情岛路线1线路2线路3京东唯品会苏宁易购
男女性杂交内射女BBWXZ
父亲缓慢而有力挺拔的句子
dianchezhilang
交口图片30种图片大全
两个吃上面一个人下试看
九分十秒张津瑜
拔萝卜 全程不盖被子拔萝卜
离婚久了和儿子睡在一起
我的好妈妈8韩国电影
王者荣耀瑶嘴巴里含着铁球
用大宝贝疏通女儿的下水道好吗
迈开腿让我亲亲你的小森林
被主人罚一整天的小作文300字
刚开荤的男生是不是收不住
第二代国产自在自线
洋房里的小草莓1V3全文免费
河南妇女毛深深的沟WCD
GAY2022空少被体育生暴菊
99精品和95优品
女生戴一天仙女棒上学的感受
两个蛇根吃不下呀
一男一女打扑克是什么意思
一层一层一层的剥开我的衣服
三夫妻进行多人运动
注射器灌满水放屁眼里处罚视频
W到你那里滴水流爆水的短文
吃英语老师的小白兔
女医生私密诊所
宝贝我想你用嘴做
12岁拔萝卜一边疼一边叫
邻居按摩人妻HD三级
妈妈的朋4线观高清
二个人一起C你的感受
儿媳妇夸我比她老公大
国精产品自线六区
精产国品一二三产品区别大吗知乎
英语课代表叫我满足她的视频
放里面睡觉是一种怎样的体验
开车视频疼痛有声音免费观看软件
午夜dj免费视频观看在线动漫
说是不是老公的小SB
18款禁用入口网站
被子里怎么无声自W超疼
扒开未发育的小泬视频
淋浴喷头gc自w车文
白丝同桌让我随便玩
被进入的那一瞬间是什么感觉
抖音成长人视频B站
天美传媒视频原创在线观看网站
夹枪带棒1v2是谁写的
吉泽明部 种子下载
王者荣耀女生去掉小内 软件
妈妈说以后不用戴了
坏老人的春天敏静九章21一30页
帅哥GARY网站
JAPONENSIS18一9
大乱斗交大配目录
说是不是老公的小SB怎么回复
歪歪漫画页面漫画入口
全程车的百合描写详细的
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1