有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
反差婊吃瓜黑料网站19
抖音奶片故意走漏
娇妻玩4P被三个男人伺候小说
怪物VODAFONEWIFI巨大
我的小兔兔被男生咬着的感觉
乱码1234区2021
斗罗大陆唐三爆桶阿银
无忧传媒短视频运营
女士不遮阴小内搭走秀
OVERFLOW在线未增删带翻译樱花 中文翻译
老卫和淑蓉的船上生活
精品高潮呻吟99AV无码
啦啦啦日本电影在线观看高清
S货叫大声点C懒烂你的SBXS
暴躁少女CSGO图片
把红酒倒入b里温酒
男人迈开腿尝尝你的草莓
精产国品一二三产品区别在哪里呢
污到你那里滴水不止的说说细节长文
几天不见怎么这么湿
把英语课代表做哭了视频
2022Ggy钙站不能用了
二次元人物桶二次元人物网站
迈开腿我可以尝尝你的味道
ig夺冠了就让草
一浅二深三大叫
国精产品一品二品在
BGMBGMBGM太太毛多多视频
被塞玩具出门文
一层一层的剥开我的衣服
顶的人家水流的到处都是
给我免费播放片日本版
爱情鸟论坛com高清免费
S把M骂湿的句子
3及黄大片大全
亚洲爱情岛论坛路线一路线
一个上添B一个下添
开车小黄车小片段详细描写
女生输了给对方玩一个月
日产无人区一线二线三线新版
rh男男车车的车车视频真人
2022没封网站正能量直接进入
看镜子里我们合体的样子
野花视频在线观看最新免费
WRITEAS震动器
交口30个图片
随时随地都在c的小镇
把女人弄特爽黄a大片
亚洲不卡在线2卡3卡4卡5卡
我的B就是你的饮水机
你看你流了这么多水还说不要
善良的小峓子5中字巴巴鱼汤饭较
老师在里面放两个跳D作文
妇女被深耕过后有哪些表现
香肠和扇贝插在一起是什么
杨门十二寡妇肉床电影
原神八重神子草出乳液
三叶草欧亚专线欧洲S码
同校生2中文版
在公交车上弄到高C月
精产国品一二三产品区别
女儿初长成爸爸来尝鲜食品的说说
剧烈摇床运动视频
女人和男人在一起怼怼怼
撑起伽罗的腿疯狂输入的视频网站
黄桃罐头里有什么对人体有益的成分
沈阳48岁老阿姨叫的没谁了吗
豆奶app下载汅api免费下载ios
心急吃不了热豆腐
黑料正能量 张津瑜
S把M骂湿的句子
前夫见一次睡我一次
94卫校女大喊受不了了在线
长城小队花木兰被队友日
同桌的手探到我的衣服里知乎作文
writeas
不再是朋友的夜晚樱花网
保守娇妻被别人开发成功
ZOOMSERVO兽狗最新版本
韩国妈妈的朋友2020整有限中字
怎么把自己隐私位置玩哭?
金银瓶4葡萄熟了
果冻传媒官方网站入口
男生把坤坤放女生坤坤的蘑菇视频
FULAO2官方网站进入在线观看
老师你感受到它变大了么
CHRISTMAS农村夫妻HO
善良的嫂子4中字巴巴鱼汤饭蘑菇
柳菁菁人体艺术摄影
性能之巅第2版和第1版差异
男朋友用筋膜枪把我玩哭小说
2023男男钙GGY钙站一区
小华佗事件陌陌
大奉打更人插花弄玉成语意思
两个师傅一前一后完整版
爱琴海论坛视频播放二西瓜
楚晚宁张腿放棋子
桃花怪大战菊花侠
女生把筷子放屁眼里
晚上爷爷总是压在妈妈肚子上睡觉
坐在木马的木棒上公主
深一下浅一下深深浅浅来一下
他的白月光HvH桔子糖水百度云
一直按小豆豆为啥浑身发麻
冷潮1v3骨科
儿媳妇夸我比他老公厉害怎么办呀
七个人玩我一个人
大神同学想被吃掉的樱花
里面塞着小玩具坐地铁有什么感觉
成品网站W灬源APP免费
4hu最新地域网名2021
木马上凸起电动木棒
小东西几天没做水喷的到处都是
夫妻之间的108种插秧法
晚上想看点小片片
把八重神子焯出白水怎么办
坐在鸡上写作业好疼
tobu8-HD68
欧美妈妈的朋友5整有限中字
可不可以韩国电影完整版
人猪交互MOUSE农场
大胸年轻的保姆6
19岁辣妹图书馆
将夜在线神马影院BD高清
家里没人姐姐就是我的了
马栏坡爱情故事
一亲二膜三叉四强五注射大象图片
黑料不打烊TTTZZZ首页
18岁macbookpro
善良的小峓子中字巴巴鱼汤饭视频
韩婧格槟榔视频
三叶草M码和欧洲码的区别
野花视频直播免费观看6
BBOX撕裂BASS孕妇公交车好莱坞
忘带罩子让他吃
灯草和尚之白蛇传
善良的英语老师3
YEEZY700好硬
说我的大还是你老公的大
真实的CHEAPWINDOWSVPS
麻薯传媒在线观看
坐在老师的鸡叭上写作业
我要拥有你的全部下滑
白丝双马尾被疯狂输出
公交车上破了两个小学生
家规犯错就打隐私超严的家规
年轻的母亲5兔费线韩国
段嘉许把手探了进去
欧洲RAPPER潮水
人物动物交互狗剧情
蜜芽资源高清在线观看
4hu最新地域网名2021
无人区乱码三卡四卡
张津瑜6分35秒视频在哪里
娇吟公车系500章
迈开腿尝尝你的小扇贝
最近更新中文字幕
穿了内衣却有一半乳晕没遮住
温暖叶非墨车内做肉
挺进去岳就不挣扎了的视频
如何骑枕头上下移动图片
公交车上的小黄说说阅读
海角社区最新在线视频
宝宝才两根手指就疼哭了怎么回事
装不下了要溢出来了
歪歪漫画登录页面免费漫画入口首页漫
好涨水快流出来了快吃动
讲讲和对象第一次的细节知乎
好满射太多了装不下了
乌克兰大但人文艺术摄影师是谁
七零空间知青娇宝
汤加丽生殖大图147网站
校霸被校草强迫H
日本漂亮妈妈7观整有限中
打扑克牌又疼又叫视频下载
男人去天堂在a线
扑克牌又痛又叫
得到超级肉禽系统的
ssni 409
在线成人免费电影
国产午睡沙发系列
缓慢而有力的一下又一下
黑料不打烊668SU痞幼视频
果冻传媒2021精品亚瑟
一面亲上边一面膜下边文字表达
每个月老板都要玩我几次
可以触碰你的深处吗 樱花
掀开衣服左边吸完吸右边知乎
女人被添荫蒂的口述
我们在线观看免费BD视频
比基尼性感女装
儿子比老公大晚上故意到儿子
八年级隐私能塞几支笔
孩子玩着玩着就进去了怎么回事儿
美女扒开腿让男生桶白浆动态图片
日产精品二线三线区
老婆不在家一个人寂寞CSGO文案
樱井莉亚电影下载
仙踪林company Limited19
他不让我断奶他要接着吃怎么办
四虎4hu永久免费
妈妈的朋友在完整有限中字
男人和女人插曲视频
梁医生不可以(限)季亭亭
公么大龟弄得我好舒服秀婷视频
我朋友把我C成了喷泉怎么办
天美传媒剧国产MV网站入口下载
得到超级肉禽系统的紫岭红山
整篇都是车的百合推荐
公么天天吃我奶躁我
两个人的视频免费WWW
世子很凶插花弄玉前进后出
撩到女生下面滴水的句子小说
两座雪白玉峰弹跳而出图文
macbookpro免费网站
女生戴一天仙女棒的感受
拔萝卜全程不该盖被子怎么办
每下一步楼梯都要撞一次
tobu16tobu69
亚1州区2区3区4区产品乱码2021
小黄说说1000多肉
一边桶又一边叫
哥布林洞窟SANA未增删带翻译樱花
120秒免费体验试看5次
和孙子发生了不该发生的事情
雷电将军乳液狂飙VX网址
肉大尺寸小黄说说
晚上偷偷看B站欢迎您
老妈和我一起嫁
香肠和扇贝插在一起翻译英文
宝宝我就进去一点不疼的
无翼乌全彩无漫画挤奶
做错了事就往下面塞一个冰球
星空传媒在线观看XK8011
电车蓝衣女种子
一二三四在线视频社区3
ゴブリンの洞窟sana
md传媒免费观看在线
浪小辉GARY2022
八重神子焯出白水怎么办
朋友换娶妻2韩剧
麻豆天美 果冻 星空国产
将军每走一步就撞一下
啊哈哈哈哈主人我错了哈哈哈哈柯
白人大战34厘米黑人BD
99国精产品灬源码1688小说
宝贝我的尺寸你会痛
小东西几天没做水又变多了作文
BGMBGMBGM老太太毛
处破女轻点疼丨8分钟
能让我流水水的一千字
男人晚上睡不着觉偷偷看b站
缘之空第4集开始开的车视频
S货是不是又欠C了公交车
空姐前规则高清观看韩国
井川里予33秒正能量的视频播放
朋友的娇妻好爽好烫嗯
寄宿日记37你也想做吧秋蝉
穿戴式跳D放在里面逛超市的感受
上课跳D突然开到最大视频
搞机TIME恶心直接打开网页不要钱
你的舌头搅拌着我的那里
404黄台软件免费下载安装
车文超细过程文字
男生会舍得让喜欢的人口吗
张津瑜 6分35秒
漂亮的保姆7完整版免费二
137最大但人文艺术体
护士献身取精图片
免费啪视频观试看视频感受
用注射器打水放屁眼里处罚视频
国色天香直播在线播放
怎么用棉签玩哭自己
ZoomDog2021猪视频
98精产国品一二三产区区
前夫见我一次上我一次
抽的越快声音叫的越大
虫虫漫画弹窗页面在线观看
宝下面都湿透了还嘴硬疼咋回事
小东西长大了可以做了视频
国内18岁女RAPPER老狼
我的漂亮女房东完整版BD
MACBOOKPRO免费观看视频
特工妈咪惹不得
李宗瑞性侵视频全集
tudouwang
孙尚香站在凳子上辅导刘禅写作业
2022GGY钙男男视频
原神八重神子被捅流口水的游戏
日本一产二产三产
几天没C你是不是痒了好多水
最强gy平台小蓝网站视频
不知火舞之沙滩狂欢
麻豆传播媒体网站入口官网下载
扑克牌又疼又叫全程视频
正能量网站www正能量网站
饭桌上故意张开腿让公在线看
被村长狂躁俩小时玉婷视频
最近ZOOM人牛OKZOOM美国
tobu7tobu8HDAPP
激战2奶玉组合技
蜜柚在线观看高清资源视频
漂亮的保姆中字
整部剧都在真做的剧韩剧
python人马大战
丰满的邻居2在线观看完整免费版
初中女生说疼男生继续往里寨游戏
人文艺术欣赏ppt
农村情侣电动车野战
梁医生再往下一点就可以吃肉了
花色98堂新网名
男生捏我的小兔兔描述
班长哭着说不能再深了作文600
亚洲码与欧洲码一二三区别
八重神子去掉所有服装挤乳液
老婆出轨时打电话给老公
濡湿的车站未增删带翻译樱花翻译
seo短视频网页入口引流
狼人乱码无限2021芒果
最近更新2019中文字幕国语
女朋友说她前任又大又长
苏家有女2V2H
国色天香卡一卡2卡3卡4卡5
中国真实处破女WWW出血
开车越往下越疼的句子
家里什么东西能当阳具
晚上坐大巴车和陌生人坐一块
你的棒棒可以通通我的下水道吗
天堂引路人咳咳懂得都懂
粉色视频APP在线无限看免费丝瓜晶体公司藏
班级每人C了我半小时班长
离婚了让父亲体验了一次
厨房里的激战2POP
我把英语课代表抄了一节课
年轻的母亲5整有限中字
696969大但人文艺术主题
人体艺木艺g0g0
俺也来俺也去俺也射
5g在线视讯年龄确认18岁
欧美致敬很多经典的黑白mv
斗罗大陆女生去掉所有服装网站
群飞刘亦菲刘诗诗杨幂杨颖
适合夫妻看的哔哩哔哩电视剧
一个人看的免费播放完整版
黄到让你那里滴水的作文英语老师
艳门照事件图片
六人轮换C一个过程多少分钟
日本动漫人物打扑克
俄罗斯XXXXXLMEDJYF
你弄得人家里都是水的
男生说把你日的服服帖帖的
VODAFONEWIFI粗暴
WRITEAS做作业
男男车车的车车视频网站
坐在腿上吃饭连在一起
多毛BGMBGMBGM胖在
津渝视频完整版百度云
学生的妈妈5中韩双字多
王者公孙离爽到流泪
撞得她说不出话来
联谊对象是肉食系警官
被学长抱到没人的地方免费
双人互动插画图片视频
宝才一根手指就疼了?
成为人视频免费视频免费观看
18 19macbook airHDo
漂亮妈妈3在观有限中字
几天没C你是不是痒了
教室里英语课上插英语课代表
真实多人运动故事叙述
宝宝怎么才两根就哭男男H
坐在学长鸡上面写作文作业
聂小雨黑皮衣5分多钟视频原版
品色堂永远免费论坛
掌中之物坐上来自己动
情感的禁区电影日本
月光视频在线观看免费播放
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1