有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
ssni-409
51rrkankan
YW193龙物地址
14MAY18_XXXXXL56ENDIAN日本
WRITE AS 导尿
BBOX残忍BASS
舌头伸进去添能让高潮来的更早吗
老何大战雨婷三部
用毛笔蘸下面洞里的水写字作文
21CM坐上去感觉是怎么样的
宝贝儿流了那么多还说不
一个奶下面一个鼎是什么字
联谊的对象是肉食系动物
顶的越来越快越来越重
国精产品一二三四线
14MAY18_XXXXXL56ENDIA免费
傻大壮你真厉害
一个在上面吃一个在下面做那个
迈开腿让学长吃尝尝你的
学霸将遥控器开到最大
朝俞R车WRITEAS震动器
儿子比爸爸的几把大
亚洲无人区码一二三码区别
小S货又想挨C了叫大声点小
好儿子妈妈是你一个人的文章
三根一起玩真的会坏掉
一抽一出BGM免费50分
张津瑜视频夸克
妈妈的朋友1线在完整视频中字版
漂亮妈妈的Logo
文轩宋亚轩自己做扩张直播
GGY钙同2023钙片
国产精品_卡2卡三卡4卡
大尺寸的小黄说说1000字
高铁上可以打扑克吗
甘雨ちゃんが人気の原因
都湿透了还嘴硬疼咋回事
JEALOUSVUE第一次
善良的妻子3中字巴巴鱼汤饭
精品手机在线1卡二卡3卡四卡
把女人干到不能走路
把自己玩喷泉的视频叫什么
毛1卡2卡3卡4卡免费
小舞去掉所有服装图片
榴莲app下载进入网址
八重神子ちゃんの球棒生涯
日本动漫扑克牌动画片免费观看
我成了班级的发泄玩具的作文
麻花传媒MV一二三区别在哪里看
请和我老公结婚吧在线看韩剧
女人的玉露是什么意思
学生自w到高c的16种方法图片
新金艳花瓶1-5集
女生说拔萝卜是什么意思
欧美无代码HD免费
tobu美国巨大
无人影院在线播放视频
md传媒免费观看在线 小说
公交一晃一晃就进去了怎么办
护士献身取精图片
任你爽任你鲁任在线视频
密桃成熟时33d国语
亲爱的老师4日本高清百度云
动漫人物去掉小内打扑克游戏
99国精产品灬源码1688
疫情期间和儿子做了怎么办
一不小心溜进了母亲的生命里
日本不卡三卡四卡
人与畜禽狗Croproation
一抽一出BGM免费60的视频
吃男朋友的棒棒糖
RAPPER老妇人
把腿再张大点就可以吃到扇贝
WRITE AS 塞水果
津瑜视频9分10秒
坐在硬邦邦的上面写作业
两个男孩子开车长视频
ZOOM人牛ZOOM俄罗斯
家里没人叫大点声干湿视频
青春草原精品视频
小黄说说1000多肉
我被女婿日得舒服死了
高岭之花必须喝JING续命海棠
美丽姑娘韩国在线观看免费高清
毛卡1卡二卡3卡4乱码
王阿姨IPHONE13
搐搐国产丨区2区精品AV
网恋见面做H姜之鱼
国产午睡沙发系列大全
刻晴被盗宝团注射药物
圣城风云第二季
老师的手指在里面转动的写
将军每走一步就撞一下
啊哈别..别揉那处了
黎朔WRITEAS人鱼
在车内疯狂打扑克
成品网站源码入口隐藏通道
班主任哭着喊着不能再继续
国精产品一二伊田园9777
老师上课跳D突然被开到最大视频
把冰块一颗一颗往里堆
老公总是吃我的奶奶但我很反感
我在写作业叔叔从后面
999精产国品一二三产区
一线产区与二线产区的定义
善良的老师3有限中字
原神女角色开襟乳液狂飙
小SAO货大JI拨CAO死你
WRITEAS两根性器
高校1V3PO藤蔓
浪小辉与空少酒店我3pXVIDEOS
147大但人文艺术37大但人文艺术
女朋友把筷子放屁眼里不能掉
妈妈的味道中文HD免费
是不是好久没人弄你了表情
BBOX撕裂BASS孕妇公交车好莱坞
班长没带罩子让捏了一节课怎么办
疫情期间在家日老妈
7000万嫁女
玉蒲团ii玉女心经
伊人大杳蕉在线看免费
最美情侣高清免费观看视频
浓毛BWBWBWBWBW日本
跟最讨厌部长出差
亲爱的老师4韩剧中文字幕
人蛇大战之蛇精3
张筱雨《魅惑》-5
深度交流1V3多肉
塞跳d开最大挡上课不能掉
第一次处破美女完整版
日本24时爱如潮水末删版
宝宝坐上来自己动好不好网站
浪漫满屋泰国版12
蹲下来我请你吃棒棒糖
女自卫慰方法48图
JEALOUSVUE成熟50MAOFF老狼
腿再开一点我就可以吃到扇贝了
坤是放在女生的前面还是后面
star-481
外国情侣插秧方法
第一会所 欧美原创
张津瑜 落地窗 视频
一边写作业一边C她免费
SUNTEK中老年人女妈妈秋装
野花香视频在线观看社区
我被当成发泄玩具的一天作文
破了新数学老师的处
seo短视频网页入口引流
成片人卡1卡2卡3
爱情岛论坛亚洲免费路线一
漂亮秘书的滋味2中文
妈妈的味道中文HD免费
BGMBGMBGM老妇
军舰上的女兵免费高清原声满天星
塞跳D开最大挡不能掉
家里没人儿子就C我了
国产日产欧产美韩系列国
女篮坎贝奇惊艳三部曲叫什么
兄弟俩一前一后
男生把坤坤放女生定眼里
日日啪夜夜爽天天干2017
性少妇JEALOUSVUE片
公交车站避雨第二集
好妈妈5中白好妈妈5中
每当我看见她的jk慢慢脱离
随着公交车一晃一晃一撞一下
桃花视频在线观看完整版
好男人看在线视频
亚洲精华国产精华精华液有多好
小SB怎么欠C啊
公孙离眼流泪红脸咬铁球
电车之狼r怎么保存
小娇乳H边走边欢1V1爱豆传媒
网站没封免费正能量直接进入
古老传奇之凤舞九天
小东西几天没做水这么多图片
伽罗ちゃん的个性特点有哪些
同桌的大兔子好软水好
父母儿女一起交换
美国xaxwaswasfilm
教室里英语课上插英语课代表
津渝视频完整版
好妈妈5免费观看中字直播
长城小队花木兰被队友日
女生让男生随便诵自己的坤坤
GOGOGO大但人文艺术观后感
无人区乱码1区2区3区网站
蜜桃成熟1全集高清
丝瓜草莓榴莲深夜释放自己
善良的老师5有限中字丿
tokyo hot n0460
缘之空全集高清在线观看樱花粉车
几天不见这么多水想不想要
意大利性禁忌完整版在线播放
二指探洞HIGH到飞起什么过程
5G天天奭5G天天运动快点播5G16M网址
MD豆传媒一二三四区入口
人类是怎样交匹配的
插花弄玉曲径通幽
GAY空少被体育生开菊网站
天降女子未增删带翻译樱花
老师您的兔子好软水好多樱花国漫
世子很凶插花弄玉
动漫打扑克剧烈运动
11K妈妈的朋友
百合做免费运动视频教程网站
我们四个人换着玩的感觉是
黑料网-独家猛料-曝光揭秘
啦啦啦免费视频播放在线
宝才一根手指就疼了?
生物老师上课亲自给我们展示自己
5G天天奭多人运动 在线观看免费网
朋友的母亲9在观完整有限中字木
爆乳JUFD汗だく肉感
胸前两个巨大的兔子蹦出来
如何玩自己的r头
9精产国品一二三产区
三男一女的伦交
高校1V3 PO
AI赵露思又疼又叫
蜜源在线观看视频在线观看
被黑人伦流澡到高潮HNP动漫
公嗲嗯啊轻点公大JI巴给你视频
把腿开到最大就不疼
家狗狗卡在我里面痛怎么办
一边亲着一面膜下奶韩剧
裙子底部的视野
菠萝蜜国际入口1
吻胸摸腿办公视频大全
麻豆精产国品一二三产区区别大吗
欧洲无人区卡一卡二
抽的越快声音越响视频
百合做运动DOI网站
最近中文字幕免费大全百度
王者阿离咬铁球流口水图片
随时随地都在c的小镇
公孙离去所有衣服被捅
中国小鲜肉GARY2022飞机
宝贝是不是欠C很久了视频
甘雨ちゃんが部下を腿法娴熟
china野外18:19
麻豆传播媒体网站入口官网下载
男女倒插莲花是什么意思啊
给我播放个免费的片
美丽教师来我家
longbuluo
日本卡一卡二新区乱码
当心极品拽公主
吃女朋友的扇贝的正确方法
年轻老师的滋味5在观整有限中字
双人床上做的运动剧烈打扑克
是不是B越小越好玩儿
硅胶娃娃实战图
S货是不是想挨C叫大声点
一男一女打扑克是什么意思
日本BOOKPRO
三个人玩我一个人什么感觉
baoyutv最新网名2021
老公才睡完我妈又睡我什么意思呀
姬小满流眼泪翻白眼流口水的表情
日漫动漫人物将机机插曲漫画软件
14MAY18XXXXXL日本
花核肿胀无法闭合
老板那里是XL樱花动漫
ドラえもんのエロ火影忍者
脱色摇床的视频大全
在车里要了好几次
美女被黑人40厘米进入
迷情娇妻第104章在线阅读
糖心LOGO免费观看甘雨
ワンピースエロじ天堂
我早就想在公司要你了视频
年轻的老师4中文正版
家里什么可以当阳具用
WRITE AS 黄瓜
八重神子露副乳
人物动物交互狗
XFB88XYF幸福宝引导
为什么狗狗放我里面就变大图片
PAYPAL未满十八岁怎么开通
金银瓶4葡萄熟了
无翼乌无遮挡全彩教师漫画
生物老师上课亲自给我们展示自己
十八款禁用黄台入口APP
公交车最后一排被C小数据
猫咪最新地域网名3336PT3
疯狂母亲在线播放
学渣含着学霸的写作业
CHINESE直男口爆体育生外卖
妈妈的朋友4女主角是谁演的
开车污的 女生越疼男生越来越快 段子动
抓着腰撞了起来水流了一地
开车疼痛有声音视频下载软件
国精产品w灬源码1h855.c
南京交通职业技术学院4p刘梦亿
乖好好含着待会就给你
你看桌子上都是你流的
爸爸我可以吃你的棒棒糖吗
吃女朋友的扇贝细节
吉泽明部 种子下载
香蕉苹果草莓菠萝葡萄榴莲
我的兔子好软水好多的视频
无尽的3dXX视频
日本iphonepromax70
向涟苍士献上纯洁未增删带翻译
被C到起不来是什么体验
朴妮唛29分钟完整版
十九岁日本韩国免费完整版中文
王多鱼被C视频网站
弄了一个女孩子几次是什么意思
GC时突然抽出来难受吗
充气娃娃实战演练
人间小喷泉1V2
随着马的奔跑而律动皇上
ZHANGJINYU视频观看
描写地很细致的DOI过程
王者荣耀把公孙离玩喷了
163女性黄页
正义联盟四小时加长版
横冲直撞 肉车
白莲花的贵妇生活
在车里缓慢而有力的撞着
x7x7x7任意噪108
才进了个头就开始哭了
电车之狼r 去马赛克
一家儿女4口人一起玩
2828dy日本伦理电影
女生戴上小玩具调到10档的玩具
做错了事就往下面塞一个冰球作文
波多野结衣下载地址
七咲枫花恶心图片
又粗又硬又长受不了
分手那天我们做了八次视频
妈妈说以后不用戴了
免费VX雷电将军乳液网站
仙踪林Xzlcompany limited
中国体育生宿舍GARY飞机
数学课代表趴下让我桶rh
给我播放片高清MV清晰在线观看
BASE掀起ONCHAINSUMMER热潮
含羞草传媒app官方网站免费进入入口
人选之人造浪者
走一下就往里撞一下
皇帝在御花园进入贵妃的小说
斗罗大陆黄化动漫
迈开腿尝尝你的草莓什么意思
旅行者空把雷电将军C出液体
隔壁老王的春天
中国老太RAPPER
漂亮的保姆3日本
tokyo hot n0727
免费夜里18款禁用
女生玩男生小JJ
虫虫漫画在线浏览页面弹窗
女生最怕的情侣玩具
考试没考好当全班的便器
野花视频免费手机版
售票员用身体测量尺寸上车
美女爆乳裸体WWW免费应用
丑女图片越丑越好
CHINESE体育生东北露脸TUBE
欧美无人区码卡二卡3卡4乱码
97精产国品一二三产区区别电影
我把语文课代表做哭了
海角社区最新在线播放
51吃瓜爆料黑料官网
6月6日蚂蚁庄园答案
人与畜禽croproatain
melancholy视频在线观看
花火のエロドラえもん动漫
c了瑜伽老师嗷嗷叫一节课视频
肉大尺寸小黄说说
我可以上你吗日剧免费
jy灌溉公交车唐小米
国产一卡2卡3卡4卡影视果冻
含羞草传媒app官方网站免费进入入口
台湾SWAY麻豆果冻精东
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1