有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
小猪草莓丝瓜深夜释放自己
茄子视频看的片WWW免费
甘雨被盗宝团挤牛奶点击这里进入
成熟交BGMBGMBGM图片
VODAFONEWIFI另类
中国speakingathome宾馆
美国VICTORY DAY姑娘
厨房里两只奶头被吸肿了怎么办
车子一晃一晃的就进去d
接电话被顶的受说不出话
帮英语老师疏通下水道
我的好妈妈免费观看冰河局电视剧
狗配人怎样配一个人
伦理在线看年轻的母亲4
把语文课代表干到走不动路
日本YOKOGAWA横河
为什么自W高C特别快
抽的越厉害声音叫的越大声音
花蝴蝶在线观看片3
公交车后车座的疯狂
美国xaxwaswasfilm
冬日后的樱花韩剧
国色天香精品一卡2卡3卡
最近韩国电影片免费播放
免费看桶机三十分钟不用会员
四房播播 五月
好满射太多了装不下了短视频
精品日产一卡2卡三卡4卡三
lovely cation
老狼卡二卡三卡四卡二
漾出OVER FLOWER第二季
TOBU8SKX
小蓝G钙2023GGY钙2023
日本对澳大利亚
适合自W看的文段
baiduyingyin
大将军1V2LH
好湿好紧快点再深一点动图
两阳夹一阴后续走势
高铁上要她了好几次
女儿就是用来给爸爸用的
敌伦小芳的第一次
来吧儿子妈今天是你的人
下课后的优等生未增删是什么
翁熄性放纵江雪
让学长干一次再写作业作文
好儿子今晚妈妈就是你一个人的
一边做饭一边躁怎么回事
意大利性禁忌完整版在线播放
几天不C水这么多
小学生C小学生
英语课代表下课让我诵30分钟
没带罩子让捏了一节课感受
王者荣耀西施害羞流口水的表情
放学后的职员室未增删有翻译樱花
BGMBGMBGM老太太毛多
晚上让你吃棒棒糖是啥意思
一个女记者的开放人生
乌克兰10一12x video
女生和男生差差差带痛声
日本漂亮妈妈7观整有限中
打扑克剧烈运动高清视频
小东西才一根就坚持不住了
儿子比老公大晚上故意到儿子
青梅不经c1V1玉米
宝宝我要把你顶哭了
善良的妈妈的朋友3有限中字
939W乳液78WYW55523
好看的肉质高的pop短文校园甜
CHINAGARY篮球体育飞机
国产精品秘入口18禁麻豆免会员
善良的年轻的馊子3中文在线播放
无限在线观看免费直播
厚颜无耻韩国动漫在线阅读视频
做AJ的姿势视频教程图片
她在丈天面被耍了BD免费
日产精品1区至六区有限公司
JEPENSE日本
儿子一晚上要了我三回怎么办呢
爱如潮水免费观看日本
最新的ZOOM动物马
14MAY18_XXXXXL56ENDIAN2
原神甘雨被空C出白色液体
用我要灬我要灬我要灬造视频
你的东西比我老公大好多
扑克牌又疼又叫全程视频
声声入魂hifi女声cd
樱花app视频污
父子骨科多R车
婷婷四月开心色房播播
含羞草传媒隐藏入口免下载
老师你的兔子好软水好多作文小说
中国免费XXXXXL
女子日系裸妆视频
公孙离去所有衣服被捅
菊内留香TXl金银花
会员制餐厅完整视频链接
偷看各类wc女厕嘘嘘
老师兔子好软水好多H15视频
瑶遇见神鹿喷白水
精东传媒VS天美传媒
被做到晕是一种怎样的体验
XL司樱花未增删翻译
在厂里跟很多人睡过
爸爸吃饭时还要放在里面
晚上睡不着看点害羞事
金花瓶梅花4金花瓶
洛温强制车writeas
伽罗躺床流白色分泌物
女生迈开腿和男生扑克的区别
抬起一条腿对正往里怼
顶级RAPPER潮水日本
AAA传媒有限公司
宝宝你好会夹啊都拉丝了作文
国模欢欢高清炮交图片
中国小鲜肉GARY2022
在英语课上用鸡插英语课代表
老师辅导作业下面连在一起
日本speakingenglish实践4
精品亚洲卡一卡2卡三卡乱码
再用点力今晚随你弄
5g天天奭多人运动绿色视频在线观看
混乱小镇公交车售票员用
家长让我坐在振动器上写作业
400aicom情艺中心
WRITEAS军人
同学带几个人来玩我的作文
生物课老师拿自己做繁衍例子
小混混被学霸做到哭男男
妈妈的朋友1在完整有限中字
一卡二卡日本一卡二卡
1819岁macbookpro高清
37大胆欧体人文艺术的价值
しぼっちうぞ我的电影网
塞跳D的一天感受详细作文
输了让同学玩全部位置游戏的作文
美女洗澡把胸和屁股扒开给别人看
把腿开到最大就不疼
公嗲嗯啊轻点公大JI巴给你视频
alb-219
戴自动蝴蝶去上学不能掉出来作文
ほーすているのエロ中文
坐公交车弄了2个小时视频怎么办
腿张大点就不疼了
一前一后的动了起来
暴躁老外玩MINECRAFT
迈开腿尝尝你的草莓什么感觉
PYTHON人狗大战CSDN
糖心国产传媒vlog
果冻传媒官方网站入口
宝宝我们对镜子C好不好
GARYWAYNE男男视频
为什么抽的越快就会叫
G718.SX.张津瑜蘑菇
帝王怀孕肚腹圆隆憋尿
贺朝在谢俞里面塞棒棒糖
双男主车文图长图
宝宝腿再抬高点就不疼了
丰年轻的继坶3的特色和机能
厨房里的激战2备注
sdde 318
xxxholic春梦记
因不擦黑板被老师c了一节课
睡过年纪最大的多少岁六十多
男朋友咬小兔兔时怎么回应他
群飞刘亦菲杨颖杨幂唐嫣刘诗诗
谁输了去谁家受罚抽阴可处置男生
soe-992
男生和女生一起差差30分打扑克视频
这么快就有反应了
宝宝我们换个姿势楼梯口图片
妈妈的朋友12完整视频有翻译
厚颜无耻韩国动漫
JL ZZZ 老师
往下边塞玉器见客人作文
Chinese体育生solo
云缨去掉衣服图片
女生把筷子放屁眼里
弱点73话我也要一起洗
美国十次 导航
WRITEAS棉签
娇妻两根一起进3p视频
被塞玩具出门文
公交车6人轮换CH
手不安分的探进她的礼服小作文
色母UN2025
无翼乌全彩漫画和
WRITE AS 刑架
国精产品w灬源码1h855.c
2023钙GGY钙站男男
给我播放免费高清MV在线观看
同学故意把我的校服当抹布用作文
色老头挺进娇妻身体 小怡
狗狗的东西又硬又烫又臭怎么办
我想用扇贝夹你的乌龟什么意思啊
国精产品999永久中国有限公司
doi先进去再戴套
做完后堵上不让流出来作文
秘密教学渗透测试秋蝉
别急晚上英语老师就是你的人了
开车疼痛有声音 免费网站
小莹与翁回乡下欢爱姿势
我的B就是你的饮水机
沉香如屑在线观看免费完整版腾讯
天美传媒MV视频中文字幕
海角HJ9DB5免费进入
我被女婿日得舒服死了
男神插曲女生完整视频播放
妈妈的朋友5线在完整有限公司中字
日本一卡二卡3卡4卡无卡视频免费
男生捏我的小兔兔描述
心动的信号4免费观看西瓜
同桌把他的J坐进我的下面
HD2linode iphone69
51cg1.fun怎么打开
网址没封的来一个
苍老师最后一次
野花视频韩国免费观看
中国青少年garyXXNN
国产乱码无限2021芒果
坐在振动棒上写作业
胡桃坐旅行者的坤坤
打扑克剧烈运动软件
黑帮大佬我和我第365天
有多少弄过自己的儿子的吗
隔着睡衣吃你的小尖尖作文
进来吧晚上英语老师就是你的了
女人能接受开三门吗
喷泉1V3HL辛浮
我女朋友的母亲5整视频有翻译
粉色视频在线高清观看全集
我与儿子发生了不该发生的事
男生和女生晚上玩滑滑梯
免费B站视频推广网站2023
偷玩山村粗壮肥妇女
538prom精品视频在线播放
温文尔雅1V2H
麻豆传煤网站怎么下载
肚子装不下好烫hn黄
hennessy女rapper
日产中字乱码一二三
vodafonewifi巨大app粗暴
台湾小受CHINESE
最近免费中文字幕MV视频7
朋友把我玩成小喷泉了怎么办
男人把女人桶到高潮嗷嗷叫
佛帐潮绣凸浮双龙耳帐
濡湿的车站未增删带翻译
在床上拔萝卜又疼又叫什么
女生越喊男生越要塞视频
最爽的乱惀小说200篇
和老师做了一节课的爱说说怎么写
gaogao8
妽妽的下边好紧春雨医生
一天接待20个客人肚子会鼓吗
在后车座上的疯狂做I
极速天使里面的英文歌
斗罗大陆唐三爆桶波塞西3
亚洲日本一线产区和二线产区区别
心海ちゃんがを腿法娴熟部下
迈开腿让我亲亲你的小森林
免费涩涩屋草莓榴莲秋葵绿巨人
我和小姪女小婷上下耸动
公翁的大龟挺进秀婷
一面亲上边一面膜下边文字
99无人区码一码二码三码四
温远温行之洗手台上做
阿锵锵锵锵锵锵锵网站大全
情系晚霞聊天室
月光在线观看免费
弱点21话一次够吗
日产无人区二线三线乱码
甘雨去内布料开襟XMAN
胀满精装肚子去上学
堵好了一滴也别流出来作文
张柏芝滟照门禁图片图
前后攻击1v2
少妇挑战3个黑人惨叫4P国语
免费国精产品一品二品
三圾片2013目录
cf孙尚香正能量视频
好吊视频一区二区三区
日本ZLJZLJZLJZLJ喷
14女生扇贝图片大全
宝宝下面都湿透了还嘴硬疼咋回
孩子玩着就C进去了怎么回事
丫头牦户一张一合
厨房边做饭边做运动的叫什么
菊内留香TXl金银花车
四川传媒学院情侣
第一次处破女18分钟高潮流水
吃女朋友的扇贝细节
帅气体育生gary宏翔mv
嗯啊宝宝腰好会扭
妇女老太太GMRBGMBGM
一言不合就开车的美剧
王者荣耀伽罗爽上天的表情
欧洲vodafonewifi喷浆俄罗斯
朋友的母亲8在观完整有限中字木
bgmbgmbgm老头野外
腿再开一点我就可以吃到扇贝了
OVERFLOW樱花风车动
妖精的尾巴oad6
可播放的STEVEHOPPER
老师变成全体同学的玩具作文
JEALOUSVUE50成熟MAOFF
游戏新体位47
翁止熄痒苏钥第9章
顶级RAPPER潮水
引导狗狗干自己哪里
翁熄止痒婉艳隔壁老李头
妈妈的朋友2 女主角
坐着学长硬硬的上面写作业
月光在线观看免费
六人轮换C一个过程多少分钟
女人巨大荫蒂勃起
大香伊在人线9视频
徐若瑄 魔鬼天使
真人情侣剧烈做运动的表情包
538porm在线播
差差差30分钟无盖视频
坐着轮流提双腿能起到什么效果?
初中女生喊疼男生越往里寨游
夹冰块一天都不能掉出来
舌头伸进去添能让高潮来的更早吗
极品教师未删减完整版
pinsetangluntan
老夫子精区一品精区.百度百科
14MAY18_XXXXXL56ENDIAN美V
彩虹男GARY视频2022
说服好兄弟让一堆人c我作文
电车之狼r图文攻略
我是你岳...你不能
37大胆欧体人文艺术的价值
女人被两根茎同时进去图片
久亚洲一线产区二线产区三线区
丰年轻的继拇中文3应用特色
快乐谷情趣商城
最强gy平台小蓝视频ios下载
桃花社区在线观看视频
大号注射器放屁眼里灌注红酒
太华伽罗被X哭还流东西
伽罗躺床流白色分泌物大图
10岁可以插几支笔
多人WRITEAS
迷人的保姆线观高清完整
尤物已满18点击进入在线
全国反差婊吃瓜黑料热门网曝
14MAY18_XXXXXL56ENDIAN日本
国内九一激情白浆发布
成熟交bgmbgmbgm
橘梨纱 超高级ソープ嬢
无人视频免费观看免费直播
吃男人大鸟硬起来图
娇妻玩4P被3个男子伺候电影
吃瓜网-免费吃瓜黑料泄密爆料
日本畜禽CORPORATION
班长哭着说不能再深了的作文
maya确认您已年满
班长趴下让我C了一节课作文视频
jy灌溉收集系统
宝宝下面湿透了还嘴硬怎么办
麻花传媒剧国产MV网站
邻家美姨3中文字幕
美女脱精光让男生桶莫扎下面
香蕉丝瓜草莓樱桃草莓榴莲
JMCICON网页版
小SB是不是又想要了H
三十六种阴阳技图解PDF
滑滑梯越往下越疼的那种图片
云缨去掉衣服图片
妈妈的朋友5完整视频有翻译木瓜中字
一边做饭一边躁狂怎么办呀
小舞给人桶的模拟器
一个人免费观看的WWW哔哩哔哩
WRITEAS天尊被吊着受罚
WRITE AS 尿口
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1