有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
第七十九章厨房里的愉焕
如色坊防屏蔽一二三线
迈开腿我要C你
九一传媒制片厂的制作水平
免费B站视频推广网站2023
中文日产幕无线码6区收藏
八角笼中被下架
高压狱警2美版免费
爱情岛论坛免费线路一在线路3
宝贝我想尿在你子宫里好不好
tttzzzsu黑料入口吃瓜
最好的中文字幕视频
亚洲国产精华液网站W
未来超模15季
老太婆下身浓浓毛多
王者女英雄去掉所有服装不遮挡没有烟雾
许仙终于把小青日服J
斗罗大陆2大乱斗交大第1
联谊对象是肉食系警官末减版
镜流口水流白色液体正常吗
灯草花尚3灯高清国语免费观
彩虹男GARY2023入口
带仙女棒去上学的感受
对象一直掐我的奶奶
美女露100%双奶头无遮挡免费
漂亮的丰年经的继拇了精东
JINYU9分10秒
9612黄桃亚洲品质在线观看
第一版主 01bz
四个黑人是什么梗
我想用扇贝夹你的乌龟什么意思啊
母与子2免费观看完整版
中日韩一卡二卡三卡四卡
老板的办公桌BD
孩子玩着玩着就进去了怎么回事
狗狗进到里面变大了
oldwoman老太中國
四种人不能吃辅酶Q10多少钱
亚洲一线二线三线品牌精华液
火车上看着娇妻被别人玩
呜呜撞得她说不出话来
寂寞夜晚看免费视频
10_10_汤唯七分二十秒视频
三千美男爱上我
迈开腿往里怼冰块双男主微
公交车6人轮换CH
日本插槽X8插槽怎么用的
撞击声和黏腻粘连的水渍声
137最大但人文艺术
成品网站w灬源码入口
做错了事就往下面塞一个冰球
趣事百科宅福利鲁一鲁
日本一卡二卡三卡四卡免费观
大团圆结局全文目录txt下载
细讲男朋友是怎么做你的
他真的比我老公的大得多
往下边塞东西PLAY
将界2第3集大尺寸49秒
朋友把我玩成小喷泉了怎么办
儿子一晚上要了我三回怎么办一
电动牙刷怎么惩罚自己
男生把自己的手放到女生的qq里
厦门大学图书馆女厕
金花瓶梅花4金花瓶
黑料不打烊肾虚十八连入口
公主殿下微臣馋了玉U势灵犀
14发刚发育就被破了处
如何骑枕头上下移动图片
亚瑟YASEE2021在线观看
看着领导挺进娇妻的体内电影
国产麻花豆剧传媒精品MV
性少妇JEALOUSVUE片
日产乱码区别免费
北北北砂王者荣耀禁满天堂
生物老师拿自己做学生的奖励
人与各种动ZZZ0O0OXXX
无人区乱码二线三线
3d 无尽 动漫 可爱 得到
做错一道题就被学长c一次
四叔日常1V2
ssni-409
我的极品是前任
家公吃我三年奶
人与畜禽共性关系的重要性
废旧工厂被流浪狗涨精装满肚
亚洲乱码一卡二卡卡3卡4卡
国产无人区码一码二码三码区别
tokyo hot n0750
青梅竹马是消防员 无马
吃女朋友的扇贝的正确方法
掌中之物何妍被多少人轮
人物动物交互狗免费
左拥右抱1v2
玩朋友漂亮娇妻
小雨伞发布声明
YKC499蜜糖豆
在公交车上要了无数次
试看免费120秒
塞一天冰块不可以掉下来
一边喘气一边叫做摸小兔兔小作文
院子里公开惩戒(下)WRITE AS
趁夫不在给给公侵犯了
99精品与95优品
51成品网站W灬源码
做错一道题学长就顶我一下
办公室车多肉多的1V2
两种进入狂野式的方法有哪些
女生越说疼男生就愉快
宝宝的扇贝真会夹
欧洲VODAWIFI喷浆3D
樱桃视频首页在线观看
oldwoman老太中國
宝宝我要把你顶哭了
女看了会流污水的段子
两个人一前一后攻击我讲述
适合俩人运动前看的电影
给我免费播放片日本版
丰裕纵满杨玉环2588演员表
中国老奶奶vpswindows
糖心VLOG产精国品免费老版
女朋友说她前任又大又长
体育老师c了渺渺一节课作文
俄罗斯大18但人文艺术
夜月直播视频免费
韩漫登录页面免费漫画首页登
2021国产麻豆剧传媒最新章节
696969c大但人文艺术作品
江疏影口大佬照片
坐在硬邦邦的rb上面写作业
可以对女生做什么都可以的手游
两个人完整视频在线观看
南昌一中掏脑子挖眼睛
我想触碰你的深处未增删樱花
适合夫妻之间看的麦片
我的兔子好软水好多H15阅读
帅气体育生GARY网站小蓝下载
1V3多肉玉娇香HHHH视频
在车里要了好几次
WYC.IA忘忧草TV
顶的速度越来越快
c到哭不止高黄
老公叫人一起换着玩
英语课代表趴下让我C
公车系例一第96部分阅读
老婆说她想尝试多人怎么回复她
18may19-XXXXXL民族
亚洲无人区码一码二码三码的含义
我被继夫添我阳道舒服
鲍鱼网名区域2021
无翼乌全彩无遮挡漫画大全
欧洲最大但人文艺术666
张津瑜的9分58秒7段
漾出OVERFLOW樱花未增删带翻译
是不是想让我弄你了啥意思
岳两女共夫同床
14147最大但人文艺术
女人的战争 卑劣的交易
自我安抚的步骤图
999精产国品一二三产区区
张津瑜920落地窗视频叫啥
怎么玩隐私位置
jmcomicron mic18c mic 入口
虫虫漫画免费页面窗口
Chineseboy军人
718.sx.张津瑜
我想把我的乌龟蹭你的扇贝视频
一个人看的免费高清直播
野花视频免费观看在线
绯闻男友发长文力挺张靓颖
男朋友说该插秧了
女儿们的男朋友免费播放
将军每走一步就撞一下
给阿姨通下水道
荡公乱妇第1章方情公憩系列大
如何一根笔把自己玩哭
ZOOM人牛ZOOM俄罗斯
腿再张大一点就可以吃扇贝
疯狂厨房2双人3-5视频
一整夜都连在一起没有退出来
最近更新中文字幕2019图片
69无人区码一码二码三码区别
潘金莲扬思敏全集1一5集
宝我想你了胀的好难受啊说说
男朋友C你的时候一般会叫你什么
最近中国韩国日本视频
被子里怎么无声自W
日本乱码卡新区
强伦姧人妻三上悠亚中文字幕
顶的速度越来越快越叫的作文
女朋友的妈妈4完整有翻译
宝贝是不是欠C很久了视频
爱情岛论坛亚洲品牌自拍速汇成
镇远螺丝桥真实故事
乱码一二三乱码又大又粗
M必做自虐羞耻行为
妈妈的朋友8观完整有限中字木瓜
吃鸡rap小姐姐
女朋友的母亲2语字追剧易
日本XXXXXL19WASWAS
云缨用自己的枪躁自己
美女视频黄屏大全
acome玫瑰
热热色原网址20岁以下
h动漫美女图片
宝宝我们到卫生间里做动漫
人物动物交互狗免费
小东西几天没做水这么多水作文
哪吒顶进敖丙里面
男朋友的手探到我的衣服里怎么办
韩国年轻的母亲5观整有限中字
日本一姐RAPPER潮水太多一
鲍鱼tv最新网名2021
和朋友换娶妻3野外夫妇交
抬起一条腿对正往里怼
我的好妈妈8中字播放
疯狂试爱的视频
父亲比老公大很多
国精产品W灬源码1688在线N
桃花视频在线观看完整版
旅游途中换着玩
大BBW大BBW大BBW
超碰caoporen国产
王者荣耀女生去掉小内游戏
上官婉儿的乳液狂飙的视频
穿越到随处做X的游戏世界
差差差30分钟很疼的视频无掩盖
爱情岛永久免费线路二
日式小黄油推荐
writeas上层玩具
拉丁舞跳着跳着做起爱来了
拔萝卜全程不该盖被子
最近中文字幕2019国语4
5G天天奭多人运动网站入口
啊 啊用你的舌头是什么歌
早上起床抱紧我樱花
麻豆精东星空天美MV
儿子好妈妈的HD3中字抢劫
拔萝卜全程不该盖被子怎么办
WRITE AS 教授
穿越到随处做X的游戏世界
日漫动漫人物将机机插曲漫画视频
低头看看我是怎么爱你的
エロワンピースエロい在线
被体育老师要求带跳D跑步
分手那天我们做了八次视频
打扑克的剧烈运动
rh男男车车的车车视频
CHINA中国对白刺激大豆
阿峰与老板娘修理厂
一边亲一面膜下的剧情简介
4虎的新地址是多少2022
早上醒来巨大还在里面
不让尿还喝水棉花塞住不能尿作文
47147大但人文艺术欣赏
开车疼痛有声音 免费网站
品色 免费论坛
国模私处丨150P
疫情期间在家日老妈
马栏坡爱情故事
免费b站推广网站入口202
斗罗大陆黄化网站
几天不C水这么多
韩国VS日本中国VS美国学生
yellow动漫网
啊几天没c这么水叫
在公交车上被蹭流水了怎么办
不再是朋友的夜晚樱花网
小蓝彩虹男GARY2023网站
老公叫我和别人换着玩
韩国女性沦为牺牲品
女星被大佬哄去多人运动爆料
xanxus霸史录
润色红叶吻蛇枝黛妃
妈妈的朋友5完整视频有翻译木瓜中字
善良的妻子1中字巴巴鱼汤饭惹人
老丈人的东西又弯又长怎么形容
江疏影2分28秒哪里有
无人区码卡二卡乱码
抖音奶片已删除的视频
千人千色T9T9T9的推荐机制
温暖叶非墨车内做
大山里疯狂伦交
麻豆精产国品一二三产区区别
天美传媒原创MV
99精产国品一二三产区区别
濡湿的车站未增删带翻译
输了可看隐私的作文800字
宝宝好涨水快流出来了微信
小龙女只感觉那只巨大的火龙枪1
向涟苍生士献上纯洁
错一道题就往里面插一支笔作文
公交车一晃撞了进去没有阻隔
差差差很疼30分钟无遮掩
充气娃实战过程图片
精品日产卡一卡二卡国色天香
小船摇曳大船h
ZOOMDOG13
疫情期间和儿子做了怎么办
学长在地铁里怎么可以这样呢
小S货又想挨C了叫大声点
国产vodafonewifiapp
两男一女两根同进去舒服吗
芭乐鸭脖向日葵芭乐鸭脖旧版
原神甘雨被x哭还不断流东西
老师成为班级的公共玩具视频
亲爱的老师4韩剧中文字幕
男生越到最后越来越快
性女传奇在线播放
女人扒开双脚让男人捅了
家里没人儿子就C我了
灯草花尚 陈玉莲
嫩BBB槡BBBB搡BBBB
教室里英语课上插英语课代表
公交车被C 宝贝这才几天没做水
四个人玩我一个人是什么感觉
情感的禁区日本
猛地一挺腿再开一点就不疼
把英语课代表按着抄视频
椒小BBWBBWBBWBBW
在公交车上弄到高C了公交车最后
原神八重神子被捅出乳液
塞跳D的一天感受
51无人区码一二三四区别图片
健身教练60话顶到俐雅免费
年轻漂亮的岳坶9
YSL千人千色AE86V9
无人区码卡二卡3卡4卡无
zljzljzlj日本人水多
春暖花开吧有你cc
sbs演艺大赏2012
妈妈的朋友6在完整有限中字
欧洲一卡二卡三卡
年轻的母亲5中字巴巴鱼汤饭
51吃瓜 张津瑜 网
qvod 蜜桃成熟时
亚美只只百度云
blued01片免费看视频
啊轻点灬公大JI巴又大又
坐在振动棒上写作业
真人情侣剧烈做运动的表情包
大叔轻一点可以吗
YSL千人千色AE86V10
免费网站看完你会回来感谢我的
老何在船上弄雨婷
人狗ZOOM欢迎你
18岁末成禁止观看
被窝里可以怎么玩自己处
夹枪带棒1V2舒明明黎远荣
做到让你怀孕的樱花动漫
被七个爱豆翻来翻去1V7
日本精产品一二三产品
16岁日本学生MACBOOKPRO评测
坐着震动器写作业
不收费的免费直播软件打扑克下载
芭乐鸭脖向日葵芭乐鸭脖旧版
Jessica Jaymes女猎人
你的太大了我装不下
打扑克直播下载
好深再深一点动态图
车上做运动视频原声
当陆沉往你里面放了东西小玩具
八重神子入夜狂飙图片高清
瑜伽老师让我C了一节课
麻花豆传媒剧国产MV的用户体验
拔萝卜又痛又叫黄
TFRG4MAY18_XXXXXL
抽出含了一整夜的性器液体流出
坐公交车被别人c了的感觉
38岁离婚和儿子一起睡
魅力研习社41
黄色软件下载3.0.3每天无限次VIVO版大全
老师夹的太紧拔不出来的解决方法
新红楼梦艳情版
三叶草M码和亚洲码区别
亚当的六个女人
古典武侠 校园春色
两根前后夹心饼干
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1