有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
麻花传媒mv在线播放高清MBA
十九岁RAPPER潮水欢迎你
linruyouna
最近日本免费观看MV百度
公交车后车座疯狂的做的细节
摸硬了体育老师的的大J8
一边做饭一边狂躁怎么回事
漂亮的继拇5字
打扑克视频又叫又疼
雷电将军乳液voiux
182TV在线播放地址
早就想在学校要你
欧洲女RAPPER潮水大豆
云缨拿枪奖励自己视频
被窝里的公息第十三章阅读
seqingav
2021年4虎的新地址是多少
日产乱码一二三四2021在线
一本岛道在免费线观看
玩R头的100种方式
打开这个网站你会感谢我的
学生党如何自W
厨房里的激战2剧集
98精产国品一二三产区区
5G天天奭5G天天运动快点播5G16M网址
一码卡与二码卡的区别
他像疯了一样占有了她退出
最近2019中文字幕免费版视频
全国反差婊吃瓜黑料热门网曝
班级的公共玩具第1章
羞羞漫画登录页面免费漫画在线入口页面
相对湿度po阿司匹林催熟
原神八重神子被捅到流口水的游戏
WRITEAS军人
仍想结婚的女人
WRITEAS军校
量近2019中文字需大全规须1
乱码1234区2021
欧洲经典成人片10部
新金艳花瓶1-5集
不知火舞和三个孩子森林公园狂欢
空姐前规则高清观看在线
超碰人人操在线视频
超砸在线观看免费视频
星空传媒XK8033房东
被体育老师c了一节林妙妙
整篇都是车的多肉
女医生私密诊所
天天射干2019快速 localhost
不知火舞被辱记
小东西几天没做喷了这么多
迈开腿打扑克没有马赛克还有牛奶
我家狗狗一天上我一次
欧美一厂区二厂区三厂区区别在哪
98777邪恶小游戏
疯狂欲望无删减 在线高清中字
女生越喊男生越要塞的视频
一边写作业一边C她免费
stevehopper办公室
重生回到冷战前军婚
小黄说说1000字污车
安迷修被雷狮放振动器
胸前的大兔子蹦了出来视频
第一次给0开的手法图
不收费的免费直播软件打扑克下载
教练把车开到没人的地方淦我
女人自卫慰图片
qvodsetup3
春暖花开x吧有你
遇到一个会夹会摇的女生什么体验
在线天堂おなあちゃんなにか
老师你的兔子好软水好多的作文
教练在车里撞了我三次
女儿的朋友5中汉字晋通话
野花免费观看高清在线6
谁输了去谁家受罚抽阴
雨后小故事动态图片
国内AI造梦鞠婧祎MV青岛
青梅不经C1V2
日本插槽X8插槽
sbs演艺大赏2012
夜里不知节制军婚
XRK1_3_0ARK在线观看入口IOS
房东先生这是第6次付房租了
美国少归BVBV
原神妮露掀起奶盖黄XMAN
无人视频在线观看完整版高清视频
939W78W78W乳液特色
迈开腿吃尝尝你CH
甘雨乳液狂飙图片黄XMAN
在英语课上用j插英语课代表作文
小东西才一根就坚持不住了
无人区码一码二码三码区
小东西这才2根而已
做AJ的视频大全电视剧
谢俞贺朝肉车试卷
青梅竹马是消防员未增删动漫
剧烈运动扑克牌
自W到高C的25种方法视频教程
亚洲无人区码一二三区别在哪
护士VODAFONEWIFI
免费120秒体验试看5次
甘雨乳液狂飙图片黄XMAN
公嗲嗯啊轻点公大JI巴给你视频
りなとあな里菜的痛
邻居2中文字幕版免费
国产MV在线天堂MV免费观看
双男主有车车的视频w
韩国娱乐圈事件
亚洲码与欧洲码区别一二三四
七咲枫花恶心图片
最近免费韩国动漫HD无
跟他做了1V2
开车越往下越疼的那种作文
课堂上时间暂停为所欲为
我的B就是你的饮水机
XVDEVIOSXVDEVIOS
国产瑜伽白皙一区二区
教你怎么自己吃丁丁
两个人一前一后进行攻击
中国XXXXXL19免费视频
公交车后车座疯狂的做
女人50岁半夜莲花还开吗
老师你的兔子好大好软水的作文
儿子你比你爸的都大
施主就让贫僧C进去吧
大尺寸的小黄说字多肉医生
大陆年轻帅小伙飞机GAY
十世宫缩剧烈做边生
快猫成年app短视频网站
5g天天奭多人运动 最新网站
老师你感受到它变大了么视频
我的兔子好软水H15
法海终于把白素贞日服J
一边亲一面膜下
某科学的触手姬
羞羞动漫在线入口免费阅读
性一交一乱一伦一色一情孩交
桃花在线观看免费高清动漫
污开车作文500字有过程
公交车上玩两个小朋友
麻婆豆传媒一区二区三区
成品W灬源码1688伊园
一龙二美妇观音坐莲
啊接到一个30厘米长的客人
r头怎么玩教程
老师上课把跳D突然被开到最大
MD豆传媒一二三四区入口
国内精品一线二线三线区别在哪里
沈阳45岁老阿姨喷了好几次药
翁熄止痒婉艳隔壁老李头
两个人免费视频高清播放
将界2第3集大尺视频
最后一夜BD韩国
九阴真经野草版
石榴裙下的温柔
男生把自己的qq放入女生的qq里
欢乐颂5高清免费
14MAY18_XXXXL56ENDIAN
变形计 化不开的网
家里没人姐姐就是我的了
无限资源日本电影
癫马女郎之一夜情
琪琪色原网20岁以下热热色原网站
9877地铁笨蛋1
奶头被客人玩的又红又肿
儿媳妇夸我比她老公大怎么回事
宝贝我的尺寸你会痛
宝宝桌子上都是你的水
你就可尽的弄我们娘俩
做错了事就往下面塞一个冰球作文
第二代国产自在自线
欧式春画图照片高清
污到你那里滴水不止的长文
男生把大坤巴塞到男生的嘴巴里
爆黑料不打烊传送门
每走一步楼梯就撞到最深处
公交车里抓着摇曳的手环
都市传说系列未增删带翻译樱花
蜜桃影像传媒推广
怎样教狗狗进入自己
腿再张大点就能吃到扇贝了
原神甘雨安慰部下C插画在哪
厨房运动剧烈老师的大兔子鹿
国产亚洲一卡2卡3卡4卡老狼
一层一层的剥开衣服视频讲解
国模露露客厅沙发
超pen个人视频公开视频
老师你的兔子好软水好多作文开头
精东影业传媒出品
隔着睡衣吃你的小尖尖作文
摇摇晃晃公交车XX5
漂亮的小峓子中字巴巴鱼汤饭
被体育老师c了我一节课作文
走路还在体内恶意顶
免费日产区乱码2021软件
黑龙江大学3号楼事件视频
挺进去岳就不挣扎了的视频
开车疼痛有声音视频下载软件
不喊停就一直做
CHINESE体育GARY网站
欧美无人区码卡二三卡四卡
张柏芝艳门禁照
无人区码一码二码三码是什么
欧亚专线S码和M码的区别图片
潘甜甜果冻传媒七夕连接
tobu8美国100
菠萝蜜国际一区麻豆
女篮中锋坎贝奇三部曲
才几天没做水这么多人要吗
雷电将军乳液狂飙VX网址
女生说拔萝卜是什么意思
欧洲victoryday
刺激打扑克摇床又疼又叫
漂亮的保姆中字
洋房里的小草莓1V3全文免费
宝贝坐起来自己摇
深度开发1v3n
跨越八年的新娘
漂亮妈妈7韩国在线观看
和邻居交换娶妻1
凝光用嘴帮助旅行者的故事背景
胸大的姑娘中文字幕视频
腿张大点就可以吃到扇贝免
男朋友咬小兔兔时怎么回应他
5根一起会坏掉的好痛的视频
白天躁晚上躁天天躁.
林念修是谁的秘书
法国艳妇LARALATEXD
晚上睡不着看B站
把英语课代表按着抄视频
宝宝的棍棍可以捅捅我的下水道吗
只因爱你by欲语还休
渴了就喝水别扒拉我腿啥意思
爱情鸟论坛com高清免费
VODAFONEWIFI巨大
kenderla sanderland多人
如何自罚隐私又不伤害隐私
逆徒快把你的东西拔出来
宝贝低头看看我是怎么爱你的
鲍鱼最新地域网名是什么2022
帝王怀孕肚腹挺起好憋
亚洲尺码和欧洲尺码对照工具箱
花城谢怜车长干哭
我难受就放一下我不动
浮力影视最新发地址
漂亮的韩国家教
儿子好厉害吗妈妈要丢了
WRITEAS憋着做
泰版 浪漫满屋
顶级RAPPER潮水日
被C到起不来是什么体验
成熟交bgmbgmbgm
啊英语老师的胸好软
宝贝需要滋润了
狗狗射速好太可怕了sun
乖好好含着待会就给你
HAYAXURAX18
男生女生一起差差差带痛声30分钟
日韩一卡2卡3卡无卡新区乱码
随处可做X世界学校游戏
罗马帝国艳情史图解
可以随时随地做的小镇公交车
老奶奶能叫woman吗
两个人怎么搞才能生孩子
两根入一洞群交
可播放的gary视频
残忍cheapwindowsvps风险
张柏芝殖器12图
一面亲着一面膜下奶韩剧
污到你下面流污水的说说
老师的小兔子好大好软水
24小时韩国日本高清免费观看
欧洲黑人最强潮水RAPPER
7723日本电影免费观看完整版
5G年龄确认永久有效
蜜桃成熟时1997国语百度影音
晚上喝了酒回来和狗狗做了
红豆视频在线观看免费播放
十天的爱人韩语
女生和男生一起差差差差很疼APP
你把腰抬起来一下不然我没法发动
东北女人下面痒直叫
WRITE AS 轮
老师下面太紧拔不出来怎么办
AI人脸替换明星喷水造梦
上官婉儿翻白眼流口水流眼泪
边做边爱完整版3
星野明日香种子
免费中国最大但人文艺术
原神女角色开襟乳液狂飙
47147大但人文艺术欣赏
引导狗狗干自己哪里
最近韩国动漫HD免费观看
狗狗射速好烫的视频
用毛笔蘸下面洞里的水写字作文
男娃JY灌溉系统游戏
第一会所s001
一个人看的免费高清直播
春纪我们约会吧
麻豆京东水蜜桃果冻传媒
4虎的地址有知道的吗
又有一批人开始高潮了
16岁macbookpro日本
宝贝腿再张大点就能吃到扇贝了
女生输了给对方玩一个月的游戏
年轻的馊子8HD中文版
黎朔WRITEAS人鱼
迈开腿尝尝你的草莓什么意思
赵露思的乳液头被吃
9877地铁笨蛋1
侯马市性侵女生照片
XL上司樱花未增删翻译中文翻译
免费做运动扑克视频网站大全
两阳夹一阴涨停双响炮的意思
不知火舞之公园狂欢
生姜切成小块放菊花里作文
最爽的乱惀200短篇小说
鲍鱼网名区域2021
差差漫画网站页面入口弹窗秋蝉
GOGOGO大但人文艺术
69无人区码一码二码三码
tokyo hot n0460
ピースエロじ天堂官网
细讲男朋友是怎么c你的
野花视频在线观看最新高清
女朋友的母亲1完整视频有翻译
张书记不戴套杨雨婷
在车里剧烈运动
扒开大腿就可以吃到扇贝吗
父亲的东西又长又黑的说说
前夫的东西很大和三个人在一起
7723日本电影免费观看完整版
略国精产品W灬
爱情岛论坛免费线路一在线路3
台湾MD豆传媒一区二区
小黄多肉大尺寸说说
扑克牌高清照片免费的软件有哪些
魏晨破赵奕欢密照
naruto henta
年轻的小峓子3韩国在钱
肚子里都是他的JY和尿
早上起来发现还连在一起
喜爱夜蒲1高清
还想结婚的女人
TOBU7TOBU8大学生
182tv观免费线
我的兔子好软水好多H15阅读
韩国演艺圈悲惨事件快播
甜蜜惩罚2樱花未增删版
一体六交怎么弄
美丽的小桃子意大利语翻译
英语老师你的奶好软
男朋友老是吸我的小兔子图片
咬住下唇动漫在线播放
性能之巅第2版和第1版差异
乳液狂飙天堂w78
baoyutv最新网名2021
JK漫画免费漫画页面在线看漫画免费微信知乎
你们对象都是怎么扣的
我是你岳...你不能
从黛玉的身体里退了出来
revenge第三季
班长哭着说不能再深了作文600
我想用扇贝夹你的乌龟
春暖花开吧cc
JIIZJIIZ亚洲女人水多
污到爆的巨细文
黑帮大佬和我的365日第2
原神雷神黄本本
china外卖小哥gary
国产无人区码卡功能齐全
小SB是不是欠C
欧亚专线s码和w码入口
亚洲一卡2卡三卡
宝宝两根就哭男男是不是太早了
一同看亿同看GTV
俄罗斯大18但人文艺术
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1