有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
黄色软件免费下载3.0.3每天无限次vivo版破
污到你那里滴水不止的文章1000字
男人喜欢水大还是水小的
日本厉害的RAPPER网站
日本水蜜桃身体乳的美白效果
公交车上开了两个小女孩的包
用用点力快要到了
学长的手指在里面转动的写作
无人在线直播免费观看
狗狗配人怎么配
充气娃娃实战演练
肚子里面满满的都是JY祝英台
打扑克牌的剧烈运动视频不盖被子
欧洲女RAPPER潮水大豆
艳情短篇合集1一160
秘密教学93话恩爱久等了秋蝉
巨年少根与艳妇
看我是怎么C的你叫出来了
小洞饿了要吃大火腿肠吗
年轻的老师4中文正版
体育课被c了一节课怎么办
拔萝卜全程不该盖被子
两个人一前一后的上我
宝贝儿你看看它有多想爱你观后感
中考姐姐让我c个够作文600字
男朋友叫了两个朋友上我
老翁的大肉蟒进进出出视频
考的好妈妈随你玩
儿子耕种母亲的田
九阴真经野草版
nnpj-143
腰不自觉的往前挺
吉泽明步高清种子
皇上撞着太子妃的沈音
拔擦拔擦8x8x网站
tokyo hot n0750
附近人一百元一次
人与动物PPT免费模板大全
ipz046为什么被称为神作
男生说想在你身上滑滑梯
张筱雨《魅惑2》图片
对女婿提出那个
大佬和我的365天
妇少水多17P密泬18P
徐若瑄魔鬼天使下载
原神甘雨X刻晴打扑克
王者荣耀西施爽上天的表情
往下边塞玉器出门
vodafonewifi暴力
亚洲一线产区和二线区的区别
两根一起进去疼拔出来就不疼
儿子把坤坤放入妈妈的坤坤里
bbass巨大
在街上他突然按了遥控器作文
年轻的保姆5线观高清
放课后の优等生未增删有翻译
缓慢而有力的往里挺送
潘甜甜3段视频免费看
从厨房一路顶撞到卧室
野花免费观看高清视频6
怎样揉自己的痘痘揉到腿软
BBOX撕裂BASS孕妇公交车好莱坞
4399在线电影免费观看手机版
无颜之月哪一集开车了
接电话被顶的说不出话
奖励自己的隐私位置是什么
YS千人千色T9T9T9T9
希儿的乳液狂飙天堂W78
swag台湾官网
斗罗大陆唐三爆桶波塞西
有多少弄过自己的儿子的吗
18C.MICIOS禁慢天堂18C.MIC北北北砂
无人区乱码三卡四卡
4399影院在线观看免费视频BD
糖果君小宇36分钟无偿
清清成了班级的发泄玩具的作文
公主车上荫蒂添的好舒服
亚洲码与欧洲码一二三区别
糖心短视频vlog柚子猫
白洁之绿帽风云
喷泉H1V3HL慕深
美女脱一净二静视频
成品禁用短视频app推荐下载
冰块和棉签弄出牛奶(黄)视频
缘之空哪几集开过车具体
最美情侣中文在线播放
情侣插秧的100种方法
含羞草四叶草三叶草
跳D放里面遥控器给别人了
接待一个20厘米长的客人
才两根手指就抖成这样了视频
往下边塞玉器见客人作文
美国性情中人中文网
坐在木棒上写作业高V
苏家小媳妇1V3小说
你下水好多下水道BD
妇女被深耕过后有哪些表现呢
男人的大鸟有多长图
国产蜜芽剧果冻传媒
宝宝才几天没做就湿成这样图片
英语老师打开扣子让我上
怎么自己自W教程
月光在线观看免费
男生女生一起差差打扑克
忘记带罩子让他馍了一节课
日产无人区一线二线三线HAV
女生越疼男生越往里寨的
c人入门视频教程
夹好去上学不能掉出来的作文
人成乱码一卡二卡三四卡无卡六卡
中文字幕本无吗
金刚杵大战肉莲花
四个人换着玩的过程叫什么
迈开腿尝尝你的小森林小说
春雨直播免费直播视频
公交车站避雨第二集
免费网站看完你会回来感谢我的
全美超模大赛第十二季
野花视频在线观看免费高清6
14may18_XXXXXL56endian49
我和黑帮大佬的第365天女主
欧亚专线欧洲s码wmy卓越拓展
跳蛋的用法示意图
一码二码三码区别日本
同样是B为啥感觉完全不一样
老司机带带我免费看
深情触摸2韩语中文字
老师上课把跳D突然开到最大
人们俗称的拔萝卜
为什么女生一被上就老实呢
雷电将军八重神子被淦出水
亚洲一线产区二线产区分布图片
WRITEAS揍肿在教室
CHINA体育生GARY飞机
榴莲视频APP在线无限看免费-丝瓜苏州晶体
一下又一下撞到最里面文章
宅男频道最新上架
吃饭时某处紧密连接在一起
女儿的朋友8中汉字晋通话
25岁的女高中生樱花未增删翻译中文翻译哪
女神漫画登录页面免费漫画入口网页
乳液狂飙W98天堂
2021最新一二三四乱码
中欧乱码卡一卡2卡三
魏晨破赵奕欢ps密照
我老公想玩我妈怎么办
旅游途中换着玩
无颜之月我花未增删带翻译樱花视频
品色 免费论坛
最后一夜BD韩国
二人扑克剧烈视频运动
小丹乖让我再进去一次的导演是谁
新疆女RAPPER老太RDFJFTTIK
多肉大尺寸小黄说说
接电话故意做加快速度
4虎 最新能用的是哪个
老师上课跳D突然被开到最大作文
无人区乱码1区2区3区
俄罗斯大18但人文艺术
班长是全班的玩具第三章
人物动物交互狗第1集
京圈公主 多人运动
江疏影2分28秒
顶级大但人文艺术巫
一边伸舌头一边快速喘气图片
麻豆画精品传媒2021免费观看
丰年轻的继拇2中文字幕
无人区码二码乱码区别在哪
怎样自w到高c有图片
拉婆婆下水和大黑狗
大地影院日本韩国免费
bgmbgmbgm老妇60岁
男朋友买玩具玩哭我
吉泽明部 种子下载
宝宝把腿开大点就不疼了
跳d放在里面逛超市的
台湾果冻传媒在线观看
公交车最后一排被C
男女差差差很痛带声音
妈妈的男朋友8 线观 高清
和教练在车里干了我三次
成品人和精品人的区别在哪里
69无人区码一码二码三码七码
aeroflot
GOGOGO大但艺术风格分析
有多少弄过自己的儿子的吗
女主不停的被各个动物群养着
大武当之天地密码迅雷下载
新版猫咪地域网名入口下载
囯产精品一区二区三区线
公交车售票员按尺寸大小
破了语文课代表的那层膜
日产乱码一二三四五
精产一二三产区别在哪
孤注一掷在线观看免费高清王传君
女儿就是留给爸爸用的
厨房里两只奶头被吸肿
迈开腿我们换个地方C视频
怎样用手指把一个男孩子做哭
narutohaitei小南视频
把冰块一个一个挤出去
为什么试过黑人后就回不了头
55岁大妈玩CSGO
亚洲VS欧洲VS美洲人口
没带罩子让C了一节课时
他把我批日出水了
可以教育女犯人的游戏
暖床H1VL1升
跳d放在里面上体育课500字
欧洲无人区码一码二码三码区别
动漫人物打扑克牌的剧烈运动
中国人も日本人も汉字を
撑 趴 润滑 痛苦 求饶 BL
张津瑜视频链接1080P
欧洲女RAPPERDISS大
WRITE AS 高中生
台湾SWAG官方网站进入方法
柚子猫原神甘雨视内射频
国产MV高清砖码2022
人与畜禽CORPORATION
顾氏双生子的玩具
漂亮的保姆完整版免费中文版
渺渺没擦黑板被老师C了一节课
年轻的老师4中文正版
WRITE AS 吸蒂器
小东西想要了是不是
人马畜禽CORPORATION
品色堂永远免费论坛
校花被绑到男厕当尿器
c的你走不了路sb
申鹤流眼泪翻白眼流口水应用
锕锵锵锵铜铜铜铜好大
国产无人区码卡二卡三卡
2分30秒不间断踹息声
BGMBGMBGM老太太毛多多视频1
精品1卡二卡3卡4卡免费
快递员让我爽了一下午
亚洲精品国产精华液有哪些牌子
日本最大但人文艺术欣赏的背景
一面亲上边一面一摸下边APP
深入浅出TXl金银花
野花香社区TV
无人区码一码二码三
一前一后三个人轮换的英文怎么写
成 人 色综合
富二代国app产下载
开车疼痛有声音 免费网站
乐可车图高速图片
老公总是吃我的奶奶该怎么办啊
被大叔C哭是一种怎样的体验
学生的妈妈双字10字
群臣在朝堂上却玩皇子视频
电车之狼r调教攻略
朋友的母亲4在完整有限中字第5
色母UN2025
16MAY19_XXXXXL
WRITEAS管教
善良的小峓子2在钱 中文版
我的小乖乖徐韵婷5
18岁末年禁止进入
亚洲无人区码一码二码三码的区
如何吃到自己的小鸡够不到怎么办
狗狗太快了像打桩机
岳故意装睡让我挺进去的视频
精品成品国色天香卡一卡MBA
我和女婿发生了不该发生的
情侣的100种插秧方法
黄金网站APP视频
王者荣耀公孙离被捅的流口水视频
一体六交怎么弄
暖暖高清视频免费
妈妈的朋友10完整有限中字一
国外幼儿精品区
我和小姪女小婷上下耸动
两对夫妻一起旅游互换的说说
雷电将军乳液狂飙翻白眼流口水图片
老师你的兔子好软水好多的车动漫
公交车售票员按尺寸大小20cm
18款夜间禁用软件入口2023
拔萝卜又痛又叫黄
宝宝我们换个姿势卫生间视频
张津瑜视频七段
打烊后仅剩俩个人的沙龙樱花
BURBERRY大片
ピースエロじ天堂资源
啦啦啦免费高清在线直播4
日产乱码一二三四区别免费播放
女生越疼男生越往里寨的
迈开腿里草莓男人往里怼
邻居按摩人妻HD三级
张津瑜视频9分10百度云买
日韩精品卡1卡二卡3卡四卡
无忧传媒短视频
BBOX糟蹋BASS
羞羞漫画官方登录页面免费漫画弹窗破解版
人与畜禽的关系
妈妈的朋友5观完整有限中字木瓜
被C哭是一种什么感受
学霸将遥控器开到最大
雷电将军八重神子被淦出水
他的白月光HvH桔子糖水百度云
把英语课代表按到桌子上抄
甜性涩爱高清完整版
动漫美女受辱图
女人是男人的未来1分59分有厚的
品色永远免费堂
学长在地铁里怎么可以这样呢
中国XXXXXLMEDJY免费
打扑克时刚进去疼不疼
荔枝视频app男人影院在线观看
在车上被硬硬的东西顶着
回娘家给了父亲
WRITEAS电动猫尾巴
宝我想你了胀的好难受啊说说
宝贝你已经长大了给我
坐公交车居然被弄了2个小时视频
错一道题就往下面插一支笔怎么办
将界2第3集完整原创
国精产品WNW
韩国打扑克牌的剧烈运动
学长上课吃我的小兔兔作文
开心五月四房播播
雷电将军の罚ゲーム视频
人物动物交互狗
不用付费的打扑克的直播软件下载
含羞草实验室2023隐藏入口(已更新)
玖玖资源3658稳定更新
帅气体育生GARY网站MV网站
抽出含了一整夜的性器液体流
my88816蜜芽入
没有我的允许不能尿出来作文
星空传媒在线观看XK8011
漂亮秘书的滋味2中文
你的东西比我老公大好多
seo短视频网页入口引流
午夜dj视频在线直播
8X8X拨插拨插高清免费版本
晚上一个人看B站
你看你流了这么多水还说不要
如何把自己弄到喷泉视频
人和畜禽Croproation
被C的走不了路
将界2第3激烈视频
迈开腿让尝尝你的森林啥意思
棒棒糖放屁眼里一天吃了视频
横恋母AMTIGERとらん作品
被主人罚一整天的小作文300字
班长是班级的公共玩具作文
好...好快啊哈哈
交口图片30种图片大全
男主跟自己养的蛇在一起了
WRITEAS撑桌上
一口一口吃掉胸口的奶油BD站
自罚一天从凌晨1点到晚上8点
快穿之女配紧致h
几天没C你是不是皮痒了视频
热心的朝阳群众51cgfun
学渣坐在学霸的鸡叭上写
终极强奸ii原始兽性
差差差30分钟无盖视频
一面亲上边一面摸下边打扑克
2024钙GY钙站
两个人在线观看高清哔哩哔哩视频
肚子里全是jy鼓起来了好难受
日产无人区一线二线三线观
一边面膜一边燥的视频
漂亮的丰年经的继拇了中
吃瓜网 - 免费吃瓜 黑料泄密
两根前后夹心饼干
动漫人物剧烈运动打扑克视频
交警用菊花检查酒驾的文章
年轻的妈妈9的中字巴巴鱼汤饭
绿色高清视频在线观看免费6
三个人对我又舔又摸
宝宝好大我都握不住了视频
张书记不戴套干雨婷
美丽姑娘高清日本版图片大全
国产在AJ精品
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1