有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
大象成品网站w灬源码1688
三叶草欧洲码和亚洲码的区别
一线高清在线观看完整版
男女倒插莲花是什么意思啊
老师迈开腿让尝尝你的森林应用
香肠和扇贝插在一起翻译英文
おじさんとわたし中文在线
随时随地都能干的学校教师
女孩子用矿泉水瓶子行吗
老师好紧好滑我要进去
老师拉我去办公室做了一节课
舌头一路向下探索找到花朵
放轻松我会慢慢来
中韩高清无专码区2021曰
老师下面太紧拔不出来怎么矫正
大尺寸的小黄车说说公交
在英语课上用鸡插英语课代表
女生迈开腿让男生吃草莓恶心吗
三男一女的伦交
熟妇人妻无乱码中文字幕真矢织江
玩白嫩少妇小泬高潮18P
宝宝才两根手指就哭了
如何把自己玩成喷泉状态
三个人也不错1V2
宝贝你的奶头好紧好大
东北女人下面痒直叫
B站大胆人文艺术4K
抬起阿离的腿就是C
会夹是一种怎样的体验知乎
朝俞R车WRITEAS震动器
黑料不打烊TTTZZZ肾虚十八连
公交车后车座的疯狂做
AAA传媒有限公司
5g天天奭多人运动 在线观看免费
深度开发1V3二月天2YT
极道之妻们neo
家教老师 考满分就能一整天
人畜禽corporation
宝才一根手指就疼了?
风间由美 熟女
地下室偶像SANA未增删带翻译
整篇都是车的百合推荐
男人捏大白兔视频
小小水蜜桃免费看
怎样自w到高c有图片
各种APP引导网站
嫩BBB槡BBBB槡BBBB
全美超模大赛第十二季
离婚后满足了父亲的要求
成片人卡1卡2卡3手机免费看
它变大了你感觉到了吗
正义联盟4小时完整版
19岁macbookpro未满16岁
老公叫人一起换着玩
果冻传媒在线播放 免费观看
女儿的朋友5中汉字晋通话
爸爸说家里没人可以C
坐在学霸的棍子上背单词
直到纯洁的你沦陷未增删谢谢
JEALOUSVUE成熟50MAOFF老狼
刺客伍六七第二季观看
bl动漫幸福花园
日产乱码一二三四区别免费播放
一旦试了黑人后你就不想回头
蜜芽忘忧草老狼二区大豆行情
师奶杀手是什么意思
大尺寸的小黄说字多肉有哪些
caoporen在线超碰免费
大小姐与流浪汉
YIN荡体育课羞耻PLAY
404黄台软件平台
网址没封的来一个
my pico 女装少年
满肚子浓精涨走路子宫
原神申鹤掀起奶盖黄XMAN
今晚咱们试试阳台
心动时刻 简简单单
狗狗射速好烫的视频
0ADC大驾光临未满十八岁
老师在办公室被躁得好爽
一个农夫色导航
70CHEAPWINDOWSVPS
把英语课代表做哭了视频
人物动物交互狗aa
口工漫画全彩无遮漫画
男生坤坤放在女生坤坤里开元棋
writeas迷醉
老司机带带我免费看最新
老赵抱着媛媛在厨房做视频播放
继室瑶娘尽欢潮汐
高压监狱三部分别叫什么
棉签冰块放入PG的照片
最近韩国日本免费观看百度
把跳d遥控器开到最大作文
校霸被校草在教室做到哭
用大宝贝帮妈妈通下水道好吗
国产无人区二卡三卡四卡不见星空
国精产品W灬源码网站1688
GAY大陆年轻帅小伙2022上
ピースエロじ天堂
斗罗大陆女生去掉所有服装
免费国精产品一二二三
14MAY18_XXXXXL56ENDIANX
每集都打扑克的美剧
家里什么东西可以当阳具用
太大了吧唧吧唧吧唧吧唧
麻花传媒剧在线MV免费观看
男按摩师用嘴亲我下面口述
男生淦男生的部位
双人打扑克剧烈运动视频
长插曲视频完整版30分钟免费
在床上拔萝卜又疼又叫的描写
动漫人物去掉小内打扑克游戏
杨幂13分钟20秒
关上最后的门未增删樱花翻译
杀帝的闪婚恋人
GOGOGO高清免费看韩国
日本人是人吗 不是
拔萝卜全程不该盖被子
用你的舌头搅拌我的dj
啊用点力对就是那里视频
无人区码二码三码四码区别
午夜dj在线观看免费完整高清观看
迈开腿我可以尝尝你的小森林视频
挺进毛还没长稚嫩的小花苞网种
贺朝谢俞c到哭
丫头放轻松让我进去
YS千人千色T9T9T9T9
女士不遮阴内搭图片大全大图高清
中国VODAFONEWIFI粗暴12
公交车上最后一排的爱
小学生如何自己安慰自己新手
9精产国品一二三产区
家里没人儿子就弄我了视频大全
他戴上小玩具调到10档
一支笔怎么C哭自己
精东影业JD0045妈妈咪呀
麻豆madou传媒
八重神子P图全光图片
牙医姐妹赤子板栗
漂亮的小峓子中字HD电影
啦啦啦免费视频观看在线BD
放课后の优等生未增删有翻译
宝宝我想吃你胸前的兔兔奶糖
列车上的小黄说说1000字
站着被口是一种什么样的体验
几天没做你就流了
把腰抬起来一点我不好发动
老谢小区保安赵敏老师
.把你里面填的满满的视频
诱人的女邻居BD在线观看
学长不行这是地铁
怎么教狗狗c自己
无人区一码一码二码三码区别
帅气体育生gary宏翔mv
日韩卡1卡2 卡三卡免费
舒服吗说我厉不厉害表情包
rbd-505
鲍鱼最新地域网名是什
父母儿女一家狂
麻豆国内剧果冻传媒网站
妈妈说我带套才可以
诱人的女邻居2在线观影
Zoom与人马性Zoom的区别
大炕上和岳偷倩
青梅被从小摸到大H补课
696969大但人文艺术来源
进入母亲的生命之门
野花免费观看高清在线观看6
啊灬啊别停灬用力啊男男
2012手机在线看免费观看
老人在树林里做见不得人的事
男男车车的车车视频真人
ati radeon hd 4350
儿媳妇 水这么多还说不要
如何让把自己弄到喷泉
斗罗大陆2大乱斗交大TXT漫画
最好玩的B是哪一种L
爱情岛永久免费线路二视频
妈妈的朋友10完整有限中字一
XRK1_3_0ARK无限观看IOS网站
爱福利视频广场福利视频
金花瓶梅花6金花瓶
校霸错一题打一下PG
果冻传媒MV国产推荐视频直接
一本二卡三卡四卡无卡免费高
世界上最大阳器有多粗
青青草国产视频免费线观看
欢乐颂5高清免费
妈妈的朋友8中字电视剧
试看体验区60秒
s货是不是想挨c
动漫RH男1做0车车的车车视频
快拨出天我是你母亲歌词
美丽的小峓子4中字巴巴鱼汤饭W
无人区乱码一二三四区别在哪
免费吃瓜爆料网站
爱情岛论坛亚洲品牌自拍速汇成
夜趣福利必上官方导航
说我的大还是你老公的大
三个人一起玩3Q详细经过
低头看我们结合的地方阅读
艳娒1一6全集在线高清
系统之魅姬养成(莫紫弦)
坤坤寒进桃子里
亏亏插曲叫疼的免费网址
性一乱一搞一交一伦一性
夏天短袖侧面看见女生小馒头
一抽一出抽搐bgm50分
黑人vodafonewifi巨大
麻花传媒XK在线观看
CEKC妇女毛多啊BN
全高清录播系统直播在线
中国警察网记者张津瑜事件始末
最近最新中文字幕MV高清在线
叫大点声今晚家里没人冷教视频
坐着震动器写作业是什么感觉
一整夜都连在一起没有退出来
年轻的小峓子1完整版在线播放
犯错把筷子放屁眼里不能掉的作文
爸爸缓慢有力挺送女儿的话
一支笔C哭自己自W到高C
班长是班级的公共玩具作文
体育老师把渺渺C了一节课作文
大团圆结局公交车
迈开腿让尝尝你的草莓是什么
红酒瓶塞住不准掉下来
妈妈的朋友5季
泷泽萝拉第四部ed2k
彩虹男.2022小蓝
中国windows野外
你是不是就喜欢我站着弄你
十九岁日本完整免费完整版
宝宝我不进去就蹭一下不动
粉嫩RAPPERDISSSUBS欢迎您
一边做一边说国语对白
疯狂守寡多年的的肥岳
原神甘雨被史莱姆注入sky
NARUTO HENITAL
欧美三根一起进三P
脱mm内衣小游戏
EveIynCIairn黑白配
年轻的母亲 韩国
zoom与人性zoom视频
公交车上破了两个小学生
乳液狂飙天堂w78
韩国妈妈的朋友观整有限中字
成为人视频免费视频免费观看
仙踪林入口视频 欢迎你
糖心vlog柚子猫内射频
口工绅士里番中文全彩
免费中国帅气体育生GARY
两个上面吃奶吃b
老阿姨一直叫BILIB
大将军1V2LH檀洙角色分析
被他从身后撞得浑身散架了说
黑人肉大捧进出全过程动态
麻豆精产国品一二三产区区别免费
lululemon露露瑜伽服
把老公撩硬的表情包图片
原神旅行者插雷电将军的游戏
戴自动蝴蝶去上班感受
可以随意触摸小熊内部位游戏
3个人玩3Q感详细经过
亚洲尺码跟欧洲尺码的区别
japanese日本护士booloo
儿子需要我就给了他
穿越到随处做X的世界
宝贝都湿透了还嘴硬疼怎么回事
爱情岛永久免费线路二视频
精东影业JD0045妈妈咪呀
啦啦啦免费视频观看在线BD
c到哭不止高黄
描写doi过程的文章
他在街上用遥控器要我
啦啦啦免费视频观看在线BD
娘王 virgin
8008幸福宝卐
对你上瘾1V3不清水PO
写的超细的开车小黄车片段
Zoom与人性Zoom2区别
老太太80CHEAPWINDOWSVPS
一前一后的动了起来
jy灌溉公交车唐小米
日本插槽X8插槽怎么用
人曾交互mouse放
突然像尿了一样出了一股水
完整版白妇少洁高义阅读
国模嫣然生殖欣赏私拍图
疯狂欲望无删减 在线高清中字
日产中字乱码一二三
车内做运动打扑克
差差差30分钟无掩盖视频
哇又长又大又硬太爽了
日本RAPPERDISSSUBS13
大黑阴BBBWBBW
在被子里怎么自己玩自己
老公的好大我都握不住了的说说
桃花视频最新免费高清完整在线观看
GGY钙同2023钙片
新禁室培欲之爱的俘虏
妈妈的朋友免费观看全集在线观看天才
仙踪林老狼入口欢迎您2023
没带罩子让他吃了一天药会怎样
马是怎样交匹配的
津渝视频完整版百度云
最近2019中文字幕免费版视频
沉香的一二线产区
C死了啊哈宝宝腰好会扭CBL
国内SPEAKINGENGLISH真打
迈开腿让我看下你的小
国精产品W灬源码1688伊在
夹好了去上学不能掉出来的作文
原神雷电将军被C出液体视频
开心五月四房播播
老板把车开到没人的地方
都市传说系列未增删带翻译樱花
中文字幕在线看成电影乱码
公交车两人双指探洞LH
晴雅集 在线观看免费完整版
无人区码卡二卡3卡4卡伊甸2卡
WRITEAS太大了
男在上女在下git动态图
分手那天我们做了八次视频
中文在线4月4日快速反弹
秘密教学83田里开机免费
如何把女朋友弄成小喷泉呢视频
几天没弄又痒了是吧小东西
给女孩子疏通下水道
蜜桃成熟33d完整版
看完让人下面有水的说说
宝宝你好夹啊都拉丝了游戏
小东西多久没c了
好妈妈8中汉字
你的东西比老公大得多
一家儿女4口人一起玩
女生自己奖励自己的视频
欧洲VODAFONEWI
上边一面亲下边一面膜的注意事项
女生把筷子放屁眼里不能掉图片
漂亮妈妈5韩国2019
跳D放在里面走路什么感觉
我们没试过在阳台做呢
极品教师全文阅读无删减
一面膜上边一面吃下边免费看
小东西长大了可以做了视频
用红酒瓶塞堵住不能流下来皮
学生的妈妈5中韩双字多
我想要看胸片曝光照片
哥布林洞窟未增删开车原声
被C了一晚上是什么体验
公交车两人双指探洞LH说
甘雨拔萝卜图片高清壁纸
蝴蝶传媒视频无限观看三次
红豆视频免费资源观看
妈妈的朋友8中字电视剧
女人荫蒂勃起后图片
国产色母和进口色母区别
刚开始一深一浅后来逐渐变大
数学课代表趴下让我桶免费放
中文字幕看成电影乱码
宝宝的水喷得到处都是视频
散漫男的恋爱制程
祝英台遇到马文才在哪可以看
兰州老肥熟全程露脸
交流1V3多肉梁医生
家里没人跟奶奶做
老公朋友的媳妇给老公送生日礼物
性女传奇在线播放
好硬好湿好大再深一点动态图
黑帮少爷爱上我
女生迈开腿让男生打扑克二次元
免费B站推广网站有哪些
精东传媒十三个女演员名字
非洲人和和人配人视频
女人吃男人大鸟图片
东莞技校门下载
XL上司第樱花未增删带翻译
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1