有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
女儿初长成爸爸来尝鲜食品的由来
国精产品水蜜桃
好姑娘完整版在线观看日本
餐厅小镇漫游记
女婿的比丈夫的大得多
日本1卡2卡3卡4卡
吉泽明部 种子
日本插槽X8插槽怎么用的
你好大你慢一点我疼国产片
八尺大人动漫在线播放无码
旅行者空把雷电将军C出液体
京东天美麻豆果冻传媒
中国人も日本人も汉字を
浪小辉GARY2023小蓝
最近更新2019中文字幕高清
走一下撞一下深深咬合总裁漫画
傲天体是什么梗
星空乌鸦天美大象果冻
黑人缓慢而有力的往里挺视频
GAY空少被体育生开菊网站
被C哭是一种什么样的体验知乎
别急妈今晚就是你的
51吃瓜APP
黑人巨茎大战白人女40CMO
自w到高c的25种方法
啊我们换个地方C死你
晚上婆婆叫的厉害
丰年经继拇中文2的功能介绍
日本免费一卡二卡三卡四
九分十秒张津瑜
塞跳d开最大挡不能掉出来作文
迷人保拇2高清在线播放手指动
りなとあな里菜的痛
八角笼中被下架
JAPONENSISJAVAHDTV360
穿戴式跳D放在里面逛超市的
6人轮换C一个过程
麻花豆传媒剧国产MV
情系晚霞聊天室
娇妻玩4P被3个男子伺候
超级肉禽系统的小说推荐
双人床上互动图片
51cg吃瓜爆料永利2023
老子今天晚上骑疯你
果冻传媒母亲和女儿李琼
禁欲电影观看完整版
看镜子里我们结合的样子
群臣在朝堂上c皇上
国产9麻豆剧果冻传媒
女生越喊男生越要塞的视频
羞羞漫画官方登录页面免费漫画弹窗破解版
精产国品产品的推荐
在没人的教学楼里做
韩国年轻的老师5
老电工老王和李小燕
美丽姑娘高清日本版图片
日产VS国产VS韩产
儿子把坤坤放入妈妈的坤坤里
啊 啊用你的舌头是什么歌
芳芳的性幸福生活18 章
国产无人区码卡功能齐全
欲体焚情百度影音
宝宝几天没见湿成这样
bgmbgmbgm胖老太太东北
2023国精产品一二三四区
白莲花的贵妇日常
B站大胆人文艺术4K
好满射太多了装不下了婵云吧
脱色摇床实验室振荡器游戏
斗罗大陆240集免费观看全集在线
日韩和的一区二区区别是什么
最近中文字幕MV免费高清视频7
学渣坐在学霸的鸡叭上写作业文章
白雪公主成版人版H
妈妈的朋友2中字巴巴鱼汤饭惹人
男男车车的车车视频网站
撞击声和黏腻粘连的水渍声
俄罗斯17丨18tee
你的棍棍可以通通我的草莓吗
俄罗斯人和欧洲人的性格差异
家规犯错就打隐私超严的家规
雷电将军八重神子被淦出水
美国人又大又长又租
带闺蜜出来玩被她老公说怎么回她
污秽的教室未增删翻译樱花
wuyuetianshequ
ZLJZLJZLJ日本人水多多
嫩草研究院2021隐藏网址
校霸被学霸拿遥控器控制
MOSTHDCOECTION性
BMGBMGBMG毛太多乱码
野花社区视频最新资源6
班长没带罩子让捏了一节课怎么办
国精产品一二三四线免费
在她身上运动了一晚上详细
大尺寸的小黄说说推荐
太久永久回家地址TAI9.VIP 保存永不迷路
儿子把坤坤放入妈妈的坤坤里的
什么样的B型好干
晚上睡不着看看B站视频
原神八重神子掀自己副乳e站
147人休艺术 大胆
动感之星妖精全集
xl上司带翻译中动漫
放在里面睡觉会很胀的感觉
怎样把自己弄到喷泉
黑人啊灬啊灬啊灬快灬深
小舞新形象PS掉所有衣服图片软件
向涟苍士献上纯洁未增删带翻译樱花9
往下边塞玉器见客人
WRITE AS 轮
八重神子开襟狂飙乳液
年轻的保姆5线观高清多鱼
荔枝app在线汅api在免费下载
扑克牌又痛又叫
边做饭时猛然进入高h
女生输了给对方玩一个月的游戏
yy6080高清影院理论
中国XXXXXL 17
张津瑜VS吕总视频MV完整版
tobu7tobu8HDAPP
痳麻让我挺进她的黑森林电子书
1区1区3区4区产品乱码芒果在线
免费夜里18款禁用软粉色
生物繁殖课老师拿自己做例子
杨幂哭着说不能再深入了
污秽的教室未增删翻译
好姑娘完整版在线观看日本
寄宿日记82话用喉咙帮充电
宝贝帮我套小雨伞的更新时间
公孙离といちゃつきたい的欢迎会
两个人一前一后地动着快给我
能让人下面湿的漫画有哪些
手机调成震动夹在中间
快乐的大脚2歌曲
老公带我去让别人玩我该怎么办
会夹会摇是什么意思
甘雨安慰下部CG漫画在哪看
一根筷子怎么玩哭自己的小朋友
丰年经的继拇3的特色和机能
仙踪林19岁女RAPPER一百信息
我12岁就做了不干净的事
中国VODAFONEWIFI粗暴最新版
他的手抓住了我的小兔子动图
翁熄系列欲仙欲死
中国新疆XXXXXL17学生
一前一后三个人轮换的英文
双人床上互动图片
宝贝低头看看我是怎么爱你
二三四五六七无产乱码
男朋友咬我的小兔子图片
中国韩国日本在线看高清
30cm坐上去感觉是怎么样的
公翁的粗大放进我的秘密电影
玩3q的人多后悔吗
WRITE AS 直播道具
无人去码一码二码三码区
交换温柔妈妈的朋友在线观看
免费夜间做还运动视频扑克软件
楚晚宁张腿放棋
午夜天堂一区人妻
冰块一粒一粒往下边塞什么感觉
中国高清WINDOWS在线
教练在车里撞了我三次怎么办
被困住的我们韩剧
缓慢而又坚定的撞着
电车之狼3攻略
最近日本免费观看MV百度
艳娒1一6全集无删减版
欧洲最大但人文艺术1588
被C到说不出话
手游走在腿的最里面
坐公交车弄了2个小时
餐桌下狂C亲女高辣
糖心出品VLOG一区二区
WRITE AS 震动
宿主被GUAN满的日常自走棋
国产无人区码卡功能齐全
江疏影2分28秒链接
女人私密唇突出
妈妈从拒绝到迎和合
樱井莉亚电影下载
YELLOW的视频播放
XAX MANTA UZUN HAYA APP
欧美无人区码卡二卡3卡4
啦啦啦中文日本免费高清完整版一
一不小心溜进了母亲的生命里
精产国品一二三级产品区别
对象吃我的奶奶感觉
如何自罚隐私又不伤害隐私
干了幼儿园的小朋友
忘忧草研究所直接进入
开拉链它想你了你想它吗
WRITEAS黎朔涨奶
男生女生一起查查30分电视剧动慢
秘密教学93话恩爱久等了免费
蜜芽.768.MON二区忘忧草葫芦娃
父亲缓慢而有力的撞着
大菠萝福建网站引导入口404
宝贝感受到它变大了吗免费视频
坐在木马的木棒上公主
97超碰在线视频人人av
迈开腿里草莓男人往里怼
大团圆结局公交车2
我的很大你要忍一下的视频
大尺寸的小黄说字多肉办公室作文
yehualu
最刺激的乱惀小说合集
男人把女人桶到高潮嗷嗷叫
沈浪与苏若雪最新
坤坤寒进桃子里
3DNAGOONIMATION_HONKAI
我们结婚了20131026中字
北北北砂王者荣耀完整系列
韩国电影老师的秘密
女生迈开腿让男生吃草莓
宿主任务是收集男主JY
第七十九章厨房里的愉焕
保守娇妻被别人开发成功
宝宝腿抬起来就不疼了
欧亚专线欧洲s码wmysnh48
男朋友退伍回来要了我好几次
雷电将军被旅行者淦出水
小东西想要了是不是
往下边塞玉器见客人
又是母亲又是老婆
张津瑜吕知樾视频在哪看
中日产幕无线码一区
一滴都不准尿出来
燕氏四个和尚播种
男生和女生一起差差30分打扑克视频
多人强伦姧人妻完整版BDRV一
最美情侣免费播放视频大全下载
bl啊好烫放了我吧
HULUWA官网在线入口IOS
女人半夜睡不着看点害羞的
啦啦啦 中国 日本 高清 在线
学长突然将遥控器开到最大
野花视频手机免费观看完整版
掀开衣服左边吸完吸右边
jm漫画战争与和平
YSL千人千色AE86
婚后与父母的交换
吻胸摸腿办公视频大全
一层一层一层的剥开我的衣服
一边亲一面膜下
1000部未年禁止勿入免费
一面亲着一面膜胸口
快猫记录生活记你
把女人弄爽的特黄A大片
夫妻之间免费的视频
成色AU999
你的比我老公大太多了
贪欢电影在线观看
大团圆结白结的故事
外公抱着妈妈一起去了
坐在学长的根茎上写作业
爱情岛论坛永久入口首页
taiyangdehouyi
黄可46分钟完整版种子
至尊宝用金箍棒桶女娲
寡妇与和尚干柴烈火电影
老阿姨一直叫BILIBILI
蜜柚视频高清在线
用过仙女棒的说下感觉
祺鑫河马的秘密河振动棒
黑暗正能量INDEX.PHP
漂亮的邻居老师中文字幕
在线bt天堂网.www最新版
玩白嫩少妇小泬高潮18P
海贼王女帝被海军轮
新兵帮老兵吃鸡把视频
蜜柚在线观看高清资源视频
女RAPPER节目
怎么奖励自己的隐私位置
茄子 香草 草莓 丝瓜 榴莲污
一层一层的剥开我的衣服
一直喝水不让尿的高黄车
戴自动蝴蝶去上学不能掉出来作文
跳DAN是放在哪里的示意图
门卫老头吮她的花蒂的主演是谁
考的好妈妈随你上
蜜芽tv.2722永不失联下载
47147人文艺术欣赏
人曾交互mouse农场
我想用扇贝夹你的乌龟什么意思啊
校霸夹玩具坐跷跷板
翁公与小莹在客厅激情
日本rapper潮水RaPPe
暖床H1VL1升
新版金银瓶1996第二级
处破女处破全过
刘永灼被恒大免职
你对象晚上怎么玩你
老赵抱着月月在厨房做欧美视频
四人轮换C一人宿舍
坐在根茎写作业好吗
国产精华最好的产品人V中文
男友抱着我站着做
怎样把自己C到哭
洗衣屋2未增删带翻译樱花
男生和女生一起差差30分钟很痛一百条信息
福利500免费导航
戴自动蝴蝶去上学不能掉出来作文
俩人一上一下做运动的表情包
女生和男生一起相差差差差差
露娜用猴子的金箍棒玩
20厘米把女友干到走不了路
秋葵草莓茄子香蕉丝瓜榴莲污在线观看
腿打开一点就能吃扇贝
看了让人起反应的文章
差差差30分钟视频轮滑
雷电将军乳液狂飙VX网址
坐在学长的棒子上写作业作文视频
男生口中的滑滑梯是什么意思
日本ZLJZLJZLJZLJ喷
人物动物交互狗aa
爱情鸟论坛免费观看大全在线
亲亲抱抱举高高蹭蹭的刺激原声
坐在学长鸡上面写作业作文
心疼爸爸给他一次可以吗
甜蜜惩罚带翻译
精产国品一二三产区蘑菇视频
第七十九章厨房里的愉焕
三个人对我又舔又摸
国产精品艺校校花视频央视网出文
铃芽户缔免费完整版
空姐前规则高清观看韩国
YELLOW片高清
国产一区二区三区好的精华液
男生把坤坤放到女坤坤里蘑菇视频
儿媳妇以为我是她老公是什么书
ACCA少女网课韩国
开心四房色播网
羞羞漫画官方登录页面免费漫画弹窗破解版
女子半夜莲花开是不是刚做过
大山里疯狂伦交
新利18假冒ued吗
空荡荡的教室和两次惨烈考试
日本ZOOM动物
被两个男人绑着玩好爽
菠萝蜜国际一区麻豆
今天接了一个30厘米的单子
梁薇陆沉鄞 楼梯
麻豆传播媒体APP官网在线观看
用注射器打水放屁眼里故事
YELLOW日本官网
穿越时空恋上你
看我是怎樣把你C的叫出來的
老师哭着说不能再继续了
帮mm解脱内衣小游戏
YIN荡公交嗯啊校花蒋舒涵
一龙二美妇观音坐莲
无尽 触手 夹 3D 粗暴H 夹
惠氏奶粉好不好
TOBU8-HD100
腿张大点我就可以吃扇贝了
顶的速度越来越快越
做错了事就往下面塞一个冰球作文
一边说嗯一边喘气是什么
为什么男人抽的越快女的越叫
用红酒瓶塞堵住不能流下来皮
亲爱的老师5韩国中字完整版
无节操摄影部1
18款禁用网站进入
爸爸我可以吃你的棒棒糖
老师穿白丝JK把我夹的好爽AV
绝品儿媳苏暖免费阅读
三个男人换着躁我一个
健身私教弄了好几次PO
小洞饿了要吃大火腿肠吗
国内SPEAKINGENGLISH真打
家教老师考100分能一整
帅气体育生GARY网站小蓝
差差漫画登录页面秋蝉免费
以性作为考试的学校
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1