有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
137西方大但人文艺术
rh男男车车的车车视频真人
老狼信息网仙踪林八零婚纱摄影工作室
把冰块一个一个挤出去
国产乱码卡1卡二卡3卡四卡
甘雨哭着让刻晴停下来
TESTFLIGHT男人必备什么意思
流了那么多水还说不要
公交车多人运动
金刚杵大战肉莲花是什么意思
好满射太多了装不下了免费看
IPHONE欧美高级特色
让学长干一次再写作业作文
jmcomicron
成品人直播推荐
温行之和温远洗手台做
小SAO货大JI拨CAO死你
大尺寸的小黄说说
超大尺寸的小黄说说100篇
9877地铁笨蛋1
小蓝视频GTV推广链接
中欧乱码卡一卡二卡三
Zoom人与Zoom巨大
国内精品一卡2卡3卡四卡
晚上做剧烈运动视频教程
究惑R车禁闭室润滑剂
老师家里没人你用点力好好快软件
看镜子里的你流了多少水
绿色高清视频在线观看免费6
你男朋友都是怎么弄你
WRITEAS黎朔涨奶
我就放里面不动你不用动我动
斗转星移刘亦菲
两对夫妇在野外帐篷交换
日本一卡二卡3卡四卡免费
我的兔子好软水好多H15阅读
免费做运动扑克视频
bgmbgmbgm老太太俄罗斯
男生和女生一起差差差得很痛的轮滑
老阿姨看到小鲜肉心动幽默说说
海角.COMHJ3DCE
国无人区码卡二卡
GOGOGO在线播放中国
喜爱夜蒲1在线影院播放
没带罩子让他玩儿了一天怎么办
mm1313点不进去了
精品卡一卡二新区入口
拔擦拔擦永久华人免费
学长错一题往里插一支笔作文
x69老师x日本
国色天香精品卡2卡3卡4
147大但人文艺术37大但人文艺术
c了一节课体育课渺渺
最近最新在线观看免费高清完整版
冷廷遇进入简夏身体飞机上
菊内留香 TXL金银花露
大团圆结亲情会高洁
唐朝豪放女完整版
日本三线和韩国三线的市场定位
女人喊疼男人却往里寨打扑克
歪歪漫画登录页面免费漫画入口首页漫
和搜子居住的日子4
老师你感受到它变大了么视频
帐篷里的秘密未裁剪哪里有
老师的兔子又大又好吃作文
我的上司是XL
啊轻点啊再深点视频免费
虫虫漫画免费漫画页面弹窗看不
宝贝你已经长大了给我
不让我断奶他每天下班要吃
无人区码卡二卡3卡4卡无
囯产精品一区二区三区线
女儿就是用来给爸爸用的
妈妈的朋友5线观高清
免费可以看污污污的网站
美女校花被老汗狂肉的故事
带闺蜜出来玩被她老公说怎么回她
宝宝腿开大一点就不疼了
老师好紧张开一些
花蝴蝶韩国免费视频
喷泉1V3HL辛浮
在床上打扑克不盖被子会怎么样
换个方式做吧未增删动画樱花
女方输了任男方处置清清1000字
一面上边一面膜下边的免费
ONE.YG99.AQQ一个致敬韩寒
无人区一码二码高高
做到让你怀孕的樱花动漫
趁夫不在给给公侵犯了
前男友又大又长我忘不了了
原神凝光肉身待客
撑 趴 润滑 痛苦 求饶 BL
女生暑假自辱下面30天计划
可以随意触摸小熊内部位游戏
全程车的百合推荐短篇
宝贝感受到它变大了吗免费视频
精品手机在线1卡二卡3卡四卡
在图书馆往下边塞东西
sis001第一会所
对象都是怎么顶的
你的棒棒可以通通我的下水道吗
最美情侣高清免费观看视频
GARY18CHINA
我都湿透了你还在等什么
林浅浅被汆日常NP
瘾欲欢愉半块小饼干
中文字字幕乱码播放
越往里越痛的那种视频
整集都做的韩剧
坐在学霸的棒棒上写作业视频
白嫩白嫩BBBBBBBBB-
大龟慢慢挺进我的体内什么意思
国内精品一卡二卡三卡
中中文日产幕无线码一
BGMBGMBGM老太太视频HD
性姿势48个动图
jing液灌溉系统2号唐小米
JING液灌溉系统
玩小雪跪趴把腿分到最大影视频
美国XAXWASWASWAS
你和对象最疯狂的一次
肚子里都是他的JY和尿
班长的兔子好软水好多视频网站
巴西BBABBABBABBA
三秒后野兽在联谊的角落里的他是肉食系
宝贝放轻松我会温柔一点的说说
小受被按在墙上做腿交男男
同学的妈妈3中字巴巴鱼汤饭惹
有车车的腐肉动画网入口
叔叔说我体内有虫子
姬小满的乳液狂飙天堂W98
成品人直播大全2023
女子半夜莲花开是不是刚做过
朋友的女朋友5中汉字晋通话
成品ppt网站国外
把自己自W到流泪
四川传媒学院情侣
精产一二三产区别在哪
我的漂亮女房东完整版电影
YW193龙物地址
137VT最大但人文艺术图
刘玉玲flypaper电影
只有棉签怎么自罚
英语老师没戴罩子让我捏了一节课
女看了会流污水的段子网站
他一次比一次撞的很多
ZLJZLJZLJ水水多多
女朋友的母亲1完整视频有翻译
雷速登之翼飞冲天2
我睡过的横店女演员笔记
为什么抽的越快叫的声音越大
水渍声和撞肉声连成一片
2022GGY钙小蓝的功能特点
学长在学校无人的地方做
俄罗斯美女艺术照
王者荣耀女英雄被捅的流眼泪翻白眼流口水
原神申鹤去掉小内无爱心图片
野花视频在线观看免费观看最新6
警花张津瑜头撞玻璃
娘王virgin
OVERFLOW樱花未增删带翻译第二季
两个男生怎么做不可描述的事情
娇娃荡女K8经典
30款黄台网站入口
家长会上爸爸们灌满幼儿园老师
双男主纯车骨科
动漫人物将机机插曲漫画免费视频大全
品色堂 永久免费
抽烂WRITE AS
教授别c我了我在写作业文
我的乌龟蹭你的扇贝视频
好涨太粗进去用力快好深
男生女生差差差很疼视频大全免费2023
yy6080高清影院理论
帅气体育生GARY网站小蓝黄金
不伦纯爱百度影音
藏经阁官方福利导航
ed2k2分28秒江疏影
中国东方XXXXXLMEDJYF
动漫RH男1做0车车的车车视频
香含玉女峰头露润滞
宝宝桌子上都是你的水
国内精品一线二线三线区别在哪里
最近新韩国免费
黄动漫车车好快的车车
刻晴被盗宝团C的不能自理视频
在车内疯狂打扑克
大胸年轻的搜子
双人床上打扑克又痛又叫的软件
爸爸我怀了你的孩子免费阅读
在线观看国产AV每日
朋友把我玩成了小喷泉
数学课代表趴下让我桶视频
妇乱子伦真实故事
日产乱码一二三区别免费
风间由美 熟女
最近韩国日本免费观看百度
免费啪视频观试看视频感受
两个人一前一后的上我
人蛇大战之蛇精3
动漫美女被辱图
原神八重神子被空吸出乳液
无尽画廊Naruto小南
不知火舞和三个小男孩儿
草莓丝瓜向日葵黄瓜榴莲污在线观看
言教授要撞坏了中催奶
女儿用身体做生日礼物
免费啪视频观试看视频感受
两个人一前一后攻击我感受
伽罗ちゃんが腿法是什么意思
美女露出尿口让男生爽痛
你弄得人家里都是水好大
潘甜甜果冻传媒七夕连接
燕氏被四个和尚播种
后营露营第一季无增减
小SB是不是欠C了
ok电影在线观看
爸爸妈妈夜里摇床还叫
猎艳十大名器艳妇
女儿的朋友5中汉字晋通话
国模私处丨150P
野花香社区论坛
成品大香煮伊在20
公交车后车座疯狂的做
倒插莲花是什么样子的意思
甜蜜惩罚 我是看守专用宠物未删减版百度云
10款禁用软件永久无限次数看
花木兰站在凳子上给刘禅做作业
如何让把自己弄到喷泉
今夜就让我狠狠地想你歌曲
坏老人与媳妇天的春天
腿再打开一点就可以吃扇贝了
朋友的女朋友5中汉字晋通话
不知节制地索要了三天三夜视频
WRITE AS医生
爆乳JUFD492汗だく肉感
WRITE AS 大腿内侧
晚上爷爷总是压在妈妈肚子上
BBW与WB和老妇女
当蜜桃成熟全集高清
坐在硬邦邦的东西上写作业
新版金银瓶1一5电影
便利店的少女未增删带翻译
人与动物交配后
大团圆结局全文目录txt下载
我想吃你扇贝里的水
大团圆结局公交车
黑料不打烊tttzzz入口
喷泉1V3HPO
两个师傅一前一后上
女生醉酒被闺蜜用宝宝背带背回
穿成小团子后萌翻全世界系统
善良的小峓子5中字巴巴鱼汤饭
小东西才几天没做就这样的
落地窗PLAYWRITEAS
2012sbs演艺大赏中字
啦啦啦视频在线观看免费高清5
日本精品无人区卡1.卡
恋夜影院uc全部落频列表支持安卓
在公交车最后一排被多人
亚洲一线二线三线品牌精华液
张小雨洞毛照片
THERMO脱色摇床
打扑克剧烈运动的视频不盖被子
laurenphilips和黑人
rbd-505
护士张开腿被奷日出白浆
melancholy视频在线观看
每人C我半小时
学校成绩差当公共坐便器
跳DAN放在里面坐公交知乎
一抽一出BGM免费
臭小子我是你岳...你不能
宝宝打开腿让我尝尝你的扇贝
日本妈妈厨房与子交
老阿姨才是最有味的
森林里的熊先生正在冬眠无打码
妖艳女忍者传锷女篇
刮伦人妇A极一片
迈开腿快让我看看你的草莓图片
老师迈开腿让尝尝你的森林应用
MAYA我们严重反对未成年访问
S货是不是想C叫大声点儿
往下边塞玉器见客人啥意思
这木马椅就是专门为你设计的
品色堂免费论坛
控制gc玩到哭的感受
windowschannel孕妇生产
语文课代表的胸软软的作文
成人优品24小时自助售货店商品
皇家共享小公主暖玉Q
国精产品一品二品国在线
深夜释放你自己草莓视频
为什么做完以后还要顶
适合俩人运动前看的电影
男女一边摸一边做爽爽的免费文字
上边一面亲下边一面膜的程序
WNTPPS偷窃小便
晚上没人妈妈就是你的人
双人互动插画图片视频
日本卡一卡二卡乱码三
刘耀文在水里做哭宋亚轩
小柔在舞蹈室里被蹂躏
宿舍三攻一受肉双
女生和男生差差差带痛声
随时随地都能干的小镇I
韩漫免费漫画入口页面弹窗登录入口
语文课代表趴下让我桶免费放
太子被暗卫C到合不拢腿N男男
精产一二三产区区别在哪儿啊
扯掉两只小兔子跳出来了动图
你是我的女人4免费观看
宅男宅女电影网
媛媛和老赵在厨房做
离婚回娘家满足爸
晚上被弄得走不动路走不了
我朋友把我玩成了喷泉怎么办
全公司的发泄玩具
乱辈通奷XXXXXHD猛交
三圾片2013目录
武大内野CAMPBUDDY
韩国年轻的老师5
亲吻摸摸蹭蹭抱抱哔哩哔哩
腿打开一点就能吃扇贝
野花视频在线观看免费最新
金银瓶4葡萄熟了
99精产国品一二三产区MBA
百合车车描写文字
羊急了也跳墙完整版
神奇宝贝ag132
奇迹三雄之扑克游戏
有实无名豪门孽恋
坐在学长硬硬的上面写作业
B站大全永不收费2024
after之后1
大女小娟二女小妍
野兽的夜晚第四季忘不掉的前任
小丹乖让我再进去一次的导演是谁
日产2021乱码
14may18_XXXXXL56endian公司
和女朋友坐公交车最后一排
二人扑克剧烈运动打扑克视频
正确进入30个方法图片大全
王者公孙离害羞流口水的表情
从黛玉的身体里退了出来
宏翔小蓝视频GY2023
俄罗斯人和欧洲人的情感差异
我的乌龟要进入你的扇贝翻译英文
腿张大点就能吃扇贝了
日本一姐RAPPER潮水仙踪林
天降女子未增删带翻译整集
边做边爱完整版3在线
一层一层的剥开衣服视频讲解
8X8X网最新地址
三叔一次又一次索要
被校长抱进办公室糟蹋
女人最喜欢的体位
日本一线产区和韩国二线产区区别
第四色最新网站
对象都是怎么C你的过程
墨宗师和踏仙君同时干楚晚宁
虫虫漫画免费页面窗口
年轻的朋友5中文字幕
国精产品自偷自偷综合下载
搞机time下载不用不收钱嘉兴
打扑克视频又叫又疼
无人区码卡二卡3卡4卡变态
学霸坐在学渣的棒棒上写作业
他的白月光HvH桔子糖水百度云
致青春百度影音高清
baiduyingyin
全部都在那个地方在线观看免费
成品网源码7w8w
爱恋2015是真的进入吗
讲讲你们DOI最猛的一次
动漫人物将机机插曲漫画小说
女角色翻白眼流口水流眼泪图片
三圾片2013目录
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1