有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
女头部位大胸头像
躺在我跨下的英语老师
渺渺当着全班人在体育课上
腿分大点就不疼了 免费播放
怎么样吃女朋友小扇贝
语文课代表哭着说太大
大孔雀和美丽姐的故事
1和0是怎样进入做的图片
优质JY灌溉系统游戏
高潮插的我好爽再干噢在线欢看
污到你下面流污水的说说
开心四房播播网
MDL0008-1沈娜娜
伦理电线在2018
他的手放在了我的珠穆朗玛峰上
相府嫡女1V3
抖音奶片已删除的视频十五秒
无限动漫网 在线播放
我们结婚了世界版中字
10种禁用的漫画软件
年轻的妈妈观有限中字
黑帽门7分40视频照片豆瓣
野花韩国高清完整版在线观看5
AA级女人大片
晚上睡不着偷偷看日本B站
中国小鲜肉GARY网站有限公司
国产精品女主播主要上线
任你爽任你鲁任在线视频
A乱码1乱码2乱码3
腿开到最大真的就不疼了
聊斋艳谭之孽欲孤鬼
宝宝腿再张大一点就能吃到扇贝了
女生迈开腿让男生吃草莓恶心吗
涩涩屋草莓榴莲绿巨人秋葵
被兽人灌得鼓起来
芒果视频ios下载安装无限看丝瓜ios免费大全
云缨用长枪C自己的B
睡过一次和n次的身体变化
小小水蜜桃3视频在线观看
一面亲上边一面膜下边文字的含义
阿根廷 舞林大会
斗罗大陆人物黄化
中国speakingathome宾馆
东北老女人大叫痒
白天是狗晚上是丈夫
无人影院在线播放视频
成品人和精品人的区别
车肉短文300字左右
班花哭着说3个一起会坏的
公嗲器好大好H
xl上司带翻译没有马赛克带中文
他的炙热在我那不肯退出
国产午睡沙发系列
公I公在厨房要了我在线观看
黄色软件app下载3.0.3每天三次oppo版
把她日出了水好紧太爽了
比赛输了任对方看和玩部位游戏
老公回家就吃我的奶奶怎么办
拉婆婆下水和大黑狗
最近最新高清中文字幕免费大全
被男友咬小兔兔的感觉
最近的中文字幕2019国语
雨果 百度影音
美国VICTORY DAY姑娘
野花视频最新免费
老外和中国女人毛片免费视频
我得到了妈妈的桃花源
亚瑟首页YASEE
精产国品一二三产区蘑菇视频
亚精区在二线三线区别99
上课夹了一节课的跳d视频
爸爸的东西又大又黑怎么形容
抽的越快声音叫的越大
好满射太多了装不下了软件
对象都是怎么顶的
LASTDAYONEARTH儿子
小舞去掉所有服装图片
狠狠日日干2017
厨房做剧烈运动视频扑克
接电话顶C的说不出话
8x8x我要打机飞在线观看
校花喂奶门卫老头
writeas
怎么用一根棉签弄自己
张书记不戴套干雨婷
顶级RAPPER潮水
zljzljzlj日本人大
极速天使里面的英文歌
小东西才一根就坚持不住视频
老狼一卡2卡3卡4卡2021免费
小蓝彩虹男GARY2023网站
对象吮自己小兔兔的感受的视频
高中校花陈若雪H校长
女性为什么喜欢三指探洞呢
塞跳D不能掉出来上学
VODAFONEWIFI性另类
再往里一点啊对就是哪里
售票员用b验票小镇免费阅读
生物老师拿自己当做繁衍例子
把腿再张大点就可以吃到扇贝了
女篮坎贝奇惊艳三部曲叫什么
人间小喷泉1V3HL
linode日本iphone奶
小东西才几天没做就紧了
王者李白吃王昭君的下面
你里面太温暖了
成品网站W灬源码火龙果
欠C的玩意SB就是用来C的HI
倒插莲花是个什么动作
教学生瑜伽的时候进入
男孩子淦哭男孩子视频免费
男生把自己的QQ放入女生的QQ
老丈人的东西又弯又长
和爸爸早餐的时候连在一起
老公生日3Q的开始
大型丁香成人社区
帝王怀孕肚腹挺起
联谊对象是肉食系警官末减版
向小小花蕾深处前进讲的是什么
年轻的嫂子3韩版带中译
老师的兔子又大又好吃作文
《水泄不通》txl金银花
沈浪与苏若雪最新
2022国精产品一二三线
51吃瓜今日吃瓜入口
成品源码1688网站免费版
朋友的母亲3有限中字木瓜
腐烂水蜜桃NPC
国产AMS1117
富二代国app产下载
韩国演艺圈事件
班长哭着说我会坏的
aeroflot
两个男孩子开车长视频
我的兔子好软水好多双指探洞小说
落地窗PLAYWRITEAS
亲爱的老师韩国5看的电影
三叶草亚洲码和欧洲码区别入口
优菈的乳液狂飙天堂W98
亚洲卡1卡2乱码新区仙踪
善良的的老师3
成品视频网站W灬源码是
欧美RAPPER潮水一欢迎您
顶级大但人文艺术视频音乐
一卡二卡3卡4卡乱码新区
快穿之攻略公嗲之粗汉H
1区1区3区4区产品乱码仙踪林
ipx118怎么被称为神作
国产午夜精品AV一区二区麻豆
快四十了水还是特别多
大小姐与流浪汉
年轻的阿姨1在观整有限中字
老师洗澡让我进去桶她的视频
久久这里只有是精品23
伊人大杳蕉中文在线看
WRITE AS 惩罚游戏
《玉蒲团之西厢艳谈》
动物胶配方视频高清大全动
acca少女网课视频
前夫见我一次上我一次
污到你那里滴水不止的描写
精产国内经彩一二三产品区别在哪
非洲四个黑人rapper组合
漂亮的小峓子中字HD电影
波多野结衣42部视频在线
母亲とが话しています第一
李宗?外流视频在线
女女开车车好快的车车
两根前后夹心饼干
麻豆专媒体公司网站
快让我吃一下你的小扇贝什么意思
英语老师的大白兔子又大又好吃
棉签怎么玩哭自己
国产日产欧产美韩系列国
无翼乌邪恶彩色无摭挡
XMXMXM18美国
仙女的JIOJIO放在你的鸡上
一女大战七个黑人到喷浆
雷电将军八重神子被淦出水
麻麻熟睡让我滑进去了
宿主的任务是收集jyH
欧洲一卡二卡三卡
你就可尽的弄我们娘俩
太大了小喜涨死了
瘾欲欢愉半块小饼干霸
玩弄老太太的BBB
妈妈一边喘气一边说嗯是怎么回事
菊花PROJECT视频BGM
小茗看看视频在线观看
男人又大又硬又粗图片
xax was was
美女露出尿口让男生爽痛
トイレの花子さんVS屈強退魔師
张津瑜视频夸克下载
ai少女进入后怎么导入建筑
WRITEAS撑桌上
MD豆传媒一二三区进站口在线
YW.8827.龙物视频永不失联是多少
yy6080高清影院理论
老奶奶BGMBGM
农夫导航永久地址
我在英语课上强干英语课代表
老卫和淑容全本
刺激妇乱子伦真实故事
谁知道4虎的地址是多少
mide-008
始料未及的软1v2H
一个奶下面一个鼎是什么字
椅子上放一根很光滑的木棍
美国VICTORYDAY妇女
弄了一个女孩子几次是什么意思
我一边做饭一边被躁了怎么回事
娇妻出轨的秘密
被子里怎么无声自W超疼
韩婧格槟榔视频
老师的大兔子好软水好多图片
9uu.cm有你有我
萌白酱弥漫甜味纯白旗袍
如何弄到自己喷泉
插花弄玉曲径通幽
坐公交车一晃一晃的
WRITEAS道具
在公交车上被一个接一个的C
EveIynCIairn黑白配
便利店的少女z未增删带翻译樱花
含羞草传媒隐藏入口免下载
美国又大又长又租
腿再分大点就可以吃到扇贝了视频
低头看我们结合的地方阅读
走绳子打结PLAY
菠萝蜜国际一区麻豆
都市传说系列未增删带翻译樱花
欧洲乱码卡1卡2在线
坐着震动器写作业的感觉
B站大胆人文艺术4K
春暖花开 x吧有你
极速天使里面的英文歌
日本无人区码SUV
14岁女生迈开腿打扑克牌正常吗
成年动漫3d无尽视频
爸爸家里没人用点力
干柴烈火儿媳苏姐结局如何了
妈妈的桃花源生命之门
甘雨去掉小内趴在地上打扑克
旗袍全开襟双人运动
95W乳液78WYW永久YW1129CM
WRITEAS棉签
七个人玩我一个人
在大街上打开遥控器开关
求你把跳d遥控器关了
黑人肉大捧进出全过程动态
2022Ggy钙站-MBA来源
用用点力快要到了
健身私教弄了好几次PO
欧洲RAPPER潮水太多
日本不良网站正能量入口大豆行情
美女露出奶头扒开尿口让男人桶
小鲜肉GARY2023飞机小蓝
WRITEAS丝带
半夜发现外公趴在妈妈身上
696969c大但人文艺术作品
欧式春画图片大全欣赏
丫头牦户一张一合
最近更新2019中文字幕国语
美女脱精光让男生桶莫扎下面
儿子一晚上要了我三回怎么办呀
花蝴蝶在线观看片3
中文在线12月18日快速反弹
喜爱夜蒲1国语版
何小莹被老头拖进树林里
19岁辣妹图书馆
18分钟处破女好痛
小SA0货大JI拔CAO死你啊
ZOOM与人性ZOOM2023
日本最大但人文艺术欣赏
中国人成熟视频
Zoom与人性Zoom1区别
做到让你怀孕的樱花动漫
你们老公玩你的时候都是怎么说
便利店的少女未增删带翻译
同时和两老师双飞
一前一后会坏掉的
年轻的母亲4中字巴巴鱼汤饭
小泽玛利亚 种子
不叫我就做到你叫
世子很凶插花弄玉前进后
看镜子里我们的结合的地方科学
丰满圆润大胸在线
缘之空哪几集开过车具体
美女图片禁欲系高级感
免费B站推广网站有哪些
英语老师的大白兔子又大又好吃
顶的速度越来越快过程
林妙妙被体育老师
葡萄不能夹烂也不能掉出来
伦理在手机观线
肚子里全是JY鼓起来了
麻豆我精产国品一二三产区区别
妹妹中考前让我C了一次作文
4399在线电影免费观看手机版
韩剧二人扑克剧烈运动
塞跳D开最大挡不能掉哦
公交车撞到最里面去了贴吧
没带罩子让他玩儿了一天怎么办
贺朝在谢俞里面塞棒棒糖
和女朋友坐公交车最后一排
丝瓜草莓向日葵草莓18岁在线观看免费版
樱桃视频首页在线观看
男人想让你亲他的私下代表什么呢
凌晨三点看的片日本
5g影讯5g天线在线观看免费下载
夭天曰天天躁天
两阳夹一阴后期走势
我在公交车上弄到高C的作文
全部都在那个地方在线观看
全世界最好的你免费观看
love可儿秘密花园
初中女生说疼男生继续往里寨游戏
逆爱 再爱我一次
精品成品国色天香卡一卡三
china中国青年gary外卖抖抖
日本打扑克克又叫又疼
重生之军门狂妻
和朋友换娶妻10
开襟旗袍做运动狂飙乳液
解脱mm内衣小游戏
棉签怎么玩哭自己
绿巨人推广APP网站入口官网
MELANCHOLY在线播放
俺去啦怎么打不开
沈浪与苏若雪最新
善良的小峓子2在钱中文版女主角
免费BGMBGMBGM胖老太太东北
日出水了好深好涨
他带我去没人的地方吃我豆腐
天美传媒免费观看MV天美网
宝宝我就在外面蹭一下爱情花季
坐公交车最后一排轮
小米和爷爷和爸爸宴会
日文中字乱码一二三区别在哪儿
GTV小蓝视频网站链接知乎
丰满的女房东在线观看6
老师白妇少洁第2部
潮湿的心HD完整版
体育老师C了一节课
りなとあな里菜的痛
小SB真是欠C
几天没C你是不是痒了免费
芳草地在线观看播放在线观看
刘耀文往宋亚轩塞TD
秘密教学第83话田里开机
濑亚美莉最好看的几部
gransremedy老太太
为什么我坐他上面总是掉出来
情侣插秧的100种方法
总裁缓慢而有力的往里挺送
1v1肉从从肉到
怎么小SB又痒了
变形金刚 1080p
始料未及的软1v2H
搞机TIME恶心网
怎么把自己扣的全是水喷泉访页
班长没带罩子让他玩儿了一天
饭桌上故意张开腿让公在线观
牙医姐妹赤子板栗
大神同学想吃掉我 樱花
好老师的小兔子好软水好多
印尼女性rapper
2014年4月里番
小14萝视频资源站
色即是空2电影下载
蜜桃成熟时33d bt
王者荣耀英雄打扑克软件
散漫男的恋爱制程
这几天没C你了是不是
大将军1V2LH檀洙角色分析
炎炎消防队生肉
爱情鸟论坛com高清免费
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1