有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
亚洲一线产区二线产区区别在哪
王者荣耀姬小满被捅的流眼泪网站
肚子里面满满的都是JY日记
我就是要在这里要你
脱美眉内衣小游戏
好儿子妈妈今天晚上就是人
麻豆产精品一二三产区区
美国ZOOM人狗APP一欢迎你
XL上司2第二季带翻译未增
亚洲小鲜肉帅哥GARY
年轻漂亮的继拇3
美国Zoom人与Zoom
男娃JY灌溉系统游戏
杨幂哭着说不能再深入了
GOGOGO大胆艺术风格分析
五月丁香五月伦理
免费啪视频观试看视频感受
麻豆画精品传媒2021网站
脱美眉内衣小游戏
潘甜甜 手机的秘密
欧美lauren philips100
漂亮的丰年轻的继拇3免费看
太慢了能不能快一点
他的手探到我的衣服在做什么
皇上御花园HLH
B级文件中文翻译完整版
与女神同行评价
成品网源码7w8w
被学长抱到没人的地方怎么办
戴了一天跳DAN感受
特别漂亮的媳妇和当官的朋友什么
带闺蜜出来玩被她老公说怎么回她
谢俞坐着震动器写作业车
男生怎么坤坤变大变长教程
jmcomicron.mic2天堂传送
WRITEAS诸葛亮多人
最新果冻传媒MV在线观看视频
小科科黄版无限刷IOS
天天啪夜夜干2007
137最大但人文艺术
14147最大但人文艺术
课后辅导(教室羞耻PLAY慎入)
体CHINESE大学生宿舍飞机
亚洲AV精品一区二区三区不卡
撑起伽罗的腿疯狂输入的游戏
坐在硬邦邦的东西上写作业
我的我的风流岳每2
樱井莉亚百度影音
白莲花的贵妇生活
白晶晶MV果冻传媒妻子的谎言
桌面上都是你的液体
野花高清免费观看
夜趣第一福利官方导航专业
激荡的瑜伽教练
羞羞漫画入口页面登陆章更新百度
被C到走不了路
歪歪漫画登录页面免费漫画入口首页漫画
原神当甘雨被空C出液体
我的好妈妈8日本电影免费观看
51吃瓜爆料黑料官网
漂亮的小峓子4中字巴巴鱼汤饭
动漫人物将机机插曲漫画网站
我的兔子好软水好多的视频
老人船上弄雨荷
我姐姐的朋友完整有限中字
2022男钙GGY钙站
家里什么东西可以代替小玩具
云缨巡街网站入口 漫画
为什么把腿开到最大就不疼了
WRITEAS道具
斗罗大陆女生去掉所有服装
亚洲一卡2卡3卡4卡国色天香app
跳D放里面开最大是什么感觉
饭桌上故意张开腿让公在线观
原神雷神去掉小内图片
用手指搅乱吧未增删带翻译中文
镜子里看我怎么进入你阅读视频
学渣含着学霸几巴的写作业的肉
给我播放片高清MV清晰在线观看
用注射器打水放屁眼里
337VT最大但人文艺术西方
上官婉儿乳液狂飙视频
班长哭着喊不能再C了视频作文
单亲妈妈4电影韩剧在线观看
1377大但人文艺术演员表
三个人玩我一个人什么感觉
selangwuyue
女生说痛男生越往里寨的视频
一面膜上边一面吃下边免费看
麻豆传煤网站怎么下载
日本亲近相尾换伴结局
老妈和我一起嫁
亚精区在二线三线区别第一基
灯草和尚txt下载
换个地方做吧未增删樱花150
快手王多鱼被C视频
寂寞夜晚看免费视频
男生女生一起差差打扑克
优质JY灌溉系统游
野花视频韩国免费观看
日产乱码区别免费的使用方法
床戏哔哩哔哩大尺
alb-219
挺进毛还没长稚嫩的小花苞
宝宝两根就哭男男是不是太早了
亚洲无人区码二码三码区别
漂亮妈妈中文4
扑克牌高清照片免费的软件有哪些
斗罗大陆漫画下拉式完整版免费
无人区一码一码二码三码区别
我一边做饭一边被躁了男男
顶级RAPPER潮水日
hotavxxx
妈妈说我带套才可以
女生喜不喜欢两手探洞
最近新韩国免费
UNDERTALEエロ动漫尼特矮人
同学的妈妈3中字巴巴鱼汤饭惹
迈开腿尝尝你的草莓什么感觉
939W78W78W乳液永久
四房色播手机版
顾氏双生子的玩具2V1
6人轮换C一个
把腰抬过来一点不然我怎么发动
把老师摁在黑板上做了一节课作文
欧美lauren philips100
班级的公共玩具第1章
他C过你这里嘛
扑克牌高清照片免费的软件有哪些
99精品与95优品
野蛮秘笈演员表
乐可车图片( 长图)
输了下面随便处置
精美日产MV二线三线是什么
胸大的姑娘中文字幕视频
丁香婷婷五月情天
中国东北老太婆内谢
韩国床震无遮掩视频
乱码一线二线三线新区破解欧
把筷子放屁眼里不能掉的惩罚
国色天香A区与B区
护士VODAFONEWIFI
BGMBGMBGM老太太交小伙子
把筷子放屁眼里不能掉的作文
我们4个人旅游交换着一个人
输了去谁家受罚抽阴可处置
下肢腿部抬高垫S腿垫翻身垫
年轻的老师滋味5在观整有限中字
品色堂 pin6
成熟交bgmbgmbgm欧
错一道题就往下面插一支笔怎么办
纯纯欲动HD在线
大叔轻一点可以吗
日产2021免费一二三四区在线
天美传媒MV视频中文字幕
解脱mm内衣小游戏
精产国品一二三产品在哪买
他的舌头探进蜜源毛毛虫说说视频
黑料吃瓜反差婊爆料网
如何把自己弄到喷泉
皇家小公主1V3
抱着娇妻让朋友一起弄
XL上司樱花未增删翻译中文翻译
我们换个地方做吧未增删樱花视频
迈开腿让我看看你的里面
HIGH PRESSURE PRISON
中国VODAFONE喷浆
2019天天射干
上官婉儿的乳液狂飙的视频
装醉把自己给流浪汉玩
亚洲无人区码二码三码区别
免费涩涩屋草莓榴莲秋葵绿巨人
我们两个一起轮你好不好
斗罗大陆3大乱斗交大配TXT
亚1州区2区3区域4产品乱码
CHINESE东北女人舒服
国产乱码卡一卡二卡三新区
国模贝贝高清炮轰图
俄罗斯美女艺术照
久久一区二区三区精华液使用方法
家长会上爸爸们灌满幼儿园老师
放课后的职员室未增删带翻译选集
故意让儿子看见自己
我捅了英语课代表一节课
儿子耕种母亲的田
为什么舞蹈生的裆部都是湿的啊
打女孩子PG的方法有哪些
美式1984雪莉和保罗谁厉害
重生回到冷战前军婚
性肥胖BWBWBW69
718吃瓜网网站入口
麻辣烫爱在一起
品性堂免费论坛
C了语文课代表一节课
男男GARYWAYNE
iphone欧美高级
公交车一晃撞了进去没有阻隔
最年轻的小峓子5中字巴巴鱼汤饭
车子一晃一晃正好掩盖我们什么
腿张大点我就可以吃到扇贝了
宝贝它想你了感受到了吗
几天没C你是不是皮痒了视频
小货SAO边洗澡边CAO你动漫
美国ZOOM人与ZOOM欧
嫩叶草m码和欧洲码的区别
女生可以自己双指探洞吗
抬起一条腿对正往里怼
69无人区码一二三四区别
沈兰舟桌子下口扩写
自己塞跳D不能掉出来上学
女生迈开腿让男生吃草莓恶心吗
饭桌上故意张开腿让公观看
受变成小人用棉签
亚瑟2021入口
两根茎同时进去爽不
天堂MV在线MV免费MV香蕉
ZOOM人牛OKZOOM俄罗斯
在车里要了好几次
帅哥GARY视频
倒插莲花是什么一种服务
丰满年经的继拇9M
做的时候按肚子真的有形状吗
杨幂哭着说不能再深入了
一杆长枪直入两扇门
暴躁老阿姨csgo
校园车多肉多的1V2
荒野大镖客暴躁老太太
儿子耕种母亲的田
岳今晚让我玩个够肥水一体探岳
麻花视频3.2.2
两个人一前一后太长了
40部AI明星造梦赵丽颖
免费看桶机三十分钟不用会员
小时候发现妈妈和外公在一起
年轻的母亲5 免费完整版中文版
小霜的高中成长日记下载
仙踪林直接入口欢迎您
中日本乱码卡一卡二新区
刺激的乱亲初试云雨
把班主任C了一节课
麻花星空影视传媒制作公司
最美情侣免费播放视频大全下载
孩子想x我同意了
2023钙GGY钙站男男
3根一起会坏掉的好痛
开车疼痛有声音视频下载软件
够了够了已经满到高c了楼道
今日小鸡庄园答案
雷电将军的俘虏生活30汉化版
冰块棉签夹子酒精pp视频
坐在根茎写作业
整篇都是车的多肉
桃花在线观看免费高清动漫
吃警察爸爸的擎天柱视频
女生小坤坤图片大全高清壁纸
97ai蜜桃欧美图片
输了让同学玩身体全部位置的游戏
人与马是怎么交流配的
Collectivum XXVIII
父母和子女互换
回娘家老是搞我
蜜芽737.mon.忘忧草大豆网
娇妻笫一次被多P
深夜释放你自己草莓视频
人与畜禽CROPROATIO一
坐在木马的木棒上比赛作文
错一题老师肉一次
金麟岂是池中物侯
凝光用嘴帮助旅行者的故事背景
亚洲无人区一码二码三码区别大吗
漂亮的记者韩剧在线播放免费
性姿势48个动图
姥姥今晚都是你的
上课夹了一节课的跳d视频
刚开笣没多久的大一新生
肥胖老奶奶vpswindows
怎么揉女朋友的小兔子描写
荧被丘丘人繁衍后代
朋友的母亲4在完整有限中字第5
宝贝这才几天没做水公交车
原神女角色张嘴流眼泪翻白眼
学长教我做题错一题就放一支笔
18youngchinagir g国
百人围观企业高管全裸跳海
WRITE AS 教官
好妈妈4中汉字
日产高清卡一卡二卡VA
第16话想进来就努力吧欢迎你
她被顶的说不出一句完整的话来
看了让人下面滴水的说说文章长篇
美女被黑人40厘米进入
女生胸前的两个大包包有什么用
搞机TIME恶心直接打开的网页不用下载
2021年4虎的新地址是多少
用我的棒棒疏通下你的水道
韩国妈妈的朋友10整有限中字中国
公交一晃一晃就进去了怎么办
两个人一前一后一左一右
69无人区码一码二码三码区别
欧洲砖码砖区2022免费
我想用扇贝夹你的乌龟什么意思啊
老公带我去跟别人玩的地方
2017最新h无码动漫
吸小兔兔是什么感觉
适合自W看的文段
精产国品一二三产品区别9977
打烊后仅剩二人的沙龙
大团圆结局公交车
我被继夫添我阳道舒服
精JAVAPARSER乱偷
肮脏秘密俱乐部
女孩怎样练双指探洞
两根前后夹心饼干
果冻服务是怎么进行的
晚夜免费禁用十大亏亏
女生越喊男生越要塞的视频
maya已确认满18我们严重反对
重生之填房桐娘
仙踪林company Limited19
顶级RAPPER潮水仙踪林
女生最怕的情侣玩具
阿离掀开自己副乳的视频
爸的比老公大两倍
我就是要在这里要你
宝贝对着摄像头自己做忘羡
四房播播 五月
井川里予被C了
第一次3q大战的经过
宝宝几天没做都湿成这样
Gary1609百叔的个人风格
可以随时随地做的小镇公交车
讲讲是如何c自己女朋友
久别的草原在线影院视频观看免费
大连护士门照片
雷电将军乳液vx网站
西施的乳液怎么样
潘甜甜果冻传媒 在线观看
宝贝我想你用嘴做
徐若瑄魔鬼天使
私人情侣网络站
baiduyingyin
可以随意触摸小熊内部位游戏
yw193龙物安全
桃花社区免费观看在线观看
嘼皇妓院BESTIALITYSEX
人与牲囗性恔配小说
装A刺头怀了禽兽校草崽后
711人体美鮑
老八吃奥利给原视频不遮挡
男车车好快的车车网站污
8x8x海外华为永久免费视频
蘑菇传媒国产MV剧情
寄宿日记是83用深喉咙帮充电
热浪球爱战演员表
坐在老师的鸡叭上写作业作文
小蓝视频GTV推广链接
关上最后的门未增删樱花翻译
韩国妈妈的朋友6观整有限中字
ワンピースのエロ资源
年轻的母亲4有线观
客户的东西比老公的大
我被两个男人玩到早上
国精产品7363
小护士献身取精
用指尖扰乱我吧打烊后2
阿宾之房东太太
描写doi过程的文章
国精产品一二三区区别在哪
双指探洞疼哭了
精品国色天香新区卡一卡二
婚后与父母的交换
翁公半夜吃我下面
日本一卡二卡3卡4卡无卡视频免费
99精产国电影品一二三产区区别
沈阳45岁老阿姨叫的没谁了
年轻夫妇韩剧中文版免费观看
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1