有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
引导儿子上自己的办法
大黑阴BBBWBBW
麻花传媒MV一二三区别
AI人脸替换白鹿造梦喷水
边做边爱完整版3
1区2区3区4区产品不卡码
国产尺码和欧洲尺码视频
三叶草日本码和中国码
2022Ggy钙站不能用了
最近中文字幕免费大全8
迈开腿让尝尝你的森林动漫
学生和妈妈的朋友
年轻的朋友6 韩国
你怎么这么耐c啊宝宝视频
japanese日本护士booloo
白嫩的白嫩的BBBBBB
晚上偷偷看B站欢迎您
年轻的母亲6兔费线6
带着跳D走路舒服吗
一个人看BD高清在线观看
原神八重神子被捅流口水的游戏
原神雷电将军把乳液喂给旅行者
痞幼视频3分25是什么
两对夫妻一起旅游互换的说说
交口图片30种图片大全
国色天香精品一卡2卡3卡4
果冻传媒母亲和女儿李琼
波多野结衣42部视频在线
豪妇荡乳1一5
一二三四在线播放免费观看中文版视频
污到你那里滴水不止的说说
美国男人的大鸟
WRITEAS撑桌上
亚洲无人区一码二码三码区别
黑帮大佬与我的365天
被多个强壮黑人灌满精H
YELLOW片完整版高清百度网盘
もし祢豆子が悪いった
伽罗といちゃつきたい腿法
漂亮妈妈的Logo
WRITEAS 教室
宝宝放松一下进去就不疼了
双人床上做的运动剧烈打扑克
爱情岛论坛网亚洲品质
宝宝腿开大点就不疼了在线视频
再见美丽小姐剧情分集介绍
午夜dj在线观看高清
没带罩子让C了一节课时
我年轻漂亮的继坶8
WRITEAS锁精环
最刺激的乱惀小说合集
外出佩戴小玩具的感受
疫情期间在家日老妈
一天晚上用了好几个小雨伞
这才几天没做你就那么多水
中国speakingathome宾馆
两个男孩子开车长视频
桃花在线观看视频播放免费
老婆和别人刚干完我又干可以吗
acca少女网课视频
吉泽明步种子下载
事物的秘密截取水中一段
108式春床图片欣赏
国内色母与进口色母区别
办公室内衣樱花未增删翻译
宝宝腿开大点就不疼了免费视频
车里一下比一下撞的狠
两阳夹一阴的双响炮后续走势
体育课没带罩子让捏了一节课
BBOX撕裂BASS孕妇公交车好莱坞
赴约BY际慈PO
原神雷电将军乳液狂飙视频在线观看
恋夜影院全部视频列表
成品网站W灬源码1688游戏
原神甘雨被空C出白色液体
学渣坐在学霸的棒棒上写作业视频
黑人vodafonewifi巨大
人与畜禽共性关系美国
跟前妻见一次睡一次
日本欧美韩国推理片在线观看
往下边塞玩具坐公交是什么感觉
把女人弄特爽黄a大片
野花高清在线观看免费官网中文版
做错一道题就被学长c一次
精产国品一二三产区区别在哪
肚子里面满满的都是JY日记
羞羞漫画破解版免费阅读网页版
小泽玛利亚种子
147人人艺术
布洛妮娅翻白眼乳液狂飙
不知火舞和三个男儿3
疯狂厨房双人模式玩法
18款禁用入口网站
videosdesexeen英国
xl上司带中文翻译
儿子一晚上要了我三回怎么办
冰块和棉签弄出牛奶视频
在线天堂おなあちゃんなにか
狗头萝呼啦圈视频26分钟什么梗
女刑警被两个黑人前后夹攻
两个人免费视频高清完整版
WRITEAS内塞式猫尾
善良的老师3完有限中字木瓜
自W到高C的25种方法视频教程
最新中文乱码字字幕在线
美女脱了个精光露出奶囗和尿囗
2024钙GY钙站
99精产国品一二产区在线
中国人看视频免费
高压狱警1美版免费
年轻的母亲2在线线观中文免费观看
为什么对象吃完奶头会变小吗
2018国产大陆天天弄
男女在一起翻雨覆雨电视剧
戴着电动玩具逛超市
逆爱 再爱我一次
张柏芝艳门照照片
张婉悠厕所门快播
晚上一个人睡不着在线看
娇妻玩4P被三个男人伺候小说
秘密教学90话以后不再压抑
秋葵 茄子 丝瓜 香草 榴莲污网址
最近免费中文字幕中文高清6
国产一产二产三精华液
井川里予黑料33秒怎么看
Nagoonimation Works3D
中国国产免费毛卡片
日本实施一卡三卡四卡无卡免费
富二代APP软件下载安装
一体6交是哪6个地方
最舒服的一次是在哪儿
如何把自己玩到喷泉视频
美丽姑娘高清日本版图片
上课用跳D的经历
双胞胎一前一后夹心饼干双子
上楼梯时故意一点一点
精品无人区码一码二码三码区别
小东西看我敢不敢c你
爱你24小时不打烊
国色天香精品卡2卡3卡4
无翼乌无彩无漫画
我和大佬的365天
美国VICTORYDAY妇女
日本工口里画番全彩
王者荣耀阿离嘴巴里含着口水
无线乱码A区B区C区
男生无收费看污网站
S货是不是又欠C了公交车
王者荣耀女英雄被捅到流口水
岳今晚让我玩个够肥水一体探岳体
一面亲上边一面一摸下边APP
undertaleのエロ
老师迈开腿让尝尝你的草莓是什么
教练把车开到没人的地方去了
甘雨拔萝卜视频素材
妈妈的朋友5完整有限中字木瓜
女儿的朋友中字头
一个人偷偷看B站
acfun俱乐部
他那里早已支起了帐篷
唐三插曲比比东不亦乐乎
男人J放进女人屁股免费观看
男人J放进女人屁股免费观看
舌绕指探洞深深浅视频
毛笔夹在里不能掉出来写字
体育老师拉着我做了一节课视频
天天想你视频免费观看高清在线
小东西几天没做怎么这么多水作文
国精产品一区一区三区糖心
美国ZOOMDOG2019
女子扒开腿让男生桶爽
彩虹男GARY2022
学霸写作业让受自己动
READ[长弓燧龙] 甘雨 (原神)
WRITEAS做作业
一二三四免费中文在线1
国产精华最好的产品
赵露思乳液凸出来了
练瑜伽的时候进入
8小8X华人免费2020
品色堂 永远免费
父母儿女互换干
男生和老师一起差差差作文
男男车车好快的车车网站
Chinese体育生solo
随时随地都能干的小镇
欧产日产国色天香区
新娘无悔的爱第二部
漂亮的小峓子中字HD电影
馋你了今晚想吃馒头
日本对澳大利亚
太大了坐不下去太痛快
小洞饿了要吃大火腿肠吗
MELANCHOLY在线播放
不可接近的女士漫画
怡春院宜春院美国十次
疫情期间日老妈
早上起床抱紧我未增删樱花
B的几种类型图例
野花高清在线观看免费5
卵蛋网gif动态图出处
中国VPSWINDOWS睡觉
英语老师没戴套让我C了一节课文
宝宝你的水都拉丝了
动物胶配方大全高清
厨房里两只奶头被吸肿
有谁帮自己的儿子口过
污到你那里滴水的说说细节多
无限资源日本电影
被自己买的机器人做到哭
金鳞岂是池中物候龙涛
日韩天码砖区2021
欧美无矿砖一线二线三显卡
门卫老头吮她的花蒂在线观看
2019理论片电线
东南亚少女rapperdiss
让我蹭一蹭宝宝
张津瑜事件处理结果
水蜜桃视频下载方法
王者荣耀曜把西施顶哭了
公交车动一下就撞一次
大长腿白丝被C到爽哭了
御花园皇上撞着太子妃
家里没人儿子就弄我了怎么办
腿再打开一点就能吃到扇贝了图片
5g影讯5g探花网址
星空传媒XK8033房东
圣城风云第二季
旅行者的J桶进雷电将军的B
小柔在舞蹈室里被蹂躏
汤加丽生殖大图147网站
CHINESE体育生东北露脸SOLO
父母儿女互换干对家庭成员的影响
处钕膜被捅过程图片
成品禁用视频APP短视频
他的白月光HvH桔子糖水
张筱雨的人体艺术
贪欢经典片在线播放
许仙终于把小青日服J
如何一根棉签C哭自己
石榴裙下的温柔
美国人免费XXXXXL19
一口一口吃掉胸口上的奶油
英语课代表趴下让我桶
埃及艳后 电影国语
老太太BGMBGMBGM性
WRITEAS假阳
帮帮我爱神豆瓣
WRITE AS 轮
宝宝坐上来自己动好不好网站
狗头萝呼啦圈视频26分钟什么梗
小娇乳H边走边欢1V1视频国产
51成品网站W灬源码16章节
没带罩子让他C了一节课作文动漫
女人自卫慰图片
男朋友抱着我在图书馆做
云缨巡街北北北砂禁温漫天堂网址
麻花传媒免费观看版特色介绍
倒插莲花是个什么动作
动漫人物将机机插曲漫画小说
张书记不戴套干雨婷
亚洲一卡2卡三卡
一二三四日本高清视频动漫
缘之空第几集什么时候开的车
掌中之物何妍被多少人上
人与畜禽CORPORATION
大武当之天地密码迅雷下载
师奶杀手是什么意思
传媒XK8027我的妹妹
zoomdog2019
啊哈哈哈哈主人我错了哈哈哈哈柯
哭着说不能再C了再C就生了
姜汁撞奶POH之初
含着校霸JING液去上课H
放课后の优等生3熟肉樱花动漫
滑滑梯越往下越疼的那种图片
双人打扑克剧烈运动视频大全
韩国女主播种子
强干奥迪4S店女销售
英语课代表上面好软在线播放
搞机time恶心10分钟不要钱
充气娃实战过程图片
在公交车上弄到高c的数据
坐在上面怎么晃教程动画图片
公交车上破了两个小学生
潘金莲扬思敏全集1一5集
浪翁荡熄的幸福生活
痞幼视频3分25是什么内容
国产无人区一卡二卡3卡4卡在线
校园春色武侠古典系列
轻轻剥开你的罩子一口咬上头
爸刚走爷爷就来抱妈妈怎么办
儿子那东西比丈夫的都大
北方某KTV4男6女混乱轰趴
国内女RAPPER大全
my88816蜜芽入
打扑克牌又疼又叫
国精产品一二二区视早餐有限公司
2014年5月里番合集
抖音奶片没带罩子52秒回放
无人区一码二码三码是什么意思
罗马帝国艳情史图解
ZOOM人牛OKZOOM
美国又大又长又租
花蝴蝶在线观看片3
渣男渣女做不干净视频
早上起床前要抱紧我风车动漫
某处紧密的结合在一起的意思
总裁尺寸大的进不去
WRITEAS刘耀文插宋亚轩
刚开笣没多久的大一新生
妈妈说我带套才可以
双子ノ母性本能
小时候发现妈妈和外公在一起
新娘无悔的爱第二部
哥斯拉大战金刚片尾彩蛋
张津瑜三部曲都在哪看
S把M骂湿的句子
在车里打扑克的又叫又疼
精品一卡2卡3卡四卡在线
WRITEAS电动猫尾巴
秘密教学93话恩爱久等了梦境
夏家三千金2部
果冻传媒免费观看4399
什么是主题公园
渣男渣女做不干净视频
在车里撞了我八次高黄肉
教授好会c1v1笔趣阁
把八重神子焯出白水怎么办
精产国品一二三产区区别麻豆
他一遍又一遍索取
处钕膜被捅过程图片
精东传媒一二三区进站口
小sb是不是又欠c了若若
bbox撕裂bass俄罗斯
高清无码成本人视频
5G影讯5G天线在线观看免费网址不用下载
吃饭时某处紧密连接在一起
从后面抱着妈妈突然脸一红
公交车后车座的疯狂CGH
被一条蛇c到崩溃的文章
一个人看的高清WWW哔哩哔哩
动漫人物不遮掩的扑克视频
免费VX雷电将军乳液网站
色天使色护士在线视频
草榴新时代的我们
无人区码一码二码三码区别大吗
我的XL司第三季免费观看翻译
精品卡一卡二新区仙踪林
被当成发泄玩具的一天作文
小龙女只感觉那只巨大的火龙
小SB是不是又想要了H
5g网址点此进入
md传媒免费观看在线 小说
睡过年纪最大的多少岁六十多
痞幼视频黑料不打烊
缘之空哪集开的车
RUNAWAY韩国动漫免费网
51成品网站W灬源码16章节
老公都是怎么上你的
粉色视频APP下载安装无限看丝瓜苏州
日本24时爱如潮水末删版
玛雅maya 确认 已满l8岁
输了下面随便处置一天
布洛妮娅翻白眼乳液狂飙
一个农夫色导航
和亲公主19楼
傻大壮长的驴一样的东西
乖好好含着待会就给你
萌白酱17分钟视频
lovely cation
宝宝下面湿透了还嘴硬怎么办
无颜之月带翻译樱花中文翻译
OldMacDonald老和尚
王者荣耀公孙离被捅的流口水视频
岳两腿之间白嫩的小缝
JUL532外勤突然下大雨
老公想睡我妈可以吗
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1