有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
XL动漫未增删带翻译
每集都打扑克的美剧
王者荣耀瑶白色液体喷到脸上
老婆同意再找个男的
《我的兔子好软水好多动漫》
UC搜索WWW你会感谢我的
漂亮妈妈7韩国在线观看
实时观看双人床上做的运动扑克
GARY18一19帅气男孩
公交车多肉短文300字左右
好满射太多了装不下了动漫软件
太久永久回家地址TAI9.VIP 保存永不迷路
让我尿你在里边好不好h
对象吃我的奶奶感觉
好满射太多了装不下了真人
妈妈说家里没人我们可以做
月光视频在线观看免费播放
英语老师没戴套让我C了一节课
善良的小峓子中字巴巴鱼汤饭视频
奇迹三雄之扑克牌游戏
双乳被一左一右的吸着
2012sbs演艺大赏中字
亲胸揉摸下面刺激视频
姐姐的小兔子又大又软作文
斗罗大陆人物黄化
孩子还没睡老公侧面做
日产乱码一二三四区别免费播放
xfplay365每日稳定资源站姿
被C了一晚上是什么体验
输了被罚让别人玩一个月
女性的阴性部实图张开
腿张大点我就可以吃到扇贝了图
四虎影库紧急大通知
香草乱码一二三四区别
他把手探到我的衣服里作文
女生把筷子放屁眼里不能掉作文
美国十次 导航
都湿透了还嘴硬疼咋回事
侍卫把贵女怼树干
免费吃瓜爆料网站
我的兔子好软水好多PO
小东西这才一根而已
你就可尽的弄我们娘俩
欧式春画图片大全欣赏
九一制片厂果冻传媒APP
天堂妖精18精神出生有多少魔
lululemon露露瑜伽服
网红打扑克牌网站
父母儿女媳妇一起来的寓意
夜间正能量网站
我与儿子发生了不该发生的事
大胸年轻的搜子
黑料网-独家猛料-曝光揭秘
把棉签放屁眼里一进一出
将电动牙刷放在小洞里
大团圆公交车大结局2
18款夜里禁用b站
电车 之狼攻略
GARYWAYNE男男视频
日式小黄油推荐
日本无人区码一码二码三码四码
12may18_XXXXXL56endian49
你是不是我的小SB
顶一下叫一声是什么意思
美国呼吸道疾病病例激增69%
娇妻玩4P被3个男子伺候辣文
XL樱花动漫未增删带翻译
日本24时爱如潮水末删版
德国大8BW德国大8Bw
瑜伽老师上门教课
被自己买的机器做到哭
处钕膜被捅出血图片
女孩输了让对方随便处理自己
别人拿着跳D遥控器控制自己
接待20厘米长的客人
太深了吧唧吧唧吧唧吧唧吧
在图书馆往下边塞东西
一二三四日本无吗
赴约BY际慈PO
最近中文字幕完整国语
一切从裸露开始
欧洲一卡二卡三卡 公司
5G天天奭多人运动网站入口
练瑜伽的时候进入
为什么我坐他上面总是掉出来
无限动漫视频在线观看
穿戴式跳D放在里面逛超市作文
刺激妇乱子伦短篇
把这个放进去自己按下开关
男男GARY2022
小东西几天没做怎么欠c了
18款禁用软件APP哔哩哔哩
善良的小峓子在前线观看
幼儿hiphop张婉莹仙踪网
写的超细的开车小黄车片段
欧美精产国品一二三类产品特点
为什么要手先进去扣
漂亮的保姆完整版免费中文版
破了英语课代表的那层膜
老师迈开腿让尝尝你的草莓是什么
一不小心溜进了母亲的生命里
小学生被小学生插曲
韩国女主播小青
不遮挡打扑克剧烈运动直播
18-19MACBOOKPRO高清
抖音没带罩子52秒
adc影库确认年龄18点此进入
qianqiandianying
小蓝视频GARY2023入口
极品Y荡人生白柔柔
TESTFLIGHT男人必备什么意思
满肚子浓精涨走路子宫
男人把j放进女人的下面的视频
最近中文字幕2019国语4
黑料不打烊导航首页SEO
LINODE娇小IPHONE69
如何引导让狗狗上自己
女角色翻白眼流口水流眼泪的游戏
最近最新在线观看免费高清完整版
胸前两只白白的小兔子跳出来
国色天香直播在线观看免费
FREE?性护士VIDOS呻吟
善良的公与熄BD
离婚前再做一次爱可以挽回吗
风间由美 熟女
老奶奶i will follow him
姑娘日本大全免费观看版中文翻译
小黄车小短文300字
寒假自罚表要残忍必动隐私
在车里被撞了八次高AO视频
小小水蜜桃免费看
鲍鱼蜜芽永不失联
侯府荡女H叶凝欢H
Javaparser厨房好妈妈
老师你的兔子好软水好多的图片
幸福宝8008APP隐藏入口免费
女生奖励自己隐私越狠越安全好
一卡三卡四卡无卡免费
很详细的肉肉床文过程
我的青梅竹马是消防员动漫未增删
男生和女生一起错错错30分钟电视剧
前面一根后面一根运动
国内精品自线在拍
忘忧草.WYC.IA
亚洲日本一线产区和二线
穿越到兽世不停做元
南昌一中掏脑子挖眼睛是怎么回事
说说你们老公夜里怎么搞你的
无翼乌漫画教师全彩
魏晨破赵奕欢的处图
YN荡校园运动会笔
啪嗒砰3 召唤
儿子你比你爸的都大
人狗胶配方大全图片
穿越到兽世不停做元
百人围观企业高管全裸跳海
两个男人一个前面一个后面
xXXXXL2022
全彩口工漫画母系惩罚5
doctor strange
每天都是被C着醒的
69麻豆天美精东蜜桃传媒潘甜甜
为什么男人抽的越快女的越叫
国精产品呦呦仙踪林
japonensis成熟大豆
歪歪漫画登录页面免费环球
妈妈的朋友4男演员是叫什么名字
从厨房一路顶撞到卧室门好吗
国精产品一二三四区产品
国产精华最好的产品
把腿再掰大点就能吃到贝壳
喷泉H1V3HL慕深
欧洲一卡2卡三卡4卡毛1
扑克牌又痛又叫软件免费下载安装
津渝视频完整版第一集
魔弹之王与战姬漫画
体育生GARY猛烈GARY
h动漫美女图片
丰满年经的继拇9M
中文字日产幕码三区的做法步骤
晚上爷爷总是压在妈妈肚子上睡觉
我的很大你忍一忍
每走一步就深深的撞一下自己
隔着睡衣吃你的小尖尖作文季柠
大龟慢慢挺进我的体内什么意思
狗的东西又大又长干了一晚上
如何玩自己的R头到腿软
秘书的兔子好软水好多车作文
夜倾情之保姆的诱惑
国精产品WNW2544
好男人视频2019在线观看
色母u6与pA6色母区别
啪嗒砰3 召唤
玉渊谭天究竟是什么人
2021国产麻豆剧传媒最新章节
王者荣耀李白吃王昭君的大B
腿抬高一点就能吃到扇贝肉HD
最近2019免费中文字幕
年轻的阿姨3完整版
激烈啪啪啪动态图
东北老太太BBWBBWBBW
原神雷神ドラえもんのエ网站
女生迈开腿让男生打扑克二次元
宝宝腿再抬高一点好不好
太鼓达人dx dlc
管鲍分拣中心富二代丝瓜
已满18周岁从此转入
男生说捅爆你的甜甜圈
甘雨从尿道口挤出白色脓图片
老婆说她想尝试多人怎么回复
掌中之物何妍被多少人上
女头粉色部位上半身大胸头像
wallpaper原神18入
可以随意触摸内部位的学校
早就想在车里要你了视频
日本vodafonewifiAPP
TOMHAYAXORAX2395
5g天天奭多人运动
既是母亲又是老婆
十8禁用B站在线看漫画软件
麻豆视传媒官方网站入口
用你的舌头我要亲爱的谁唱的
亚洲日本一线产区二线产区在哪里
让你尝尝我的尺寸
野花香社区TV
晚上打扑克疼的视频声音
黑白配高清HD1080完整版
儿子好妈妈的HD3中字抢劫
陌陌小华佗劲爆视频
用...用点力一点快到了
国精产品WNW2544
王尹平竹子走秀照片
品色永远免费论坛
FREEZEFRAME丰满寡妇
我把数学课代表捅哭了
欧洲无人区卡一卡二卡
日本RAPPERDISSSUBS13
oldwoman老太中國
古言骨科高能lH
伽罗脸红流口水流眼泪翻白眼
在阳台试试好不好
19岁macbookpro免费
七个人玩我一个人
白丝双马尾被疯狂输出
仙女棒坐姿图片大全大图
跳D放在里面走路感受描述
女生迈开腿打扑克又痛又痒怎么办
大菠萝福建导航app
国岳的前妻照片
单亲妈妈4电影韩剧在线观看
bgmbgmbgm毛多多视频1
老板一个月都要玩我几次
小洞饿了想吃香肠有声音作文
女婿的比丈夫的大得多
漂亮的小峓子中字巴巴鱼汤饭
成品网站nike
娇妻玩4P被3个男子伺候
最新三级别推荐
亚洲卡2卡三卡4卡2022老狼
日产中字乱码一二三
如何一支笔C哭自己
女人荫蒂勃起后图片
家里没人我弟把我做了
在语文课堂上插英语课代表
国色天香一二三产区是哪里
孙尚香站在板凳上给刘禅辅导作业
漂亮的保姆完整版免费中文版
下课后的优等生未增删是什么
八重神子去掉小内趴在地上打扑克
夜晚睡不着看B站
前男友又大又长我忘不了了
看见你的棒棒就想吃是什么歌
妈妈的朋友4在观有限中字
6人轮换害羞了
外网9分10张津瑜链接
吕知樾张津瑜视频外网
一支笔c哭自己从自w到高c漫画
春暖花开xing
中国XXXXXL免费
公嗲嗯啊轻点公大ji巴
体育馆地板上c渺渺
肉多车速快的推荐
爱情岛论坛2019年免费
玩弄朋友娇妻呻吟交换电影
MD传媒MD0076老师家访在线观看
一直喝水不让尿的高黄车
公交车舒婷1一20全文
手游走在腿的最里面
纯情太子被美女当众扑倒
一二三四免费中文在线1
唐三插曲比比东插的不亦乐乎
内射老妇BBX
如何把自己弄到喷泉
成品网站W灬源码1688游戏
性情中人 bt
姐姐说想做可以找她
三年片在线观看免费观看大全下载
一前一后三个人轮换的英文怎么说
宏翔小蓝视频GY2022的特点
女人越喊男人越往里寨电视剧
女生说痛男生越往里寨的文字
黑暗时代读书写字
丁香成人大型社区
健身教练漫画在线阅免费
把筷子放屁眼里不能掉图片
一二三四日本无吗
小扫货水能么多叫出来
波多野结衣 海啸
中国VODAFONEWIFI粗暴APP
没有我的允许不能尿出来作文
沈倦把林语惊做到哭免费阅读
与邻居换娶妻子2在线观看
班上男生带到没人的地方作文
非诚勿扰 徐莹
自己玩r头教程
敌伦小芳的第一次
淋浴喷头gc自w车文
pretty rhythm第三季
老师你感受到它变大了么
美丽姑娘韩国在线观看免费高清
迈开腿让我尝尝你的扇贝安装
一边做一边说国语对白
徐若瑄魔鬼天使下载
麻豆天美 果冻 星空国产
幻音 腐 肉补钙鸭
语文课代表的胸摸起来软软的作文
早上起床抱紧我樱花
野花高清在线观看免费官网中文版
妈妈的职业3在完整视频有翻译
公交车上两人双指探洞天气网
adc影院欢迎你大驾光临
国产一产二产三精华液
国产老狼一卡2卡3卡4卡隐藏版
中国speakingathome宾馆学生
mm1313点不进去了
月光视频在线观看免费视频
糖心vlog柚子猫内射频网站
ssni409
沈芯语MD0076视频
tobu16tobu69
把它堵住不能流出来下周检查
3个人玩3Q感详细经过
欧美致敬很多经典的黑白mv
我同意老公睡了我妈
推荐一款污的app
好大插起来好痛的文章
在火车和后妈妈谁在一起是什么书
妈妈的朋友4在完整视频带翻译4
14岁学生迈开腿让打扑克
国产一产二产三精华液区别在哪里
女生迈开腿打扑克又疼又痒
天降女子从2楼掉下了
网址在线观看你懂我意思吧
欧洲无人区卡一卡二
医生听诊器PLAY羞耻PLAY
公交车缓慢而有力的C
玫瑰 acome
他的手游走在两座山峰
洗浴双响炮是什么意思
魔鬼公交车上的小黄说说
日产高清卡1卡2卡无卡
亚洲欧洲卡1卡2新区
日本无人区码卡二卡三卡
极品瑜伽女教练白浆直流
美国ZOOM视频狗
言教授要撞坏了第二季笔趣阁
儿子今天晚上只让你
宝宝腿分得开点才不疼
江疏影2分28在线
极品教师未删减完整版
我们三个人搞一个人啥感觉
python人马大战
AI人脸替换忘忧草1区3区网页
王者荣耀瑶嘴巴里含着铁球流口水
菊内留香TXl金银花
XZL仙踪林中国大陆
和老师一天弄了好几次小作文
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1