有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
yy6090新视线看
爸爸在下面撞着我写着作文
声声入魂hifi女声cd
高压监狱三部分别叫什么
51漫画入口页面弹窗秋蝉
狗狗射速好烫的视频
把我拉到公交最后一排开车
开小黄车的详细描写
しぼっちうぞ我的电影网
亚洲无人区码一二三码区别图片
求网站 你们懂的
这几天没C你了是不是皮痒
用指尖扰乱我吧打烊后2
爸爸我怀了你的孩子免费阅读
秘密教学60话好像可以照我的
xl先生未增删翻译免费樱花
斗罗大陆黄化人物网站免费
搡BBBB槡BBBB
漂亮的三年经的继拇4
公交车最后一排被C细节描写
如何弄到自己喷泉
可以插纳西妲的模拟器
啊你的怎么这么大爸爸
夫妻成长日记二
为什么一加速女生就会哭
把那个放在里面走路
最近最好的2019中文
跑步机上边跑边顶HHH
亚洲欧洲一码二码区别在哪
大地韩国日本电影免费看
国产乱码无限2021芒果
5分钟不间断踹息声在线听
bgmbgmbgm老头野外
罩子没戴让捏了一节课
雨后的故事视频
斗转星移合成图片
把女朋友玩成小喷泉是什么意思啊
父亲的东西又长又黑怎么形容
两个家庭换女儿玩
斗罗大陆美女被塞坤巴
啊轻点啊再深点视频免费
晚上听见公婆办那事婆婆还叫
CHINESE体育生东北露脸SOLO
伪装学渣电动猫尾巴PLAY
三个弟子合力弄师父
日本在线高清免费爱做网站
快猫5.25最新破解版.APK
OVERFLOW在线未增删带翻译樱花 中文翻译
客厅大伦交侩H客厅设计要点
被C哭是一种什么样的体验知乎
二次元动漫人物桶动漫人物游戏
不要再进去了会被撑坏的
老赵抱着媛媛在厨房做饭视频
rh男男车车好快的车车作文
18岁以上67194
津渝视频完整版
暖暖视频日本版免费完整
俄罗斯牛or猪or狗
欧洲一卡二卡三卡短视频
夏天短袖见到女同学乳突图片
日本人算是人类吗
黄动漫车车好快的车车
老婆的生日3Q开始
晚上剧烈摇床运动视频
一个奶下面一个鼎是什么字
孙尚香教刘禅写作业
装A刺头怀了禽兽校草崽后
系统之魅姬养成(莫紫弦)
木马上凸起电动木棒
拔萝卜 全程不盖被子拔萝卜
趴在办公室被老板们C
2023国精产品一二三四区
教练在车里撞了我三次怎么办
群臣在朝堂上却玩皇子视频
mimk-009
公交一晃一晃就进去了怎么办
艳姆1到6集转码在线观看1
傻大壮你真厉害我都
每当我看见她的jk慢慢脱离
家里没人儿子就弄我了什么意思
18may19-XXXXXL民族
看着领导挺进娇妻的体内电影
国内ai明星造梦鞠婧祎mv
云缨拿枪奖励自己核心
护士张开腿被奷日出白浆
黑人猛挺进小莹的体内视频
禁天漫堂网站进入
OVERFLOW樱花未增删带翻译第二季
一二三四免费中文在线1
我十四岁可以放几支笔在里面
麻花传媒永久免费版的特色
日本ZLJZLJZLJ视频
苏家有女苏杳免费阅读小说
三根一起会坏掉的...哈
4444kkkkcom
顶的速度越来越快越
欧亚专线欧洲s码wmy卓越拓展
无人区码一码二码三码是
放课后の优等生 3熟肉
妈妈说带好套可以给我视频
污到你那里滴水不止的说说
我就在外面赠一赠
三个男人换着躁我一个
热心的朝阳群众51cgfun
公交车撞到最里面去了贴吧
147人休艺术网
18款禁用软件app葫芦入口
4HU四虎永久在线观看
Zoom另一类ZZO0
黑巨茎大战美女在线播放
同桌把我拉到他家做了作文1000字
不用付费的打扑克的直播软件下载
bgmbgmbgm老太太毛16
朋友的母亲9在观完整有限中字木
我的B就是你的饮水机
欧美无人区码卡二三卡
迈开腿让我要吃尝尝你的草莓
家庭教师hitman reborn
英语课代表让我c翻了视频
被C到说不出话
年轻漂亮的岳坶9
白天躁晚上躁天天躁21
男朋友给我买了振荡器
CSGO中暴躁少女的打法技巧
一卡二卡三卡四卡免费
柚子猫原神甘雨视内射频
色花堂 永久 网站
张津瑜口卫生间
俄罗斯videodese12
为什么抽的越快叫的越声音大
jmcomicron
乐可车图片(长图)微
柳州莫菁门事件
51cg吃瓜爆料永利2023
一朵莲花三个莲蓬
国精产品W灬源码1H855.
bbox撕裂bass后门
在车里撞了我八次高黄肉
许仙终于把小青日服变成了
卡1卡2卡3乱码欧美
破了两个学生的花苞
宝贝真紧做死你好不好
一女战三老外一女战三黑人
两根硕大一起挤入小雪
给我播放片高清MV清晰在线观看
按摩师用嘴亲我下面过程
无限资源2018免费观看
无人区乱码一二三四区别在哪里
红猫大本营点击进
输了让对方随便处置隐私一个月
海角国精产品一二三产品区别
彩虹男.2022小蓝
小草在线观看免费视频播放
接待一个30厘米长的客人
野草乱码一区四区区别
破坏中巴友谊罪
宝宝把腿抬起来靠墙上怎么回事
张津瑜事件聊天内容
1314gan
异地男朋友回来都跟饿狼似的
污到你那里滴水不止的文章1000字
日本14MAY18XXXXXL
优质JY灌溉系统游戏
虫虫漫画页面在线阅读弹窗
恋夜影院uc全部落频列表支持安卓
日产无人区一线二线三线观
成熟50 WX老狼大豆行情
公交车两人双指探洞LH说
我和老妈一起嫁剧情
女性半夜莲花开放的治疗方法
癫马女郎之一夜情
拔萝卜一边喘气一边说痛怎么办
sdde318
2022GGY钙小蓝的功能特点
晚上进了二女小妍的身体
跳D放里面遥控器给别人了
离婚五年忍不住了和儿子睡了
台湾已逐步恢复供电
一个在上面吃一个在下面做那个
妇女被深耕过后身体有哪些变化
美国白人未成年RAPPER
大尺寸小黄说说1000字多肉
父母全家儿女大联欢第14集
学长跳D放在我里面上课作文
五个闺蜜的疯狂互换春雨医生
尘不到闻时顶腰细节
宝宝是我撞进入还是你自己坐下来
一前一后同时攻击舒服吗
被多个强壮黑人灌满精H
19岁RAPPER潮水偷轨仙踪林
B站大但人文艺术
赵露思乳液凸出来了
从阳台c到卧室c到厨房
随处可做X世界学校游戏
对象一直掐我的奶奶小故事
污秽的教室未增删翻译樱花
爷爷夜里压着妈妈在叫疼
新娘无悔的爱第二部
胡桃ゃんが腿法娴熟を视频
男朋友C你的时候你会说什么
椅子上有木棒坐下去吃饭
车上后座多肉短文300字左右
去姥姥家进入妈妈身体的说说心情
年轻的母亲6兔费线6
jy被堵肚子胀得厉害
儿媳太美味苏暖的
群飞刘亦菲刘诗诗杨幂杨颖
GRAHAMCOXON女儿
妈妈的朋友4中字在完整视频带翻译
免费看桶30分钟教程下载软件
日本一姐潮水RAPPER超多
没人的地方让你弄一下
边做饭一边躁狂怎么办呢
父亲缓慢而有力挺拔的句子
德国VODAFONE巨大
被学长C了一节课怎么办
国精一二二产品无人区价格
野花免费观看高清视频6
秘密教学103私下你可以随意7
妈妈的朋友4在观有限中字
国色天香卡2卡三卡4
女儿儿媳陪自己玩的心情说说
如何一根笔把自己玩哭
在教学楼里和学长
黑人肉大捧进出全过程动态
艳阳门无删照片1400还有视频
女生可以自己双指探洞吗
无人一码二码三码4码免费
无限资源日本电影
乳色吐息樱花未增删翻译中文翻译
Javaparser厨房好妈妈
男生淦男生时是淦的哪个部位
背人伦而禽兽行十年而灭的意思是
女生最害怕的情侣玩具
王者荣耀女英雄被捅的流眼泪翻白眼流口水
男男车车的车车视频真人
男孩子淦哭男孩子黄文
学生14MAY18_XXXXXL56ENDIAN
迈开腿让学长看看
我被继亲开了苞
污网站WALLPAPER共享人可以看到订阅
弱点第21话只做一次够吗
国色天香一二三期区别2023
诱人的女邻居2中文字幕在线
能让你流污水的作文
我们换个方式做吧未增删樱花
精东传媒一二三区进站口
快停下我是你老师的啊
男生把坤坤放女生坤坤里开元
主人能把遥控器关了嘛
老湿机免费体检三分钟十八岁
离婚回娘家满足爸
腰不自觉的往前挺
mm1313点不进去了
偷吃爸爸的擎天柱
宝宝我不进去就蹭一会视频
老师家里没人你用点力啊
对象一直咬我的奶奶不嫌脏吗
玛雅maya发信到
空姐前规则高清观看在线
啊哈哈哈哈主人我错了哈哈哈哈柯
芭乐鸭脖向日葵芭乐鸭脖
乌鲁木齐XXXXXL免费
比我老公大很多
群臣在朝堂上c皇上
小寡妇好紧进去了好大看视频
嗯嗯宝宝叫点使劲难受吗 疼
147人人艺术
宝贝是不是欠C很久了视频
国模欢欢出白浆炮轰图
鲁大师WWW好看
女人自卫慰做法图片
男生安慰自己的插画动漫
我跟你老公谁的大
玛雅论坛亚洲电影
尝到了甜头两人每天都会想方设法
百合做免费运动视频教程网站
女性大荫蒂荫道多毛茸茸
语文课代表穿着JK让我C
日本一卡二卡三卡四卡在线观看免费软件
茶杯狐 CUPFOX官方
四叔日常1V2
啊将军好涨鼓起来别顶了
大婶的肥沃的土地类型
51吃瓜网黑料传送门今日更新
草699一码二码三码四码
自w到高c的教程夹枕头是视频
用我的手指搅乱吧2未增删翻译
韩国年轻的母亲5观整有限中字
阿娇张开两腿实干13分钟完整版
太阳帝国的原罪秘籍
阿锵锵锵锵锵锵锵网站大全
黎朔WRITEAS
爸爸的东西又黑又长
你可以继续哭但我不会停下来
丁香花大型社区
什么东西可以当自为棒
交流1V3多肉软玉娇香
WRITEAS罚坐
伽罗といちゃつきたい腿法
日本一产二产三产
108式春床图片欣赏
都是同学C一下怎么了?
凤凰天使韩剧社视频疑被部分下架
5分钟不间断踹息声在线听
亚洲日本乱码卡2卡3卡新区
没带罩子让他C了一天作文
老师的兔子好多软水好多动漫
体育老师拉着我做了一节课视频
老师您的兔子好软水好多樱花国漫
扒开大腿就可以吃到扇贝吗
浴室狂欢BD未删减
孩子玩着玩着就进去了怎么回事儿
你快叫啊我就喜欢听你叫
雷电将军的乳液狂飙图片
津渝视频完整百度云盘
变形记化不开的网
英语老师的小肚子好软水好多
比比东被唐三桶的不亦乐乎语录
如何弄到自己喷泉
第一次处破女14分钟
WRITEAS 灌水
男人大鸟硬起来图片
女生输了给对方玩一个月的游戏
2018夜夜射天天啪天天草
蓝男色蓝摄GAY裸男CHINA
亚洲一线产区二线产区分布图
钙GGY2023
秋葵 茄子 丝瓜 香草 榴莲污在线观看
神马影院线手机理论午夜
姐弟拔萝卜又疼又叫高新
宝贝腿再张大点就能吃到扇贝了
水蜜桃文化传媒www
善良的妻子3中字巴巴鱼汤饭
成品网站W灬源码被网友群嘲
车里强行打扑克又叫又疼
一面亲上边一面膜下边53分钟
蜜芽737.mon.忘忧草大豆网
八重神子享受翻白眼流口水视频
日本一姐RAPPER潮水太多一
儿子耕种母亲的田地叫什么名字
张筱雨的人体艺术
老狼卡二卡三卡四卡视频
小豪孟卉钰慧三P上79章
嗯啊用力插我舔我的
GARY2022钙片
打扑克剧烈运动高清视频
宝贝把腿抬高一点就不疼了
宿主的任务是收集jy活命小说
国精产品一区二区三区糖心269
日本正能量不良网址直接进入
进来吧晚上英语老师就是你的了
高清vpswindows日本
考试不好就要当学校的坐便器
我女朋友的母亲5整视频有翻译
糖心VLOG肉丝库水柚子猫
无人区一码二码三码四码
斗罗大陆唐三爆桶波塞西免费P站
男朋友的手探到我的衣服里怎么办
英语老师让我吃他的小兔兔
妈妈的朋友4女主角是谁演的
再见前任4在线播放免费观看高清
开车越往下越疼的句子
顶的速度越来越快
边摸边亲奶边做爽视频在线观看
中文在线中文在
上边一个日下边一个我的字的意思
跷跷板我越下越疼的是什么
林念修是谁的秘书
小学生C小学生
杂交BUCSM人类SSBA
朋友的母亲7在观有限中字
被子里怎么无声自W超疼
深夜动画在线观看
张柏芝艳门照照片
国色天香精品一卡2卡3卡
搞机TIME恶心软件(2023已更新)免费
一边做饭一边躁狂怎么办呀
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1