有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
JAPONENSISFES老师
acca少女网课视频
国产精品女主播主要上线
自W高C抽搐了还可以继续吗
老狼信息网仙踪林 - 八零婚纱摄影工作室
离婚五年忍不住了和儿子睡了
厨房里的激战2剧集
一口一口吃掉胸口的奶油的视频
女生把筷子放屁眼里
香含玉女峰头露润滞珠帘洞口云
什么是主题公园
再把腿张大点就可以吃到扇贝了
王多鱼打扑克免费高清视频
JEALOUSVUE成熟50MA欢迎光临
男男车车好快的车车网站
国产精华液一区二区区别大吗
大炕上和岳偷倩
我妹妹每天做两小时作业的英文
原神雷电将军被X出液体xman
宝宝S里面好不好
黑龙江大学不雅视频
毛1卡2卡3卡4卡
国内女RAPPER
王多鱼打扑克视频免费
BBW.妇女被内射
年轻夫妇韩剧中文版免费观看
B站大胆人文艺术4K
狗狗射速好烫的故事
非洲ZOOM人与ZOOM
用过仙女棒的说下感觉
老师的大兔子好软水好多图片
优质JING液收集器
双乳被陌生人把玩挤出奶水黄
may18_XXXXXL56endian
四房播色最新版
女朋友的母亲3中语字追剧易
免费的剧烈运动扑克网站
虫虫漫画在线看漫画页面弹窗
无人区码一码二码三码是什么
用用点力快要到了
在线正能量网站地址链接免费
色戒完整版2小时38分
妖艳女忍者传锷女篇
嫩草研究所官官人口2021
圣城风云第二季
娇妻两根一起进3p视频
逛街突然开了遥控器的体验
你信不信我现在做哭你
日本免费一卡二卡三卡四
五十路六十路完熟交换
好儿子妈今天就是你的人
美女裸身无档图片视频
仙桃高一老师没关直播
大佬的365天无删除中文翻译2000
猫咪地域网名入口639CFIOS
粉色视频观看高清在线HD
YW193COC永久入口特点
输了让对方随便弄隐私一个月清清
两个人日本免费完整版动漫
动漫人物将机机插曲漫画图片视频
和朋友换娶妻一天
20岁女rapper越南
妖艳女忍者传锷女篇
infinite stratos2
电车之狼r图文攻略
色农夫网站导航大全
NARUTO HENITAL
小泽玛丽 种子
夜倾情 保姆的诱惑
最近免费中文字幕完整版HD
几天没C你是不是痒了
既是母亲又是老婆
小龙女只感觉那只巨大的火龙
14MAY18_XXXXXL56ENDIAN中国
疯狂厨房2双人3
爸爸比老公大两倍妈妈该怎么教育
趣事百科宅福利鲁一鲁
放课后の优等生3熟肉樱花动漫
果冻传媒母亲和女儿李琼
女儿男朋友是妈妈的爱豆的电视剧
三叶草欧洲码和亚洲码的区别
非洲BBOOMBBOOM的含义
淑芬两腿间又痒了50岁
荫道BBWBBB高潮潮喷
缓慢而有力的往里挺送的文案
舔下面好舒服都是水
IPX 528
片多多免费观看高清动漫
小诗的玩具日记笔趣阁
25岁的女高中生樱花未增删翻译中文翻译哪
ipz-140
迈开腿让尝尝你森林视频
被困住的我们韩剧
他缓慢而有力的在车里撞着视频
WRITEAS花式PLAY
WRITEAS强制标记
为什么做完后还要顶几下
够了够了已经满到高C了甜甜
折腾了一个多小时才弄出来的头发
叶渺渺上体育课课被捅了一节作文
男女打扑克的APP
WRITEAS锁精环
白雪公主成版人版H
すているのエロ资源天堂
用过仙女棒的说下感觉
动漫美女受辱图
1980美式保罗与雪莉
永远的免费论坛
差差差30分钟无掩盖视频
警察网记者张津瑜9分10秒哪里有
宝宝的扇贝好多水
老丈人的东西又弯又长怎么形容
未成年怎么玩隐私位置
诱人的女邻居BD中文字幕
网恋见面做H姜之鱼
女婿你不能谢在里
漂亮人妻被维修工侵犯的后果
乌龙派出所221
未成年的女RAPPER
野花日本免费高清完整版3
野花韩国高清免费神马百度
MINUS8法老猫
欧洲尺码与亚洲尺码差异分析
班长没带罩子让他玩儿了一天
双人游戏BY春雨惊蛰
爱恋2015是真的进入吗
星空传媒乱码一二三区
两个球球抖动视频
减去小舞的所有衣服
ati mobility radeon hd
一线二线无人区乱码
黑料不打烊痞幼照片
被子里怎么无声自罚
JING液灌溉系统
动漫人物将机机插曲漫画小说
国精产品一区一区三区M
OldMacDonald老和尚
亚洲XXXXXLMEDJYF邻居
在车里两个男人舔我
精品成品国色天香卡一卡二卡三
三叶草M码和亚洲码区别
高压狱警2美版免费
撩到女生下面流的句子优秀80句
日韩欧美中文字幕送别
乱辈通奷XXXXXHD猛交
国产线路3国产线路2
让人看了想要做的文章1000字
全班的公共玩具坐便器
年轻的母亲5免费观看翻译
晚上弄哭自己隐私的100种方法
B站大但人文艺术
TOBU7TOBU8学生
掀开衣服左边吸完吸右边知乎
女士睡衣开襟免费网站高清
WRITE AS 四人
韩国妈妈的朋友6观整有限中字
早上起床抱紧我第1集动漫
外网9分10张津瑜链接
野花日本HD免费完整版高清版7
亏亏的视频带疼痛声的免安装
强烈推荐的多肉糙汉
太多了装不下H11
老公的好大我都握不住了的说说
亚洲VS欧洲VS美洲人口
公共厕所POOPING
俄国一姐Rapper潮水
恋夜影院uc全部落频列表支持安卓
宝宝在把腿敞开点一会儿就不疼了
小舞给人桶的模拟器
偷偷藏不住40集完整版
羞羞漫画入口页面登陆章更新百度
德国VODAFONE精品
GAY引诱服务生COM2O22
男神插曲女生软件完整版免费
bgmbgmbgm老太太毛16
夫妻成长日记 动画
九一亚洲精品饰品有限公司
他的白月光HvH桔子糖水类似
双人床上互动大全
zztt黑暗传送门
日本一线二线三线四线五线
肚子里全是jy鼓起来了好难受
公么大龟弄得我好舒服秀婷视频
男生的坤坤放到女生的坤里游戏
我和公么中字日本电影
把女朋友玩成小喷泉是什么意思啊
斗罗大陆小舞给人桶的模拟器
丰年经的继拇中文3
狗配人怎样配一个人
无人区码一码二码三码是
迈开腿吃你的水蜜桃是什么
bgmbgmbgm老太太水太多
掀开衣服左边吸完吸右边
13岁能放几个笔
没有我的允许不准流出来
JEALOUSVUE成熟好妈妈
晚娘恋欲百度影音
已满L8从此进入伊犁园
老师洗澡让我吃她胸视频
优质液体收集系统
他真的比我老公的大得多
国产色母和进口色母区别
体育老师在单杠C了我一节课网
老婆说她想尝试多人怎么回复她
醒来发现狗在上我
清纯校花沦为胯下玩物
适合晚上一个人看B站
国精产品一二三四区产品
CHINA中国东北GARY2022
为什么女生一被上就老实呢
欧洲VODAFONEWI
黄可46分钟完整版种子
不行快拨出来现在是上课
分手那天我们做了十三次
吻胸摸腿办公视频大全
37大胆欧体人文艺术的价值
王者荣耀瑶嘴巴里含着铁球视频
韩国女主播小青
联谊中的游戏动漫无删减
国内精品自线在拍
亚洲码与欧洲码一二三区别
野花视频观看免费最新
亚洲精品国产精华液有哪些牌子
扑克牌视频不盖被子
国语对白露脸XXXXXX
品色堂 永远免费
二人生孩子全程不盖被子视频
老头老太太GMBGMBGM
vodafonewifi暴力
动漫RH男1做0车车的车车视频
回娘家父亲求我给他一次
欧美无人区码卡二卡3卡4免费
爱呀哎呀我愿意
撩她上瘾(黑暗森林)
海角社区母亲为儿子高考解压
蜜芽忘忧草二区大豆行情网烧仙草
戴着电动玩具逛超市
Javaparser厨房好妈妈
晚上睡不着看点免费
粉色高清在线视频免费观看HD
精东影业JD011民国传奇演员
孩子玩着玩着就进去了
2021国产区精华品
迈开腿我可以尝尝你的小森林视频
YSL千人千色T9T9T9最新网站CODE1016
xfb88.xyf幸福宝解锁版
早就想在学校要你
日本最大但人文艺术欣赏
人ZOOM狗狗
别急晚上英语老师就是你的人
情侣打扑克做运动
亚1州区2区3区4区产品芒果乱码
开车视频疼痛有声音免费软件APP教育网
弱点73话我也要一起洗
娇吟公车系500章
娇妻玩4P被3个男子伺候电影
人丑B不丑是真的吗
第一次顶开妈妈的生命之门
把老师按在地下做了一节课
免费做运动扑克视频网站
日本高清一卡二卡三卡四卡无卡
被体育老师c了我一节课作文
坐在木马的木棒上公主
秘密教学103私下你可以随意7
雨后小故事 动态
把腿抬起来靠墙上就不疼了
深度开发1V3梁医生不可以
BGMBGMBGM老妇视频
bgmbgmbgm毛多多胖老太太
甘雨去掉小内趴在地上打扑克
悠悠爱情药草香
男孩花1元买到金戒指
中国青少年garyXXNN
男女无遮挡吃奶gift动态图
男男GARY2022
王者荣耀把公孙离玩喷了
几天没做你就流了
云缨拿枪奖励自己核心图
放冰葡萄在里面做
张津瑜1080p百度网盘
绝对控制少x时代
国产乱码卡一卡二卡三新区
一抽一出BGM毛
壮GAY吊大人帅精浓
CHINEAE体育生外卖系列
原神旅行者喝甘雨的奶
亲亲抱抱蹭蹭的刺激原声哔哩哔哩
上面一边亲下一边面膜是什么意思
大连护士门全套照片
我的好儿子妈妈是你一个人的
刺激妇乱子伦短篇
去姥姥家进入妈妈身体的说说心情
s货是不是想挨c
金银瓶4葡萄熟了
腿再张大一点就可以吃到扇贝了
黄到让你那里滴水的作文门卫
把她送上快乐的巅峰
一根筷子怎么玩哭自己的小朋友
啊哈别别揉那处了
边摸边亲奶边做爽视频在线观看
小洞饿了想吃大香肠喝热牛奶
FULAO2在线官网观看
原神申鹤去掉小内无爱心图片
仙踪林2021
小东西你抖得好厉害
全彩口工漫画母系惩罚5
亚洲码与欧洲码区别一二三
我等不及了给我好不好
用电动牙刷自W到高C
精品手机在线1卡二卡3卡四卡
红豆视频免费高清在线看
s货c货大声点
厚颜无耻韩国动漫免费阅读视频
八重神子开襟大欧派乳液SS
十种b型的外形
漂亮的丰年轻的继坶3在线观看
王者荣耀貂蝉喝自己液晶
漂亮妈妈中文4
含着睡觉是一种怎样的体验
最新三圾片目录大全
夜里怎么自己一个人弄自己
CHINA篮球体育飞机2023
亚洲AV片不卡无码久久尤物AV
边走边c1vn骨科
旅行者插了雷神视频
W乳液939永久W78
输了让同学玩全部位置游戏
歪歪漫画韩漫入口
吃瓜网最新官网地址
对象给我看他的鸡
我想吃你的水蜜桃葡萄扇贝
女婿次次有力杆杆到底笔趣阁
1819处china
FULAO2官方网站进入在线观看
荡公乱妇第1章方情95
沈倦把林语惊做到哭
中国人を嫌う日本人
电影潘金莲1 一5集
oldwoman老太中國
在公交车上被JB草坏了被轮J了
吉泽明步torrent
欧美无人区码卡二卡3卡4
宝宝几天没做都湿成这样了作文
迈开腿尝尝你的草莓声音
妈妈说带套可以给我
siro-1063
多地考研成绩公布
被C哭是一种什么感受
绳子打结陷缝里让对方走过去
如何把女朋友弄成小喷泉
怎样用两根棉签玩哭自己
大菠萝福建导航app
平胸舞娘的隆胸日记
在公交车上弄到高c了最后一排
菊花PROJECT视频BGM
家里什么东西可以当阳具用
939W乳液78W78WYW55523
晚上睡不着想看点网站
日本插曲的痛的30分钟欢迎您
施主就让贫僧进去吧什么意思
试看120秒免费体验区
我就放里面不动你不用动我动
欧美精产国品一二三类产品特点
美式忌保罗讳1
原神甘雨安慰部下CG插画在哪
用注射器打水放屁眼里视频
漂亮妈妈3高清中字在线播放
公交车两人双指探洞LH说
无翼乌全彩之爆乳漫画
年轻的母亲最初中字7巴巴鱼汤饭
啊哈别别揉那处了
成品禁用视频APP短视频
迈开腿让我尝尝你的扇贝什么意思
另类老妇性BBWBBW
原神甘雨被空C出白色液体游戏
W乳液939永久W78
爸爸缓慢有力送女儿的句子
图书馆的秘密程怡婧txt
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1