有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
公交车多人运动黄
火车后车座的疯狂的做
日本漂亮妈妈7在观有限中子
桃子视频高清免费观看
我妈妈的朋友在完整视频带翻译
YSL水蜜桃86棕榈
中文在线っと好きだっ
中国RAPPERDISSSUBS老大妈
身体秘密 感官世界
国精产品呦呦仙踪林
和老师C了一节课
把我拉到公交最后一排开车
火影忍者小樱强禁照
男朋友咬小兔兔是应该怎么回应
麻豆madou传媒
孩子玩着就C进去了怎么回事
年轻的母亲4 剧情
雷电将军の罚ゲーム视频
WRITEAS遥控器朝俞
国产无人区码一码二码三码区别
一个人看的高清WWW哔哩哔哩
没带罩子被校霸C了一节课文视频
公么大龟弄得我好舒服秀婷
1996年新版金银瓶
你弄得人家里都是水
taiyangdehouyi
坐在父亲紫色大龙上写作业
把筷子放屁眼里高清图片
妈妈的朋友4在观有限中字
老阿姨一直叫BILIB
99无人区码一码二码三码四
迈开腿尝尝你的草莓是什么意思
69日本人XXXXX
大巴车最后一排被C细节
夜夜爽妓女8888888视频
注射器放屁眼里灌注牛奶
双男主全车车的腐肉
把红酒倒入B里喝掉
别急晚上老师就是你的人了
二次元动漫人物桶动漫人物游戏
多人轮换c一个Hpo
深入浅出TXl金银花
学生的妈妈2中韩双字多鱼1下
火影忍者女性角色去内成品
任你干视频精品播放
八重神子COS入夜狂飙游戏
蜜桃成熟时33d完整港版
开会被塞跳d开最大挡不能掉作文
两个吃上面一个人下
公交车多人运动
C够了没有三根一起会坏掉骨科
日本不良网站正能量入口大豆行情
没带罩子让他C了一节课作文动漫
新最终痴汉电车
夜间自罚自己实行污
深一下浅一下深深浅浅来一下
性治疗营美国2
小圆脸雪雪食堂一血视频
美美哒日本中文免费
把男生的坤巴放在女生的定眼里
夫妻之间的108种插秧法
我是怎么C你的 叫出来
把女朋友做到下不了床
一边喘气一边叫疼的视频
绿帽子精选系列70
古老传奇之凤舞九天
两个人的免费HD完整版直播
欧洲家庭史7726
年轻的朋友3免费观看完整韩国
帅哥GARY网站
你把腰抬起来一下不然我没法发动
初中女生喊疼男生越往里寨游
激荡的瑜伽教练
原神甘雨从尿道口挤出白色脓液
2D甄姬与隔壁家的两个小孩
私教在没人的时候要了我短文
白色乳息樱花未增删带翻译樱花
19禁忌漫画免费阅读
2023钙GGY钙站男男
2019久草原国产
韩国年轻漂亮的继坶
新版金银瓶1一5电影
欧美无人区码卡二卡卡三卡四
色达天藏砍尸过程
老公回家就吃我的奶奶怎么办
中国免费XXXXXL17
李白受WRITEAS
坐着震动器写作业WRITE AS
为什么做完以后还要顶
无人视频免费观看免费直播
友善的好邻居2
tobu8美国14vdo
kk444kk
《着迷》 作者:阿司匹林
两个男的是怎么开车的
学长的双指探洞疼哭了
水都拉丝了啊甩的到处都是
护士VODAFONEWIFI
跳蛋使用方法图解
国外精产品W灬源码
美国军妓 百度影音
不再是朋友的夜晚第1集
家里没人你用点力 快快
潮湿的心HD完整版
女人半夜睡不着看点害羞的
哥布林洞窟未增删开车原声
蜜芽.2722永不失联在线观看
一个色农夫导航
147女人的阴性部图片
我女朋友的母亲5整视频有翻译
嗯嗯宝宝怎么啦难受吗 疼
家族内乱换刘家全部
日本一卡二卡3卡四卡免费
腿再开大一点就不痛了
是不是想让我弄你了啥意思
对准了自己动不然不给你下一句
妖精动漫官方登录页面入口弹窗
坐在学长的根茎上写作业
一支笔c哭自己从自w到高c漫画
藏经阁官方福利导航
内射在线观看者也
98精产国品一二三产区区别
仙踪林进入地址老狼
迈开腿让学长尝尝你的草莓是
美国ZOOMCLOUDMEETINGS
BMGBMGBMG好多水
英语老师没戴罩子让我捏了一节课
ed2k2分28秒江疏影
宝宝你好会夹啊都拉丝了作文
双胞胎姐妹齐上阵许多说许多
在线bt天堂网.www最新版
按着我的头给他吃
孤注一掷在线观看免费高清王传君
八重神子拿黄瓜奖励
给个网站你懂得
曝光无码有码视频专区
妈妈的朋友2在线观完整版看中文字
不知火舞被三个小孩
好满射太多了装不下了真人
无人区一线二线
老公叫人一起换着玩
TOTAKKAHAYAKIRIX777777777
跳d放在里面上体育课500字
日本坐公交车弄了2个小时
麻辣烫爱在一起
果冻星空传媒儿媳妇
老丈人的东西又弯又长
向涟苍生士献上纯洁第二集
月光视频在线观看免费播放
金花瓶梅花6线上观看
GRAHAMCOXON女儿
西方447大但人文艺术
妈妈用自己的身体做生日礼物
坤坤寒进桃子里
无限免费观看在线直播
杨幂AI换脸视频
甜性涩爱bt种子
老狼信息网仙踪林-八零婚纱摄影工作室
5G影讯5G天线在线观看免费网址不用下载
四虎最新地域网名2021免费苹果东营
老公老说想睡我妈
エロワンピース天堂
中国成熟IPHONE
男生把坤坤放入女生的坎
Gary1609百叔的个人风格
一个上添B一个下添
HULUWA官网在线入口IOS
疫情期间草老妈
THERMO脱色摇床
在县城开零食店春节能卖200万
必看无人区一码二码三码
老师教久别的草原视频
24种阴性户型图
男娃JY灌溉系统游戏
古言骨科高能lH
国产MV天美传媒
一面亲着一面膜胸口
一本大道高清视频在线观看
是不是想被C很久了
麻豆 天美 果冻 星空国产
涨精装满肚子用塞子堵住上学
高冷男总裁憋尿被揉下面
从客厅到卧室一路上做
一下子接5个客人疼死了
色欲国产麻豆精品AV免费
讲述真实的多人运动经历
爸的大还是你老公的大
校霸错一题打一下PG
考好妈妈说做一次
网红打扑克牌网站
网站正能量www正能量网站大全
暖暖视频 免费 日本
赤裸羔羊4蜜桃迷色
晚上被弄得走不动路走不了
top gear 19季03
OVERLORD第四季在线播放
徐莹 非诚勿扰
美美哒日本中文免费
Rapper国内女rapper
仙女棒坐着使用的仙女棒视频
男子肯亲花园说明什么
张津瑜吕总1080P网盘
杨欣cindy
女儿今夜以身相报父亲火力全开
性系MACBOOKPRO高清
最近最新的2019中文字幕
让你试试我的大不大
男孩子淦哭男孩子视频免费
毛都没有就被开了苞在线电影
长插曲视频完整版30分钟免费
桂花婶的宝贝可是9曲18弯
只要使点劲不行就再用点力
360大但人文艺术图
下面一直湿漉漉的是怎么回事
往下边塞水果后吸出来
女人能进入20厘米吗
无人区码一码二码W358CC
顶级大但人文体艺术
男男车车好快的车车啊哈哈视频
夹震动蛋上课的女教师
两个人看的BD高清视频在线观看
塞跳D开最大挡不能掉老师
啊学长我们换个地方
晚上自己一个人看B站
解放的潘多拉qvod
整篇都是车的百合推荐校园
生物老师上课亲自给我们展示自己
重生之超级肉禽系统的小说
一面亲上边一面膜下边53分钟
暴躁老阿姨csgo
公主殿下的LOVE全集播放
麻豆传煤入口直接进入免费版下载
我的极品是前任
日产高清卡1卡2卡无卡
宝宝才两根手指就疼哭了怎么回事
ZOOM和OKZOOM
亚洲无人区码一二三四区别
狠痕鲁狠狠爱2021在
婉莹满足了十几个农民工
仙踪林入口视频 欢迎你
卫生间6分34秒
LOVESTORY动漫无删减
人与畜禽共性关系的重要性有哪些
学生的妈妈6中韩双字中国
两根硕大一起挤入小雪
女主不停的被各个动物群养着
ADC自拍视频
美女裸全身无档图片视频教程
高嫁柳家动画片1-4
公主殿下的LOVE全集播放
舔下面好舒服都是水
蜜芽忘忧草二区大豆行情网烧仙草
迈开腿让尝尝你的小鸡的视频
马是怎样交匹配的
青梅被从小摸到大H补课1视频
用你的指尖扰乱我吧2
女的越疼男的越往里寨的应用
宝宝我尿在子宫里了不准出来
小东西我们在水里做运动图片
是不是好久没人弄你了
上课跳D突然开到最大
美女露100%双奶头无遮挡免费
中国VODAFONEWIFI粗暴12
被校长抱进办公室糟蹋
23部禽女乱小说
做AJ的姿势视频教程大全
被学长C了一节课作文
适合夫妻熬夜看麦片
相亲对象是学生未增删樱花
王者荣耀女英雄流眼泪翻白眼流口水
新禁室培欲之爱的俘虏
欧洲RAPPER潮水
HIGH PRESSURE PRISON
亚洲尺码跟欧洲尺码的区别
从镜子里看我怎么C你的图片
刻晴被盗宝团捅的叫个不停
我们高清日本免费观看
妈妈的朋友12完整视频有翻译
国产乱码二卡3卡四卡
分手炮是不是都特别卖力
你的太大了我装不下
女生把筷子放屁眼里不能掉
蜜桃成熟时快播
WRITE AS 灌满
如何把自己弄到喷泉视频
欧美精产国品一二三产品工艺
无耻家庭凯伦的爸爸
5G天天奭多人运动最新 网址
放课后的职员室无删减
国模欢欢销魂全过程
怡春院宜春院美国十次
变形计 化不开的网
睡醒发现还在C1V1
中国XXXXXL15仙踪林
妈妈的职业中语版在看
WNTPPS偷窃小便
橘梨纱 超高级ソープ嬢
老师成为班级的公共玩具视频
女人迈开腿男人要吃草莓
污到你那里滴水不止的文章1000字
LINODEIPHONE欧美拉屎放屁
Javaparser厨房好妈妈
你就可尽的弄我们娘俩
仆人犯错把筷子放屁了怎么办
粉色视频免费版高清片
井川里予33秒正能量的原视频
沈浪与苏若雪最新
100种禁用的漫画软件不要VIP
你们对象怎样抠你们的
考的好妈妈随你玩
搞机TIME恶心直接打开的不用下载嘉兴
小莹客厅激情46章至50章视频
疼插30分钟一卡二卡三卡四卡
破了新数学老师的处
哔哩哔哩B站肉片免费文字
色天使色护士在线视频
妈妈的朋友7中国语
做饭的时候老公也要
天美传媒果冻传媒星空传媒
一面亲上边一面膜下边表达
师徒1v2金银花
在车里被撞了八次高黄
女孩子的第一夜图片
张津瑜吕知樾视频挂网
小东西几天没做水又变多
姐姐的朋友9完整视频有翻译
漂亮人妻被维修工侵犯的后果
数学课代表趴下让我桶rh
欧美人马狗八AB8ZOZO
沈阳老阿姨最后的巅峰
小荡货夹得我又紧又爽
一个人看的高清WWW哔哩哔哩
JAPONENSIS18一9
得到超级肉禽系统的小说作者
无颜之月第五集你会回来感谢我的
电动猫尾巴PLAY
白洁一夜挨十炮
差差差很痛30分钟打扑克
蜜柚在线观看高清资源视频
楚晚宁墨燃所有肉车微博截图
CANOPEN最新网站
kiskiBlue触摸游戏
男朋友c的时候都说什么
黄色软件app下载3.0.3每天三次oppo版
撕掉她的外衣7
原神女角色去掉所有服装不遮挡没有小爱心
输了让对方随便玩一个月的作文
女人能接受开三门吗
韩剧我女朋友的男朋友不是我
王者荣耀瑶嘴巴里含着铁球
最近中文字幕免费大全8
雍正睡了自己女儿是真实的吗
未成年怎么玩隐私位置
丰满年经的继拇9M
坐公交车居然被弄了2个小时小说
成长人雏鸟pro19幼儿版特色
儿子比老公大晚上故意到儿子
好妈妈快点想死我了
WRITEAS太大了
狗的速度很快又大又烫
波多野结衣电影在线观看cesd819
塞跳D开最大挡不能掉
处钕膜被捅过程图片
肚子装不下了尿液公交车
核子基因创始人张核子弟弟发声
kk444kk
B站大但人文艺术图评价如何
污到能让你滴水600字作文售价
张津瑜的9分58秒7段免费
国内精品一卡2卡3卡四卡
宝宝腿再抬高一点好不好
国产在AJ精品
AI赵露思又疼又叫
国语对白露脸XXXXXX
国产午夜精品AV一区二区麻豆
亚1州区2区3区4区产品乱码2021
小蓝彩虹男GARY2023
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1