有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
怎样把女朋友玩成小喷泉
浓毛BGMBGMBGM胖
女人是男人的未来1分59分有厚的
女朋友的母亲1完整视频有翻译
高岭之花必须喝JING续命海棠
学渣坐在学霸的鸡叭上写作业
rryy4060
等不及在车里就要了我
成品网站W灬源APP免费百度
C到她乖黑暗森林小说笔趣阁
红豆视频免费资源观看
想吃你身上两个的樱桃
几天没C就痒了宝贝
迈开腿让尝尝你的森林视频叫什么
18款夜间禁用软件入口2023
把冰块夹好了不能掉出来的方法
是不是好久没人弄你了表情包
秘密教学92你可以随意秋蝉
鲍鱼蜜芽永不失联
三个人对我又舔又摸
被窝里的公息全章
一品和精品的区别
漂亮妈妈3高清中字在线播放
自己一个人想要了怎么办
三门齐开有多痛
波多野结衣电影在线观看cesd819
用玉器养大的公主
权臣hlH十一月
国精产品一二二线精华液
宝宝的扇贝真会夹
半夜装睡配合孩子
两个人一前一后进行攻击
坐在振动器上写作业的感受作文
star-424
小鲜肉GARY2022飞机
爸爸说家里没人可以C
ZO2O女人另类Z020男男
老师的兔子又大又好吃作文
成都工行艳照门
张津瑜视频夸克下载链接
把它堵住不能流出来吸收
男生最无法抵抗的姿势
夹枪带棒1V2舒明明黎远荣
公交车撞到最里面去了细节
ACCA少女SDANVI大学
《玉蒲团之西厢艳谈》
最近韩国免费观看视频
离婚了前妻还让搞她什么意思
奶头被夹得又翘又硬怎么办
俄罗斯severodvinsk
宝宝我们换个姿势楼梯口图片
你们最疯狂的一次是在哪
天天想你视频免费观看西瓜
他缓慢而有力的往里挺送细写文
迷情娇妻第104章在线阅读
一面亲上边一面膜下边文字的含义
次次到肉杆杆到底
打扑克又疼又痛
云缨去掉衣服黄
乳液狂飙天堂W98
韩漫漫画登录页面免费入口弹窗
小东西我们在水里做运动图片
日韩中文字幕推理片
51cg7.today吃瓜群众网
宝宝下面湿透了还嘴硬怎么回事儿
公交车后车座的疯狂的做细节
人物动物交互狗片段
仙踪林19岁RAPPER - 八零婚纱摄影工作室
听话等会就不疼了扩张
硬粗的大棒子在花蕊厮磨中的作用
歪歪漫画韩漫入口
年轻的母亲5整有限中字
永久939W79W99W乳液
触手怪tentaculata无限爱心
日本护士ZZJLZZJLZZJL大全
妈妈的味道HD免费
国精产品一二三区区别在哪
国内精品一卡2卡3卡四卡
第四色网站主页
不被原谅的搜查官
黑帮大佬和我的365日2第二部
melancholy视频在线观看
AIRMAX97杂交
mide-008
潜伏期阴性会传染吗
扒了语文课代表的衣服
李燕刘国栋羞答答的那些事
二次元人物桶二次元人物网站
刘涛下面的毛好长好长
再一次心跳第三集
父亲比老公大很多
精东影业JD011民国传奇演员
男生和女生一起差差30分打扑克视频
事物的秘密截取水中一段
未来超模15季
老师你的兔子好软水好多动
CAMPBUDDY大基基
品色堂 永远免费
不知火舞和三个坏小孩
亚洲一码二码区别在哪儿啊
hongkongdoll森林秘境第3集
被自己家狗狗C了一天
IGAO网站在线观看
小SB真是欠C
最近新免费韩国直播视频
打扑克一边痛一边叫一声正常吗
无区码一码二码三码
忘带罩子了让他弄了一节课
51cg9热心的朝阳群众
温行之和温远洗手台做
一面膜上边一面膜下电视剧
BGMBGMBGM老太太70
张津瑜口卫生间
色老头挺进娇妻身体 小怡
我年轻漂亮的继坶bd
车文超细过程长图
让人看得留水水的故事
父母儿女互换干对家庭成员的影响
无限动漫网 在线播放
漂亮妈妈的Logo
18款夜间禁用入口2023
小S货又想挨C了叫大声点
x7x7x7任意噪108
你们老公晚上怎么玩你
么公在浴室征服了小雪小说
VODAFONEWIFI另类
2021高清VPSWINDOWS
娇妻系列交换21部
0adc影库年龄确定
国内精品一卡二卡三卡
他发疯地撞着他
受变成小人用棉签
国精产品一二二线网站
男子可为之事女子未必不可为
情侣之间棉签是用来干嘛的
喷泉H1V3HL慕深
摇摇晃晃公交车XX5
才三根手指头就疼了小东西
被自己家狗狗C了
云缨拿枪奖励自己核心图
狗配人怎样配马配人呢
浏览器正能量网站
正式告别一段感情的话
初中女生喊疼男生越往里寨游戏
宏翔小蓝视频GY2022的特点
数学老师叫我吃她的小兔兔
旗袍全开襟做运动
这个杀手不眨眼2
一根筷子怎么玩哭自己的小朋友
贺朝用棒棒糖桶谢俞
麻花豆传媒剧国产MV网站入口
国色天香十七区品质怎么样
大象成品网站w灬源码1688
精产国品一二三产区区别是什么
漂亮的保姆3日本
依依社区最新网站
花蝴蝶免费版高清版
多人轮换c一个Hpo
一面亲上边一面膜下边文字
漂亮妈妈5韩国2019
十七岁中国高清免费观看
二指探洞很舒服吗
18款禁用B站APP免费版
喷个不停gif出处
头埋在两座山峰之间
深田咏美在线视频无码
隔离期间和妈妈玩
雨后的故事视频
扑克牌视频不盖被子
年轻的小峓子3韩国在钱
奶酪陷阱在线观看
女人是男人的未来1分59分有厚的
年轻的老师滋味5在观整有限中字
14MAY18_XXXXXL56EN打开
快穿之肉糜蜜花(H)
全身按摩被按摩师添下面
男生女生差差差差差很疼视频免费
坐公交车最后一排被C
精品乱码卡1卡2卡3免费
我一加速她就哭
日本一姐潮水RAPPER 太多
妈妈的朋友4男演员是叫什么名字
迈开腿给我尝尝你的森林味道
迈开腿尝尝你的水很甜
野花日本大全免费观看3中文
人马配速45分钟
对象一直咬我的奶奶不嫌脏吗
交口30个图片
皇上不可以(限)沈音
亲亲抱抱蹭蹭的刺激原声哔哩哔
中国日本韩国免费观看
男主高中设计要了女主
做完以后放在里面睡觉的效果
你这S货老子C死你
中文在线4月4日快速反弹
妈咪湿透的三角裤
可不可以韩国电影完整版
vodafonewifi暴力
ZOOM人牛OKZOOM
王者荣耀海月被捅到流口水表情
小坏蛋别戴套了今天是安全期
男男车车好快的车车
随着马的奔跑而律动皇上
你是不是没被C够
女人迈开腿打扑克又痛又叫
双指探洞感觉要喷了hi
污污免费看锕锕锕锕锕锕锕
英国的巨人DannyD
怎么用棉签玩哭自己
9877地铁笨蛋1
中国国产免费毛卡片
深田えいみ无码作品
贺朝谢俞完整车 高速
对着可乐瓶坐下去
内射在线观看者也
1118视频链接
比赛输了任对方看和玩部位一个月
maya成人论坛
体育老师c了一节体育课作文
国精产品一二二线
嬢王 virgin
恋之欲室 电影
《夜关门:欲望之花》
好儿子妈让你爽
爱情鸟免费论坛二
毛日产一线二线三线
后营露营无增减2季
双人床上做剧烈运动
国产卡一卡二卡3卡四卡精品
国精产品W灬1688
在街上他突然按了遥控器
你的东西比我老公大得多
工囗囗番漫画大全全彩
妹妹中考前让我C了1次的作文
无人区码卡二卡3卡4卡伊甸2卡
缠着腰不让退出
十大污的app
亚洲XXXXXLMEDJYF邻居
WRITE AS蕾丝
两边一起的话会坏掉的动漫
亚洲宅男天堂在线观看无病毒
双人床上做的运动打扑克的软件
雷电将军狂飙图片高清壁纸大全
荡公乱妇第1章方情公憩系列大
少妇搡BBBB搡
亚洲不卡在线2卡3卡4卡5卡
斗罗大陆3大乱斗交大配TXT
老婆运动时接听老公电话
当着全班的面做到高C
三秒后野兽在联谊的角落里的他是肉食系
16岁女生迈开腿打扑克正常吗
厚颜无耻韩国动漫免费阅读视频
王者荣耀西施张嘴流眼泪图
打扑克视频用点力
亚洲乱码卡一卡二卡新区公司
英语老师的兔子又大又好吃
EUTOPIA无删减版网盘
用大宝贝给女儿疏通下水道
嗯又粗又长插的好深太舒服了
国色天香精品一卡2卡3卡老狼
manta haya 17
再见美丽小姐剧情分集介绍
优质JING液收集器系统H1
当蜜桃成熟时33d
男生说想在你身上滑滑梯
希儿乳液狂飙W天堂98
皇家共享小公主暖玉Q
家教老师 考满分就能一整天
跳D放在里面走路感受描述
无人区一码二码三码区别在哪查
七个人玩我一个人
老扒和三个熄妇
抖音奶片已删除的视频十五秒
公交车双指探洞醉汉
晚上如何在被子里玩自己
麻豆精品传媒一二三区
商务旅行中绿子女老板帽02经典
接电话顶的她说不出话
世界脱衣舞大赛
我们四个人换着玩的感觉是
laojiumen
男团共享物BY不必南下
清平乐免费观看全集高清
宝贝儿你看看它有多想爱你观后感
双人床上做剧烈运动可以吗
5g天天奭多人运动
我们结婚了20131026中字
亚洲卡2卡三卡4卡2021老狼
男生女生一起差差差的app下载大全熊猫
蜜芽忘忧草老狼二区行情网
他的手抓住了我的小兔子视频
小城雨巷 高清
月光视频在线观看免费播放
海角.COMHJ3DCE
tttzzzsu黑料入口吃瓜
会所娇妻被多个黑人怀孕小说
岳把我用嘴含进满足我视频
他缓慢而有力的往里挺送文字
坐着震动器写作业
我的兔子好软水好多樱花视频
天堂引路人咳咳懂得都懂
荡秋千越往里越深
国产AV精品一区二区三区夏竹
1996年新版金银瓶
看镜子我们是怎么结合的
今天晚上我控制不好速度
老公的好大我都握不住了的说说
破了英语课代表的那层膜
大叔1V2LH
注射器放屁眼里灌注牛奶
欧洲女RAPPERDISS大
糖心国产传媒vlog
宝宝我们换个姿势在玩
我朋友把我玩成了喷泉
吃瓜网51cg7爆料
适合晚上一个人看B站
国精产品一区二区三区有限公司
夫妻之间免费的视频
天堂引路人咳咳懂得都懂
上一个楼梯撞到最深处
一件一件的剥开我的衣服
福利院在线合集1000集
XL上司第二季樱花未增删翻译
快穿之女配紧致h
太阳帝国的原罪秘籍
男生插曲女生身全过程
天美传媒MV免费观看软件特色
撕掉她的外衣和内衣
妈妈用身体做儿子生日礼物
一抽一出BGM毛
男朋友买玩具玩我
黄金网站app免费视频大全
我要拥有你的全部下滑
丫头不疼我就进去一下
最近韩国电影高清免费观看在线
啊哈哈哈哈主人我错了哈哈哈哈柯
彩虹男GARY2022
儿媳妇夸我比她老公大古言
艳阳门无删照片1400还有视频
早就想在车里要你了视频
酒醉的玫瑰在线观看
女生输了给对方玩一个月的游戏
高雅人妻被迫沦为玩物电影BD
妇与子乱小说目录伦
年轻的阿姨3完整版
《着迷》 阿司匹林
晚上必看的正能量视频入口
蜜桃成熟时1997qvod
yuanshayangli
hm因虚假宣传被罚
只有棉签怎么自罚
老湿机一分钟免费观看
欧洲victoryday
在公交车上没了第一次
欧洲最新一卡二卡三卡四卡
小泽玛丽娅电影
X姓女RAPPER的首次亮相
黄到让你那里滴水
男生捏我的小兔兔描述作文
快穿之系统养成(h)冉冉
可播放的steve hopper
喜爱夜蒲1在线影院播放
高岭家的二轮花
又疼又叫打扑克视频声音
日本一卡二卡3卡四卡免费
HonKai Impact 3rd Kiana R2
西方37大但人文艺术任汾A级
年轻的母亲在完整的有限公司
黑料不打烊TTTZZZ首页
好深好紧好爽再浪一点野战公园
啦啦啦 中国 日本 免费观看
迈开腿打扑克没有马赛克
撞击的速度越来越快公交车
王爷扣腰撞入体内
魅力研习社 避孕套
你的东西比我老公大好多
王熙凤的牡户一张一合
萌白酱弥漫甜味纯白旗袍
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1