有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
如花似玉如饥似渴
一面亲上边一面膜下边打扑克图片
日产2021免费一区
在县城开零食店春节能卖200万
爸爸妈妈夜里摇床还叫声音
公交车伦流澡到高潮HNP电影
宝宝家里没人叫大点声
晚上睡不着想看点网站
榴莲app下载网站进入色板
巴西女人与禽2O2O性论交
无人区一码二码三码区别在哪
人与畜禽CROPROATIO一
日本一卡二新区无人区
日产无人区一线二线三线视频
初中女生喊疼男生越往里寨游
权臣hlH十一月
小东西才一根就坚持不住了
C了一天是什么体验
英国的巨人DannyD
日本理论片和搜子同居的日子
大象国精产品一品二品在线
tokyo hot n0460
中文在线12月18日快速反弹
939W乳液78W78WY3
免费可以看亏亏的软件大全
迈开腿让尝尝你的小草莓什么意思
中文在线3月23日快速反弹
绝对控制我的学校2
一抽一出BGM试看60分
求你把跳d遥控器关了
双男主纯车骨科
女孩子坐男孩子身上有啥反应
9612黄桃网址进入页面手机端
顶的速度越来越快越叫的原因
一二三四高清日本播放
小洞饿了想吃香肠有声音作文
无人区码卡二卡3卡4卡有限公司
被特种兵开宫灌满怀孕H
雷电将军乳液VX
伊人成人生综合网图片
污到你那里滴水的说说细节
中国夫妇hometown
原神刻晴去掉小内打扑克
AI换脸JENNIE向上射水
人妻洗澡被强公日日澡
用大宝贝疏通下水道
人与畜禽杂交MOUSE农场K9
蜜芽永不失联2023
给你下水好多下水道
爸爸说家里没人可以C了
推荐一款污的app
为什么把腿开到最大就不疼了
吉泽明步torrent
亚洲小鲜肉帅哥GARY
晚上剧烈摇床运动视频
歪歪漫画登录页面免费环球
带仙女棒去上学的感受
把这个放进去自己按下开关
父亲的东西又长又黑怎么形容他
趴在办公室被老板们C
风间由美 熟女
内射老妇BBX
打扑克又叫又喊疼的软件
国模全体超大尺度私拍
体育生GARY2022打桩
差差差30分钟很疼视频无掩
国精产品一区一区三区有限公司
能干的猫今天也忧郁
被二指探洞感觉要喷了文章
最近更新中文字幕
好妈妈4中汉字
豆奶app下载汅api免费下载ios
W到你那里滴水流爆水的短文
136大但人文艺术
朝俞坐着震动器写作业write
色网址大全导航
被C是什么感受
练瑜伽的时候进入
FREE性俄罗斯14 18
日本无人区码一码二码三码四码
国精产品一区一区三区M
上自己妈妈是什么体验
男人和女人香蕉网线看
把女的弄的第二天走不了路
亚1州区2区3区4区产品乱码2021
女性半夜莲花开放的治疗方法
ワンピースのエロ资源中文
二次元人物桶二次元人物动漫
日本精品一线二线三线区别
抬起阿离的腿就是C
乌龙派出所221
做错一道题就被学长c一次
我的兔子好软水H15
拉开拉链它想你了给他好不好视频
JAPONENSISFES老师
5G年龄确认永久有效
三个人一起C感觉
bbox撕裂bass后门
考的好妈妈给你做一次
女生说痛男生越扎的软件大全
by1259改哪里了
隔着睡衣吃你的小尖尖作文
果冻传媒母亲和女儿李琼
silk-005
在摩托车上要了你
夜里18款禁用b站入口软件
国产精华精华液一二三区别
日剧双人床上做剧烈运动作文
爸爸妈妈为什么夜里摇床还叫
武大内野CAMPBUDDY
动漫人物剧烈运动打扑克视频
等不及了在车里就CH
太多了装不下h11怎么办
张津瑜 VS吕总视频
小东西几天没做喷的都是视频
关于我和鬼变成家人这件事
姬小满乳液狂飙奖励自己一发视频
ipx-247
原神雷电将军不遮副乳
福利乱码卡一卡二卡新区
日本20岁RAPPER
王者荣耀英雄黄化网站在线看
piaolonghe
宝贝和我女主角
三叶草欧亚专线欧洲S码
他不让我断奶他要接着吃怎么办
老师你的兔兔子好软水软件
上边一面亲下边一面做连续剧
琪琪色原网20岁以下热热色原网站
吃自己的丁丁的方法
12星座离奇事件柳岩
女人一进去就老实了的原因
与畜禽狗CROPROATION
狗的速度很快又大又烫
日本人是人吗 不是
龙口护士门视频在线观看
二指挖洞的手势技巧
二指探洞疼哭了
茄子视频APP下载安装无限看-丝瓜安卓
几天没C你是不是痒了免费
日本rapper潮水RaPPe
原神纳西妲流不明液体A区
狗狗射速好烫太怕了
同城交换俱乐部
十天的爱人韩语
天下男修都躺好
抱着边走边撞水流了一地的
第二代国产自在自线
一边做饭一边躁狂怎么办
韩国演艺圈悲惨37
控制全校女生听从自己
OVERFLOW未增删带翻译樱花
中文日产幕无限码一区有限公司
男女倒插莲花是什么意思啊
美国队长3票房
黑料吃瓜网.SU永久有效
两个男生做不可描述的事情
暴躁老外玩MINECRAFT
镜子中我们的结合处发出
俄罗斯18give100
青年大学第十一季第二
年轻的馊子8中字
趴在玻璃窗做给别人看的视频
5个黑人同时玩我
啊轻点灬公大JI巴又大又
长泽梓 白衣浴室
娇妻两根一起进3p视频
好湿好紧快点再深一点动图
超碰人人操在线视频
减去小舞所有的衣服
爱萝莉真是太好了
麻花传md0155苏蜜清歌在线
菠萝蜜一二线产区
YELLOW片高清
班长哭着喊不能再C了视频作文
粉色视频高清免费版观看
花蝴蝶日本视频
伽罗太华被 哭还流东西漫画
十七岁中国高清免费观看
好痛太大了放不下的
坐公交车弄了2个小时视频怎么办
日本在线高清免费爱做网站
俄罗斯人与物动XXX
如何吃到自己的小鸡够不到怎么办
野花视频免费资源
爸爸突然抱着说想要
雷电将军乳液VX
皇上撞着太子妃沈音
老公晚上是怎么玩你的
《着迷》 阿司匹林
宝宝这才几天没做水就这么多顾延
一女战三老外一女战三黑人
家里没人你用点力 快快
错一道题就往里面插一支笔作文
一边伸舌头一边快速喘气小
公I公在厨房要了我在线观看
厚颜无耻韩国动漫在线阅读
把下面能看湿的句子5000字
看镜子里我们的结合的地方
xxxholic春梦记
china野外18:19
你的水怎么那么多还说不要
给我免费播放片日本版
kenderla sanderland多人
欧式双人三人组合
WRITE AS 女生
剧烈运动摇床打扑克运动视频免费
公交车上的诗绵抱着孩子
Zoom与人性Zoom的区别
用过仙女棒的说下感觉
25岁高中生未增删翻译中文翻译
すているのエロ资源天堂
控制全校女生听从自己
忘忧草WYC.APK7.3进入
国产精华液2020
蜜桃成熟3全集高清
扶摇zydzyd灌得鼓鼓的
输了让对方随便玩一个月的作文
警方调查黄金鲍事件
老卫抱着淑蓉进房间
女BBWBBWBBWBBW
夫外出被公侵犯中字电影
小东西是不是好几天没弄你了视频
车子一晃一晃的就进去d
14MAY18XXXXXL美国
吉泽明部 种子
星空传媒XK8077妻子的报复
明星ai智能人脸替换网站
しぼっちゃうぞ中文在线观看
朋友娇妻的滋味中文字幕
躺在我跨下的英语课代表
XL上司未增删带免费翻译樱花
2023钙GGY钙站入口
四个人换着玩的过程叫什么
S货是不是想挨C叫大
同时和两老师双飞
打扑克不盖被子床上运动
绿帽子精选系列70
EveIynCIairn黑白配
把腿开到最大就不疼了真的吗
看完就起反应的文章
给我播放片在线观看
六人轮换C1个感觉
嗯啊乌龟蹭你的扇贝
国精产品自线六区
许仙终于把小青日服变成了
宝宝可以捅捅我的下水道吗
两个人一前一后融为一体
别急晚上老师就是你的人了
你和对象最疯狂的一次
爱情岛论坛网亚洲品质自拍
张津瑜落地窗9分多钟付费
被粗汉H玩松了尿进去N-红-Q
老赵抱着月月在厨房做欧美视频
家风贞静(禁忌GH)结局
一边亲一面膜下的活动内容
YELLOW日本韩国
全美超模大赛第十五季
用手指轻轻按着并来回移动的词语
摇摇晃晃公交车XX5
被子里怎么无声自W
美国XAXWAS9977777
亚洲无人区码一码二码三码四码
老公都是怎么上你的
宋慧乔爆肛门是怎么回事
好看的肉质高的有R
台湾中文网娱乐网
全国AAAA和AAAAA景区
年轻的小峓子3韩国在钱
成品人直播大全
瑶白色液体喷到脸上是什么
暖暖视频日本版免费完整版
想你1VLH最新
中国警察GARY飞机老公
吃自己的丁丁的方法
939W乳液78W78W韩国
女装正太 my pico1
妇女被深耕过后身体有哪些变化
做运动打扑克免费直播软件
聂小雨视频3分25哪里可以看
99无人区码一码二码三码
迈开腿让我看下你的小草莓图片
农夫导航最新网址
78MAP打扑克视频
自W的方法教程图片
女士睡衣开襟免费网站高清
一边喘气一边叫疼的视频
去姥姥家进入妈妈身体的说说心情
三个人一起玩3Q会怎么样
小东西好几天没弄你了若若视频
翁公的大龟挺进秀婷
男男车车好快的车车真人网站视频
他缓慢而有力的往里挺送文字
性肥胖BWBWBW69
另类老太婆BBWBBW
男生的坤坤放到女生的坤里动漫
电车之狼r详细攻略
XL动漫未增删带翻译
3分25秒痞幼视频是什么东西
放在里面顶着学长写作业作文
成品人直播大全
心动时刻简简单单的享受
三个人一起玩3Q详细经过
18岁末年禁止网站
一个妈妈的女儿BD在线播放
24小时免费看视频打扑克
ZOOMSERVO
女生让男生玩诵自己的游戏
脱色摇床实验室振荡器雷安
草699一码二码三码四码
男生和女生一起差差30分钟很痛一百条信息
性情中人中文网bt
JEALOUSVUE成熟MON
趣事百科宅福利鲁一鲁
讲课桌下面给老师口
家里没人妈妈陪你做一次
大叔轻一点可以吗
男孩子和男孩子做到哭图片
欧洲VODAWIFI喷浆3D
胸大的姑娘中文字幕视频
娇妻被朋友玩得呻吟在线电影
自w到高c的25种方法
轻轻剥开你的罩子一口咬上头
随时随地都在c的小镇
秘密教学105话我需要灭火
接电话被顶的受说不出话
迈开腿尝尝你的草莓汁的
边做饭一边躁狂怎么办呢
没带罩子让他吃了一天的没事吧
日本欧美韩国推理片在线观看
两个男生做不可描述的事情
教授走一步撞一下苏冷韵
日韩一线二线三线四线五线
日本19岁RAPPER老狼
放在里面睡觉是一种什么样的感受
日韩一卡2卡3卡无卡新区乱码
雷电将军和丘丘人繁衍后代
没有我的允许不准流出来
大象国精产品一品二品
718吃瓜网网站入口
日本农村大姐rapper
狼群社区WWW中文版
他的手一点一点的往里
久久精品卡二卡三卡四卡
女人的各种鲍鱼
是不是每一个b都一样感觉
当陆沉往你里面放了东西小玩具
黄鳝21分钟40秒完整版
厨房运动剧烈老师的大兔子鹿
GOGOGO大但人文艺术
徐若瑄 魔鬼天使
打扑克剧烈运动软件
让我看看你茂密的小森林
大地影院日本韩国免费
健康全裸游泳社
带闺蜜出来玩被她老公骂怎么处理
无限免费观看动漫
姬小满去掉布料
相亲对象是学生未增删樱花
荔枝app在线汅api在免费
中中文日产幕无线码一区
writeas内塞猫尾巴
把两只小兔子吸红肿
和教练在车里干了我三次
重一点啊再重一点
雷电ゃんが腿法娴熟を免费网站
宝宝这才几天没C水就这么多
什么叫倒插莲花
同桌的手探到我的衣服里知乎免费
分手炮是不是都特别卖力
一面亲上边一面膜下边美国
狗链M项圈女母狗牵引绳铃铛
宝宝才几天没做就湿成这样图片
女人吃男人精子图片
蜜芽忘忧草YW成长人研究室
可C可拔萝卜女生小游戏
年轻的妈妈的中字巴巴鱼汤饭
一体六交是哪6个地方
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1