国产版GPT接踵而来,算力平台谁来支撑?
上周,百度推出基于大模型的AI聊天机器人“文心一言”,成为国内首个冲进GPT赛道的互联网企业。3月18日,第一财经记者从达观数据获悉,该公司自主研发的大型语言模型“曹植”**也取得突破性进展,有望成为国内大规模语言模型中首批可落地的产业应用级模型。
在国产版GPT接踵而至的背景下,目前国内的算力平台还不足以提供支撑,这也成为制约我国大模型发展的重要瓶颈。
垂直大模型也需要上千张GPU
据介绍,“曹植”与ChatGPT和“文心一言”这类更加通用的大语言模型不同,是专注于垂直、专用领域的模型,目标是赋能金融、政务、制造等多个垂直领域。
达观数据创始人CEO陈运文对第一财经表示:“‘曹植’在垂直领域内的理解和生成的任务上都达到了很好的效果。目前在一些技术细节方面还在调优,未来达观数据将建立多个垂直领域的专用语言大模型,整体功能会很有特色。”
他举例称,基于达观AIGC智能写作能力,可适配各类材料申报业务场景,基于已有各结构化类数据,快速撰写各类制式和非制式文档,应用于公文、招投标、投行申报文档、法律文书等专业写作场景。
华为公司创始人任正非近期也对ChatGPT发表看法。他表示:“未来在AI大模型上会风起云涌,不只是微软一家,人工智能软件平台公司对人类社会的直接贡献可能不到2%,98%都是对工业社会、农业社会的促进,大家要关注应用。”
ChatGPT带动了自然语言处理整体上下游以及芯片的思考和发展,某种程度上大模型也很可能成为下一代技术发展的基础设施。我国建立自己的基础模型体系已成为必然需求,在这一发展过程中,目前国内企业面临的普遍问题是算力不足。
陈运文向第一财经记者坦言,训练一个垂直的大模型可能需要上千张GPU芯片集群。“现在面临的问题是,我们需要的GPU数量还远远不够,远水解不了近渴。”他对第一财经记者说道,“集群需要的GPU数量很多,建设周期长投入大。”
目前支撑包括ChatGPT大模型在内的95%用于机器学习的芯片都是英伟达的A100(或者国内使用的替代产品A800),该芯片的单价超过1万美元。此外,英伟达最新一代的H100芯片的性能也远超A100,但**也更高,约合25万元人民币。
除了单个的芯片之外,英伟达还**一个包含8个A100的服务器**DGX,售价接近20万美元。分析师和技术专家估计,训练GPT-3等大型语言模型的耗资可能超过400万美元。
这对于大多数中小企业而言几乎是不可能承受的开支。在陈运文看来,如果有超大中心能够提供算力租赁的模式,将会解决中小企业很大一部分算力不足的问题。“国内现有的租赁平台的问题是算力规模还太小,而且**太高。”陈运文告诉第一财经记者。
企业探索减少对算力的依赖
在GPT这类大模型问世前,国内几乎没有任何应用场景需要用到如此大的算力。第一财经记者了解到,商汤科技等国内企业都拥有自己的超算中心,但这些平台仅向定向合作客户**;而阿里巴巴等对外出租的超算平台的的算力仍然不足以满足目前大量的大模型需求。
复旦大学自然语言处理实验室邱锡鹏教授此前也表示,该实验室开发的大语言模型MOSS受制于算力资源不足的问题。据介绍,MOSS是基于32张英伟达A100芯片算力。相比之下,ChatGPT模型背后拥有约3万块A100芯片,差距接近1000倍。
对此,邱锡鹏认为,在资源有限的情况下发展大模型的方向是“用规模较小的模型找到特定的应用场景”,例如可以在企业内部私有部署,经过一些数据微调就可以转化为生产力。
作为GPT算力最重要的提供者,英伟达已经在探索新的商业模式。黄仁勋已经表示,英伟达愿意将人工智能的算力放在云端共享给企业。
“我们提供的价值是将原来需要投入10亿美元运行CPU的数据中心缩减为仅用1亿美元就能搞定的数据中心,现在将该数据中心放在云端共享,意味着可以由100家公司来分担这一成本,因此每家公司支付的实际上是非常少的费用。”他说道,“现在企业可以花一两千万来构建一个类似GPT的大型语言模型,这是可以支付得起的。”
不过也有业内人士指出,解决算力问题只是开发大模型的第一步。澜舟科技创始人CEO周明对第一财经记者表示:“虽然现在算力平台不足是行业面临的普遍问题,但是即便算力问题解决了,还是会有其他问题,关键在于对大模型本质的理解需要提升。”
周明表示,在美国现在大家也是一窝蜂地去搞大模型,其实很多人对大模型的机理理解还停留在比较初步的认知,包括大语言模型的工程化管理,缺乏**思考的精神。
周明也同意,未来大模型的一个发展方向是,在算法上进行优化,从而减少对模型和算力的依赖。“比如用很小的GPU也可以做大模型,这个方向值得关注。”他对第一财经记者表示。
当前,以芯片为代表的信创产业逐步成为国家科技竞争力的重要标志。在国产CPU产业强势崛起的过程中,你首先想到的会是哪几企业?答案有很多,但“中科系”的提及率绝对很高。作为国家战略科技力量,“中科系”旗下
21世纪经济报道记者倪雨晴 圣何塞报道在硅谷源泉之一的圣何塞,英特尔CEO帕特·基辛格(Pat Gelsinger)正在带领英特尔加速奔跑。当地时间9月19日,2023英特尔on技术创新大会于美国加利
财联社9月19日讯(记者 唐植潇)近日有消息称,OPPO将会重启芯片业务,并且“有部分员工已经回流,加入到了车载业务之中”。记者就此事向OPPO方面进行核实,对方表示“不予置评”。特百惠(我国)数字与
600亿颗芯片!我国巨头正式宣布,美媒:**也没料到制裁这么快
我国芯片市场与美国依赖我国的集成电路市场一直以来都是一个巨大的市场,拥有庞大的需求和巨大的增长潜力。我国的电子消费市场一直在迅速增长,包括智能手机、电视、电脑和各种智能设备等,这些设备都需要高性能的芯
最新手机芯片天梯图:A17、华为麒麟9000S,排在什么位置?
近日,最火的两颗芯片分别是苹果的3nm芯片A17 Pro,虽然很多人吐槽它较上一代提升不明显,但论性能,可以碾压任何安卓芯片,甚至是领先2代的。另外一款芯片,则是华为麒麟9000S,当然,这颗芯片工艺
韩国芯片连续13个月暴跌,尹锡悦指责我国不采购,外媒:自食其果
据韩国媒体称,韩国的半导体出口额已经连续暴跌13个月了,比去年同比下降了28%左右。韩国政府急的焦头烂额。尹锡悦政府竟直接甩锅我国,话里话外都是指责,他认为韩国半导体卖不出竟是我国的原因,我国应该帮助
我国突破芯片瓶颈将影响全球秩序?美国很担心,指出我国关键弱点
我国在芯片半导体领域一直深受美国的**,通过贸易制裁的方式阻止高端芯片进入我国市场。这样的举措一度造成我国芯片领域发展断档,不过随着我国科技企业近几年的突破,目前我国已经在芯片制造方面取得了重大的成果
前几天,华为一声不响的上线了mate60系列,带着麒麟芯片9000s强势回归,吸引了全世界的目光。而华为麒麟芯片**背后,我们不该忘记这位老人—张汝京。我国半导体之父,为回**造芯片,被开除**户籍,
【有车以后 资讯】“未来汽车对传统汽车的颠覆性,使传统零部件体系的50%以上都面临重构。”12月16日,在全球智能汽车产业峰会(GIV2022)上,我国电动汽车百人会理事长陈清泰指出,智能汽车的价值链
投稿点这里汽车有多少个零件?其实这个问题并没有一个十分确切的标准答案...据估计,一般轿车约由1万多个不可拆解的**零部件组装而成。结构极其复杂的特制汽车,如F1赛车等,其**零部件的数量可达到2万个
全球最大的10家汽车零部件供应商 都是世界500强 无我国企业
【卡车之家 原创】美国《财富》**每年发布的世界500强排行榜,是以营业收入数据对全球企业作出排名的榜单。2017年“世界500强”榜单中,汽车制造商和零部件厂商共占据33席(除去大型工程车辆企业),
汽车零部件企业哪家强?除了博世**还有这些名字你一定耳熟能详
文:懂车帝原创 李德喆[懂车帝原创 行业]9月18日,由《我国汽车报》主办,罗兰贝格协办的2019汽车零部件“双百强”企业发布会在江苏南京举行。在两份榜单中,博世、**、电装位列2019全球汽车零部件
行业现状(Reference:产业运行 | 2021年汽车工业经济运行情况)中汽协预测:2022年我国汽车销量达到2700万辆,新能源销量超过550万辆(Reference:乘用车市场信息联席会)以乘
全球十大汽车零部件供应商,核心技术都被他们垄断,自主遗憾缺席
提到电影,我们会想到张艺谋、冯小刚,而很少会想到幕后的制作人;提起流行乐,我们会想到周杰伦、萧敬腾,而很少会想到背后的作词人。台前台后,一幕之别,知名度往往相差甚远。车界又何尝不是如此,知名车企我们都
来源:环球时报 【环球时报记者 倪浩 陶震 环球时报驻德国特约记者 青木】经过3年疫情后,全球最具影响力的通信展今年有望再现往日盛况。2月27日至3月2日,由全球移动通信**协会(GSMA)主办的20
近日华为、苹果争相推出手机卫星通信功能,成为一大亮点,不少手机厂商也将目光投到卫星通信。放眼未来,手机直连卫星的卫星通信服务将是大势所趋,也是6G时代的重要标志。华为以“北斗三号”为依托,率先把“卫星
国内企业在光通信产品的参数测试过程中,通常使用国外的先进测试设备。然而,这些测试仪器之间往往是孤立存在的,需要手动调试仪器并通过旋钮、按钮和人眼观察波形或数据。这不仅*作繁琐易出错,而且测试效率低下。
龙头20cm涨停,7天股价翻倍!一文看懂卫星通信前世今生及产业链
卫星通信概念股华力创通今日再度强势拉升,截至发稿,该股股价20cm涨停,7个交易日累计涨幅近113%,现报23.52元续刷阶段新高,总市值155.9亿元。消息上,有媒体从供应链获悉,Mate 60 P
工信部:目前我国尚不具备实现网络层面的移动通信号码归属地变更的条件
针对网友提出的“电话号码归属地更改”建议,工信部近日给出了官方回复。此前,有网友在人民网留言板向工信部留言称,“现在电话都是实名制,电话号绑定的***及一些主流的软件较多,更换号码后造成一系列问题