【文/观察者网 吕栋】
“作为后发框架,要想实现技术超越或者领先,核心就是找到AI技术变革的下一条新赛道,只有当新赛道出现的时候,才有弯道超车的机会。”近期在人工智能框架生态峰会2023上,昇思MindSpore开源社区理事长丁诚在接受观察者网采访时说道。
今年以来,ChatGPT掀起的这轮AI大模型浪潮,彻底拉高了市场对AI底层硬件的预期,算力、GPU、服务器等概念萦绕在不少人的脑海中。但实际上,在每个划时代的技术更迭中,硬件都需要与软件系统密切配合,才能更好地实现产品或应用价值。
(资料图片仅供参考)
在当前的人工智能技术架构中,共分为大约四层:芯片层、框架层、模型层和应用层。其中,AI框架在行业内被定义为“AI领域的操作系统”。在这一底层核心软件领域取得主导权,无异于微软在PC时代拥有Windows,谷歌在移动互联时代打造安卓。
在AI成为大国竞争新高地的今天,国产AI框架的发展,事关中国能否在新一轮科技革命中掌握主动权。令人感到欣慰的是,近些年以昇思MindSpore、飞桨PaddlePaddle等为代表的国产AI框架逐步成长起来,没有让中国科技产业“缺芯少魂”的剧情重演。
但同时也要指出的是,由于具有先发优势,谷歌的TensorFlow和Meta的PyTorch,在性能和易用性上依然不乏好评,目前使用率在国内高居前列。面对TensorFlow和Pytorch构筑的旧格局,国产AI框架“弯道超车”的机会在哪?又该如何打造自己的生态优势?
图片数据来源:Omdia(下同)
AI框架有何重要作用?
“大模型时代,大家对AI产业发展的关注,往往会聚焦在算法本身以及底层的算力上,也就是基础设施硬件方面,中间的技术软件经常被忽视。”近日在上海举行的人工智能框架生态峰会2023上,昇思MindSpore开源社区理事长丁诚向观察者网说道。
自去年底以来,新一轮AI大模型热潮被ChatGPT掀起,算力和服务器成为绝对的市场焦点,国内大模型厂商抢购GPU的消息此起彼伏。例如最近就有传言称,字节跳动今年向英伟达订购了超过10亿美元的GPU,国内另一家大厂的订单也超过10亿元人民币。
AI训练和推理需要大算力,GPU等AI芯片受到热捧无可厚非。但同时也要指出的是,所有人工智能的算法及应用,都要通过AI框架进行训练与部署。作为人工智能的“根技术”,“AI框架+算力硬件”的组合,可以在一定程度上决定AI产业应用的主体技术路线。
AI框架技术演进 图源:中国信通院
“人工智能框架南向对接多样算力,北向通过编程接口帮助开发者实现算法创新应用。在整个大模型生态当中,人工智能框架是起到一个大模型使能的定位,所谓大模型使能,就是帮助开发者孵化他的大模型,人工智能框架不会自己去做大模型,但是它会把做大模型的算法团队作为它的用户。”丁诚告诉观察者网。
对于AI框架的重要意义,商汤科技联合创始人林达华曾这样表述:
在我们最初探索深度学习的时候,没有TensorFlow,没有PyTorch,甚至没有GPU。我们需要手写C++程序来完成整个计算过程,训练一个模型需要一两个月。正是因为经历了这样的艰辛,我们深切地认识到训练框架的核心意义,可以说,训练框架定义了算法研发的空间,框架的空间有多大,我们就能走多远;框架的能力有多强,我们就能走多快。
百度首席技术官王海峰也曾表示:
深度学习的通用性特点,以及深度学习框架及平台的发展,正推动人工智能标准化、自动化和模块化,进入工业大生产阶段。深度学习框架下接芯片,上承业务模型、行业应用。一个好的AI框架,与芯片互相配合,可以最大限度的“榨干”芯片的算力,发挥其最高效用。
总体而言,对于开发者来说,AI框架的底层能力、功能丰富度、生态完善度,都会影响开发效率,进而影响新技术和应用创新的速度。随着大模型浪潮席卷而来,AI领域内的开发创新工作更加如火如荼,AI框架作为核心开发工具,重要性更加凸显。
国内没有缺席,但国外仍有优势
PC和移动互联网时代,Windows+Intel、Android/iOS+ARM的软硬件联盟,曾让中国饱受“缺芯少魂”之苦。进入AI时代,中国企业更早认识到“操作系统”的重要性,纷纷开始布局AI框架。例如,华为MindSpore、百度PaddlePaddle、商汤科技SenseParrots、腾讯TNN、阿里MNN、字节跳动BytePS、旷视MegEngine、小米Mace等。