Fork me on GitHub

国产最大AI开源框架再升级:发布9大新产品,顺便送出亿元GPU算力

  乾明 边策 发自 凹非寺 
  量子位 报道 公众号 QbitAI

  时局如此,国产 AI 框架雄心更盛。

  气势更足、功能更新力度更大、开发者羊毛更丰厚……而且新发布还不是全部,已获得的成绩也相当亮眼:

先用 AI 算法为中国传统产业节省了 1 个亿。

  这就是百度旗下 AI 开源框架飞桨(PaddlePaddle),刚刚秀出的肌肉。

  2016 年开源至今,飞桨目前有 150 万 AI 开发者,超过 6.5 万企业用户,在定制化训练平台上发布了 16.9 万个模型。

  俨然中国第一大深度学习开源平台。

  并且形势所迫,自主可控也成为 AI 框架等基础平台发展要求之一。

  所以在此次飞桨更新发布中,也无处不透露着“国家队”担当。

  在采访中,百度方面透露,飞桨不仅是完全自主知识产权的深度学习平台,而且在分布式训练的性能以及易用性上,都超过了国内外竞争对手。

  那么接下来如何实现更多场景、更全面地同场竞技优势?

  此次的九大新产品、上亿新羊毛,以及进一步产业落地,就更值得关注。

  九大新产品都是啥?

  在“WAVE Summit+”2019 深度学习开发者秋季峰会上,飞桨迎来全面升级。

  百度 CTO、深度学习技术及应用国家工程实验室主任王海峰,率先登台分享最新思考,他说:

深度学习正在推动人工智能进入工业大生产阶段,具有很强的通用性,同时具备了标准化、自动化和模块化的基本特征,推动人工智能技术从实验室走向产业,并且越来越大规模使用起来。

而深度学习技术和平台也在不断发展,在未来的时间里也将继续发挥重要作用。我们秉承开源开放的理念,把飞桨平台开源开放,与所有开发者一起,推动科技发展、产业创新和社会进步。

  此次飞桨一共有 9 大产品全新发布:包含一个模式、一个端侧推理引擎、四大产品开发套件,三个工具组件。

  具体详情如下:

  首先,一个模式,指的是飞桨 Master 模式

  百度 AI 技术平台体系执行总监、深度学习技术及应用国家工程实验室副主任吴甜介绍说:

飞桨是一个源于产业实践,与产业共进的深度学习开源开放平台。未来,飞桨将持续发展超大规模分布式计算、异构计算能力,定位于全硬件平台支持、端云边结合,为应用场景提供面向场景的端到端套件,构建融合数据和知识的预训练结合迁移学习的 Master 开发模式,为开发者提供最强大的生产平台和基础设施,加速产业智能化。 

  核心是依靠百度的强大算力,提升开发者在部署模型时的移动性

  具体来说,开发者只使用自己的少量标注数据,加上飞桨的迁移学习工具,就能将自己的算法模型快速部署到自己的应用场景中。

  带来的直接影响,是面向产业场景平台开发时,降低工作量,提升模型的准确度、可靠性。

  其次,一个端侧推理引擎,指的是Paddle Lite 2.0

  这一轻量级深度学习推理框架,在今年 8 月份正式发布。

  这次的升级中,专注易用性,提供了预测到部署完整工具链,只需要 7 行代码调用 Resnet50,也支持极致轻量级部署。

  硬件支持也更加广泛,移动端支持 8 种主流硬件,新增华为 NPU 和边缘设备 FPGA 支持,寒武纪、比特大陆等国产硬件的支持也在路上。在架构设计上对硬件扩展也更加友好。

  最后是性能,百度深度学习技术平台部总监马艳军,现场放出了与其他几家主流框架的性能对比图,基本上都是“吊打”状态:


Paddle Lite 2.0 在推理延迟上远远低于其他推理框架

  第三,四大面向场景的端到端开发套件,也是飞桨体系中完全新增的模块。

  覆盖语义理解、图像分割、目标检测,以及个性化推荐。

  包含ERNIE 2.0,一个基于持续学习的语义理解预训练框架,号称在 16 个中英文任务全面超越对标产品。

  核心亮点在于,新构建的预训练任务类型可以无缝的加入训练框架,持续的进行语义理解学习。

  还有PaddleSeg,产业级图像分割库,提供了 18 个预训练模型,覆盖了 DeepLabv3+, U-Net, ICNet 三类主流的分割模型。

  通过统一的配置,帮助用户完成从训练到部署的全流程图像分割应用。

  以及目标检测库PaddleDetection,已集成 60+ 预训练模型。目的是为工业界和学术界提供易使用的目标检测模型。

  在这个库中,飞桨还提供了许多目标检测小模型,方便给移动端设备使用。

  此外新增的套件,是用于个性化推荐的ELASTIC CTR,这一套件源自于百度的产业实践。

  可以实现分布式训练 CTR 预估任务和 Serving 流程一键部署,提供了端到端的 CTR 训练和二次开发的解决方案。

  最后,三大发布,都聚焦在深度学习领域前沿的工具组件:

  PALM,多任务学习框架。

  其中内置了模型 backbone(BERT、ERNIE 等)、常见的任务范式(分类、匹配、序列标注、机器阅读理解等)和数据集读取与处理工具。

  功能亮点在于易用性,对于典型的任务场景,几乎无需书写代码便可完成新任务的添加。

  对于特殊的任务场景,用户可通过对预置接口的实现来完成对新任务的支持。

  PGL,图神经网络框架。

  提供了一系列的 Python 接口用于存储/读取/查询图数据结构,并且提供基于游走(Walk Based)以及消息传递(Message Passing)两种计算范式的计算接口。

  利用这些接口,可以搭建最前沿的图学习算法,结合飞桨核心框架,就基本能够覆盖大部分的图网络应用,包括图表示学习以及图神经网络。

  现在,PGL 已有 13 个图学习模型,涵盖图神经网络和图表示学习的主流模型。

  PaddleFL,联邦学习框架。

  其能力在于复制和比较不同的联邦学习算法

  在 PaddleFL 中,还提供了很多联邦学习策略及其在计算机视觉、自然语言处理、推荐算法等领域的应用,在部署大规模分布式集群中部署联邦学习系统时,也较为容易。

  此外,伴随着这次 1.6 版本发布,飞桨还有12 项产品重要升级。比如:

  • 提供更多的算子库、简单高效的 API 接口、完善的文档内容,全面提升易用性。
  • 升级轻量级模型结构自动搜索 PaddleSlim,增加了基于硬件搜索等能力,打通训练、压缩和部署全流程。
  • NLP、CV、推荐系统、语音等各大基础模型库的模型,从原来的 60+ 到了 100+。这其中有多个在 AI 竞赛中夺冠的算法模型,比如在 EMNLP 获得了 10 项阅读理解项目冠军的D-Net。
  • Paddle Hub,新增了超参优化 Auto Fine-tune 功能,预训练模型数量大幅增加,支持飞桨 Master 模式。
  • 深度强化学习框架 PARL 并行能力升级,支持进化算法。
  • Paddle2ONNX 和 X2Paddle 升级,飞桨和其他框架的模型互转更加方便。

  聚焦产业场景,上亿新羊毛待薅

  所以上述新发布究竟够不够竞争力?

  自飞桨开源以来,作为深度学习框架,经常被人拿来与 PyTorch、TensorFlow 两大框架进行对比。

  但时至今日,飞桨官方认为已经不能再单纯以 AI 框架视之了。

  他们更愿意定位自称:深度学习开源平台

以百度多年的深度学习技术研究和业务应用为基础,集深度学习核心框架、基础模型库、端到端开发套件、工具组件和服务平台于一体。

  在接受量子位采访时,吴甜解释了这一定位背后的考虑:“不同的 AI 框架都有其相应的发展规划,这就是飞桨选择的发展路线。”

  现在,百度对外宣称的飞桨四大领先技术时,框架只是其中之一。

  而且如今谈 AI 发展,不谈落地都显得太虚。

  于是大会主题演讲中,飞桨也重点分享了发展至今的侧重点与发力点:产业

  因为产业之大,转型之需,AI 的降本增效作用简直再明显不过。

  在发布会举办前夕,百度还专门发布了一个名为“看中国算法工程师如何手动省出 1 个亿”的视频。

  其中在农业、工业制造、质检和电力抢修等方面,AI 算法都在帮助传统产业降本增效。

  先节省一个亿,这是飞桨已经完成的小目标。

  但 AI 发展,产业场景也已经是各大人工智能平台服务供应商的必争之地,接下来如何面对这种日益白热化的竞争?

  飞桨透露的打法是:放羊毛、建生态,与开发者和传统产业一起赢。

  一手抓开发者培养和教育。

  比如百度响应教育部产学研合作号召,在全国开展深度学习师资培训班,有效地弥补了国内高校 AI 教师缺口。

  在一年半的时间里,飞桨已成功举办 8 期培训,培养了 1000 多个 AI 专业高校教师,从教育环节开始,让计算机学生从接触飞桨,将来散落到产业界才能遍地开花。

  产业界还有“黄埔学院”,学术界与高校组建联合实验室,飞桨已经和西交、中科大、南大、浙大、大连理工合作,人才联合培养。

  另一手给福利。

  在今日大会发布最后,飞桨也发布了最新生态激励计划:

  • 免费开放 10 多个 AI 课程;
  • 支持 100 多所重点高校教学培训;
  • 为 1000 多个企业转型提供助力计划;
  • 还有百万级的 AI 竞赛奖金和亿元级 GPU 算力资源支持。
  • 不过,这两手效果如何、究竟够不够硬,还得经受时间和实践检验。

  当然还得经受激烈竞争检验。如今机器学习的框架之争,全球范围内已经沦为 TensorFlow 和 PyTorch 两家的较量,要从这两家手中分一杯羹,仅仅有产业界的支持是远远不够的。

  但飞桨现在也算在国内拥有民心和祝愿。

  在活动现场上,一则这样的留言格外醒目,或许也是 2019 年潮水方向里的小小注脚:

还是得支持国产深度学习框架啊,免得国外框架垄断,又要跟电脑操作系统和芯片一个结局。

  所以,好风凭借力,飞桨要加油。

  毕竟天时地利都有,最关键的人心也兼具,唯有拿出更好成绩,才能实现更大雄心了。

  你说呢?

来自:
量子位(ID:QbitAI)

作者:Johnson
原创文章,版权所有,转载请保留原文链接。