从云端落地!手机等终端设备是如何唤醒AI的?
和5G一样,AI也是2018年最为核心的关键词。在过去,AI大都体现在运营商及企业的IT系统及运营流程中,而从前不久刚刚结束的MWC2018中让我们看到了更多AI落地的技术和产品,并最终将让AI走进千家万户。
从云落地的AI
显而易见,AI也将和5G一样,成为影响世界经济的一种通用技术,赋予不同类型终端学习的能力。AI之所以现在才被大家熟知,是因为该技术曾经在进行神经网络的训练和推理时都是在云端或是基于服务器完成,最终只需反馈给终端一个结果而已。
如今,终端所搭载的核心硬件已经开始强化本地AI的运算能力,让很多昔日人工智能的推理工作,如模式匹配、建模检测、分类、识别、检测等有机会从云端转移到终端,这对于保护用户隐私、提升性能和可靠性有着极大裨益。
更具体来说,AI从云端发展到终端将有四大提升:
端侧响应更快:像亚马逊echo这类智能音箱,它与用户交互的计算和结果反馈都依赖云端服务器,存在响应较慢的先天缺陷。今后,无论是面部识别、图像识别、图像变化学习还是车载系统都需要更极致的响应,将计算从云端转移到终端,自然会最大限度提升反馈的效率;
隐私更有保障:很多人都担心自己与智能音箱、语音助手的交互上传到云端会加剧隐私泄露的风险,而终端AI就能解决隐私问题;
连接成本更低:连接包含接的成本和连接有效性,无论是网线、4G还是未来的5G,将资料传至云端都存在成本,但终端AI则没有带宽受限等顾虑,体验会更好;
功率低更环保:据统计现在整个云端服务器的功耗已经占用整个地球电力的5%,如果将部分计算从云端转移到终端一侧,将有效降低整体能耗。
只是,针对终端的AI的处理方式,业内正逐渐分化成两个阵营。一面是以苹果和华为为代表,通过在SoC内集成独立的神经网络处理器单元对AI做辅助处理;另一面则提出了独立神经元无用论,认为SoC平台内的DSP处理人工智能算法已经足够。那么,两个主张的谁更符合AI的发展趋势?
麒麟:将NPU进行到底
作为独立神经元的坚定拥护者,华为在推出全球首款集成NPU单元的麒麟970后,还计划将NPU战略进行到底。今年初,网上还曝光了华为新一代主流级SoC——麒麟670的规格参数。
据悉,麒麟670将采用台积电12nm FinFET制程打造,是由双核Cortex A72+四核Cortex A53构成的六核处理器,配备ARM Mali-G72MP4 GPU。而这颗芯片最大的特色,就是将集成和麒麟970相同的独立NPU单元,可以专职专能地进行人工智能相关的运算场景,如图像识别、语音联动、用户行为学习等。这意味着,未来nova、荣耀畅玩、麦芒等主流价位手机都有机会享用本地AI的加速大餐。
高通:依靠AI Engine的调度
在无数展会中,高通多次强调了人工智能引擎AI Engine的优异性。简单来说,AI Engine就是在骁龙移动平台上加速终端侧AI用户体验实现的硬件与软件的集合。以骁龙845为例,其内部集成了多个可编程异构计算核心:比如Kryo CPU、Adreno GPU和Hexagon向量处理器等,这些核心的协同配合可灵活支持不同的AI功能、数据和计算精度要求,能够实现在终端侧快速高效地运行人工智能应用。
由于骁龙平台在手机领域的占有率足够高,所以高通为AI Engine开发的软件和工具的普及度和影响力也更为广泛。具体来说,小米、一加、vivo、OPPO、努比亚和锤子等品牌正计划采用人工智能引擎AI Engine,在其未来的旗舰骁龙智能手机上优化人工智能应用。
同时,高通还可人工智能软件开发企业以及云服务领导厂商也建立了深度合作,比如商汤科技和旷视Face++就能通过AI Engine进行多种预先训练的神经网络,支持图像与摄像头特性,包括单摄像头背景虚化、面部解锁与场景检测识别等。此外,高通还找到了腾讯和百度,全面支持人工智能引擎AI Engine及其生态系统,比如QQ社交平台中的“高能舞室”就能通过AI Engine组件以加速该特性的帧率。
和麒麟一样,高通也逐渐将人工智能引擎AI Engine逐渐下放给更主流的SoC平台,比如已经上市的骁龙660和即将上市的骁龙670和骁龙700家族等等,让未来更多搭载骁龙芯片的手机都能享受AI提速的乐趣。
联发科:扮演AI普及者
在AI布局方面,和高通华为相比联发科无疑是个迟到者。但是,联发科最擅长的就是S曲线战略,其总能在一个新技术普及爆发的前夜进入市场,享受技术大爆发带来的红利。而AI,就是联发科S曲线战略的下一个目标。“联发科不做人工智能的先行者,我们做AI的普及者!”联发科技 CTO 办公室协理林宗瑶如此表示。
联发科在MWC2018上发布了最新的Helio P60(现已被OPPO R15等新品武装),这款芯片采用台积电12nm FinFET工艺制程设计,是由四核Cortex A73+四核Cortex A53构成的八核处理器,配备ARM Mali-G72MP3 GPU.从规格来看Helio P60并不如骁龙670和骁龙700,但它却成为MWC2018上唯一获奖的SoC。
究其原因,就是因为Helio P60在CorePilot 4.0技术的基础上,引入了名为“NeuroPilot”的人工智能平台。NeuroPilot是一种介于华为麒麟NPU和高通骁龙AI Engine之间的一项技术,它采用了异构架构,集成了独立的APU(人工智能处理单元的缩写),与其同级别的还有CPU和GPU,根据工作特质由NeuroPilot自动分配到APU、CPU或GPU上进行运算,这跟CorePilot的大小核分派类似。
需要注意的是,Helio P60内置的APU和苹果A11/麒麟970内置的神经元网络单元NPU不同,它属于Helio P30芯片中搭载的VPU模块的升级,更像是两个“优化版”DSP的叠加,在架构上增加了更适宜神经网络运算的能力。
据悉,Mobile APU处理器包含多核处理器与智能控制逻辑处理器,它们的功耗表现是GPU的2倍以上,运算处理能力可达每秒280GMAC。通过Helio P60特有的NeuroPilot异构人工智能运算架构,可以让CPU、GPU 、Mobile APU 能够无缝切换并协同运算,从而实现具备深度学习功能的面部辨识技术、实时美化、创意实时图层堆栈功能、物品及场景辨识功能、AR扩增实境/MR混合实境的加速效果、影像增强或是实时影片预览等多种创新功能。
因此,APU会贯穿联发科未来的整个产品线,除了Helio P60这种手机SoC外,智能音箱、穿戴设备和汽车的自动驾驶搭载的SoC都会集成不同处理架构的APU单元。
三星Exynos 9810的AI特色
三星Exynos 9810也是一款支持AI加速的旗舰级SoC,可惜它内部并没有集成独立的神经计算单元。三星官方是这样描述的:“Exynos 9810引入了先进的功能,通过基于神经网络的深度学习和最先进的移动设备上更强大的安全性来增强用户体验。”
哪里是终端AI的战场
自从苹果在A11 Bionic内融入“Neural Engine”(神经引擎),麒麟970内集成独立的“NPU”“NPU”(Neural-Network Processing Unit,神经网络处理单元),AI技术就成为了衡量旗舰芯片竞争力的关键一环。但是,当手机具备本地AI能力后,它们又被用在了哪些地方?
AI的两大功能
AI从功能的角度来看,可以分为训练和推理。在过去,无论是训练和推理都需要在云端完成,比如手机语音助手所反馈的信息都是经云端服务器返回的结果。当智能手机被AI赋能后,就获得了一定程度上的本地学习和推理能力。比如苹果iPhone X的Face ID,就是先利用A11 Bionic神经引擎的学习能力,慢慢记录你戴帽子/眼镜、长/刮胡须、皱纹和脸部线条的变化,再通过推理能力(可将训练完成的机器学习模型封装进系统或APP之中),证明你就是你,从而完成解锁乃至支付过程。
识图辩音成主业
但是,受制于能耗限制,我们不要指望手机芯片集成的AI单元能有太过强悍的性能,至少和服务器端使用的谷歌TPU等AI硬件就没法比。此外,AI芯片的另一大特色就是专注,比如下棋的AI不能用于汽车的无人驾车、用于人脸识别的AI也不擅长进行深度语音识别和交互。因此,以智能手机为代表移动设备的AI,最终能落地的就只有两个方面:识图(图像识别)和辩音(语音识别)。
联发科针对自家NeuroPilot人工智能平台的说明中就很好地展现了手机端AI所擅长的领域:面部识别、面部美化、场景检测、手势检测、系统性能和语音识别。实际上,如今多手机厂商所主打的AI特色,就都是对这些功能的扩展。
手机终端的AI赋能
得益于骁龙845和Exynos 9810,三星Galaxy S9对人工智能助手Bixby的AI属性进行了升级,在集成语音、视觉、主页、提醒四大功能的基础上,S9的Bixby新增了文本实时翻译功能,只需要将取景框对准要翻译的文本,不用拍摄就可以实现对文本的翻译。而且Bixby视觉拥有自动识别语种的功能,无需选择识别的语种,选择好输出的语种即可。
Bixby的特色之处还在于,它有着其它语音助手无法比拟的智慧程度和更加完整的人工智能体系。比如,用户只需点击相机中的Bixby图标或者呼叫出Bixby,告诉它“帮我识别这个东西”,它就会帮你识别出拍摄的物体。这项功能可以用于翻译外的文本提取、图片搜索识别、拍摄物体采购等。
LG V30s ThinQ和华为P20系列等产品则主打拍照体验。其中,LG V30s ThinQ引入了名为AI CAM的人工智能相机,它在拍摄物体时可以自动识别食物、植物、人物、建筑等多种物体,然后有针对性的调节相机参数来拍摄出高质量的照片,同时还可通过拍照直接购物、进行图片搜索,或是读取二维码。
此外,华硕推出的3款ZenFone 5系列手机也主打AI智慧摄影功能,该功能可针对16种不同环境与主题进行AI场景侦测,以及即时人像景深、即时美颜等,还有AR贴图功能等。另一个国产品牌海信H11,也基于“AI+双摄”的组合优势,让拍摄出来的照片通过“AI”算法进行优化。其套路在于让AI算法解析镜头中的人像信息,识别并突出人像主体,随后对背景进行虚化处理,让前后景层次突出。
在AI语音助手方面,苹果Siri、亚马逊Alexa和谷歌Assistant应该是口碑和技术的双料王代表。在MWC2018上,谷歌宣布要Assistant将把Android和其语音生态系统整合,从而使开发者可以将Assistant整合进自己的APP里。
同时,有玩家曾在华为Mate 10的EMUI 8.1固件中发现了有趣的数据,表明华为正在研发一个名为“HiAssistant”的语音助手,它几乎可以完成其竞争对手的所有功能,包括:控制各种基本硬件功能(蓝牙、NFC、Wi-Fi)以及自动旋转、位置设置等软件功能。 此外,它还能控制QQ和微信等国内流行的即时通讯应用,并与名为“华为HiAssistant Bank”的新支付接口进行整合。最关键的一条是,只有麒麟970或集成NPU的海思芯片才能在硬件上支持HiAssistant(现在来看 ,HiAssistant首发的应该会是最新的P20系列)。
总之,2018年的新款手机在人脸解锁的速度和安全性上要较2017前诞生的前辈有所增益,其背后就是高通和联发科等芯片厂在从AI芯片层面就与商汤科技和旷视Face++等方案商携手优化;而所谓的AI相机,也是借助AI引擎极速识别所拍摄的物体并作出相应的优化,让照片更美更自然;三星Bixby的实时翻译利用的也是AI的场景检测能力;Google Assistant和HiAssistant等语音助手也终于能实现基于AI硬件的提速了……