一线｜阿里发布含光800称其为全球最高性能AI推理芯片

张建锋表明，这是互联网公司研制的榜首款芯片，是万里长征榜首步，且完结这款芯片只用了一年半时刻。

腾讯新闻《一线》 方砚

9月25日音讯，阿里巴巴集团CTO兼阿里云智能总裁张建锋在云栖大会期间宣告，发布含光800AI芯片，并声称这是全球最高功能的AI推理芯片。与此一起，依据含光800的AI云服务也会正式上线，性价比可进步100%。

据介绍，现在，含光800现已完结了大规划运用，已运用于阿里巴巴集团内多个场景，未来还将运用于医疗印象、自动驾驶等范畴。

张建锋表明，这是互联网公司研制的榜首款芯片，是万里长征榜首步，且完结这款芯片只用了一年半时刻。

他进一步表明，阿里巴巴将成为一家软硬件一体化公司。

阿里方面声称，在业界规范的ResNet-50测验中，含光800推理功能到达78563 IPS，比现在业界最好的AI芯片功能高4倍；能效比500 IPS/W，是第二名的3.3倍。

张建锋说：“在全球芯片范畴，阿里巴巴是一个新人，玄铁和含光800是平头哥的万里长征榜首步，咱们还有很长的路要走。”

阿里方面表明，含光800功能的打破得益于软硬件的协同立异：硬件层面选用自研芯片架构，经过推理加快等技能有用处理芯片功能瓶颈问题；软件层面集成了达摩院先进算法，针对CNN及视觉类算法深度优化核算、存储密度，可完结大网络模型在一颗NPU上完结核算。

含光800已开端运用在阿里巴巴内部中心事务中。依据云栖大会的现场演示，在城市大脑中实时处理杭州主城区交通视频，需求40颗传统GPU，延时为300ms，运用含光800仅需4颗，延时降至150ms。拍立淘产品库每天新增10亿产品图片，运用传统GPU算力辨认需求1小时，运用含光800后可缩减至5分钟。

曩昔半年，平头哥先后发布玄铁910、无剑SoC渠道。跟着含光800的发布，平头哥端云一体全栈产品系列现已包括处理器IP、一站式芯片规划渠道和AI芯片。

关于含光800发布的QA：

1、含光800有何特色？

含光800是阿里巴巴榜首颗自研芯片，也是全球功能最强的AI芯片，首要用于云端视觉处理场景，功能打破了现有AI芯片记载，功能及能效比全球榜首，在业界规范的ResNet-50测验中，含光800推理功能到达78563 IPS，比现在业界最好的AI芯片功能高4倍；能效比500 IPS/W，是第二名的3.3倍。

含光为上古三大神剑之一，该剑含而不露，光而不耀，正如含光800带来的无形却微弱的算力。在杭州城市大脑的事务测验中，1颗含光800的算力相当于10颗GPU。

含光800已开端运用在阿里巴巴内部中心事务中。依据云栖大会的现场演示，在城市大脑中实时处理杭州主城区交通视频，需求40颗传统GPU，延时为300ms，运用含光800仅需4颗，延时降至150ms。拍立淘产品库每天新增10亿产品图片，运用传统GPU算力辨认需求1小时，运用含光800后可缩减至5分钟。

含光800将经过阿里云对外输出AI算力。依据含光800的AI云服务当天正式上线，比较传统GPU算力，性价比进步100%。

2、从上一年初次发布到现在，平头哥NPU团队曩昔一年首要做了哪些作业？

曩昔一年，平头哥团队在不断探究芯片与场景的交融。阿里巴巴具有丰厚的人工智能运用场景，图画视频剖析、查找、引荐这些事务场景都需求AI专用芯片供给算力，而图画、视频对算力的需求量最大。

环绕这一方针，平头哥针对场景深度定制了芯片的软硬件，例如自研了架构、软件编译器、结构、东西链等等。后期也针对INT8数据类型做了很多优化，终究在功能、良率、功耗等目标上均体现杰出。

值得注意的是，平头哥用最短的时刻完结了芯片的规划、流片整个进程，7个月完结前端规划，之后仅了3个月就成功流片。

3、含光800的中心优势是什么？能为企业带来什么价值？

在人工智能范畴，要进步核算功率，芯片需求依据场景来完结更多的差异化规划。在人工智能视觉场景中，含光800可以供给全球最强的算力。

阿里巴巴是全球最大的人工智能运用者之一，丰厚的场景为研制人工智能芯片供给了绝佳渠道，这是平头哥的天然优势。依托阿里巴巴集团丰厚的运用场景，平头哥前期就针对场景做了很多优化，因而完结了功能上的打破。

含光800的算力也不仅仅满意阿里巴巴集团内部场景的需求，还会经过阿里云对外输出，协助企业用更低的本钱获取高功能算力，加快事务立异，例如，关于受限于算力瓶颈的企业而言，含光800可以更高效地运转更杂乱、更先进的算法。

4、平头哥怎么完结算法和芯片架构的协同？团队做了哪些立异和打破？

事实上，平头哥研制芯片并非从0开端，在阿里达摩院的算法以及阿里巴巴集团硬件根底设施多年技能沉积之上，含光800重构了芯片的软硬件技能栈。

因为人工智能芯片的差异化规划首要体现在硬件架构和软件算法上，二者需求高度适配才干发挥芯片的最大价值。从现在来看，传统CPU、GPU在深度学习推理使命上并没有彻底发挥硬件才能，例如GPU架构首要针对图画处理规划，其硬件结构、软件生态简直固化，因而对AI使命很难有深度优化。

含光800功能的打破得益于软硬件的协同立异，芯片架构方面，含光800选用立异的架构，针对深度学习中运用的很多权重参数和张量数据，在支撑稀少紧缩与量化处理的根底上，经过共同规划的数据访存与流水线处理技能，大大减低了I/O需求和数据的搬移。NPU一起深度优化了卷积，矩阵乘，向量核算和各种激活函数，经过高有用的硬件资源调度和全并行的数据流处理，把AI运算的功能和能效双双面向极致。

算法方面，阿里巴巴达摩院机器智能实验室曩昔两年构建了完好的算法体系，包括语音智能、言语技能、机器视觉、决议计划智能等方向，而且获得多个世界抢先水平的作用；硬件方面，阿里巴巴此前已在服务器、FPGA以及存储等范畴具有多年研制经历，此外，平头哥团队在体系结构、编译技能等范畴具有深沉的技能储备。

依据这些才能，平头哥打破了算法和硬件之间的距离，依据阿里巴巴丰厚的场景和达摩院算法才能，自研芯片架构，而且规划了完好软件栈。

这样的规划理念作用马到成功，例如功耗是人工智能芯片职业通病，平头哥自研架构可大幅削减对内存的拜访，在确保极致功能的情况下，把芯片功耗降到最低水平。

5、芯片流片以及具有商用才能的难点别离在哪？

芯片规划是一个杂乱的体系工程，单纯完结规划并不意味着就可以流片成功，这是职业的深水区，假设流片失利，就意味着硬件规划需求推倒重来，这比软件出BUG问题愈加严峻。一般芯片公司需求做两次（engineering sample、production sample）或屡次才干流片成功。

而流片成功后也不代表就可以直接商用了，它还需求经过杂乱的测验验证，在各项目标都符合实际场景需求后才到了真实的商用阶段。

需求阐明的是，含光800现已完结了整个进程，运用于阿里巴巴集团内部各大场景，这背面首要得益于阿里软硬件的深沉堆集，以及丰厚的验证场景。

6、浅显地解说下该芯片是怎么处理神经网络结构作业的？怎么加快人工智能核算？

望文生义，神经网络处理器便是专门处理深度神经网络算法的芯片，深度神经网络便是一种仿照生物神经网络结构特色的核算机算法，最基本的特征便是仿照大脑神经元之间传递方法，并对输入的信息进行快速处理。

传统通用处理器依据冯诺依曼结构，其存储和运算处理是别离的，假如处理深度神经网络，需求很多读写运转操作，会遭到带宽约束，因而功率较低。

而以含光800为代表的神经网络芯片，依据神经网络推理运算特征，规划特定的硬件神经元、高速衔接的存储结构以及专用指令集，对内存和核算单元完结高效安排办理，完结单条指令完结多个操作，进步核算功率和内存拜访功率。

7、在阿里云数据中心里，这款芯片与GPU、FPGA的联系怎么？

在人工智能场景中，含光800是异构核算很好地弥补，经过阿里云可以为企业供给更多的挑选，未来平头哥还会推出更多形状的人工智能芯片，在终端、云数据中心都会有更大规划的布置和运用。

8、企业怎么获取含光NPU算力？

含光800已开端运用在阿里巴巴内部中心事务中，含光800将经过阿里云对外输出AI算力。依据含光800的AI云服务当天正式上线，比较传统GPU算力，性价比进步100%。端云一体芯片是平头哥的首要方向，终端玄铁处理器可以与云端含光800芯片协同。

9、是否会对外售卖？

含光800首要经过AI云服务供给算力。

平头哥致力于做普惠芯片，无剑SoC渠道和玄铁处理器IP来协助企业下降芯片规划门槛；含光800经过阿里云AI云服务的方法让企业随时随地可以享用高功能核算服务。

10、怎么界说平头哥方法？

和绝大多数芯片商不同的是，平头哥的意图并非卖芯片，公司连续了母体阿里巴巴集团“让天下没有难经商”的愿景，拓荒了全新的商业方法（平头哥方法），致力于为企业供给普惠算力，现在现已具有全栈芯片产品宗族，包括终端处理器IP、终端芯片规划渠道SoC、云端AI芯片。

AIoT场景需求新的核算架构，需求安全、在线和智能等新的特性，一切芯片面对晋级，这必将在芯片职业将引起一波全新技能革命和工业浪潮。但AIoT商场有强运用驱动和场景碎片化等特色，芯片公司依照传统的方法规划芯片很难去习惯未来的需求，平头哥期望经过端云一体芯片生态为各职业供给普惠算力。

11、平头哥怎么构建生态？

平头哥正在打造完善的职业生态和开发者生态。

在云端，全球前三、亚太榜首的阿里云为平头哥服务企业供给了绝佳渠道，未来企业可以经过阿里云轻松获取含光800的极致算力。

在端侧，平头哥已具有老练的生态体系， CK801、CK802、CK803、CK805、CK807、CK810、CK860等7款自研嵌入式CPU IP核均已得到大规划量产的验证，授权客户超100家，累计出售超十亿颗，广泛运用于机器视觉、工业操控、车载终端、移动通讯和信息安全等范畴；除此之外，依据RISC-V架构的玄铁处理器以及无剑SoC渠道也已服务各职业企业，例如人工智能企业云天励飞、老牌芯片商炬芯科技等。

另一方面，平头哥还将建立芯片敞开社区，进一步为芯片工业供给敞开协作的渠道。

12、平头哥产品宗族有哪些？未来有什么规划？

跟着含光800的发布，平头哥端云一体全栈芯片产品宗族雏形已现，完结了芯片规划链路的全掩盖，包括处理器IP玄铁系列，一站式芯片规划渠道无剑SoC，以及AI芯片含光800：

根底单元处理器IP，C-Sky系列、玄铁系列为AIoT终端芯片供给高性价比IP；

一站式芯片规划渠道，无剑SoC渠道集成CPU、GPU、NPU等，下降芯片规划门槛

AI芯片，含光800经过AI云服务为人工智能场景供给极致算力。

这三大产品系列将构建端云一体的芯片生态，为企业供给普惠算力。

未来，产品形状还会进一步完善，例如云上AI练习芯片和端上的AI推理芯片，现在平头哥还在研制用于阿里云神龙服务器的SoC专用芯片，以满意更多场景的算力需求。

13、阿里巴巴芯片、云、AI三大事务的联系

芯片、AI和云核算之间彼此交融、协调开展是大势所趋，阿里巴巴坚持芯片、AI和云核算三位一体、协同开展：人工智能算法逐步集成到芯片，集成算法的专用芯片为云服务供给了更强的功能，而云核算自身则加快了人工智能运用的大规划落地。

曩昔十年，阿里巴巴的AI和云核算齐头并进，在这两大范畴，现已跻身全球前列。

作为业界最大的人工智能运用者之一，阿里巴巴具有丰厚的运用场景，在此之上达摩院已建成完善的算法体系，包括语音智能、言语技能、机器视觉、决议计划智能等方向，并获得多个世界抢先水平的作用，在世界尖端学术会议上共宣布了近400篇尖端论文；阿里云稳居全球云核算厂商前三、亚太榜首的方位，超越一半的我国A股上市公司和80%我国科技类企业在运用阿里云的服务。

平头哥则得到了达摩院和阿里云的软实力加持，例如依据达摩院的算法才能，打破了算法和硬件之间的距离；依据阿里云飞天云渠道的优势，快速构成了端云一体芯片生态，玄铁系列处理器以及无剑渠道大幅下降终端芯片规划的门槛，含光800经过阿里云输出给全社会，让企业随时随地可以享遭到极致算力。

14、阿里为何做芯片？

全体来说，芯片是核算力的中心。核算力是一切互联网运用的根底。研制芯片可以下降阿里巴巴经济体全体核算的本钱，还可以以云服务的方法交给，以更高的功能和更低的本钱赋能更多的企业。

阿里巴巴经济体横跨电商、金融、物流、云核算、大数据、全球化等场景，用户规划巨大，具有世界上最应战、最丰厚的核算场景、网络场景、机器学习场景，需求运用很多芯片。 阿里巴巴坚持以技能发明新商业，于2017年建立达摩院，布局推翻式技能立异研讨，在芯片等要害范畴做根底性技能的研讨投入，为未来开展供给更多战略或许。

依据以上原因，阿里巴巴坚决布局先进芯片技能，并建立独立运营企业，打造世界抢先的人才团队，专心高水平芯片研制和工业化。

15、未来阿里芯片布局方向还会有哪些战略考虑？

阿里在芯片上的定位是：端上做芯片根底设施，云端为企业供给普惠算力。例如，处理器是一切高端体系芯片都需求的根底产品， AI芯片是人工智能场景最高效的算力单元，阿里将投入重金打造好这些技能，一起构建运用生态。

除此之外，平头哥还将持续开发操作体系，软硬件交融的算法，中心的IP等。把这些共性的技能可以做好做精做出竞争力，并构成生态，然后敞开给咱们的芯片规划产品，让他们依据高质量的根底设施打造芯片产品，有助于进步全体的工业竞争力。