一款高度通用与算力普惠的AI芯片。
2019年9月25日,在阿里巴巴的云栖大会上,阿里旗下半导体公司平头哥正式宣布了第一颗自研芯片——含光800,这是继玄铁与无剑以后阿里在芯片局限的又一重大结构。
一组数据表明,含光800的发布标识表记标帜着AI芯片性能史再度被改写。在业界尺度的ResNet-50测试中,含光800推感性能达到78563 IPS,比目前业界最佳的AI芯片性能高4倍;能效比500 IPS/W,是第二名的3.3倍。
同时,比照公然数据(针对ResNet50模子一秒大约处置图片的数目)得悉,含光800展现的性能是是NVIDIA Tesla V100的10倍,NVIDIA Tesla T4的15倍,是应用最广的NVIDIA Tesla P4的46倍。
不过,阿里巴巴方面表现,“含光800其实不会售卖,旨在通过阿里AI云管事供应算力,可以看作‘云端售卖’。平头哥致力于做普惠芯片,无剑SoC平台和玄铁处置惩罚器IP来捐献企业消沉芯片设计门坎;含光800通过阿里云AI云干事的形式让企业随时随地可以享受高性能算计效力。”
含光800的宣布标识表记标帜着平头哥端云一体全栈产品系列劈头成型,其涵盖处置器IP、一站式芯片设计平台、以及AI芯片,实现了芯片设计链路的全掩饰笼罩。
“在环球芯片范畴,阿里巴巴是一个新人,玄铁和含光800是平头哥的万里长征第一步,咱们还有很长的路要走”,达摩院院长张建锋如许评估。
“无形却亏弱”的算力
“平头哥很硬,含光很强”,这句话从定名办法便显露无疑。
平头哥,本名蜜罐,原本是保留在非洲等周边的一种植物,被吉尼斯世界记实誉为“世界上最无所恐惊的动物”,其“不要怂就是干”的性情被马云一眼相中,从此平头哥便成了阿里芯片公司的代实词。
而含光则是上古三大神剑之一,该剑含而不露,光而不耀,代表着含光800带来的有形却亏弱的算力。
含光800采纳12nm唱工,领有170万晶体管数目,推理性能达78563 IPS,比当前业界最佳的AI芯片性能高4倍;能效比500 IPS/W,是第二名的3.3倍,主要使用于云端视觉措置场景,笼统在1秒内处理7.8万张图片。
在杭州都会大脑的业务测试中,1颗含光800的算力至关于10颗GPU,这对于将来聪颖都市交通等AI使用落地场景来讲,无疑是弘大的源能源。
据悉,平头哥在十分短的时间内便完成了芯片的设计和流片整个历程,7个月完成前端设计,随后仅用3个月便告捷流片。
要晓得芯片设计是一个繁冗的体系项目,贞洁完成设计其实不象征着就可以流片胜利,这是行业的深水区。而流片战败就意味着硬件设计重要推倒重来,这比软件出BUG标题问题更为很有问题。一样平常芯片公司须要做两次(engineering sample、production sample)或屡次才能流片胜利。
然而,流片胜利也其实不代表便可以直接商用了,它还紧要经由进程芜杂的测试考据,当各项指标都相符实际场景需求后才能真正商用。
PingWest品玩了解到,平头哥之以是兴许云云疾速研收回如此高性能的AI芯片,可以总结为下列两方面。
第一,相比基于冯诺依曼结构的激进通用措置器(比方x86 CPU与GPU),针对某种特定的需求而趁便定制的ASIC架构NPU专用放慢器对付使用场景更具备针对性。
针对特定场景和算法的定制象征着执行特定算法时能获得更高的效率与性能,然而这类较为繁多的算法也同时意味着制造AI芯片现实上要比打造传统CPU和GPU门槛低得多,但这其实不料味着每个芯片厂商都能像平头哥一样做到最强。
今朝,市情上得多ASIC架构NPU通常只在尤其认识的场景下才大概表现优异,而在场景的迁移性与算法通用性方面大打扣头。
相比之下,含光800不只实现了同时兼容海量的图象征采、都市大脑规模的视频辨认、以及聪明医疗局限的医疗回顾回头辨认等一致算计需求环境,还针对这些厚实的场景掘客出了极大的计算美化潜能。
值得一提的是,古板半导体巨子制造AI芯片,会有开发者生态的累坠,但平头哥团队方针潜心,即实现最强算力,把硬件材干彻底开释。
第二,只管这是阿里平头哥的第一款自立研发的芯片,可是后果上平头哥研发芯片并非从0开始。
“在阿里达摩院的算法以及阿里巴巴小我硬件根蒂设备多年技术沉淀之上,含光800重构了芯片的软硬件技艺栈”,阿里巴巴方面先容。
“AI芯片的差异化设计首要体目下当今硬件架座谈软件算法上,二者重要高度适配才能发扬芯片的最大代价”,有业内分析人士指出。
“今朝,传统CPU、GPU在深度进修推理工作上并无完全发扬硬件技巧,例如GPU架构主要针对图象处置设计,其硬件结构与软件生态几乎固化,是以对AI工作很难有深度优化。”
PingWest品玩发现,含光800的性能打破便是得益于软硬件的协同翻新,攻破了硬件架会谈软件算法之间的鸿沟。
具体来看,含光800硬件层面采取自研芯片架构,通过推理放慢等技艺有效用意芯片性能瓶颈问题;软件层面则集成了达摩院后世算法,针对CNN及视觉类算法深度美化总计、存储密度,可完成大Internet模子在一颗NPU上完成计较。
以芯片能耗为例,能耗是AI芯片的行业通病,而平头哥自研架构可大幅削减对内存的造访,在保证极致性能的情况下,把芯片功耗降到最低程度。
平头哥首席科学家、阿里巴巴初级钻研员元尊则将平头哥研发AI芯片的具体优势归结为“ABCDE”五方面,即Algorithm 算法、Big Data 大数据、Computing 安全不变的计较力、Domain knowledge 专业范围常识、以及Ecosystem 生态。
“领有ABCDE的阿里,比只有C的其他芯片公司,自然更容易更疾速站上AI芯片C位”,元尊坦言。
已应用于阿里核心营业
关于阿里AI生态而言,含光800毫不是纯挚的做芯片,而是为环球排名前三、亚太排名第一的阿里云供应弱小的算力赞成,以满足阿里巴巴小我内部场景的需求,同时含光800也将利用阿里云对外(企业)输出其弱小的AI算力。
据悉,基于含光800的AI云任事在揭晓会当天便正式上线,相比古板GPU算力,含光800性价比晋职100%。
根据云栖大会的现场演示,含光800曾经开始应用于阿里巴巴的内部外围营业中,比喻都市大脑处理杭州主城区交通视频、拍立淘商品库图片辨认、以及优酷视频修复与分析等。
PingWest品玩了解到,假定使用古板GPU,都邑大脑实时处置杭州主城区交通视频所需GPU数量约为40颗,延时为300ms;而若是使用含光800,则只有4颗,同时延时降至150ms。
另外一方面,阿里电商平台拍立淘商品库天天会新增10亿商品图片,假如使用激进GPU,其识别光阴须要1小时;而假设使用含光800,则只有5分钟,效率提职12倍。
将来,含光800的算力也将渗入渗出至医疗、踊跃驾驶、聪颖城市等各个垂直行业。
含光800将正手企业以更低的资源获取高性能算力,促成企业营业翻新。对付受限于算力瓶颈的企业而言,含光800可以更高效地运转更繁冗、更后辈的算法,让企业再也不会为基础算力发愁。
PingWest品玩获悉,为了给运用场景供应更好的算力芯片,平头哥团队在过去一年做了很多事项,不竭摸索芯片与运用场景之间的交融。
作为举世涉足AI应用最厚实的科技厂商之一,阿里巴巴拥有丰盛的AI使用场景,图象视频赏析、征采、保举等营业场景都须要AI专一使用芯片提供更壮大的算力,个中图象、视频对算力的需求量最大。
围绕这一方针,平头哥针对场景深度定制了芯片的软硬件,例如自研了架构、软件编译器、框架、东西链等。
同时,前期也针对INT8数据类型做了大量美化,终极在性能、良率、功耗等指标上均表现良好。
算力也要普惠
含光800的颁布发表标记着阿里巴巴合计国界中铁三角的正式组成,AI+芯片+云计较将协助阿里在未来AI行业运用落地奠定夯实的根基,而这关于阿里来说只不过一个开始。
PingWest品玩了解到,作为AI行业的领军企业,阿里今朝正在出产圆满的行业生态与开发者生态。
在云端,寰球排名前三、亚太排名第一的阿里云为平头哥干事企业供给了绝佳平台,将来企业可以通过阿里云轻松获取含光800的刁悍算力。
在端侧,平头哥已领有冲弱的生态体系, CK801、CK802、CK803、CK805、CK807、CK810、CK860等7款自研嵌入式CPU IP核均已获得大规模量产的考证,授权客户超100家,累计发卖超十亿颗,普遍应用于机器视觉、工业控制、车载终端、移动通信和消息安然等畛域。
其余,基于RISC-V架构的玄铁处理器以及无剑SoC平台也已效力各行业企业,例如人工智能企业云天励飞与老牌芯片商炬芯科技等。
另外一方面,平头哥还将成立芯片开放社区,进一步为芯片工业供给开放分工的平台。
同时,随着含光800的宣布,平头哥端云一体全栈芯片产品家属也已初现雏形,完成了芯片设计链路的全掩饰笼罩。
此中基础单位措置器IP,C-Sky系列、玄铁系列为AIoT终端芯片供应高性价比IP;一站式芯片设计平台无剑SoC平台集成CPU、GPU、NPU等,飞腾芯片设计门坎;而AI芯片含光800则通过AI云管事为家养智能场景供应极致算力。
这三大产品系列将创建端云一体的芯片生态,将会为企业提供普惠算力。
PingWest品玩了解到,在AIoT期间,由于强应用驱动与场景碎片化等特点,芯片公司遵照激进方式设计芯片很难适应将来的需求,平头哥渴想通过端云一体芯片生态为行业提供普惠算力。
AIoT场景需求新的算计架构,需求安全、在线与智能等新个性,所有芯片都在面临降级,这势必在芯片行业惹起一波全新技艺革命和家当浪潮。
一致于绝大大都芯片商,平头哥研发芯片的目的绝非卖芯片,而间断了阿里巴巴小我“让全国没有难做交易”的愿景,斥地了全新的贸易内容——平头哥模式,致力于为企业供应普惠算力,成了阿里巴巴独具特征的商业形式。
当前,平头哥还在研发应用于阿里云神龙管事器的SoC专用芯片,以满足更多场景的算力需求。未来,平头哥芯片产品外形还将进一步完善,例如云上AI训练芯片与端上AI推理芯片。
“阿里在芯片上的定位是端上做芯片基础底细配备,云上为企业提供普惠算力。例如,措置器是全数高端零碎芯片都必要的基础底细产品,AI芯片是AI场景最高效的算力单位,阿里将投入重金制作好这些技能,同时建设运用生态”,阿里方面述说PingWest品玩。
“另外,平头哥还将持续开发利用体系、软硬件交融的算法、以及核心的IP等,并把这些共性的手艺或许做好做精做出竞争力,并构成生态,今后开放给芯片厂商设计产品,让他们基于高质量的根抵设施产芯片产品,有助于提职整体的财产竞争力”,阿里随即填补道。
(function(){ var adScript = document.createElement('script'); adScript.src = '//d1.sina.com.cn/litong/zhitou/新浪ads/demo/wenjing8/js/yl_left_hzh_20171020.js'; document.getElementsByTagName('head')[0].appendChild(adScript); })();
|