首页 资讯 关注 科技 财经 汽车 房产 图片 视频 全国 福建

河北

旗下栏目: 北京 天津 河北 山西 辽宁 吉林 上海 江苏 浙江

曙光ParaStor十年记:做存储的坎,他们都遇上了!

来源:网络整理 作者:采集侠 人气: 发布时间:2019-11-02
摘要:大众创业时代,人们常谈ldquo;自研rdquo;。但在国内存储行业,将ldquo;自研rdquo;付诸实践,坚...

  大众创业时代,人们常谈“自研”。但在国内存储行业,将“自研”付诸实践,坚持10年的企业却没几家。

  但即使用10年时间,自研出代表行业先进水平的产品,生存和发展的压力仍在每名研发、产品、运营人员的肩头。

  这或许印证了中国存储人、中国IT人的使命——抓住海量数据爆发的时代机遇,成就一款众人皆知的经典产品。

  下面讲述的,是中国最早自研分布式存储产品——中科曙光“ParaStor”的10年往事。愿这些过往能给同为追求极致的IT人些许帮助和启示。

蛋糕

  图说:10周年庆典现场,曙光员工正给ParaStor庆生

  存储“十字路口”

  ParaStor的10年,始于2009年夏天。

  站在中科院计算所大楼,眺望施工不断的中关村,已过而立之年的苗艳超,下定决心离开工作多年的计算所去企业。

  要去的企业名叫“曙光”,他要负责一款从无到有的存储产品开发。

  当时,鲜有人谈大数据、人工智能,少数国际厂商开始讲“分布式存储”。站在存储发展的十字路口,各大厂商开始了对未来的争夺。

  2009年,Cisco宣布进入服务器和存储市场,与此同时EMC参与NetApp竞购,并与Cisco、VMware两家厂商结成VCE联盟。Oracle收购SUN公司,具备了存储软硬件一体的产品格局……

  2009年“选择”摆在了曙光人面前。

  随着曙光服务器进入更多行业和领域,突破存储瓶颈成为当时要务。但此时,曙光还未有自研的,满足高并发IO需求的商业化存储产品。

  而苗艳超所在计算所智能中心,便一直研发有高并发IO特点的“集群文件系统”,但这些研究成果只停留在课题中,未形成商业化产品。

  不到五人的研发团队

  到曙光后,苗艳超的第一个难题便是“曙光存储的技术路线要怎么走?”

  “Parastor立项就面临技术路线选择问题,一个是以磁盘阵列作为基础部件;另一种是以x86架构的高性能服务器为底层硬件,数据冗余机制由上层文件系统负责提供的分布式存储系统。”苗艳超回忆。

  此时,为减少对大厂存储技术依赖,以及跟上“大数据”时代技术趋势,结合曙光自有的产品生态和优势,苗艳超和同事选择了更具前瞻性和挑战的分布式存储系统研发路线。

  但此时加上苗艳超,初期的ParaStor研发团队只有不到5人,相比同类厂商动辄上百人的研发队伍,连零头都不到。

苗艳超

  图说:曙光存储产品事业部总工程师 苗艳超

  为加快研发进度,当时每人都领了不同产品领域去研究,经常半夜谁有想法就爬起来发邮件,一起讨论可行性。

  最终不到一年,ParaStor1.0便问世了。如今看来ParaStor1.0很原始,仅支持副本冗余,没有纠删码等如今“分布式”存储系统必备的技术,但它为ParaStor的发展明确了方向。

  2010年,ParaStor从1.0升级到1.5,这是ParaStor第一个商业化软件版本。为建口碑,当时团队内部定了一个目标,有BUG必须24小时内解决。很多BUG都是当天发现,研发团队通宵修改,第二天客户上班,BUG已解。

  最终,初出茅庐的ParaStor以高性能和良好的扩展性获得首批客户的认可,该版本也为国内首台性能超千万亿次的计算系统“曙光星云”,构建了当时国内最大的单一存储系统(16PB)。

  此次成功部署,使得“曙光能做分布式存储产品”的理念深入公司内外,从此ParaStor步入了高速市场化发展轨道。

  战书

  “三年后,曙光存储要占领国内10%的市场份额,进入存储主流市场”2012年7月,时任曙光存储产品总监惠润海,面对发布会现场记者立下战书。

惠2

  图说:曙光存储产品事业部总经理惠润海

  而打赢这场仗的排头兵便是ParaStor。

  惠润海立下战书后不到半小时,现场就有媒体提问“在国际厂商抢先进入市场的背景下,曙光靠什么获得主流客户的认可?”

  对此,惠润海表示,曙光的立身之本有两点:一是要靠自主研发,掌握核心技术,应对海量数据增长所带来的一系列挑战;二是在行业深耕细作,通过对行业应用的快速适配和深入优化,打造差异化优势,实现重点市场的逐个突破。

  相比于2009年,此时已进入“大数据元年”,中国互联网产业在起飞。当时IDC研究报告显示,大数据技术和服务市场至2017年的增长率可达27%,增速是整个信息和通讯技术市场的6倍。

  但就在惠润海立战书的几天前,连媒体也没几人知道ParaStor。不知道ParaStor的,还有将成为ParaStor研发工程师的郭洋。

  2012年,在国内某IT大厂做存储产品的郭洋,决定从原先安稳的公司来到曙光。但在网上搜索自己要在新单位开发的产品“ParaStor”,却找不到太多信息。

  “当时的分布式存储还是国际大厂的天下,国内的产品严格上讲仅有两家,曙光算一个。此外,当时类型相近的国际大厂分布式存储产品价格是国产产品的五到十倍。”郭洋回忆。

untitled

  图说:采用ParaStor存储平台的山西先进计算中心

  做到极致

  当时ParaStor面临的最大问题之一,就是如何提升存储空间利用率,根据团队之前的积累,实现这点对郭洋和他的团队并不算挑战。但相应的产品测试与验证调优,则是考验团队专业性的时候。“要考虑用户端可能出现的各种情况,要做多种排列组合数量的测试和优化。”郭洋说。

  在实现ParaStor升级的过程中,郭洋也理解“做到极致”的曙光产品理念,以及曙光存储坚持自研的原因。

  在一个CANU三代基因组装测试项目中,用户要求曙光ParaStor的性能必须超越某厂商宣称的“代表业界最高性能”的同类产品,才考虑把其业务迁移到曙光平台上。

  面对新挑战,郭洋和同事在两周内,将整个业务流程各阶段(涉及几十个进程)的数据IO特点梳理成报告,并同同事一起从底层代码逐一调优,最终用户计算用时从9.2小时降低到7.3小时,实测性能超过友商20%以上。

  就在郭洋和同事精益求精,不断将ParaStor产品性能做到极致时,市场也向曙光递来了橄榄枝。

  2013年,ParaStor2.0版本发布,增强了数据保护机制,可为用户构建数据全生命周期管理的一体化方案。同年,ParaStor为央视国际打造6PB存储资源池,并在全国多地中标气象局、环保局项目。

  2015年,据IDC报告显示ParaStor在国内NAS市场排名位居第一,营收同比增长42.6%,占全部NAS存储市场份额21.6%。三年前惠润海下的战书达成了,直到今天ParaStor一直保持国内NAS存储市场占有率的前两位。

  多元化需求 本地化服务

  2018年夏的一天夜里两点,在睡梦中的曙光存储运维工程师吕山被客户的电话惊醒。

  当时一位江苏的视频存储业务客户,因操作不当导致后台出问题。吕山立刻利用客户提供的安全通道登录系统,查看日志,最终与同事一起找到问题并解决。

  存储作为数据中心的核心之一,任何架构、系统、应用的变化都有可能导致问题。这就需要曙光的存储运维人员耐心、负责地提供各种咨询、服务支持。

  半夜接到客户电话,对于吕山和同事是常有的事。

责任编辑:采集侠

最火资讯

首页 | 资讯 | 关注 | 科技 | 财经 | 汽车 | 房产 | 图片 | 视频 | 全国 | 福建

Copyright © 2015 新闻资讯门户站 版权所有

电脑版 | 移动版