|
原标题：软硬结合：快手推荐系统海外率先基于长久内存使用异构存储
作为2亿日活、日均切切级短视频上传、虚夸社区普惠的短视频APP，快手举荐体系所需计划的技术手段挑衅是全国级的。第二天，快手在国外率先运用耐久内存从头设计了基于异构存储构造的举荐体系，率先采用英特尔(R)傲腾TM数据焦点级暂且内存。在快手引荐细碎高吞吐量大数据量请求的场景下，使用长期内存可以飞腾存储利润，削减劝止恢复时日，进步系统可靠性。阻截恢复工夫从小时级别飞腾到分钟级，也为改善大规模深度机械深造零碎在改善千亿级别数据量的处理本领上斥地了新的试探偏向。
业界超大规模实时在线短视频推荐零碎
如何在承载高峰期每秒数十万并发挪用量的同时，从上百亿级另外短视频库中，通过千亿参数级其他深度模型将内容透露表现给用户？快手推荐团队设计了基于异构装备的后嗣引荐零碎，个中碰着问题的繁冗水准极富应战。
今朝快手保举细碎采取的是计算与存储涣散的架构模式(以下图所示)。推荐细碎中的存储型管事主假如用来存储和实时更新上亿规模的用户画像、数十亿规模的短视频特征、以及千亿规模的排序模子参数。计算型任事主要进行的是视频派遣检索、举荐模子预估与举荐策略计算。
快手引荐琐细采取计算与存储分手的架构
2018年到2019年上半年，快手举荐架构团队的首要工作遣散在操作异构混较量争论算的法子，升职推荐体系中模型预估和派遣检索等计算麋集型营业的遵从。通过行使异构计算的改造，发生发火了数倍的性能降职，扑挞了快手推荐架构团队向异构琐屑设计中更难的存储问题进发。
一直以来，快手举荐团队致力于保举琐细架构调解排遣，力求在日趋增长的用户量冲击下，使保举琐屑高可用的前提下，实时、高效、精准地向用户保举优异内容。
新机会：软硬结合极致优化，试探异构存储
暂且内存是介于DRAM和SSD间的新存储层级，不只能供应濒临DRAM的耽延，同时还供给临时化和更大容量的存储空间，这为保举细碎中差距场景的可行性解析和架构设计供给了思路。
对比于保守的内存加硬盘的两级存储，新存储设施的推出，现代管事器可以独霸的存储层级越来越多，把持多层级存储的软件体系设计也变得越来越复杂。每种存储设备有不合的功能赋性和容量大小限度，越快的设备的单元容量老本越高。例如使用内存插槽的英特尔(R)傲腾TM数据核心级耐久内存，遵照读写粒度的分歧，读写带宽虽小于激进内存，但写入数据具有持久性，且容量巨大于传统内存。若何结合不同层级的存储设计在大规模保举场景下性价比最优的存储系统成为一个巨大机缘和应战。
新一代就事器的存储层级布局
快手联合英特尔，海内业界率先落地采用英特尔(R)傲腾TM数据中心级暂且内存的异构存储到引荐琐屑
基于多层级异构存储配备，快手保举团队联合体系运营部硬件选型研发团队针对举荐琐细中的差距场景进行了可行性剖析和架构设计的调研。针对暂且内存的本性，对散布式索引和参数干事器中的KV存储进行了从新设计。
【基于且则性内存的KV细碎设计示意图】，注：AEP指代英特尔(R)傲腾TM数据中心级且则内存
该设计首要通过为KV存储添加MemPool组件，针对差异访问类型来决意体系是接见会面DRAM缓存，照旧直接读取暂且内存。比喻说，在推荐模型预估的参数管事器这个场景中，因为模型中神经网络大小与Embedding Table比较很小，以是神经网络也会被MemPool直接调配进入DRAM来前进预估的苦守。
除此之外，举荐团队还对KV细碎进行了调优：
关于数据读取场景采取NUMA节点绑定的方式使得且自内存接见不跨NUMA节点，从而获得更好的读写听命；
采取ZeroCopy技术对内存与常设内存进行接见会面；
使用无锁技术，削减临界区中对短暂内存的访问来进步遵从。
经由上述的技术改进，我们将基于恒久内存的索引琐屑用其实的线上恳求数据进行摹拟压测。测试终于以下：
基于历久性内存索引琐屑的压力测试终于
基于异构存储的索引琐屑几乎抵达纯DRAM的索引细碎相斥的违拗方针，但总体拥有老本低沉30%。同时异构存储的索引琐屑可能供应分钟级其他劝阻恢复速度，比以前小时级此外恢复提升了百倍恢复速率。英特尔专家简介，快手是海外率先在保举琐细范畴中引入并使用基于且则内存的异构存储的互联网公司，这类创新现实的妙技身手让我们侧目。
快手引荐打造业界顶级、战斗力强悍的妙技团队
通过工程、算法结合，数据驱动的手段，让快手举荐细碎更高效、更精准、更强硬地为快手数亿用户办事，记载每一个人的保存点滴，并让每一小我的记载都能惹起共鸣。引荐架构团队的成员都来自海内无名大学、致使国际有名大学，如CMU、清华、北大、中科大等著名院校的结业生。团队每个成员都谋求妙技极致，具备一流的漫衍式高并发处事的开发才略，譬如在线分布式索引支持每天千亿级别的视频请求、机械深造平台赞成千亿级别的举荐模子在线深造和在线预估、在线效劳为数亿用户供应99.99%的可用性。
(：赵爽、孙红丽)
|
