大数据时代的feed流架构

讲师: 
所属专题: 

在移动时代,我们无时不刻的通过各种应用及渠道来获取信息。feed流是其中非常简单高效一种方式,从最早的聚合好友应用内的各种动态,逐渐到用户形成在各平台生产内容的习惯,feed流的信息量得以爆发式的发展。到了大数据时代,用户的兴趣及关系非常多元化,每天每个用户会接收到上千条内容,用户在获取信息流时,系统需要实时从海量信息中聚合及筛选大量内容,进行个性化的计算,访问的数据规模及计算量也是逐年呈数量级的上升。本主题通过在微博历年feed流架构的演进的经历来探讨feed在大数据时代的架构设计思路,探讨适合目前用户需要的信息流架构,主要内容提纲如下。

  1. 典型的feed流模型,介绍典型feed设计的模型及重点考虑因素;
  2. feed扩展性演进,功能、体验及性能的平衡。通过数次大的功能的改变的案例,来介绍如何达到架构的平衡;
  3. 大数据时代的feed流架构,主要从如下两个方面展开;
  4. 数据规模问题,分级缓存解决存储容量与访问效率;
  5. 计算模型与框架:实时计算框架与计算模型设计。
新浪微博技术总监
微博: @TimYang
个人主页:

多年软件及互联网行业开发经验,2008年加入新浪,曾负责通讯服务等多个大型后端系统研发。2009年起参与新浪微博的技术架构工作,在海量及峰值访问、大数据、NoSQL存储、异地机房分布式架构及开放平台等方面参与并推动多次技术架构改进,经历新浪微博从起步到成为数亿用户的大型互联网系统的技术演进过程,目前担任新浪微博技术总监。工作之余喜欢各种技术交流,曾多次公开分享新浪微博的技术架构演进,也经常通过微博发表技术观点。