HBase上搭建广告实时数据处理平台

讲师: 

腾讯广点通承接了每天200多亿的广告流量,算法模型训练对数据的准确性、实时性和完整性都提出了很高的要求。

我们利用HBase+Storm构建了广告日志实时处理平台,解决了实时数据回流和统计的问题。 这次主要分享的内容有:

  1. 如何通过HBase实现数据流实时关联
  2. 如何保证重要的计费数据不重不丢
  3. HBase实战经验,优化负载均衡、读写缓存、批量读写等性能问题
腾讯软件工程师
微博: @李锐lir

李锐,2008年毕业于北京大学电子系,然后进入微软STC工作,参与开发了分布式存储系统KirinStore,以及其上的分布式计算引擎Kida。2011年加入腾讯从事后台分布式文件系统xfs的开发,对分布式系统的认识和理解比较深。2012年开始做广告后台播放系统的开发,目前致力于在Hadoop上面构建广告日志数据处理平台。