李锐,2008年毕业于北京大学电子系,然后进入微软STC工作,参与开发了分布式存储系统KirinStore,以及其上的分布式计算引擎Kida。2011年加入腾讯从事后台分布式文件系统xfs的开发,对分布式系统的认识和理解比较深。2012年开始做广告后台播放系统的开发,目前致力于在Hadoop上面构建广告日志数据处理平台。
腾讯广点通承接了每天200多亿的广告流量,算法模型训练对数据的准确性、实时性和完整性都提出了很高的要求。
我们利用HBase+Storm构建了广告日志实时处理平台,解决了实时数据回流和统计的问题。 这次主要分享的内容有: