大数据统计分析平台架构故事---TalkingData数据库架构变迁

在大数据统计分析平台里，数据库占据了举足轻重的地位。基于这些数据库，数据分析人员或者进行随机查询，或者进行大范围数据查询，或者进行多维交叉分析。传统的关系型数据库，越来越显得力不从心。近年在数据库技术领域，NoSQL DB雨后春笋大量涌现，例如基于内存的Redis，基于Hadoop的HBase、基于SSD的Aerospike等等，令人眼花缭乱。和传统的Oracle DB、MySQL相比，这些DB多半无法解决很宽场景的数据查询问题。如果要满足各种各样的业务需求，技术人员需要精心挑选这些数据库，并且将这些数据库高效、巧妙的组合起来使用。这对技术人员的要求非常高。

TalkingData作为国内最大的移动应用统计分析平台，在多年的发展之中，经历了三个阶段。三代架构演进过程中，我们研究、使用了大量开源、商业数据库。​从第一代架构只考虑数据库可靠性（Mysql Redis），到第二代考虑业务扩展性（TokuDB），到目前的第三代更多着眼于高性能，高并发，多维交叉的计算能力（OLAP+Vertica+LMDB）。通过将这些数据库的组合、协作，系统可以满足大数据环境下复杂、高速的数据查询、灵活的报表需求和基于数据挖掘的决策支持。

架构的变迁，不但支持了TalkingData内部系统的不断演进发展，而且积累下的技术转化成系统，提供给金融、电商、旅游、汽车等多种不同的行业企业使用，切实帮助企业在数据爆炸的年代更好的组织数据、计算数据、挖掘数据，让大数据真正落地，让数据体现巨大的商业价值。