勿谈大且看Bloomberg的中数据处理平台

中数据意味着数据体积已经超越单服务器处理的上限,但也无需使用数千台节点组成的集群——通常是TB级,而不是PB级的。这里,我们不妨走进Bloomberg的用例,着眼时间序列数据处理上的数据和体积挑战。在Bloomberg,我们并不存在大数据挑战。取而代之,系统正在遭遇“中数据(Medium data)”的威胁,而当下许多行业的机构基本上都面临着这种威胁。对Bloomberg来说,在企业级低延时场景下,Hadoop和Spark这样的系统既没有效率,也难以维护。时至今日,高核心数、SSD以及海量内存已并不稀奇,但是当下的大数据平台(通过搭建商用服务器集群)却并不能完全利用这些硬件的优势,存在的挑战也