纽约时报Kafka架构实战

纽约时报有很多内容生成系统,我们使用第三方数据来编写故事。另外,我们有161年的新闻行业积累和21年的在线内容发布经验,所以大量的在线内容需要被搜索到,并提供给不同的服务和应用使用。另一方面,有很多服务和应用需要访问到这些内容——搜索引擎、个性化定制服务、新闻种子生成器,以及其他各种前端应用,如网站和移动应用。一旦有新内容发布,就要在很短的时间内让这些服务访问到,而且不能有数据丢失——毕竟这些内容都是有价值的新闻。在这篇文章里,我们将详细介绍我们是如何基于ApacheKafka解决上述问题的。我们把这个系统叫做发布管道(Publishing