论文研究基于MapReduce的CanopyKmeans改进算法.pdf

针对分布式Canopy-Kmeans算法中Canopy选取的随机性问题，采用“最小最大原则”对该算法进行了改进，避免了Cannopy选取的盲目性；采用MapReduce并行计算框架对算法进行了并行扩展，使之能够充分利用集群的计算和存储能力，从而适应海量数据的应用场景。以海量互联网新闻信息聚类作为应用背景，对改进后的算法进行了实验分析。实验结果表明：该方法较随机挑选Canopy策略在分类准确率以及抗噪能力上都明显提高，而且在处理海量数据时表现出较大的性能优势。