基于MapReduce的KMeans算法实现:HDFS存储中心点解决中间结果保存难题
基于MapReduce的KMeans算法的实现需要解决中间结果保存的问题。为此,可以使用HDFS存储中心点,以便各节点共享数据。
算法流程如下:
-
初始化:随机分配簇并初始化中心点,并将中心点保存到HDFS中。
-
Mapper:读取数据文件中的每条数据,并与中心点进行距离计算,输出最近的中心点序号作为key。
-
Reducer:归并Mapper输出的数据,计算新的中心点,并将新的中心点保存到新的中心文件中。
-
停机条件:判断是否满足停机条件,若不满足,则将新的中心文件复制到原中心文件中,并重复执行第2、3步骤。
-
输出结果:输出聚类结果,包括数据点信息和对应簇序号。
原文地址: http://www.cveoy.top/t/topic/oGDd 著作权归作者所有。请勿转载和采集!