如需要完整文档点击下方 "点击下载文档" 按钮

随着气象事业现代化水平的不断提高,气象部门积累了海量的气象数据,如何从海量的气象数据中挖掘出有用的知识,是提高气象服务能力的关键所在。 针对传统聚类算法无法有效处理海量数据的问题,提出了一种基于 Spark 框架的Canopy-FCM(Canopy-fuzzy C-means)并行化聚类算法。 该算法将 Canopy 算法与 FCM 算法相结合,避免了 FCM 算法对初始聚类中心敏感的问题,并结合 Spark 分布式框架内存计算的优势,大大降低了海量气象数据的处理时间。 通过采用天津市 208 个区域自动气象站 4 ~ 10 月逐月降水观测数据,评估了天津市不同区域的降水情况。 实验结果表明,提出的方法不仅可以快速有效地从气象数据中挖掘出有用的信息,同时与基于 Hadoop 框架下的算法相比,有更高的运行速率和加速比,也为相关部门有效地做出水旱灾害监测预警与风险防范决策提供了一种全新的思路和方法。

如需要完整文档点击下方 "点击下载文档" 按钮

《基于 Spark 的 Canopy-FCM 在气象中的应用》

将 完整文档 下载到本地，方便收藏和查阅

文件号：061757

点击下载文档