大数据清洗中的重复数据检测算法效率提升

石泽 澄　

摘要


随着大数据时代的到来，数据量的激增使得数据清洗成为一项重要任务。重复数据检测是数据清洗的核心环节之一，其效率直接影响整个数据处理流程的效果和成本。本文系统分析了传统重复数据检测算法的局限性，并提出了基于分布式计算、并行处理、数据预处理等策略的效率提升方法。通过实证研究验证了这些策略的有效性，为大数据环境下的重复数据检测提供了理论支持和实践指导。

关键词


大数据清洗；重复数据检测；算法效率；并行计算

全文:

PDF


参考


[1]张鲁杰，王亚宁，姜芸桥.个性化推荐算法在运动装备电商平台中的销售转化率提升：以“得物”App为例[C]//第二届湖北省体育科学大会暨第五届现代体育与军事训练发展学术论坛论文摘要集.2024.

[2]胡小琴，潘锦锋.大数据相似重复记录检测算法在试题库中的运用[J].成都工业学院学报，2023，26（1）：66-69.

[3]雷炜综述.医学大数据分析中数据挖掘算法的应用[J].福建医科大学学报，2024，58（2）：78-81.

[4]曹卿，靳荣.数据挖掘算法在大数据网络安全防御中的应用研究[J].黑龙江工业学院学报：综合版，2024（5）.

[5]高勃，柴学科，朱明皓.基于MOPSO算法改进的异常点检测方法[J].计算机集成制造系统，2024，30（7）：2319-2327.


Refbacks

  • 当前没有refback。