基于人工智能的大数据质量动态评估与清洗模型研究

摘要

大数据在政务、金融、医疗等领域的深度渗透，使其质量成为制约数据价值释放的核心瓶颈，对质量评估
的实时性与清洗策略的动态适配性需求愈发迫切。传统静态管控方法依赖人工规则与批量处理，无法应对大数据多
源异构、动态生成的特性，且评估与清洗流程割裂，难以形成协同优化。本文提出一种基于人工智能的大数据质
量动态评估与清洗模型（AI-DQEC），构建“特征提取-动态评估-自适应清洗-闭环反馈”的端到端架构。评估
模块采用融合注意力机制的改进LSTM网络，实现多维度质量实时评分与问题定位；清洗模块基于DDPG强化学习
Agent，以评估结果为反馈动态生成修复策略。实验以某省级政务平台1000万条多源数据为样本验证，模型评估准确
率达93.1%，较传统LSTM提升8.2个百分点；清洗效率达890条/秒，较规则库方法提升38%；数据流速突变时质量
评分波动系数仅0.11，为传统模型的28%。研究为动态大数据质量管控提供了高效技术方案，兼具理论创新性与工程
实用性。