政府采购数据多要素关联分析算法研究与改进

发布时间：2023-11-04 11:28

　　由于我国关于加入GPA(Government Procurement Agreement)谈判进程的加速以及政府采购改革的持续深入,政府采购规模逐渐增加^[1]。政府采购在经济发展中也扮演愈发重要的角色,政府采购数据蕴藏着一定价值的信息。本文使用关联规则Apriori算法对政府采购数据进行处理,找出政府采购数据要素之间强关联关系,为政府采购工作的反腐倡廉提供参考的依据。随着政府采购产生了越来越多的政府采购数据,传统的数据挖掘手段对大量数据的分析显得无能为力,采用大数据与数据挖掘手段处理政府采购数据是本文研究的目标。为了提高原始Apriori算法在处理大量数据的效率以及使用Apriori算法对政府采购数据进行分析,采取基于Hadoop平台提高Apriori算法处理数据的效率。文章中详细描述了Apriori算法、基于Hadoop的h-Apriori以及改进后的mh-Apriori算法,并实现了这三种算法,采用数据集进行算法效率的验证。论文的实验分为三组,第一组,第二组实验结果说明数据集chess与mushroom在三种算法的处理下,基于Hadoop平台算法花费的时间要略...

【文章页数】：64 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
    1.3 本文的研究内容
    1.4 论文组织结构
第二章 基于Hadoop的政府采购数据多要素关联分析算法研究
    2.1 关联规则基本原理
    2.2 关联规则算法
        2.2.1 Apriori算法
        2.2.2 FP-growth算法
    2.3 Hadoop相关知识理论
        2.3.1 Hadoop技术介绍
        2.3.2 HDFS文件系统介绍
        2.3.3 HBase数据库
        2.3.4 MapReduce并行计算框架介绍
        2.3.5 yarn技术介绍
    2.4 基于Hadoop的并行化Apriori算法
    2.5 基于Hadoop并行化Apriori算法的优化
        2.5.1 h-Apriori算法的缺陷
        2.5.2 mh-Apriori算法设计
        2.5.3 算法运行过程
    2.6 算法比较
        2.6.1 实验环境及实验数据
        2.6.2 实验结果分析
    2.7 本章总结
第三章 政府采购数据获取及处理
    3.1 政府采购数据的获取
        3.1.1 网页结构介绍
        3.1.2 爬虫介绍
        3.1.3 爬虫涉及技术
        3.1.4 爬虫模块设计
        3.1.5 部分核心代码
    3.2 数据清洗与转化
        3.2.1 数据清洗
        3.2.2 数据转化
    3.3 本章总结
第四章 mh-Apriori算法在政府采购数据多要素关联分析中应用
    4.1 mh-Apriori算法对政府采购数据处理
    4.2 h-Apriori及 mh-Apriori算法对政府采购数据处理的性能对比
    4.3 规则可视化
    4.4 mh-Apriori算法对政府采购数据处理结果的分析
    4.5 政府采购数据分析平台
    4.6 本章总结
第五章 总结与展望
    5.1 总结
    5.2 展望
致谢
参考文献
攻读学位期间参加科研情况及获得的学术成果



本文编号：3860216