基于关键字搜索的广告数据采集系统的设计与实现

发布时间：2017-03-30 15:00

  本文关键词：基于关键字搜索的广告数据采集系统的设计与实现，由笔耕文化传播整理发布。

【摘要】：如何提高用户在使用搜索引擎的同时,对搜索引擎中所显示的广告进行有效的点击,一直被各大搜索引擎公司所关注。每个搜索引擎都有自己所特有的广告显示方式,由于搜索引擎用户存在的个体差异,不同的广告显示方式所带来的广告盈利必然是不同的,而搜索引擎公司对用户点击广告的行为进行监测会产生大量的数据。对如此庞大的数据进行有效的采集,观察,分析,开发出可有效提高广告被点击率的显示方式,提高搜索引擎公司的盈利额,是当今搜索广告领域中激烈竞争的技术领域。 针对上述问题与现状,论文拟实现一个可自动采集广告数据并向使用者进行精确数据展示的Dashboard系统,帮助工作人员脱离原先黑白的,枯燥的广告数据采集界面。本文完成的主要工作分为三个部分,分别为： (1)定时的从半结构化数据集中获取数据的流程结构设计与实现,完成服务器的搭建工作,环境的部署和脚本程序的定时运行,使用Shell调用Pig脚本定时的从Hadoop分布式文件系统中对数据进行采集,分类等操作,将最后采集到的数据以文件的形式存储在远端grid服务器上； (2)将获取的数据存储到数据库的本地服务端的设计与实现,也就是将文本形式的数据文件从远端grid服务器上同步到本地的数据服务器上,并在数据文件成功同步的前提下,把数据从文本的形式转化为存储在MySQL数据库中的形式； (3)将存储在数据库中的关键字广告数据进行展示的客户端Web页面的设计与实现,采用当前流行的LAMP网站架构方案,以及Apache, HTML, CSS, JavaScript等Web技术来完成一系列的前端工作,提供给用户一个可以通过图形,表格等形式来查看数据以及分析数据的界面工具。 该采集系统可自动的完成数据采集、分类、存储与展示等一系列工作,并通过色彩丰富的图形进行数据展示和数据分析。使用者可查看大量关键字具体数值,也可以查看特定关键字的某个数值变化趋势,甚至可以提供给使用者批量的数据查询下载的功能,有效的提高了工作人员的工作效率,避免了技术人员的重复劳动,使非专业技术人员也可以方便快捷地获取特定的数据信息。
【关键词】：搜索引擎 广告 点击率 精准化 数据展示
【学位授予单位】：中国科学院大学（工程管理与信息技术学院）
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP274.2
【目录】：

• 摘要5-6
• Abstract6-9
• 第一章 绪论9-17
• 1.1 研究背景与意义9
• 1.2 本文相关研究进展9-14
• 1.2.1 信息检索的研究现状10
• 1.2.2 网络广告的发展现状10-12
• 1.2.3 可视化技术的发展12-14
• 1.3 本文主要研究内容14-17
• 第二章 广告数据采集系统的需求分析和技术研究17-29
• 2.1 何谓关键字以及关键字广告17-19
• 2.2 广告系统参数19-20
• 2.3 广告数据采集系统的需求分析20-22
• 2.3.1 系统的功能需求20-21
• 2.3.2 系统的性能指标21-22
• 2.4 Hadoop分布式系统基础架构22-23
• 2.4.1 HDFS系统22-23
• 2.4.2 Pig平台23
• 2.5 LAMP网站架构方案23-27
• 2.5.1 Linux操作系统24
• 2.5.2 Apache服务器24-26
• 2.5.3 MySQL技术26-27
• 2.5.4 PHP编程语言27
• 2.6 本章小结27-29
• 第三章 广告数据采集系统的总体架构和详细设计29-45
• 3.1 广告数据采集系统的总体设计29-33
• 3.1.1 系统的设计原则29-30
• 3.1.2 系统的总体结构和工作流程30-32
• 3.1.3 系统的模块设计32-33
• 3.2 系统运行环境设计33-34
• 3.3 数据采集部分的详细设计34-36
• 3.3.1 数据采集部分的功能需求34
• 3.3.2 数据采集部分的设计方案34-36
• 3.4 数据存储部分的详细设计36-38
• 3.4.1 数据存储部分的设计需求36-37
• 3.4.2 数据存储部分的设计方案37-38
• 3.5 应用层部分的详细设计38-39
• 3.5.1 应用层部分的设计需求38
• 3.5.2 应用层部分的设计方案38-39
• 3.6 本地数据库的详细设计39-43
• 3.7 本章小结43-45
• 第四章 广告数据采集系统的具体实现45-57
• 4.1 数据采集部分的具体实现45-53
• 4.1.1 每日数据采集的具体实现45-51
• 4.1.2 一周数据采集的具体实现51
• 4.1.3 实时数据采集的具体实现51-53
• 4.2 数据存储部分的具体实现53-54
• 4.3 应用层部分的具体实现54-56
• 4.4 本章小结56-57
• 第五章 广告数据采集系统的测试与分析57-67
• 5.1 系统运行环境的部署57-58
• 5.2 系统功能的测试58-64
• 5.3 系统性能的测试64-65
• 5.4 本章小结65-67
• 第六章 结论与展望67-69
• 6.1 论文的工作总结67-68
• 6.2 未来的工作展望68-69
• 参考文献69-71
• 致谢71-73
• 个人简历、在学期间发表的论文与研究成果73

【参考文献】

中国期刊全文数据库 前10条

1 张哲铭;;基于LAMP的台达实验室管理系统实现[J];电子技术;2013年06期

2 何瑾;刘润华;吴敬;;基于开源思想的软件应用开发[J];河北师范大学学报(自然科学版);2007年01期

3 左凤朝;基于Web的数据库访问技术探析[J];计算机工程与应用;2002年15期

4 张金区,王云鹏;PHP对数据库的访问技术及执行效率的比较[J];计算机工程与应用;2005年09期

5 何跃;陈大勇;腾格尔;;基于Web数据挖掘的用户浏览兴趣路径研究[J];计算机工程与应用;2012年07期

6 刘勘,周晓峥,周洞汝;数据可视化的研究与发展[J];计算机工程;2002年08期

7 黎永良,崔杜武;MVC设计模式的改进与应用[J];计算机工程;2005年09期

8 刘红芝;;基于Apache+PHP+MySQL框架的图书管理系统开发[J];江西图书馆学刊;2008年03期

9 王宏鑫;;关于网络信息数据的多尺度表达模型研究[J];情报科学;2007年07期

10 赵鹤芹;;设计动态网站的最佳方案:Apache+PHP+MySQL[J];计算机工程与设计;2007年04期

  本文关键词：基于关键字搜索的广告数据采集系统的设计与实现，，由笔耕文化传播整理发布。

本文编号：277376