农业经济调查数据的缺失值处理：模型、方法及应用
发布时间：2023-11-10 17:42
中国是农业大国,虽然农业产值占GDP的比重不到10%,但农业就业人口仍占到了总就业人口的28.3%,农业仍旧是国民经济和社会发展的基础。在科学研究中,农业经济以及农业管理的研究仍是必要和重要的,而这些农业经济管理研究很多都需要开展农业经济调查以获取数据,然后在数据分析的基础上得到结论。跟任何调查一样,农业经济调查会遇到一个几乎无可避免的问题:缺失值,农户的无回答或者调查人员的疏忽都会让农业经济调查数据产生缺失值。但跟其它调查,如市场调查、民意调查不同的是,农业经济调查有很强的特殊性,比如农业经济调查仍使用古老的人员访问方法、调查问卷中存在大量的开放性问题、能获得较多辅助信息、随机性不高但农户调查配合度较高等等。结合农业经济调查的特点和数据缺失的原因,提出本研究特定的假设条件:调查数据来自一个正态总体;调查数据是随机获得的;变量类型以数量变量为主;数据的缺失模式是单一缺失和一般缺失;数据的缺失机制是完全随机缺失(MCAR)和随机缺失(MAR)。基于这些基本假设,本研究提出了农业经济调查数据的缺失值处理构建一套较系统的模型和方法。这套模型其实是一个完整的逻辑体系,但为了叙述方便分成三部分:...
【文章页数】：178 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
1 导论
1.1 研究背景和研究意义
1.1.1 研究背景
1.1.2 研究意义
1.2 主要概念界定
1.1.1 农业经济调查
1.1.2 缺失值
1.3 问题的提出与研究目标
1.3.1 问题的提出
1.3.2 研究目标
1.4 技术路线与结构框架
1.4.1 技术路线
1.4.2 结构框架
1.5 研究方法与数据来源
1.5.1 研究方法
1.5.2 数据来源
1.6 可能的创新与不足
1.6.1 可能的创新
1.6.2 不足之处与展望
2 农业经济调查数据缺失值处理的文献综述
2.1 缺失值处理的理论和方法的研究综述
2.1.1 国外缺失值处理的理论和方法的研究综述
2.1.2 国内缺失值处理的理论和方法的研究综述
2.2 农业经济调查数据缺失值问题的研究综述
2.2.1 国外农业经济调查数据缺失值问题的研究综述
2.2.2 国内农业经济调查数据缺失值问题的研究综述
2.3 结论和评价
3 农业经济调查数据缺失值处理的研究基础和假设
3.1 农业经济调查的特点和数据缺失原因
3.1.1 农业经济调查的特点
3.1.2 农业经济调查数据缺失的原因
3.2 基本概念及符号表示
3.2.1 基本概念及符号
3.2.2 缺失数据及缺失信息的转换
3.3 模拟方法介绍
3.3.1 模拟方法的含义
3.3.2 采取模拟方法的原因
3.3.3 模拟方法的优势
3.4 农业经济调查数据的缺失模式
3.4.1 一般缺失模式
3.4.2 单一缺失模式
3.4.3 单调缺失模式
3.5 农业经济调查数据的缺失机制
3.5.1 农业经济调查数据缺失机制及模型
3.5.2 农业经济调查数据缺失机制的模拟
3.6 基本假设
3.6.1 农业经济调查总体分布的假设
3.6.2 农业经济调查样本随机性的假设
3.6.3 农业经济调查的变量假设
3.6.4 农业经济调查数据缺失模式的假设
3.6.5 农业经济调查数据缺失机制的假设
3.7 缺失值处理的统计软件
3.7.1 分析软件
3.7.2 本研究使用软件
3.7.3 本研究自编的R程序代码
4 农业经济调查数据缺失值处理的删除及模拟分析
4.1 成列删除及其缺陷分析
4.1.1 成列删除及其争议
4.1.2 成列删除引致的估计错误分析
4.1.3 成列删除引致数据损失和估计错误的模拟分析
4.2 成对删除及比较分析
4.2.1 成对删除及其争议
4.2.2 成对删除的估计复杂性分析
4.2.3 成对删除和成列删除在相关关系估计上的模拟比较分析
4.3 随机缺失下成列删除有偏估计的加权调整分析
4.3.1 加权调整的基本模型
4.3.2 加权调整的方法
4.3.3 加权调整效果的模拟分析
4.4 结论和讨论
5 农业经济调查数据缺失值处理的单一插补及模拟比较分析
5.1 单一插补的模型和缺陷分析
5.1.1 单一插补的基本思想
5.1.2 单一插补的基本模型
5.1.3 单一插补的缺陷分析
5.2 均值插补及其改进分析
5.2.1 关于均值插补的讨论
5.2.2 简单均值插补对总体方差的低估分析
5.2.3 均值插补离散性的改进分析
5.2.4 随机缺失下均值插补估计偏差的修正
5.2.5 简单均值插补对相关关系低估的模拟分析
5.3 回归插补及其插补效果的比较分析
5.3.1 关于回归插补的讨论
5.3.2 简单回归插补及对总体方差的低估分析
5.3.3 回归插补的改进分析
5.3.4 回归插补效果的模拟比较分析
5.4 基于模糊后验分布的热平台插补及比较分析
5.4.1 关于热平台插补的讨论
5.4.2 简单随机插补的稳健性分析
5.4.3 随机缺失下随机插补的改进
5.4.4 最近距离插补及其模型方法
5.4.5 热平台插补效果的模拟比较分析
5.5 结论和评论
6 农业经济调查数据缺失值处理的多重插补及比较应用分析
6.1 多重插补的基本思想和基本模型
6.1.1 多重插补的基本思想
6.1.2 多重插补的基本模型
6.1.3 关于多重插补的插补次数选择的讨论
6.2 多重插补的参数估计和检验
6.2.1 多重插补的点估计
6.2.2 多重插补估计量的分布
6.2.3 多重插补的参数估计和检验方法
6.3 一元正态模型下的贝叶斯法多重插补及比较分析
6.3.1 一元正态线性模型的假设
6.3.2 贝叶斯多重插补方法的理论分析
6.3.3 贝叶斯多重插补方法的参数估计
6.3.4 贝叶斯多重插补方法的模拟比较分析
6.4 一元正态模型下BOOTSTRAP多重插补及比较分析
6.4.1 Bootstrap法和贝叶斯法在模型假设上的异同
6.4.2 Bootstrap多重插补方法的理论分析
6.4.3 Bootstrap多重插补方法的模拟比较分析
6.5 多元正态模型下联合分布多重插补及其应用分析
6.5.1 农业经济调查的多变量缺失问题
6.5.2 多元正态模型下联合分布多重插补方法的假设
6.5.3 农业经济调查数据的具体缺失模式
6.5.4 联合分布多重插补方法的理论分析
6.5.5 联合分布多重插补方法的模拟应用分析
6.6 多元正态模型下条件分布多重插补及模拟应用分析
6.6.1 多元正态模型下条件分布多重插补方法的假设
6.6.2 条件分布多重插补方法的模型
6.6.3 条件分布多重插补方法的模拟应用分析
6.7 结论与讨论
7 农业经济调查数据缺失值处理的实例应用分析
7.1 数据缺失信息描述
7.1.1 数据介绍
7.1.2 数据整理
7.1.3 缺失信息描述
7.2 单一缺失数据处理
7.2.1 目标变量和辅助变量选择
7.2.2 单一插补分析
7.2.3 多重插补分析
7.3 一般缺失数据处理
7.3.1 联合分布多重插补分析
7.3.2 条件分布多重插补分析
7.4 结论和讨论
8 结论和建议
8.1 结论
8.1.1 关于农业经济调查特点的结论
8.1.2 关于删除的结论
8.1.3 关于单一插补的结论
8.1.4 关于多重插补的结论
8.1.5 关于实际应用分析的结论
8.2 建议
8.2.1 处理缺失数据前的建议
8.2.2 处理缺失数据中的建议
参考文献
附录
攻读博士学位期间的研究成果
致谢
本文编号：3862020
【文章页数】：178 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
1 导论
1.1 研究背景和研究意义
1.1.1 研究背景
1.1.2 研究意义
1.2 主要概念界定
1.1.1 农业经济调查
1.1.2 缺失值
1.3 问题的提出与研究目标
1.3.1 问题的提出
1.3.2 研究目标
1.4 技术路线与结构框架
1.4.1 技术路线
1.4.2 结构框架
1.5 研究方法与数据来源
1.5.1 研究方法
1.5.2 数据来源
1.6 可能的创新与不足
1.6.1 可能的创新
1.6.2 不足之处与展望
2 农业经济调查数据缺失值处理的文献综述
2.1 缺失值处理的理论和方法的研究综述
2.1.1 国外缺失值处理的理论和方法的研究综述
2.1.2 国内缺失值处理的理论和方法的研究综述
2.2 农业经济调查数据缺失值问题的研究综述
2.2.1 国外农业经济调查数据缺失值问题的研究综述
2.2.2 国内农业经济调查数据缺失值问题的研究综述
2.3 结论和评价
3 农业经济调查数据缺失值处理的研究基础和假设
3.1 农业经济调查的特点和数据缺失原因
3.1.1 农业经济调查的特点
3.1.2 农业经济调查数据缺失的原因
3.2 基本概念及符号表示
3.2.1 基本概念及符号
3.2.2 缺失数据及缺失信息的转换
3.3 模拟方法介绍
3.3.1 模拟方法的含义
3.3.2 采取模拟方法的原因
3.3.3 模拟方法的优势
3.4 农业经济调查数据的缺失模式
3.4.1 一般缺失模式
3.4.2 单一缺失模式
3.4.3 单调缺失模式
3.5 农业经济调查数据的缺失机制
3.5.1 农业经济调查数据缺失机制及模型
3.5.2 农业经济调查数据缺失机制的模拟
3.6 基本假设
3.6.1 农业经济调查总体分布的假设
3.6.2 农业经济调查样本随机性的假设
3.6.3 农业经济调查的变量假设
3.6.4 农业经济调查数据缺失模式的假设
3.6.5 农业经济调查数据缺失机制的假设
3.7 缺失值处理的统计软件
3.7.1 分析软件
3.7.2 本研究使用软件
3.7.3 本研究自编的R程序代码
4 农业经济调查数据缺失值处理的删除及模拟分析
4.1 成列删除及其缺陷分析
4.1.1 成列删除及其争议
4.1.2 成列删除引致的估计错误分析
4.1.3 成列删除引致数据损失和估计错误的模拟分析
4.2 成对删除及比较分析
4.2.1 成对删除及其争议
4.2.2 成对删除的估计复杂性分析
4.2.3 成对删除和成列删除在相关关系估计上的模拟比较分析
4.3 随机缺失下成列删除有偏估计的加权调整分析
4.3.1 加权调整的基本模型
4.3.2 加权调整的方法
4.3.3 加权调整效果的模拟分析
4.4 结论和讨论
5 农业经济调查数据缺失值处理的单一插补及模拟比较分析
5.1 单一插补的模型和缺陷分析
5.1.1 单一插补的基本思想
5.1.2 单一插补的基本模型
5.1.3 单一插补的缺陷分析
5.2 均值插补及其改进分析
5.2.1 关于均值插补的讨论
5.2.2 简单均值插补对总体方差的低估分析
5.2.3 均值插补离散性的改进分析
5.2.4 随机缺失下均值插补估计偏差的修正
5.2.5 简单均值插补对相关关系低估的模拟分析
5.3 回归插补及其插补效果的比较分析
5.3.1 关于回归插补的讨论
5.3.2 简单回归插补及对总体方差的低估分析
5.3.3 回归插补的改进分析
5.3.4 回归插补效果的模拟比较分析
5.4 基于模糊后验分布的热平台插补及比较分析
5.4.1 关于热平台插补的讨论
5.4.2 简单随机插补的稳健性分析
5.4.3 随机缺失下随机插补的改进
5.4.4 最近距离插补及其模型方法
5.4.5 热平台插补效果的模拟比较分析
5.5 结论和评论
6 农业经济调查数据缺失值处理的多重插补及比较应用分析
6.1 多重插补的基本思想和基本模型
6.1.1 多重插补的基本思想
6.1.2 多重插补的基本模型
6.1.3 关于多重插补的插补次数选择的讨论
6.2 多重插补的参数估计和检验
6.2.1 多重插补的点估计
6.2.2 多重插补估计量的分布
6.2.3 多重插补的参数估计和检验方法
6.3 一元正态模型下的贝叶斯法多重插补及比较分析
6.3.1 一元正态线性模型的假设
6.3.2 贝叶斯多重插补方法的理论分析
6.3.3 贝叶斯多重插补方法的参数估计
6.3.4 贝叶斯多重插补方法的模拟比较分析
6.4 一元正态模型下BOOTSTRAP多重插补及比较分析
6.4.1 Bootstrap法和贝叶斯法在模型假设上的异同
6.4.2 Bootstrap多重插补方法的理论分析
6.4.3 Bootstrap多重插补方法的模拟比较分析
6.5 多元正态模型下联合分布多重插补及其应用分析
6.5.1 农业经济调查的多变量缺失问题
6.5.2 多元正态模型下联合分布多重插补方法的假设
6.5.3 农业经济调查数据的具体缺失模式
6.5.4 联合分布多重插补方法的理论分析
6.5.5 联合分布多重插补方法的模拟应用分析
6.6 多元正态模型下条件分布多重插补及模拟应用分析
6.6.1 多元正态模型下条件分布多重插补方法的假设
6.6.2 条件分布多重插补方法的模型
6.6.3 条件分布多重插补方法的模拟应用分析
6.7 结论与讨论
7 农业经济调查数据缺失值处理的实例应用分析
7.1 数据缺失信息描述
7.1.1 数据介绍
7.1.2 数据整理
7.1.3 缺失信息描述
7.2 单一缺失数据处理
7.2.1 目标变量和辅助变量选择
7.2.2 单一插补分析
7.2.3 多重插补分析
7.3 一般缺失数据处理
7.3.1 联合分布多重插补分析
7.3.2 条件分布多重插补分析
7.4 结论和讨论
8 结论和建议
8.1 结论
8.1.1 关于农业经济调查特点的结论
8.1.2 关于删除的结论
8.1.3 关于单一插补的结论
8.1.4 关于多重插补的结论
8.1.5 关于实际应用分析的结论
8.2 建议
8.2.1 处理缺失数据前的建议
8.2.2 处理缺失数据中的建议
参考文献
附录
攻读博士学位期间的研究成果
致谢
本文编号：3862020
本文链接：https://www.wllwen.com/jingjilunwen/nongyejingjilunwen/3862020.html