基于野外vis-NIR高光谱的土壤属性预测及田间水分影响去除研究

发布时间：2020-07-31 17:11

【摘要】：精准农业是当今世界农业发展的前沿。精准农业的发展需要充分了解土壤生产力及其空间变异特性,才能合理调节投入,减少环境污染,提高农产品的产量与质量。因此,对土壤肥力和作物生长状况进行定量实时监测和诊断,是实现精准农业的技术前提。在国家中长期科学和技术发展规划纲要(2006-2020年)的农业重点领域“农业精准作业与信息化”中,明确了“重点研究开发动植物生长和生态环境信息数字化采集技术,实时土壤水肥光热探测技术”的目标。基于可见—近红外(vis-NIR)高光谱技术的土壤近地传感器技术的兴起,为这一目标的实现提供了可能,在数字土壤制图和精准农业等领域的应用潜力很大。国内外学者在实验室条件下基于vis-NIR高光谱做了大量工作,克服了土壤属性常规化学分析周期长、成本高等缺点。但是,室内光谱测量所需的样品采集、运输和制备过程,削弱了vis-NIR光谱技术无损快速的优势。而基于vis-NIR光谱的土壤近地传感器技术可以在野外原位不破坏土壤结构的情况下进行快速测量,是一种相对简单、高效、省力却同时能够获取大量高密度的土壤空间信息的技术,满足精准农业的发展需要。然而,野外环境场中存在诸多不同于室内测量的环境因素,如土壤水分、土壤表面状况、环境杂散光等,对野外原位测量的光谱产生影响,遮盖或部分遮盖有些土壤属性的光谱信息,增加从野外光谱中提取土壤属性有效信息的难度,降低土壤属性含量预测的准确程度。如何提高野外光谱预测土壤属性的精度,使其在“快速”获取土壤信息的同时满足精准农业中“准确”的要求,是近几年来土壤光谱技术及其相关领域的研究热点和难点。本研究围绕上述热点与难点,以浙江省分属不同市县的9块排水疏干后的水稻田为研究区域,选择104个采样点在田间静态采集其野外原位vis-NIR光谱,针对土壤有机碳(OC)、有机质(OM)、总氮(TN)、速效氮(AN)、速效磷(AP)、速效钾(AK)和pH这七种重要土壤属性,研究基于野外原位vis-NIR光谱对其进行预测的可行性,并通过各种化学计量学方法提高其预测精度,以期为精准农业快速获取土壤信息提供技术支撑与辅助决策指导。本论文的主要研究内容和结果可以概括为以下几个方面：(1) 野外原位vis-NIR光谱的主要环境影响因素分析野外环境无法进行实验室中土壤样品的烘干、研磨、过筛等预处理过程,土壤中的水分含量、土壤质地、土壤微聚体阴影、土壤表面的平整处理、土壤属性的各向异性、土壤大孔隙、土壤中残留的植物根系、石块、垃圾等物质以及温度、环境杂散光等都会影响野外原位光谱测量的精度。本研究首先在土壤采样点进行野外原位vis-NIR光谱测量,然后采集土壤样本带回实验室风干研磨并过2mm筛后测量其相应的室内光谱。在野外原位光谱测量中,高密度接触式反射探头的使用能够在野外环境中创造人工暗室环境,有效避免环境杂散光的影响；而直径仅为2cm的探头窗口有利于选择较为平整的土壤表面并避开土壤大孔隙、作物根系、石块等对野外原位光谱测量的影响。从光谱特征上研究在野外原位光谱测量过程中的主要环境影响因素及其对野外原位光谱的影响机理,采用连续统去除算法放大光谱特征,采用光谱配对wavelength t检验分析野外原位光谱与相应室内光谱的差别。对原始的和经连续统去除的野外原位光谱和室内光谱进行比较后发现,二者的主要区别在于代表水分吸收的1450nm和1940nm波段附近,水稻土的野外光谱曲线吸收谷在宽度和深度上都远远大于其室内光谱曲线,而这主要是因为水稻土长期浸水导致的。(2)基于野外原位vis-NIR光谱的土壤重要属性预测研究土壤不同组分分子在vis-NIR光谱波段的倍频振动与合频振动,构成了利用vis-NIR光谱进行土壤属性预测的理论基础。在野外原位进行土壤光谱测量,由于土壤水分、表面属性及其他诸多环境因素的存在,可能会遮盖或部分遮盖某些土壤属性的光谱特征,增加了从野外测量的土壤光谱中提取土壤属性有效信息的难度。而对于长期处于水淹状态的水稻土受到的环境影响因素,尤其是水分影响,更为明显。本研究分别采用偏最小二乘回归(PLSR)算法和最小二乘支持向量机(LS-SVM)算法,对利用野外原位vis-NIR光谱预测七种重要土壤属性(OC、OM、TN、AN、AP、AK和pH)进行可行性分析,并与室内光谱预测结果进行比较。研究结果发现,利用野外原位vis-NIR光谱可以对土壤TN、AN、OC、 OM和pH进行定量预测,对AP和AK无法预测。对TN、AN、OC和OM的成功预测主要归功于这些成分在vis-NIR光谱波段存在直接的光谱响应特征,对AP和AK无法预测则是因为它们在土壤vis-NIR光谱波段没有直接的光谱响应特征；而对pH的成功预测可能是由于它与土壤中存在直接响应波段的矿物成分相关的缘故。与室内光谱预测结果进行比较后发现,无论采用PLSR还是LS-SVM算法,基于野外原位光谱的土壤属性预测精度普遍低于室内光谱。(3) 线性与非线性多元建模方法对野外原位vis-NIR光谱预测土壤属性精度的影响土壤组分分子在vis-NIR波段的倍频峰和合频峰通常较为宽泛、相对微弱并且相互重叠,其光谱特征很难被肉眼区别开来。而且即使对于土壤组分的同一分子基团,所结合的元素种类发生变化时,其吸收峰位置也会出现轻微的移动。常规方法往往难以对土壤的vis-NIR光谱进行解析。随着化学计量学的发展,越来越多的多元数据分析技术被用于土壤属性光谱特征波段的提取和土壤组分的光谱预测建模。本研究利用线性的PLSR算法以及非线性的LS-SVM算法分别对野外原位测量的光谱进行7种重要土壤属性的预测研究。与线性的PLSR算法相比,LS-SVM算法对OC、OM、TN和pH的预测精度有了很大程度的提高,对AN的预测精度没有显著变化,对AP和AK两种算法都不能进行定量预测。研究结果表明,对于vis-NIR波段光谱可以预测的土壤属性,非线性的LS-SVM算法可以提高利用野外原位光谱预测土壤属性的精度。(4)野外原位vis-NIR光谱土壤水分影响去除研究从前面的研究结果可以看出,与基于实验室测量的土壤属性高光谱研究相比,直接在野外进行土壤高光谱测量省略了一系列风干、研磨、过筛等土壤样本的预处理步骤,节省了大量的人力物力财力和时间。然而,由于土壤水分及其他诸多环境因素的存在,增加了从野外测量的土壤光谱中提取土壤属性特征光谱的难度,降低了利用野外光谱进行土壤属性预测的精度。因此,研究野外土壤光谱测量中的影响因素的去除算法非常有意义。迄今为止,对于土壤光谱的野外测量中影响因素的去除算法进行的研究报道为数不多。本研究使用额外参数正交化法(External parameter orthognolization, EPO)、光谱直接转换法(Direct Standardization, DS)、光谱分段直接转换法(Piecewise Direct Standardization, PDS)三种方法对野外原位光谱中的环境影响因素进行去除。EPO是将所测的光谱投影到与将要去除的环境影响因素相正交的空间上,从而达到去除这一影响因素的目的。DS算法通过对野外原位光谱与室内光谱的差值光谱进行分析,建立野外原位光谱与室内光谱的转换关系,对野外原位光谱进行转换,实现环境影响因素的去除。PDS算法与DS算法的基本原理相同。所不同的是,在DS算法中,室内光谱中的全波段数据都被用来与野外光谱的每一个波段进行关联并建立起线性关系进行转换。而在PDS算法是将野外光谱中每个波段附近一个窗口内的光谱数据与室内光谱该波段的光谱数据进行关联建立转换关系,通过小窗口的移动,对野外光谱的所有波段进行转换。研究结果表明,EPO、DS和PDS三种土壤水分影响去除算法都能有效提高基于野外原位光谱预测土壤有机碳的精度。未经三种土壤水分影响去除算法处理的野外原位光谱可以对土壤有机碳进行粗略估测(1.4RPD2.0),而经过处理后可以进行准确的定量预测(RPD2.0)。但是,三种算法各有优劣。三种算法的共同点是都需要从整个样本集中选择具有代表性的一小部分样本带回实验室,风干研磨过筛后测量其室内光谱,用于建立野外原位光谱与室内光谱之间的转换关系,计算转换系数。三种算法的不同点是,PDS算法是在移动的“小窗口”内建立土壤野外原位光谱与室内光谱之间的转换关系,这一特性决定了PDS算法需要的转换样本数远远小于另外两种算法。而转换样本数的减少,意味着节省了采样以及样品前处理所需要的时间和人力。但是,在本研究中成功使用PDS算法去除野外光谱中土壤水分及其他环境影响因素的前提是对光谱进行一阶导预处理；而对于EPO和DS算法则无需进行进行这一光谱预处理过程。最后,对经过三种去除水分算法处理后的野外原位光谱有机碳预测精度进行比较,结果发现DS算法的精度最高。(5)基于中国土壤光谱库的野外原位vis-NIR光谱预测土壤有机碳研究中国土壤vis-NIR光谱库包含有多种类型的土壤样本,基于中国土壤光谱库建立的土壤有机碳预测模型普适性高,可以实现对局部区域或田块土壤有机碳的快速测量。然而,这一模型对野外原位采集的光谱并不适用,因为中国光谱库中的光谱都是基于室内测量的。本研究使用EPO、DS和PDS三种算法去除104个野外原位光谱中的水分影响因素后,利用中国土壤光谱库模型进行野外原位vis-NIR光谱土壤有机碳的预测。研究结果表明,经三种算法对野外原位光谱处理后,利用已有的中国土壤光谱库模型对土壤有机碳的预测精度都有了大幅度的提高,从完全无法预测(RPD=0.23)提高到可以粗略估计(对于EPO和PDS算法：RPD1.40),甚至可以定量预测(对于DS算法：RPD=2.06)。使用DS算法处理后的野外原位光谱的预测精度接近于直接使用室内光谱的预测精度(RPD=2.11)。因此,研究中结合DS算法给出了基于中国土壤光谱库的野外原位vis-NIR光谱土壤有机碳快速预测的实际应用方案。应用该方案,只需要采集一小部分土壤样本,无需进行任何理化分析实验,即可实现土壤有机碳的定量预测。此外,研究还利用spiking算法将一部分野外原位光谱并入中国土壤光谱库重新建立模型,成功对剩余样本实现野外原位光谱的土壤有机碳预测。与传统的光谱预测建模方法(即对所采集土壤样本划分为建模集和预测集进行土壤有机碳预测)相比,spiking算法只需要测量较少样本(n=15-25)的土壤有机碳含量便可进行土壤有机碳的野外定量预测。本研究的研究对象为水稻土,由于水稻田存在水旱交替这种特殊的耕作形式,基于野外原位vis-NIR光谱测量技术对于保证在排水疏干的短暂时间内完成土壤属性的快速预量尤为必要。但是,与旱作土壤相比,其野外原位光谱中所受到的土壤水分及其他诸多环境因素的影响更为明显,利用野外原位vis-NIR光谱预测其属性的精度低于一般旱作土壤。因此,提高野外原位光谱预测水稻土属性的精度,去除水稻土野外原位光谱中的水分影响因素,显得更加迫切。本研究基本完成研究内容,达到了预期的研究目标,在以下个方面取得了新进展：(1)已有较多研究使用和比较了各种线性和非线性数据挖掘算法对室内光谱土壤属性预测的模型精度影响。然而,利用非线性算法进行野外原位光谱土壤属性预测建模的研究非常少。本研究使用LS-SVM算法进行基于野外原位光谱的土壤属性预测,利用非线性数据挖掘算法提高对野外原位光谱中有效信息的提取能力,增加模型的预测精度。该研究为基于野外原位光谱的土壤属性定量预测模型的建立提供了算法支持。(2)如何去除野外原位光谱中的环境影响因素以提高土壤属性的预测精度一直是土壤野外光谱研究的热点和难点,相关研究非常少见。本研究使用已有研究的EPO算法,并提出DS和PDS算法用于去除水稻土野外原位光谱中土壤水分的影响。经三种算法处理后的野外原位光谱均能成功进行土壤属性预测,并取得了很好的精度。该研究为基于野外原位光谱的土壤属性定量研究提供了算法支持。(3)利用中国土壤光谱库有机碳预测模型,结合野外原位光谱土壤水分影响去除算法,实现田间土壤有机碳含量快速获取。本研究还提出了如何利用中国土壤光谱库进行野外原位vis-NIR光谱土壤属性快速预测在实际应用中的实施方案,为精准农业快速获取土壤属性信息提供了一种途径。
【学位授予单位】：浙江大学
【学位级别】：博士
【学位授予年份】：2014
【分类号】：S151.9;TP18
【图文】：

位置分布,试验田,位置分布,水稻田

研究区域位于Ｎ２９°０３＇－Ｎ３０°１０＇，Ｅｌ邋１９°１０＇－Ｅ丨２２°４８＇之间。在浙江省内不同地逡逑区选择９块水稻田作为研究区域，k胃鎏锟榇笮≡冢埃玻担埃倒曛洹Ｊ笛樘锟殄义衔恢梅植既缤迹玻彼尽Ｆ渲校哺鎏锟槲挥诜锎ㄕ颍ㄔ谕贾兄氐桓觯Ｔ诿垮义细鎏锟槟谒婊≡瘢福保陡鐾寥啦裳悖敬问笛橐还惭∪×隋澹保埃锤鐾寥啦裳恪ｅ义媳敬问笛橛冢玻埃保蹦辏保痹滤咎锸崭睿滋旌蠼小Ｊ笛榻惺保咎镏械乃义弦雅懦霾⒏稍镆欢问奔湟匀繁Ｒ巴庠还馄撞杉笛榈乃忱麗,行。研究区域的土逡逑壤概况见表２－１。逡逑ｒ邋＾邋Ｉ逡逑Ｈａｎｇｚｈｏｕ邋Ｂａｙ邋ｇ逡逑ｔｅｉ逡逑图２－１研究区试验田位置分布逡逑Ｆｉｇ．邋２－１邋Ｔｈｅ邋ｇｅｏｇｒａｐｈｉｃ邋ｄｉｓｔｒｉｂｕｔｉｏｎ邋ｏｆ邋ｔｈｅ邋ｓｔｕｄｙ邋ｆｉｅｌｄｓ逡逑首先，在每个懫样点处使用邋ＴＤＲ－３００邋（Ｓｐｅｃｔｒｕｍ邋Ｔｅｃｈｎｏｌｏｇｉｅｓ邋Ｉｎｃ．，邋ＵＳＡ）逡逑结合２０邋ｃｍ探针进行耕层（０－２０邋ｃｍ）邋土X趟趾康牟饬俊Ｈ缓螅扛霾裳沐义戏直鸾幸巴鈼\态原位“湿”邋土样光谱采集和实验室风干研磨“干”邋土样光谱采逡逑集。两种光谱懫集方式均采用ＡＳＤ公司生产的Ｆｉｅｌｄｓｐｅｃ邋ＰｒｏＦＲ便携式野外光谱逡逑１７逡逑

接触式,高密度

２．２．１基于野外原位的土壤ｖｉｓ－ＮＩＲ光谱测量逡逑用方形土壤采样器进行土壤样本的采集，使用该采样器采集的土壤样本为一逡逑个２０邋ｃｍ深，横截面为１０邋ｃｍＸ邋１０邋ｃｍ的土样立方体（图２－３邋（ａ））。在该土样的逡逑垂直剖面的上中下部（不同深度）共随机选３个位置进行野外原位土壤光谱的采逡逑集，每个位置采集丨０条光谱，３０条光谱算术平均后作为该采样点耕层土样的野逡逑外原位光谱数据（图２－３邋（ｂ））。在野外原位光谱采集前注意将土壤垂直面小心弄逡逑平整，但同时不要涂抹表面以致过于光滑。在野外光谱测量过程中，应注意避开逡逑土样中可能存在的石头、作物根系以及其他杂物、土壤大孔隙等。在每个土壤采逡逑样点测量光谱之前对光谱仪进行一次白板校正。为了方便，在下文中我们把这种逡逑情况下测得的光谱统称为“野外原位光谱”。逡逑２０逡逑

光谱测量,光谱

在直径１０ｃｍ，深１．５ｃｍ，内部涂黑的盛样器皿内，土样表面刮平。基于实验室逡逑的光谱测量采用与野外原位测量所使用的同一台光谱仪配备同样的高密度接触逡逑式反射探头进行（图２－４）。对于每个土壤样品，随机选３处位置进行测量，每个逡逑测量点测量１０条光谱，３０条光谱取平均后作为该土壤采样点的室内光谱。为了逡逑方便，在下文中我们把这种情况下测得的光谱统称为“室内光谱”。逡逑Ｙ＇邋‘‘邋’邋＇ｉｌｉ．＇ＭＷｆＷＢＷｇ邋＂■＇！邋＇ＩＶ逦Ｉ．．逡逑＊７邋丨丨丨瞧ＩＩＩ邋Ｉ邋Ｊｉｌｌ逡逑图２－４基于实验室的土壤ｖｉｓ－ＮＩＲ光谱测量逡逑Ｆｉｇ．邋２－４邋ｌａｂｏｒａｔｏｒｙ邋ｍｅａｓｕｒｅｍｅｎｔ邋ｏｆ邋ｓｏｉｌ邋ｖｉｓ－ＮＩＲ邋ｓｐｅｃｔｒａ逡逑２１逡逑

【参考文献】