基于神经网络的可学习Kd树

发布时间：2024-03-23 18:26

　　随着维度的增加,使用传统Kd树进行最近邻搜索时效率变低,查询时间变长。为了解决这个问题,采用可学习的Kd树(LK)方法,将待搜索的点输入神经网络,通过神经网络进行定位和查找,最终输出最近邻点的索引值,从而找到最近邻点。结果表明,可使用神经网络代替传统Kd树进行最近邻查找,该方案是有效的、高效的。

【文章页数】：6 页

【部分图文】：

图1LK基本架构

可学习的Kd树，本质上是利用训练好的深度学习模型替换掉传统Kd树中的搜索部分，并且，训练好的深度学习模型可以仍保持原有数据的局部空间不变性。所以，如何训练这个深度学习模型，将是模型中最重要的研究部分（如图1所示）。首先，生成一棵维度为d的Kd树，这棵Kd树由n条数据构成。随后，随....

图2LK框架和执行过程

模型分为五个部分：输入阶段、映射阶段、标签阶段、索引阶段、计算阶段。如图2所示。输入阶段：输入的数据要求具有相同的维度。一般来说，输入的数据不应和构成Kd树的任何一条数据相同。这些数据可以直接输入神经网络而不需要进行额外的处理。如果是图片或者音频，则需要进行数据的转化才能输入神经....

图3阈值和维度对准确率的影响

在进行设计和分析的过程中，发现阈值和维度的选取会对实验结果产生较大的影响。在实验中，分别使用了3个阈值：0.001,0.005,0.01，在1000条数据和10000条数据的情况下来进行实验观察（都为符合正态分布的随机数）。首先在神经网络层数相同，维度分别为10,15,20,....

图4阈值和维度对搜索时间的影响

图4展示了搜索时间和维度、阈值的关系。其中图4(a)，图4(b)，图4(c)分别是神经网络层数为5,n为10000，维度分别为10,20,30维的结果。横坐标为不同的阈值，纵坐标为所用的时间。观察相同维度下运行时间的变化，可以发现，运行时间随着阈值的变大而减少。阈值设置的越小，....

本文编号：3936310