MapReduce框架下的优化高维索引与KNN查询

embnn

摘要:针对大规模高维数据近似查询效率低下的问题,利用MapReduce 编程模型在大规模集群上的数据与任务的并行计算与处理优势,提出MapReduce框架下大规模高维数据索引及KNN查询方法( iPBM),重点突破Ma-pReduce数据块( block)的优化划分与各数据块对计算的共同贡献两大难题,利用两阶段数据划分策略并依据相关性与并行性原则将数据均匀分配到各数据块中,设计分布式的双层空间索引结构与并行KNN查询算法,检索时利用全局索引,局部索引与二维位码索引实现三层数据过滤,大幅缩小搜索范围并降低高维向量计算代价,实验表明iPBM对大规模高维数据的近似查询具有准确性、高效性和扩展性.
关键词:云计算;MapReduce;KNN查询;高维索引
MapReduce框架下的优化高维索引与KNN查询.pdf (4.18 MB, 下载次数: 0)

2021-1-29 09:32 上传

点击文件名下载附件
下载积分: 威望 -5

6 U9 ?. ^! Z' [$ j2 I6 I

bow

MapReduce框架下的优化高维索引与KNN查询，收藏了。