TA的每日心情 | 开心 2020-8-28 15:14 |
---|
签到天数: 2 天 [LV.1]初来乍到
|
EDA365欢迎您登录!
您需要 登录 才可以下载或查看,没有帐号?注册
x
本帖最后由 senlenced3 于 2021-1-14 11:02 编辑 2 q, D, b) I+ G5 K0 T
" j8 {) r1 C) S4 e2 d# a4 W
摘要: 分析了现有多维布鲁姆过滤器查询算法的工作原理和特点,针对大数据处理特点提出了一种基于双射
8 @( x( o( \6 V: a1 s7 y) O% j函数的高精度多维计数布鲁姆过滤器(AMDCBF)查询算法.AMDCBF中元素表示和查找分两步进行,第 1步将元素各
) M$ Y7 G W2 h) g Q2 a9 J8 l( M属性哈希映射到各自对应的高精度计数布鲁姆过滤器(ACBF)中;第 2步将元素的所有属性通过双射函数转换为一个 1 g" e( n1 G- B
值来表示元素整体信息,然后将这个值哈希映射到联合计数布鲁姆过滤器中(CCBF),完成元素整体的表示和查询确 K& P3 g- g3 o4 a3 P9 j2 w
认.理论分析和仿真实验结果表明,AMDCBF能够支持多维集合元素的高效表示和查询及删除,相比同类研究查询假
+ U- Q7 ?/ E9 g& X) f; T阳性降低明显,查询精度大幅度提高.
) b5 k# V& P M0 A8 \6 t& r关键词: 大数据处理;多维布鲁姆过滤器;双射函数;高精度计数布鲁姆过滤器;假阳性8 u" g5 n3 w& b) y
; @4 }9 z9 E1 }7 G2 t$ c+ Z
: p8 O1 e; q, ~, o4 ?) m未来的十年将是一个大数据引领的时代.大数据有 三个典型特征:(1)数据结构复杂,元素属性多维化.如 数字城市中空间数据具有三维坐标、地形等多维属性; 网络 Trace海量数据包具有源 IP、目的 IP、协议等多维 属性;(2)数据价值密度低.价值密度的高低与数据总量 的大小成反比.以视频为例,一部一小时的视频,在连续 不间断监控过程中,可能有用的数据仅仅只有一两秒; (3)数据动态变化更新快.如何在快速变化的海量数据 中通过高精度的数据查询算法迅速地完成数据的价值 “提纯”,成为有效进行大数据处理过程中极具挑战性的 问题.; I3 Y- a% f8 C% [1 V, \
[size=11.7736px]附件下载:, g* Q1 d, `& `& O( S" i8 Z
1 @3 V, P$ j2 l' U/ x
|
|