|
|
EDA365欢迎您登录！
您需要 登录 才可以下载或查看，没有帐号？注册
x
本期我们将为大家讲解YoC的KV组件，通过KV组件的简介、设计概述、主要原理描述以及示例四部分内容，带大家全面了解该组件。: w! W! x# K- w7 q7 N
+ Z2 H! `7 j% i; J1、介绍: n, {% A8 `! E' `- z x: t4 U1 G* l
KV是基于Nor Flash的一种Key-Value 数据存储系统，该系统采用极小的代码及内存开销（最小资源 rom：3K bytes，ram：100bytes），在小规模的Nor Flash上实现数据的存储管理能力，支持断电保护、磨损均衡、坏块处理等功能，并提供标准的aos kv接口进行访问。2 {' @; F+ _% u# ?2 T3 q
KV 存储系统支持只读模式与读写模式共存，只读模式可以用于工厂生产数据，读写模式可用于运行时的数据存储。
$ z( L, u* `6 A' [! }0 ^4 m$ j) G- l0 i8 R
2、设计概述0 v% u7 u* G+ O' h+ y) j
2.1 数据格式
' ^" D4 H. B# r' n e# O为了简化设计，降低复杂性，减少代码规模及内存开销，又考虑到只读KV与读写KV的兼容性，KV系统未采用传统KV系统或文件系统中采用的HEAD描述结构，采用的链式遍历方式设计。) c7 `1 k0 m, Y$ Y/ \; [: Z8 [
根据FLASH 的特点，以block 为单位，每一个block 都是一个独立的存储单元，限制一个KV必须存储在一个block上。
# [; }! m/ q R' i/ C5 }9 mKV格式：
7 \1 d$ u6 a$ l- C只读：=\n
" `4 c8 _3 z, z: O读写：<key><\0><size_lo><size_hi><version>=<value><size_hi><erase_flag>
3 X" s/ s- p3 p* p字段具体说明：% g( n g$ ^" o; T3 p# c! d/ ?
| 字段 | 空间（Byte） | 说明 | | KEY | n | 用户传入的key，由字母、数字等可打印字符组成 | | 0位 | 1 | 数值0的特殊值，紧跟在KEY后，是检索的关键标记值 | | SIZE_LO/SIZE_HI | 2 | 占两个字节，保存KEY的长度与Value的长度，Value占高10位，KEY占低6位（允许最大KEY长度为63字节，Value理论长度为1023，但由到block 的大小限制，最大长度不得超出block）SIZE_LO为value 长度的低8位，SIZE_HI 的低2位为value 长度的高2位 | | Version | 1 | 版本，用于保存KEY被修改的次数，当一个KV被多次修改时，Version最累加，累加到255时掉头为1；该字符用于保证KV修改的有效性，在写入时断电可能会造成KV的重复，采用最新版本的KV为有效KV，删除历史版本的KV； | | 等号位 | 1 | 即字符”c”，占位及检索标记位，用于识别有效KV | | Value | n | 用户传入的value值，长度由实际Value 长度决定，受block 及 key 长度限制 | | SIZE_HI | / | 保存上述SIZE_HI 数据，该位用于校检KV的有效性 | | Erase flag | 4 | KV删除标记位，由四个字节组成，非0时为有效KV，为0时，表示该KV已被删除 |
) f6 U/ A. v" ]: n
; `; V6 x; x# ]; t& E+ t: M/ Y2.2 重点功能设计概述. \1 d% n1 Z- H, M9 X
2.2.1 断电保护
8 |+ B6 w$ {& d7 K2 M' Z断电保护的设计是为了在修改KV时，能保证KV不会被破坏的事务处理机制，即要写入失败，要么写入成功，对于已经存的KV，写失败后，KV的值仍然为旧值。对于不存在的KV，写失败后，KV不存在。1 I( x% m% R* ^. `5 [6 V5 C; Y+ j8 E
7 r3 m: Q8 ?- E8 r) j
2.2.2 磨损均衡) q, ^, U! Q2 M) t. R( b( ?: d
在通常的应用中，部分KV被经常修改，由于FLASH物理特性，擦写的次数有一定的限制，擦写次数超过次数时，该块会损坏不能使用。磨损均衡的设计是将KV的写入分散到多 block上，避免存储在固定的位置上，达到磨损均衡的效果。磨损均衡主要依赖以下两个策略来实现：
& n" ~5 l, h. ]" R1 u4 M, s异地更新策略 Key-Value键值对采用顺序写入、异地更新的方式，即不再在原存储位置擦除重写，而是在其余空闲位置写入新键值并将原键值标记无效等待回收。这样既可以减少flash的擦除操作次数，又可以提高flash的空间利用率，也避免了对“特定”存储区块过度使用的问题。* p0 {0 Y6 r7 y% V, |8 E
垃圾回收策略 当free block总数接近gc下限时，会触发gc操作。flash数据在gc前，存在有效键值和无效键值交织的情况；gc后，把有效文件数据归并到free block，原区域则被擦除并置入free block。gc循环向后搬运键值。 : ?) Y8 K+ _' ?+ s: z; y. x
6 ~6 f( @0 V' L: }/ ? R
2.2.3 坏块处理
4 H* \; w# A# F2 b1 O: rNor flash有一定的擦写次数限制，如果达到这个限制，或者由于物理方面的损坏，会导致这些block写入有问题。KV系统采用直接片上链式读取，擦除与写入时校验数据正确性，不采用特殊的标识信息来处理坏块，当block 擦除失败或者写失败后，会重新申请新的数据块，避免坏块被错误使用。
4 Q' S9 q" Y3 v+ J9 \/ D \1 Z
q& [3 J. S, }9 j3、主要原理描述
* h1 ~! i3 O" E2 M; y s9 I7 `3.1 关键过程处理流程8 `/ q" e+ G- L# k: O) ^
格式化3 s; q& H ], H3 I2 [. H! k6 d
将所有块擦除后，若擦除失败则置为坏块。
/ X/ N% z l+ E( P, B9 B7 c
/ ^6 p4 Q3 y! N! }0 r初始化) a) a4 U8 m; T7 q& y0 {
遍历整个系统，统计每个block 上KV的个数、占用空间、可用位置，删除KV的数量，清理无效的KV，回收无用的block，若cache功能打开，则还会将所有key信息存入cache中。" b1 w+ j1 p; a" Z o
* E* P1 {) t( Z' H" r$ I' c写键值
/ W& p5 u( |( M- {2 G2 I- B3.1 查找系统中是否已存在该键值
1 Y$ ^& B2 ~1 Z/ `6 _. q3.2 分配新的kvnode，计算版本号、长度，将kvnode 写入block
0 ~4 e5 U, Q% n8 @. m5 b3.3 删除已存在的键值0 X3 e. L1 b# O
8 H: H$ }" r$ l B2 Y
读取及删除键值
5 G, v& B/ {- ?" j4.1 查找系统中是否已存在该键值4 r1 N( \$ i+ X. b% B
4.2 读取或删除已存在的键值4 [8 M/ c$ p( L- s
+ o3 T9 |+ y5 \% ^
- w9 n7 c& k% s6 ~5 `) `) v# u/ d |
|
[复制链接]
/1 
发表于 2022-6-9 09:37
收藏
淘帖
支持！
反对！
