转——DSSD的研发车间

Taio

转——DSSD的研发车间

' {8 b  Q" N1 ^8 C
5 D$ b: q0 h! `8 V% J+ `我们来看看一个老外对神秘的[url=]DSSD[/url]内部的参观，可以知道他们在干什么。
9 B, ?$ W$ o. X7 U+ v7 A3 b; n* \
首先，来猜一下什么是[url=]DSSD[/url]的产品：
- Y7 S2 `2 ?' f5 H- T$ M. |2 e1. 并不是传统的磁盘阵列，因为是用在Server上面的；
2. 存储密度会非常高。性能和密度都会超出你的想象，因为它的目标是要当一个大内存使用，能跑内存数据库等。
* D: Q- k( C4 s3. 延迟会非常低。大概几十微秒，要知道NAND Flash MLC的写时间是毫秒级，读是几百微秒，所以DSSD肯定要用DRAM或者SLC做Cache层。

再来猜一下DSSD的用途：
* b; y" C$ e5 t2 u; k9 b1 x1. 需要高频读写的数据存储。基于分布式文件系统，分布式意味着每个server都有数据存储，而不是存储阵列一样集中。
2. 需要高频读写的数据，同时有key-value存储，高性能计算，尤其是数据密集的高性能计算。
* f1 y3 `0 a+ g说白了，就是对大内存的要求。

2 p$ ?. S% b) K( m# q8 [' S聊完技术，咱们就开始DSSD之旅了。
- _$ r- E5 j  @DSSD位于加州的Menlo Park，反正就是大牛们扎堆的硅谷了。
* I% p! ^/ C( T, i% l( J
一栋老房子，新装修了一下。记者大清早过去，大家还忙忙碌碌的。大厅里面好多新员工，软件工程师、客户支持之类。今年五月的时候有160多名员工，而且还在快速增长。毕竟被收购了，有的是银子发工钱。
9 O* Q2 W/ ~1 A  R- D+ j& k
下面是个DSSD的早期原型机，O(∩_∩)O哈哈~ 很山寨，风扇，电源，网线，板子上的飞线，下面的板子上好像是4个插槽，紫色的应该是PCIe线缆，所以估计是PCIe接口，密集的PCIe接口确实很恐怖，最终会制造出怎样高的带宽呢？拭目以待~
0 T- J3 A- w3 k: U/ G
下面这台主机里面插了8块PCIe接口卡，从服务器的两个散热盒看有点像是NUMA架构的机器。一条线是PCIe Gen 3 x 4 Lane，8条的速度将近32GB/s。

. u# X, E5 r" X: BPCIe接口卡的原型，它的作用就是把PCIe线缆接口转为主板上的PCIe插槽接口。
* A6 f" S/ E$ H: ?5 i+ O
5 J3 A! H6 @' Y9 ]0 ^5 g# {为了达到这么高的带宽和延迟，DSSD的Flash用了很多模组，如下图，你能想象里面有512个Flash Die（几个Die可以封装成一个芯片）并行工作吗？要知道一般的消费级SSD里面只有4到8个数据通道，DSSD这个模组里面估计至少有几十个通道。
4 ]/ h2 g1 p( b1 G) d$ h1 P
- \0 k+ v, J! d# U) z1 G打开看看里面的电路板，有很多Flash，SRAM作为Cache（没用DRAM，好奢侈），还有DSSD自己的控制器，外壳上涂了散热胶。整体功耗45-60W，其实还挺高的。从右往左详细看看：
1. 最右边是接口，像是PCIe。
2. SRAM做Cache。
$ w- T( O+ c1 s( T( u3. 控制器芯片，在背面。
# R# j& j! y! u0 o4 `. S4 |' J$ m+ y4. 一大波Flash。
. \# ]5 G. b. x/ j3 Z4 x& Z- o9 {5. 有点像是锂电池，估计是来做掉电保护的。
: c( ]' K' O' B9 k; ]( I9 K: N
来看看DSSD的整体，它是个5U的机箱，功耗是2000W，所以散热很重要。可以看到上下都有一堆风扇，这要是都转起来，声音可是震耳欲聋啊。
# S3 R, i+ c9 s3 Q% |  J
散热的设计其实是很复杂的，有点像是混沌，一个很小的因素可能导致很大的不可预期的结果。DSSD的团队非常专业，用3D打印来制造原型，做实验并不断修改。下图是他们的Makerbots 3D打印机。
. H6 r& Y8 N* i. K6 Q$ U  X1 k$ }
- ]! x$ ^: x. p# f
, r) T9 a5 i, i3 r
! H# L- ?/ y& X& b6 t0 a* ?  T8 Q0 l
会议室旁边就是测试机房。
# \4 `; ^0 N2 [- U4 o5 v" D8 D
. ^4 C2 i9 |- e9 l& x. `8 \- G这台5U的DSSD连到了48个主机上，里面每个白色的就是1个之前看到的Flash模组，可见容量和性能有多大。我数了一下，有36块！！可以想象最终的性能和容量了。中间那个白色的是DSSD，上下都是测试的主机。


/ c; d* Y& n, b& o: K* g( N+ P

4 D& c: K' ]0 i% S% @# w4 j7 t+ B看看后面，可怕的PCIe线缆。。。。每台主机都连了冗余的PCIe线缆。下图是DSSD的背后，一堆PCIe线。
! i. Q2 H- p, b' P



1 u) E' \& Q: g
' E, U) P8 l) G! k: Y7 Y, k1 }其实这栋楼以前就是Sun当年风光无限的时候持有的，所以DSSD的很多员工可能又回到了当年的地盘。



2013年做的PCIe Switch原型板。
0 H- C+ g8 r1 X+ N8 C) G2 N. u
+ h5 @( a7 |( A9 T* e, M, S

再来回顾一下DSSD的软硬件特点：
  P4 q5 l, i9 e, Q, }% j% s! U+ F
1． 硬件：接近DRAM的延迟，超高存储密度，高IOPS，高带宽；
1 q- f0 [: e2 J7 m8 L# z- l4 }
1 B0 X! {/ ?$ O" J, S9 }: N/ ^2. 软件：支持Key-Value存储 API，MEMCacheD，交易型分布式文件系统。

yxlk

看上去很高大上啊