NVMe
【参考资料】1、NVMe扫盲；2、NVME协议解读（一）；3、NVMe协议SSD 控制器端实现浅析（一）；4、NVMe解读
目录
一、概述
1.1 什么是NVMe
- Non-Volatile Memory Express（非易失性存储器标准）
- NVMe是面向PCIe SSD制定的标准接口协议，用于访问通过PCIe总线附加的SSD（可适用于各种支持PCIe总线的物理插槽上）
- 定义了NVMe协议的使用范围、指令集、寄存器配置规范等
- 具有良好的可拓展性、低延迟，低能耗，高性能等优点
PCle：Peripheral Component Interconnect Express，周边设备高速连接标准。是一种端对端的互连协议，提供了高速传输带宽的解决方案。其协议内容主要是物理层和数据链路层的。
另一个常用的相关协议是AHCI，AHCI主要是针对高延时的SATA接口的机械硬盘而设计的
1.2 高性能&低延迟
面向PCIe SSD产品的NVMe标准能有效降低控制器和软件接口部分的延迟，是因为：
- 能让SSD走PCI-E通道直连CPU，有效降低了数据延迟
- NVMe执行命令时则不需要读取寄存器
NVMe还能大大提高SSD的IOPS性能。理论上，IOPS=队列深度/ IO延迟，所以增加队列深度，就可以有效提升SSD的IOPS。
- 传统的ACHI标准下队列深度最多能达到32
- 在NVMe标准下，这一数值可以达到64000
此外NVMe还加入了自动功耗状态切换、动态能耗管理、免驱等功能，驱动适应性广，低功耗
1.3 名词&术语
1、Namespace
- Namespace是一定数量逻辑块（LB）的集合
- 其属性在Identify Controller中的数据结构中定义
逻辑块：NVMe定义的最小的读写单元，2KB、4KB……，用LBA来标识块地址
LBA range：表示物理上连续的逻辑块集合
2、Fused Operations
- 聚合操作。只能聚合两条命令，并且这两条命令在队列中应保持相邻顺序，还需要保证聚合操作的两条命令读写的原子性
- 只有NVM指令才有聚合操作
3、指令执行顺序
- 除了聚合操作，每一条SQ中的命令都是独立的
4、写单元的原子性
- 控制器需要支持写单元的原子性
- 但有时也能通过host配置Write Atomicity feature，减小原子性单元的大小，提高性能
5、元数据
- 数据的额外信息。可选的方式
6、仲裁机制
- 用来选择执行的命令的SQ的机制，三种仲裁方式：
- RR（每个队列优先级相同，轮转调度）
- 带权重的RR（队列有4种优先级，根据优先级调度）
- 自定义实现
7、Queue Pair
- 由SQ（提交队列）与CQ（完成队列）组成
- host通过SQ提交命令，NVMe Controller通过CQ提交完成命令
8、NVM 子系统
- 控制器
- NVM存储介质
- 控制器与NVM之间的接口
二、NVMe命令
2.1 命令通用格式
Host提交的命令均为16字节，具有相同的格式，某些字段根据命令的不同有不同的定义
| 字段 | 定义 |
|---|---|
| Dword0 | CID、传输方式、聚合操作、操作码 |
| 1 | NID（Namespace ID） |
| 2 | 保留 |
| 3 | 保留 |
| 4、5 | 元数据指针(MPTR) |
| 6-9 | 数据指针（DPTR） |
| 10-15 | 根据命令指定 |
CQ命令均为4字节，也具有相同的格式，某些字段根据命令的不同有不同的定义
| 字段 | 定义 |
|---|---|
| Dword0 | 根据命令指定 |
| 1 | 保留 |
| 2 | SQID、SQ头指针 |
| 3 | 状态域、P位、CID |
2.2 两类命令
主机提交的命令分为两类
2.2.1 Admin Command
- Admin指令只能提交到Admin Controller中（Admin CQ/SQ）
- 主要负责管理NVMe控制器，也包含对NVM的一些控制指令
- Admin Command通过Dword0中的8位操作码定义不同指令，每一种指令都对应有其完成命令
- 通过SQID（提交队列ID）+CID（命令ID）唯一标识完成的命令
字段
| appmask | apptag | reftag | dsmgmt | slba | addr | metadata | rsvd | nblocks | control | Flags | Opcode |
|---|---|---|---|---|---|---|---|---|---|---|---|
操作码
| 操作码 | 指令 | 作用 |
|---|---|---|
| 00h | 删除I/O SQ | 释放SQ空间 |
| 01h | 创建 I/O SQ | 保存host分配给SQ的地址、队列优先权、队列大小 |
| 02h | 获取日志 | 返回所选日志页于缓冲区 |
| 04h | 删除 I/O CQ | 释放CQ空间 |
| 05h | 创建 I/O CQ | 保存host分配给CQ的地址、中断向量、队列大小等 |
| 06h | Identify | 返回关于controller与namespace能力和状态的数据结构（2k字节） |
| 08h | 撤销 | 用来撤销之前完成的指令，best-effort |
| 09h | 设置features | 根据FID设置相应的features |
| 0Ah | 获取 features | 根据FID返回队列数量、仲裁信息等 |
| 0Ch | 异步事件请求 | Controller向host报告运行信息（error or health） |
| 10h | 固件激活 | 验证下载的镜像，提交到Firmware Slot（1-7）中 |
| 11h | 固件镜像下载 | 下载固件镜像 |
2.2.2 IO Command（NVM Command）
- NVM 指令只能提交到I/O Controller中（IO CQ/SQ）
- 主要负责完成数据的传输
- IO Command通过Dword0中的8位操作码定义不同指令，每一种指令都对应有其完成命令
- 通过SQID（提交队列ID）+CID（命令ID）唯一标识完成的命令
字段
| rsvd11 | numd | offset | lid | prp2 | prp1 | rsvd1 | command_id | flags | Opcode |
|---|---|---|---|---|---|---|---|---|---|
| 操作码 | 指令 | 作用 |
|---|---|---|
| 00h | Flush | 将数据（和元数据）提交到NVM中，所有命令都要执行 |
| 01h | Write | 将数据（和元数据）写入NVM中 |
| 02h | Read | 读NVM中的数据（和元数据） |
| 04h | Wirte Uncorrectable | 标记无效数据块 |
| 05h | Compare | 比较从NVM端读出的数据和比较数据缓冲区的数据 |
| 09h | Dataset Management | 标识一定范围数据的特点，eg，频繁读、频繁写（提升性能） |
2.3 SQ、CQ、DB
NVMe的三种队列命令
- Submission Queue（SQ）提交队列（在内存中）
- Host要发送命令时，先把准备好的命令放在SQ中（Host并不直接往SSD中发送命令，而是把命令准备好放在自己的内存中，写DB通知SSD来取）
- Completion Queue（CQ）完成队列（在内存中）
- 一个命令执行完成，成功或失败，SSD总会往CQ中写入命令完成状态、
- SSD写完后，Host会处理CQ，查看指令完成状态
- Doorbell Register （DB）门铃注册（在SSD控制器内部）
- Host通过写DB告诉SSD去SQ读指令
- Host通过写DB回复SSD命令已经处理完毕，可以前来检阅
2.4 命令的执行过程
命令由host提交到内存中的SQ队列中，更新TDBxSQ后，NVMe控制器通过DMA的方式将SQ中的命令（怎么取，如何取，取多少，因设计而异）取到控制器缓冲区，执行命令；执行完成后，根据执行状态，组装完成命令，仍然通过DMA的方式将完成命令写入内存CQ的队列中；NVMe控制器通过MSI-X中断方式通知host已完成命令；最后，host处理CQ命令，更新控制器中HDBxCQ，标识着命令真正完成
通过三种队列命令配合，完成处理流程
- ① Host写命令到SQ；
- ② Host写DB（通知SSD取指令）；
- ③ SSD收到通知，于是从SQ中取指令；
- ④ SSD执行指令；
- ⑤ 指令执行完成，SSD往CQ中写指令执行结果；
- ⑥ SSD通过MSI-X中断方式通知host已完成命令；
- ⑦ Host处理CQ，查看指令完成状态；
- ⑧ Host通过DB回复SSD，命令真正完成
MSI-X中断：NVMe协议中支持的中断方式有4种，pin-based、Single MSI、Multi-message MSI和MSI-X，协议推荐采用MSI-X中断方式，能够支持更多的中断向量（2K）。
MSI-X允许每一个CQ发送自己的中断信息（相比于发一条中断信息提醒全部CQ队列有很大的优势）。在产生MSI-X中断信息前，需要检查该中断在相应寄存器种不被屏蔽
三、多命令队列与仲裁机制
3.1 NVMe多命令队列
- NVMe采用了多命令队列，每个命令可变数据长度
- NVMe协议支持命令间的乱序执行，也支持命令内数据块的乱序传输，同时支持命令队列间的可变权重处理
- QID来标识唯一ID，16bit，由host分配
- host可以修改队列优先级（如果支持的话），共四级：U、H、M、L
NVMe与SATA协议对比
3.2 多命令队列的仲裁机制
3.2.1 RR
Admin SQ与I/O SQ优先级相同，控制器每次可以选择一个队列中的多个命令，轮转调度
3.2.2 带有优先权的RR
有3个严格的优先权，Priority1 > Priority2 > Priority3，在这三个优先级队列中，高优先级的队列中如果有命令，则优先执行（非抢占式）
- Priority1：Admin
- Priority2：Urgent
- Priority3：IO SQ
四、内存寻址
Host告诉Controller数据源在内存的什么位置，或者从闪存上读取的数据应该放到内存的什么位置，需要内存寻址
- NVMe把Host的内存分为页的集合，页的大小在CC寄存器中配置
- NVMe采取PRP和SGL两种寻址方式
- Admin命令的数据地址只能采取PRP的方式
- I/O命令的数据地址既可以采取PRP的方式，又可以采取SGL的方式
- Host在命令中会告诉Controller采用何种方式。具体来说，如果命令当中DW0[15：14]是0，就是PRP的方式，否则就是SGL的方式
阅读材料：可乐学习NVMe之三：解读PRP/SGL
4.1 PRP方法
PRP Entry是一个64位（63 ~ 0编号）的内存物理地址指针，结构如下：
- 最后两位为0，指四字节对齐
- Offset（n：2）位表示页内内偏移
PRP寻址有两种方式
- 直接用PRP指针寻址：直接由PRP指向内存页
- 通过PRP List寻址：PRP指向PRP List的地址，PRP List存有真正的数据地址
4.2 SGL方法
SGL是另外一种索引内存的数据结构。SSGL字段由若干个SGL描述符组成，所以SGL描述符是SGL数据结构的基本单位
目前定义的SGL描述符有6种，在一个SGL字段中并不需要同时使用
- SGL 数据描述符，用来索引数据块地址，host内存；
- SGL 垃圾数据描述符，用来索引无用数据；
- SGL 段描述符，用来索引下一个SGL段；
- SGL 最后一个段描述符，用来索引最后一个SGL段；
- keyed SGL 数据描述符；
- Transport SGL 数据描述符；
- 在上面SGL例子中，共有3个SGL段，用到了4种SGL描述符
- Host需要往SSD中读取13KB（Data Block + Bit Bucket）的数据，其中真正只需要11KB数据（Data Block），这11KB的数据需要放到3个大小不同的内存中，分别是：A（3KB），B（4KB）和 C（4KB）
4.3 PRP 与 SGL 的比较
无论是PRP还是SGL，本质都是描述内存中的一段数据空间。
Host在命令中设置好PRP或者SGL，告诉Controller数据源在内存的什么位置，或者从闪存上读取的数据应该放到内存的什么位置。
SGL和PRP本质的区别在于：
- 一段数据空间，对PRP来说，它只能映射到一个个物理页
- 对SGL来说，它可以映射到任意大小的连续物理空间，具有更大的灵活性，也能够描述更大的数据空间
五、NVMe SSD Controller 物理架构（了解）
5.1 概念模型
整体来看，NVMe SSD可以分为三部分
- host端的驱动
- PCIe+NVMe实现的控制器
- FTL+NAND Flash的存储介质
5.2 子模块
1、主机接口控制器
- 主机接口负责进行主机与固态盘之间的通信和数据传输，接受和解析I/O请求，并维护一条或者多条请求队列
- 主机接口控制器是对外连接的模块，它的两大工作 —— 接受和解析IO、维护请求队列是NVMe的实现难点，也是最最主要的设计点，我围绕NVMe的设计实现也基本是针对主机接口控制器而言的
2、多核处理器
- 固态盘的管理需要处理诸多复杂的任务，比如主机接口协议、调度算法、FTL算法和缓存算法等，因此需要强有力的多核处理器来提高这些任务的处理效率，从而降低软件延时
3、缓存芯片
- 固态盘内置有缓存芯片，一般是DRAM，用于缓存用户数据和软件算法的元数据
- 缓存既能加快数据访问的速度，提高固态盘的性能，也能够减少对闪存的写入，延长固态盘的寿命
- 缓存用户数据的部分称之为数据缓存，缓存地址映射表的部分称之为映射缓存
- 为了防止突然掉电导致RAM中的数据丢失，固态盘一般会内置备用电容，并采用适当的数据保护技术，用于保证在突然掉电的情况下，将RAM中关键的脏数据刷回闪存
4、中央控制器
- 中央控制器是整个固态盘控制器的核心，负责配置固态盘的工作模式，管理各个模块之间的通信和数据流。
- 中央控制器内置有小容量的高速SRAM缓存，用于临时缓存数据
5、纠错码引擎
- 纠错码引擎对要写入闪存的数据进行编码，所增加的纠错码冗余会被写到闪存页的额外存储区中
- 当需要从闪存中读取数据时，纠错码引擎会对数据和它的纠错码冗余进行解码，如果发生的比特错误数在纠错能力范围内，数据中的错误就会被纠正，从而得到正确的数据；否则，如果没有其它的数据恢复手段，存储的数据就会丢失
6、通道控制器
- 为了提高性能，固态盘将数量众多的闪存芯片安置在多个通道上，每个通道上的多个芯片共享一条I/O总线。
- 每个通道包含一个独立的通道控制器，主要负责与中央控制器和本通道上的闪存芯片进行通信，并维护多条操作闪存的命令队列（比如为每个芯片维护一条单独的队列，外加一条总的高优先级队列），将命令发往目标芯片进行执行
7、闪存芯片
- 闪存芯片上既存储用户数据，也存储需要持久化的元数据，比如地址映射表
- 固态盘提供的物理存储容量会比用户可见的容量要多(一般多7% ~ 28%)，多余部分称之为过量供应(Over-provisioning, OP)空间，主要用于提高软件算法(比如垃圾回收操作)的效率和补偿因闪存坏块产生的容量损失
- 有的固态盘还会在闪存芯片之间组建RAID5，以加强存储的可靠性
RAID5：将校验数据条带化存储在多个盘中
8、DMA引擎
- DMA引擎负责控制在两个RAM之间进行快速的数据传输，比如在中央控制器的SRAM和缓存芯片之间
5.3 NVMe主机接口控制器
NMVe主机接口控制器的逻辑将是我主要的设计内容，一般来说NMVe主机接口控制器包括以下几个部分：
- Admin队列处理模块
- IO命令队列处理模块
- IO Completion队列处理模块
- IO写数据处理模块
- IO读数据处理模块
- 中断处理模块
