nvdimm 驱动的分析

1.驱动的简介

nvdimm在内核中的驱动，是基于一个典型的字符类型的设备驱动模型去实现的。因此，同样需要实现设备驱动的几个典型操作:open/release/mmap/ioctl。 在open阶段通过efi或者e820 table探测到nvdimm的起始物理地址和长度，通过set_mtrr()设置nvdimm对应程序空间的cache属性，通过io_remmap()把物理地址映射到内核虚拟地址；在release阶段，释放上面的资源。在内核实现mmap,为用户实现用户态mmap()提供支持；定义各种命令，进而在ioctl()中实现，进而为用户和内核态的驱动提供交互接口。最后通过register_chrdev()注册这个设备。

2.主要的数据结构

作为一个驱动，主要的函数当然是file_operations. nvdimm也不例外：

static const struct file_operations nvdimm_fops = {
    .owner = THIS_MODULE,
    .open = nvdimm_open,
    .release = nvdimm_close,
    .mmap = nvdimm_mmap,
    .unlocked_ioctl = nvdimm_ioctl,
};

3. 主要的函数

3.0 Init和Deinit

nvdimmInit()主要功能如下：
{探测设备得到物理地址，set_mtrr、ioramp()为物理地址分配内核空间，注册字符驱动，启动监控nvdimm电容、温度、电量、健康状态的内核线程，注册关机保存数据的服务}

nvdimmDeInit()主要功能：执行和上面的相反的操作

3.1 nvdimm_ioctl()

读取nvdimm状态，设置寄存器的接口，读取eeprom,更新eeprom，dump 寄存器等。 注意这里多次用到copy_to_usr() copy_from_usr() 来同步数据，

3.2 nvdimm_mmap()

为了支持用户态mmap()

3.3 nvdimm_remap();

映射nvdimm物理地址到虚拟内核地址。

4. 和用户态的接口

需要包含公共函数接口，使用举例如下：

fd = open("/dev/Agiga");
ioctl(fd, cmd); //
mmap(fd, ....); // 
close(fd);

5. 难点

5.1 支持不同级别的数据一致性

在nvimm_ioremap()中实现，通过调用set_mtrr()实现，然后call相应的ioremap/iormap_wc/iormap_catch。注意由于它只在初始化的时候执行一次，这就意味着一旦驱动加载，它的cache 模式
就固定了，不能运行时动态修改。

5.2 在write back模式的时候需要flush Dcache.

具体执行是通过flush_Dcache()，注意这里是需要考虑多多核的架构，得让每一个perCPU都去做：
void dcache_flush(void)
{
if (nvdimm_cache == MEM_WRITE_BACK) {
if (on_each_cpu(do_wbinvd, NULL, 1) != 0)
printf("Timed out waiting for cache flush.\n");
}
}
然后通过ioctl的一个命令和flush_Dcache相关联，这样用户态就可以刷nvdimm对应的Dcache了。而且，通过上面的代码，可以看到，只在cache 模式为write-back 时才真正的刷Dcache.

5.3 如何实现panci或者关机时保存数据

nvdimm的核心特性是掉电、异常关机或者重启时会触发ADR（新的机制会这样做），此后硬件会把nvdimm里DRAM上的数据自动写到它的SSD上去。如果此时需要设置某些寄存器，就需要把设置寄存器的动作注册到panic_notifier_list里去。这样，内核关机或者panic依次执行这个 &panic_notifier_list这个函数链，最终就可以完成设置那些寄存器的操作。
示例如下：

5.3.1 驱动里实现 panic_task_backup() 函数

mypanic_task(struct notifier_block *this, unsigned long event, void *ptr)

{
UINT32 rc = SUCCESS;
struct nvdimm_device *nvdimm;
................

dcache_flush();

for (index = 0; index < total; index++) {
    timeOut = 60 * 5;
    /* step 0: Enable NVDIMM BACKUP function */
    smb_cmd.dev_index = index;
    smb_cmd.rw = SMB_BYTE_WRITE;    // byte write
    .......
    /* return status of operation */
    if (rc == SUCCESS) {
        printk(KERN_CRIT
               "SUCCESS to enable backup mode 0x%c of NVDIMM%d during panic!\n",
               backup_type, index);
    }
    .......
}

5.3.2 声明一个notifier

static struct notifier_block mybackup = {.notifier_call = mypanic_task,
};

5.3.2 注册mybackup到panic 通知链条

atomic_notifier_chain_register(&panic_notifier_list, &mybackup);

参考上面的命令就可以把它注册成功，这样在backup_bloc()里触发备份数据，把DRAM里面的数据写到磁盘。

本文转自存储之厨51CTO博客，原文链接： http://blog.51cto.com/xiamachao/2064402，如需转载请自行联系原作者