按:这篇文章主要根据tornado2.0 for arm的在线帮助写成,前面大部分是翻译过来的,后面将详细介绍mtd驱动的编写,并会给出实际的例子。trueffs对于作嵌入式系统来说非常有用,我希望这儿的每一个开发者都能掌握它。我对trueffs的研究还很浅薄,所以如果有信口开河的地方还请大方之家斧正。如果能对大家有所帮助,也就无枉此笔了。
1.简介
Tornado的TrueFFS是和vxworks兼容的一种M-Systems Flite实现方式,版本为2.0。它为种类繁多的flash存储设备提供了统一的块设备接口,并且具有可重入、线程安全的特点,支持大多数流行的CPU构架。
有了Tornado的TrueFFS,应用程序对flash存储设备的读写就好象它们对拥有MS-DOS文件系统的磁碟设备的操作一样。这样 TrueFFS就屏蔽了下层存储介质的差异,为开发者提供了统一的接口方式。然而,当你设计一个嵌入式系统的时候,了解flash存储器和磁碟设备的不同之处还是很重要的。尽管flash存储器不可能适用于所有的嵌入式系统,但由于flash存储器具有体积小,耗电省,非易失存储的特性,在许多的环境下尤其在移动设备和手持设备领域里它成为了理想的选择。
Flash存储器在拥有众多优点的同时也有一些自身的缺点。首先,它在写之前必须要进行擦除操作,而且不能一个字节一个字节的擦,它只能以一个扇区、一个块或者整片的方式进行擦操作。它的写和擦操作都需要较复杂的步骤才能完成,这就降低了它的易使用性。另外,Flash存储器最大的一个缺点就是寿命有限,可擦除的次数因不同厂商而有所不同,一般都在1万到10万次左右。
一个运行在flash存储器上性能良好的块设备应该能针对可移动的媒体(如flash卡)处理各种复杂的情况。比如,完全有这样的可能:当驱动程序正在进行写操作时用户却把flash卡抽出来了。这有时会造成灾难性的后果。幸运的是,TrueFFS在设计时已经仔细考虑了flash存储器的各种特性,以及掉电和用户由于不耐烦或好奇的原因而猛地拔出flash卡想看看发生了什么事的情况。
2.TrueFFS和块数据
Flash存储器不能无限次重复使用。它的每个扇区的擦除次数虽然很大,但却有限。因此,随着使用次数的加长,它最终会变成只读状态。所以我们应该尽最大可能延长它的寿命。行之有效的方法就是平衡使用所有的存储单元,而不让某一单元过度使用。这种技术被称之为wear leveling。TrueFFS使用一种基于一张动态维护表的block-to-flash(块对应于flash)传输系统来实现wear leveling技术。当块数据被修改、移动,或碎片回收后,这张维护表会自动调整。
就象块设备驱动需要的那样,TrueFFS把flash存储空间映射到一个特殊的连续存储块队列中,以便文件系统可以对它进行数据的读写。这些块被从0开始连续编号。
从一个数据块中读取数据的操作非常直接。文件系统请求指定块的内容,TrueFFS响应后将块号传送到flash存储匹配器(flash memory coordinates)中,找到之上的数据,然后把数据返回给文件系统。向块写数据也一样的直接,只要这个块还没有被写过。TrueFFS要作的就是传送块号到flash存储匹配器(flash memory coordinates)中,并写数据到所指定的地址。
但如果写请求试图修改一个已经写过了的块设备内容,情况就复杂了。TrueFFS先是找到flash空间中一个已经可写的区域,然后把修改后的块数据写到那里。当数据安全地写完后,TrueFFS更新它的block-to-flash映射结构,以使块现在映射的区域为放置修改后数据的区域。这就保证了一定程度上的wear leveling。然而,如果存储在flash上的一些数据本质上是静态的,只有在修改时wear leveling才会产生一种被称为静态文件锁定的问题。
存储这些静态数据的区域根本不会被轮循使用,这将降低flash期望的生命值。TrueFFS通过强制转移静态区域的方法成功克服了静态文件锁定的问题。因为block-to-flash映射表是动态的,TrueFFS能够以对文件系统不可见的方式管理这些wear-leveling转移。由于绝对强制 wear-leveling方式会对性能产生一些负面的影响,所以TrueFFS采取了一种非绝对wear-leveling的算法。它保证了所有空间的使用近似平等。
最后,TrueFFS的wear-leveling算法更增强了突破被称为死锁这种模式的性能。
所谓死锁就是一些简单的wear-leveling算法只是两个或多个单元长时间循环而忽略了其余的单元的现象。
3.碎片回收
块数据的修改使得flash的一些块区域不再包含合法的数据,并且这些区域在擦除之前变得不可写。如果没有机制来回收这些区域,flash很快就会变成只读的状态了。不幸的是由于这些块不可以单独擦除,回收这些块就有些复杂了。单次擦除被限制在一个叫作擦除单元(erase unit)的较大范围内。如对于Intel的flash器件来说是64k字节。
TrueFFS使用一种被称为碎片回收(garbage collection)的机制来回收那些不再包含有效数据的块。该机制从一个预擦除单元(source erase unit)内拷贝所有的有效数据块到另一个新的被称为转移单元(transfer unit)的擦除单元。TrueFFS然后更新block-to-flash映射表再擦除这个废旧的预擦除单元。
这样,原来的块出现在外界时仍然包含了原来的数据,虽然这些数据现在已经存放在flash存储器的其它空间。
怎样触发碎片回收功能呢?如果太频繁,则会降低wear-leveling的效果,并影响整个flash的性能。因此在TrueFFS内部,碎片回收只是在块分配算法需要的时候才会触发。块分配算法尽量保持在同一个擦除单元(erase unit)内有一段连续的自由块池。如果块池变得太小,块分配算法就会马上采用碎片回收算法进行碎片回收。然后碎片回收算法就会找到并回收和下面标准最吻合的擦除单元(erase unit):
另外,碎片回收算法也会采用随机选择的处理方法。这样可以保证回收处理能够均匀地覆盖整修存储空间,而不会由于应用程序使用数据的方式而偏差。
4.块分配和关联数据集结的方法
为了提高数据的读取效率,TrueFFS使用一种空间分配策略:将关联的数据(如由同一个文件的内容组成的多个块)集结到同一个单独擦除单元(erase unit)内的一段连续的区域中。为此,TrueFFS尽量在同一个擦除单元(erase unit)内维持一个由多个物理上连续自由的块组成的存储池。如果这样连续的存储池无法实现,TrueFFS会尽量保证池中的所有块是在同一个擦除单元(erase unit)内。如果连这样的情况也不可能的话,TrueFFS会尽量把块池分配到一个拥有最多可用空间的擦除单元内。
这种集结关联数据的途径有几个好处。首先,如果TrueFFS必须从一个小的存储窗口(memory window)来访问flash,那么这样集结了的关联数据可以减少调用映射物理块(physical blocks)到该窗口的次数。这样可以加快文件继续访问速度(通常是这样)。其次,这种策略可以减少碎片的产生。这是因为删除一个文件可以释放掉更容易回收的完整块。这意味着碎片回收会变得更快。另外,它可以使属于静态文件的多个块存放在同一地方,这样当wear leveling算法决定移动静态区域时,转移这些块就变得更加容易了。
5.TrueFFS中的错误恢复
向flash写数据有时可能会出错,比如在响应文件系统写请求时、碎片回收期间甚至在TrueFFS格式化或擦除flash时。在这些情况下, TrueFFS能够从错误中恢复过来。但在新数据第一次写入flash时,如果出错就会丢掉这些数据。然而,TrueFFS非常仔细地保证所有已经存放在 flash上的数据是可恢复的。
TrueFFS健壮的关键是它使用了一种“先写后擦”(erase afer write)的策略。当更新flash一个扇区的数据时,只有在更新操作完成并且新存储的数据校验成功后,先前的数据才会被允许擦掉。这样的结果是数据扇区不能处于部分写状态。操作成功的话新扇区的数据有效,否则老扇区的数据有效。很明显,这样有利于用户已经写到flash媒体上的数据的稳定性。“先写后擦”对flash存储映射表也有积极的影响。比如,尽管TrueFFS采用了用一张RAM-resident的映射表来记录flash存储器内容的方式,但TrueFFS还会非常小心,决不将临界映射信息只放在RAM中。因此,如果更新映射信息时遇到掉电或者flash媒体被移除的情况,原来的映射信息依然是可用的。当电源恢复(或者flash重新连接),TrueFFS能够使用存放在flash上的信息来重建或校验flash映射表的RAM- resident版本。这样,映射信息能够存在于媒体的任何地方,这在开始看来是一项不可能的工作。
幸运的是,flash中的每一个擦除单元(erase unit)都在一个可以预知的位置放置了头信息(一般在该扇区的0偏移地址处)。仔细核对在每一个擦除单元(erase unit)中的头信息,TrueFFS可以重建或者校验flash映射表的RAM拷贝。所以掉电后唯一后果是如果这时正在回收碎片则碎片回收需要重新开始。
如果写操作第一次尝试失败,TrueFFS通常不会报告给用户。相反,它会使用它的动态映射能力在flash的另一个不同地方来重新进行一次写操作。 TrueFFS通过这种自动修复错误的方法确保了数据的完整性。当flash媒体进入它生命极限的时候,这种写错误修复机制变得显著有用。这时, flash的写/擦失败变得更加频繁,但用户看到的结果只是性能的缓慢降低(因为写操作重试的需要)。
TrueTFFS回收碎片的方式是通过将数据从一个旧的单元移到另一个新的单元(置换单元),然后擦除这个旧单元的方式来完成的。这样在进行写数据或者擦除旧单元的过程中碎片回收可能失败。为了最小化这种失败的发生,TrueTFFS将flash媒体格式成包含多个置换单元的方式。这样,如果写到一个置换单元的操作失败,TrueTFFS就会尝试写到另一个置换单元上去。对用户数据没有直接影响,但原来的置换单元不再接受新的数据,变成了只读状态。
有时,flash第一次格式化时就被发现有些空间不可用。倘若坏单元的数目没有超过置换单元的数目,格式化能够成功。对用户的影响也只是flash容量减少了。
6.引导映象和TrueFFS共享flash存储空间
缺省情况下,TrueFFS格式化工具会把整个flash空间用于TrueFFS。虽然TrueFFS的转译服务结合一个文件系统可以为数据的管理提供很多好处,但这也同样增加了flash作为一个引导设备时的复杂性。唯一可行的解决方案就是把TrueFFS排斥在flash的引导区外。
幸运地是,TrueFFS自带的格式化工具可以允许你从一个偏移地址开始格式化flash。这样就创建了一个TrueFFS不能触及的区域,你可以使用 TrueFFS的一些工具来管理这个区域。从而你能把一个引导映象写到这个区域或者从上面擦除。不过,你得十分小心地使用这些工具,因为它们不仅可能过度使用flash,也可能写操作时超过这个区域,从而破坏掉TrueFFS。
7.TrueFFS的层结构简介
如图1-1所示,TrueFFS包含三层:翻译层(translation layer),MTD层(MTD layer),socket层(socket layer)。
图1-1 TrueFFS的层结构
翻译层主要实现TrueFFS和dosFs之间的高级交互功能。它也包含了控制flash映射到块、wear-leveling、碎片回收和数据完整性所需的智能化处理功能。目前有三种不同的翻译层模块可供选择。选择哪一种层要看你所用的flash介质是采用NOR-based, 还是NAND-based, 或者SSFDC-based技术而定。
Socket层则是提供TrueFFS和板卡硬件(如flash卡)的接口服务。其名字来源于用户可以插入flash卡的物理插槽。用来向系统注册socket设备,检测设备拔插,硬件写保护等。后面将详细讲解它的功能。
MTD层(Memory Technology Drivers)功能主要是实现对具体的flash进行读、写、擦、ID识别等驱动,并设置与flash密切相关的一些参数。TrueFFS已经包含了支持Intel,AMD以及samsung部分flash芯片的MTD层驱动。新的芯片需要新的MTD支持,你可以使用一个标准的接口来加入这些驱动。
以上三部分,我们关心的将会是后两层。
当在vxworks下配置TrueFFS时,你必须为每一层至少包含一个软件模块。后面我们将详细讨论。
8.TrueFFS配置显示工具
主要有两个:tffsShow()和tffsShowAll().前者为一个指定的socket接口打印设备信息。它的主要用来确定当要写一个引导映象时所需要的擦除单元数。后者则是提供在vxworks中已注册的所有socket接口的信息。