科普 | IPFS中MFS以及GC机制_区块链:ROOT

概述

IPFS的介绍在《IPFS文件存储详解》已经详细介绍过,本文主要介绍IPFS中的文件系统MFS以及文件的GC机制。

MFS和传统的文件系统一样使用目录对文件进行管理,区别在于MFS中的目录和文件都有哈希,该哈希由文件内容或者目录下面所有目录以及文件的内容唯一确定,如果目录下面的文件或者目录有变化则该目录的哈希也会变化,所以根据哈希可以判断该文件或者目录下面的内容是否有修改。

文件的GC机制主要介绍IPFS是如何进行文件删除的。

本文所述的IPFS的版本为v0.6.0。

MFS

本版块主要介绍IPFS的文件系统,即文件及目录结构是如何生成、组织和存储。

MFS中文件及目录结构如下图所示,最上层是root目录,表示该文件系统的根目录,所有文件夹以及文件都在该目录下面,MFS中用Root,Directory,File这三种类型分别表示root目录,文件夹,文件。root目录通过link链接到文件夹或者文件,文件夹又通过link链接到文件夹或者文件。

外媒:Tether报告的二季度运营利润明显低于上季度净利润:8月8日消息,据福布斯发布分析文章称,Tether上周在其网站上宣布,第二季度“运营”利润超过10亿美元,较前三个月增长30%。而Tether第一季度报告称,其“净利润”为14.8亿美元。因此增加30%可能会使截至6月30日的季度“净利润”达到19.2亿美元。但Tether在其最新发布的报告中并未报告“净利润”。它只报告“运营”利润,这通常高于净利润,因为要获得净利润,公司必须扣除非运营费用,包括税收和利息。仅在这种情况下,Tether大幅提升的运营利润显然比上一季度的净利润低了近5亿美元。该媒体指责Tether混淆视听,称该公司没有在公告中定义营业利润,也没有解释为什么不再像前两个季度那样报告净利润(2022年第四季度称净利润为7亿美元)。[2023/8/8 21:31:39]

其中,root目录、文件夹都会存储在IPFS的DAG中进行持久化,另外root目录的CID存储在IPFS内置的LevelDB中,当IPFS启动的时候从LevelDB中取出root目录的CID,然后在IPFS的DAG中取出根目录,最后加载出整个目录结构。

动态 | 报告:区块链等热点词促使童书科普百科类成交额同比增速最高:近日,京东图书与艾瑞咨询联合发布了《2019中国图书市场报告》。报告指出,AI、5G、区块链、机器人、VR、智能家居、AR这些热点词,不断点燃科技热潮,科技在改变大众生活的同时,也吸引了越来越多家长的关注,从小培养孩子对科技的兴趣和热爱。因此童书中科普百科类成交额同比增速最高,占比将近40%。[2020/1/8]

下面详细介绍创建文件夹和增加文件的过程:

创建文件夹的过程如下图所示:

1.新建文件夹;

2.将该文件夹的父文件夹添加一条link,link包含该文件夹的Name、CID和Size;

动态 | 新浪财经:官媒针对区块链的报道从科普宣传转向打假监管:据新浪财经今日消息,“1025新政”满月,一个月间,官媒对区块链的态度风向已转。据11月初的一项统计,七家党媒在新政一周内发布了65篇直接相关报道,当时文章中的关键词是数据、产业、安全、创新等,大量文章偏向于科普区块链的概念以及应用介绍,提醒警惕虚拟货币炒作的仅有3篇。近期,官媒的批评焦点则纷纷指向借区块链之名进行的虚拟货币发行和炒作行为。据统计,新华网、人民网收录转载的,以打击虚拟货币或揭露假借区块链行为主题的文章,自10月25日到11月25日午间,共28篇;其中,11月19日至11月25日的一周内就高达15篇。这些文章主要围绕三个观点展开:厘清区块链和虚拟货币的关系,说明二者概念不等;打击伪“区块链”局,或是虚拟货币局揭露;提醒民众,区块链不能成为炒作的噱头,更不是行的招牌,需警惕此类活动,理性投资。[2019/11/26]

3.调用该文件夹的update函数,通过parent递归更新父级文件夹的状态,逐级向上层文件夹更新,直到更新root结束递归过程。

动态 | 美国演说家Anthony Robbins开始科普什么是比特币:美国演说家安东尼·罗宾(Anthony Robbins)在自己的网站上发布了一篇比特币的科普文章,并在推特上向自己的粉丝介绍什么是比特币,目前他的推特账户共有粉丝304万人。[2019/1/1]

删除文件夹和创建文件夹类似,只需要unlink和递归update即可。

增加文件的过程如下图所示:

1.?上传文件

2.将该文件的父文件夹添加一条link,link包含该文件夹的Name,CID和Size;

3.调用该文件的flush函数,通过parent递归更新父级文件夹的状态,逐级向上层文件夹更新,直到更新root结束递归过程。

科普时报:区块链与云计算长期发展目标不谋而合:据《科普时报》今日报道,区块链与云计算两项技术的结合,从宏观上来说,一方面,利用云计算已有的基础服务设施或根据实际需求做相应改变,实现开发应用流程加速,满足未来区块链生态系统中初创企业、学术机构、开源机构、联盟和金融等机构对区块链应用的需求。另一方面,对于云计算来说,“可信、可靠、可控制”被认为是云计算发展必须要翻越的“三座山”,而区块链技术以去中心化、匿名性,以及数据不可篡改为主要特征,与云计算长期发展目标不谋而合。[2018/5/4]

删除文件和增加文件的过程类似,只需要unlink和flush即可。

文件GC机制

IPFS中删除文件时并不会立即删除掉该文件,而是将该文件的CIDunpin,下次GC的时候则可以真正的删除该文件。

下图是IPFS的配置文件,其中红色部分是GC相关的配置。

StorageMax是存储文件的最大容量,默认是10GB,可以根据项目需要进行修改,当存储的文件超过该最大容量时会有warning,文件还是可以继续存储的。

StorageGCWatermark是GC的阈值,默认是90,即90%,触发GC的阈值容量为10GB*90%=9GB。

另外,GCPeriod是GC的间隔,默认是1h。GC触发的机制是每一个GC间隔时间,触发GC的检查,当存储容量超过阈值时则开始GC,将需要删除的文件或者块进行删除。

文件或者块的Pin模式如下图所示,文件的Pin模式是recursive,即递归Pin文件的所有的块。

如下图所示,pinner是块的GC管理器,其中recursePin是递归的pin的集合,里面存储所有文件的根CID:

每次触发GC时会进行ColoredSet,如下面两张图所示,将所有recursePin中的CID依次遍历,深度遍历该CID所有的linksodvq,这些linksodvq的CID都会存储到gcs这个集合中:

然后通过bs.AllKeysChan(ctx)可以获得所有的块的CID集合,最后遍历这些CID集合,判断gcs中没有的该CID的块都需要删除掉,具体见下图,从而实现了所有unpin的块GC触发的时候都会删除的效果。

注意:GC的时候会lock,此时上传文件和删除文件都会阻塞,GC需要占用的时间和文件存储量以及删除的文件大小有关系,可以将GC时间固定在每天用户操作最少的时间点,例如每天的凌晨3点,减少用户操作和GC的冲突。

总结

IPFS中MFS提供了一套基于CID的文件系统,目录结构也存储在IPFS的DAG中,目录的树状结构和DAG的结构本身是很类似的,所以将目录结构存储在DAG中巧妙地解决了文件系统目录结构地存储问题,最后只需要存储文件系统的根目录的CID从而可以方便地加载整个文件系统的目录。

IPFS中的文件GC机制目前不是很高效,通常文件存储10GB容量左右时,触发GC可能就需要几分钟到十几分钟的时间,由于IPFS是一个面向公网的一个用户一个IPFS节点的模式,所以该问题对于IPFS项目本身并不明显,但是如果将IPFS的存储以及GC机制作为投产项目使用,则需要对GC机制进行优化,减少GC占用的时间间隔。

另外IPFS本身每隔一段时间触发GC也不是很合理,针对项目的用户使用情况可以将GC触发时间固定在每天的凌晨某个时间,然后每24小时的GC触发间隔也是一种比较简单的解决IPFS的GC冲突问题的办法。

作者简介

姚文豪

来自数据网格实验室BitXMesh团队,数据平台架构师

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

金宝趣谈

[0:15ms0-2:881ms