为大负荷设计的 Filecoin 索引器可扩展方案_IND:Metaverse Index

来源:FilecoinNetwork

这篇文章描述了一个简单的策略,可将大量涌入的索引负荷分散到由索引器节点组成的索引池中。同时,它让这个索引池具备可扩展性。

索引器扩容的最终目标是10^{15}个索引。这并非存储数据的字节大小,而是存储索引的数量。一个索引实际上就是一张描述了CID标识与内容提供者数据之间关系的映射图。实际的数据规模将会远大于此。目前,我们可处理约10^{12}个索引,随着时间的推移,我们会通过一列步骤向最终的扩容目标前进。

目前,大部分的索引负荷是由涌入的索引数据构成的。新增的数据可能超过单一的索引器能够承受的范围,它还在极速增加。因此,目前扩容路上最迫切的目标,就是处理增加中的涌入负荷。

方案:处理索引涌入的简单策略

数据涌入

一个索引器接收到某个发布者传来的“announce”消息,宣布已经有新的索引数据广告时,就会发生数据涌入。作为回应,该索引器会从发布者那里检索所有尚未检索过的索引数据。随着发布者数量增加,在某个时候,单一的索引器节点将无法跟上新增索引数据发布的速率,也可能没有足够的存储空间来全部存储这些数据。

分散涌入负荷

索引器扩容处理拥堵负载,是基于一个简单策略——将涌入的索引负荷分散到由索引器节点组成的索引池中,这样就能根据容量需求来增加节点,而不需要将数据到处移动来重新达到均衡。它先是分配不同的内容_发布者_给不同的索引节点,这样每个节点可以处理涌入负荷的一部分。这是通过使用单独的轻量服务AssignerService来实现的,后者不属于关键的索引涌入路径的一部分。

V神:预计合并不会对网络产生任何不利影响,因为大多数以太坊社区都支持合并:8月6日消息,Vitalik Buterin(V神)在周六的网络研讨会上表示,以太坊合并不会对ETC上铸造新代币产生不利影响。他预计不会对区块链产生任何不利影响,因为大多数以太坊社区都支持合并。

有人担心涌向ETC的矿工可能会破坏合并。开发人员Tim Beiko说,理想情况下,用户不应该注意到任何不同。Buterin补充说,ETC拥有强大的社区和强大的产品,可为提供PoW。ETC社区大力提倡PoW价值观。尽管如此,市场仍有可能分裂。(Be in Crypto)[2022/8/7 12:07:01]

当一个索引器达到了配置的存储限制后,它就会停止吸纳新增的索引数据,而索引池里的其他索引器会从分配给完整索引器的发布者那里恢复吸纳数据。如果存储容量和涌入负荷分配需求增加,池子里就会增加更多的索引器节点。

这个扩容策略的三个主要组件是:

分配服务:它将发布者分配给索引器。

索引器冻结模式:这种索引器运作模式里,新内容不会被索引。

移交发布者任务:将冻结中的索引器的发布者任务重新分配给活跃的索引器,以在冻结索引器停止运行后恢复索引。

这篇文章会概括描述这些组件。可以在设计文档和设计展示中获取更多信息。

Arca首席投资官:促进NFT的公司和项目可能成为大赢家:Arca首席投资官Jeff Dorman表示,NFT狂热在本周创下了新高,一件数字艺术品在拍卖会上以6930万美元的价格售出。但除此之外,当几乎所有其他的价格也在飙升时,很难说这是疯狂的。Dorman认为NFT狂热充满了类似“严重通货膨胀”的恐惧。此外,Dorman表示,NFT的范围将超越收藏品、艺术和游戏等当前的用例,扩展到更传统的用例,如KYC、资产支持的贷款、特定房产的部分所有权等。Dorman认为,从投资的角度来看,促进NFT增长和交易的公司和项目可能成为大赢家。(CoinDesk)[2021/3/13 18:41:28]

扩容策略的优缺点

优点:

更少的同步工作:不需要让每一个索引者与每一个发布者同步。

元数据不会重复发送给多个索引器:元数据只会在处理提供者的索引器上存在。

索引器之间不会分享数据。它们各自管理自己的发布者链。

不需要只为了检查提供者而去阅读广告,这与提供者分片一样。

索引器可有不同的存储容量。

不需要共识机制。

涌入负荷可重新分配,而无需在索引器之间移动数据。

缺点:

不平均的分配:一些发布者可能会比其他发布者索引更多的数据。

富达数字资产寻求为大型投资者提供加密货币基金服务:自今年年初以来,资产管理巨头富达旗下富达数字资产(Fidelity Digital Assets)的托管和执行产品业务有所增长。同时,该公司一直在与对冲基金商讨一项新服务,以将其引入大型资本配置商。同时,该公司已聘用了两名关键员工,其中包括一名新的首席技术官。据悉,富达数字资产一直在扩大其团队,现在准备扩大其产品范围。(The Block)[2020/6/25]

查询请求需要分散和合并:查询请求会重复发送给所有索引器,而响应会合并成一个发送给客户。

提供者更改发布者可导致重复索引。

增加索引者不会马上起效,除非一个现有的索引器达到了存储容量限制。

这方案的整体好处是它的实施方案相对简单,也能去除拥堵扩容的限制。

分配服务

分配服务负责将发布者分配给在其配置索引器池中的索引者。对一个索引器池来说,它作为单一实例运行在其管理的索引器所在的同一网络上。一个索引器只能作为一个分配服务的索引器池里的成员。

除了将新的发布者分配给索引器外,分配服务还检测检索器节点是否进入了冻结模式,并负责将发布者从冻结索引器重新分配给非冻结的索引器。索引服务还通过gossippubsub渠道重新发布直接的HTTP公告,这样池中的所有索引器都能接收到这些信息。

动态 | 委内瑞拉希望利用石油币为大型住房计划提供资金:据Prensa Latina新闻社报道,在委内瑞拉2019年第一次政府会议期间,住房部长Ildemaro Villarroel邀请国营公司和私营公司参会,希望他们支持利用石油币为大型住房计划提供资金这项雄心勃勃的计划,重点是为民众建造新的公寓楼。该官员强调,使用主权数字货币为建设项目提供资金也将有助于巩固南美国家的经济独立性。[2019/1/7]

基于几个假设,分配服务是用于单个私有部署中使用:任务可以发给任何索引器,所有索引器的管理API是在私有网络上运行,而且也没有建立任何方式或协议让不同的参与方管理池子中要添加或移除的节点。

将一个发布者分配给一个索引器

一个索引器接收到某个发布者传来的“announce”消息,宣布已经有新的索引数据广告时

分配服务会监听gossip-sub和直接的HTTP消息——这些消息主要是宣布新广告可被获取了。它从每一条消息中读取发布者信息,并判断发布者是否已经分配给需要的索引器。如果答案是否定的,该分配服务就会选择任务量最少的索引器,并将该发布者分配给这个索引器。在分配任务后,索引器会收到来自发布者的公告,并自行处理涌入数据。

索引服务会处理离线的索引器,它所用的方式能避免在索引器池里过度分配任务。索引服务还支持将特定发布者分配给特定索引器的配置选项。

加密货币可购买太阳能为大学提供电力:据CCN消息,联合国开发计划署在一份声明中宣布,将与总部位于南非的区块链公司Sun Exchange合作,为摩尔多瓦最大的一所大学提供动力。Sun Exchange可以用加密货币购买太阳能电池,为企业或学校提供电力,同时它还推出加密货币“SolarCoin”。[2018/5/19]

进一步阅读材料:

非持久化任务状态(https://github.com/ipni/storetheindex/blob/main/doc/scaling-design-for-indest.md#no-persisted-assignment-state)意味着索引器能在任何时候停止或重启。

索引器池(https://github.com/ipni/storetheindex/blob/main/doc/scaling-design-for-indest.md#indexer-pool)在某个单一部署中的索引器节点的集合。

任务复制(https://github.com/ipni/storetheindex/blob/main/doc/scaling-design-for-indest.md#replication)将发布者分配给多个索引器。

索引器冻结模式

索引器存储使用触及到配置`FreezeAtPercent(<``https://pkg.go.dev/github.com/ipni/storetheindex/config#Indexer`(https://pkg.go.dev/github.com/ipni/storetheindex/config#Indexer"https://pkg.go.dev/github.com/ipni/storetheindex/config#Indexer")`>)`的限制后,索引器自动进入“冻结”模式。这个运作模式里,索引器不再存储新增的索引数据,但还是会处理索引数据的更新或删除。一个冻结的索引器不会接受新的发布者任务。在其内部,该索引器追踪它已读的每一个广告链,目的是纳入广告。索引器会持续响应对索引数据的查询。

索引器也可以通过其管理(admin)API来手动进行冻结。这可以是为了暂时冻结纳入数据,直到索引器的存储容量提升为止。这样,持续的索引工作可以被其他索引器节点代替。

进一步阅读材料:

磁盘使用监控(https://github.com/ipni/storetheindex/blob/main/doc/scaling-design-for-indest.md#disk-usage-monitoring)由每一个索引器负责。

冻结的能力不依赖于分配服务(https://github.com/ipni/storetheindex/blob/main/doc/scaling-design-for-indest.md#freeze-independent-of-assigner)。

解除冻结的能力(https://github.com/ipni/storetheindex/blob/main/doc/scaling-design-for-indest.md#unfreeze)可让索引器恢复索引工作。

发布者移交

分配服务定期统计索引器,要是它发现某个索引器被冻结,它就会将该被冻结的索引器分配的发布者重新移交给其他索引器——活跃的索引器会继续之前冻结索引器上所做的工作。在移交过程中,活跃的索引器也会从冻结的索引器那取得提供者及其相关的进一步信息。

分配服务决定哪一个索引器将接收发布者的移交工作——这与分配新发布者的逻辑一样。每一个发布者的移交过程都会单独进行这一步骤,这样冻结索引器的任务就会分配给池子里的可用索引器。

进一步阅读材料:

分配服务可以恢复不完整的移交任务(https://github.com/ipni/storetheindex/blob/main/doc/scaling-design-for-indest.md#resuming-incomplete-handoff)。

发布者数据在冻结和活跃索引器之间分发。(https://github.com/ipni/storetheindex/blob/main/doc/scaling-design-for-indest.md#publisher-data-spread-across-frozen-and-active-indexers)

设立带有分配服务的索引器池

这里(https://github.com/ipni/storetheindex/blob/main/doc/assigner-deployment.md#setting-up-indexer-pool-with-assigner-service)描述了设立带有分配服务的索引器池的过程。可概括为以下步骤:

部署索引器(https://github.com/ipni/storetheindex/blob/main/doc/assigner-deployment.md#deploy-indexers)

部署分配服务(https://github.com/ipni/storetheindex/blob/main/doc/assigner-deployment.md#deploy-assigner-service)

按需部署额外的索引器(https://github.com/ipni/storetheindex/blob/main/doc/assigner-deployment.md#example-assigner-service-configuration)

这里还提供了分配服务配置模板文件(https://github.com/ipni/storetheindex/blob/main/doc/assigner-deployment.md#example-assigner-service-configuration)。

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

金宝趣谈

[0:0ms0-4:794ms