python爬取区块链浏览器上的交易列表数据

2022年6月3日 端午节安康。

今天主要分享如何利用爬虫爬取区块链浏览器上的交易列表数据。

dune上没有bsc链上的转账明细数据表。Footprint Analytics上现有的bsc_transactions表transfer_type粒度不够。

python 3.7

数据存储:mysql 5.7

缓存:redis 6.2.6

开发工具:pycharm

(1)所有协议、合约、swap地址转账信息全爬不太实际,对存储要求比较高。所以针对需要分析的协议,专门去爬取对应智能合约转账是个不错的选择。

(2)区块链浏览器肯定是有反爬机制的。所以在代理选择上,要选择国外的代理。国内的代理都访问不到,具体原因你懂的。本文中不涉及代理部分,因为国外的代理厂家之前没有了解过。不过即使是上代理,对代码层面改动也比较小

(3)采用了urllib同步请求 + 范围内随机时长程序休眠。减少了被风控的概率。但是也降低了爬虫的效率。

后面再研究用scrapy或异步请求

同步:请求发送后,需要接受到返回的消息后,才进行下一次发送。异步:不需要等接收到返回的消息。

找到需要爬取合约的具体地址:

第一页

http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8第二页

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=2第三页

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=3....

可以知道 p = ?就代表页数。

然后F12 点击“网络”,刷新界面,查看网络请求信息。

主要查看,网页上显示的数据,是哪个文件响应的。以什么方式响应的,请求方法是什么

如何验证呢,就是找一个txn_hash在响应的数据里面按ctrl + f去搜索,搜索到了说明肯定是这个文件返回的。

查看响应的数据,是html的格式。在python里面,处理html数据,个人常用的是xpath(当然,如果更擅长BeautifulSoup也可以)

在python里面安装相关的依赖

pip install lxml ‐i https://pypi.douban.com/simple同时在浏览器上安装xpath插件,它能更好的帮助我们获到网页中元素的位置

XPath Helper - Chrome 网上应用店 (google.com)

然后就可以通过插件去定位了,返回的结果是list

**注:**浏览器看到的网页都是浏览器帮我们渲染好的。存在在浏览器中能定位到数据,但是代码中取不到值的情况,这时候可以通过鼠标右键-查看网页源码,然后搜索实现

然后就是利用redis,对txn_hash去重,去重的原因是防止一条数据被爬到了多次

最后一个需要考虑的问题:交易是在增量了,也就是说,当前第二页的数据,很可能过会就到第三页去了。对此我的策略是不管页数的变动。一直往下爬。全量爬完了,再从第一页爬新增加的交易。直到遇到第一次全量爬取的txn_hash

最后就是存入到数据库了。这个没啥好说的。

以上就可以拿到转账列表中的txn_hash,后面还要写一个爬虫深入列表里面,通过txn_hash去爬取详情页面的信息。这个就下个文章再说,代码还没写完。

今天就写到这里。拜拜ヾ(?ω?`)o

来源:Bress

作者:撒酒狂歌

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

金宝趣谈

MANA浅谈以太坊虚拟机的网络效应:其他L1将面临什么样的挑战?

实际上,大家所熟知的以太坊只是以太坊区块链的一种实现。在硬币的另一面,以太坊虚拟机可以理解为基于区块链的开源软件「开发平台」,允许开发人员创建去中心化应用程序。你也可以把他看作一个开放的虚拟计算机,可以存储链上的数据以及每个智能合约的状态。

欧易交易所app官网下载Arthur Hayes 专栏:对底部的新预测

牛市开启的先决条件是美联储和央行暂停加息并保持其资产负债表的规模不变。在当前加息周期下,CPI 有所回调,但美国普通工人的收入也在减少。鉴于今年是美国的中期选举年,随着 11 月的到来,这将成为一个越来越大的问题,执政的民主党将需要做些什么来纠正。 当选民为越来越少的钱付出越来越多的努力时,通货膨胀对他们来说变得极为重要。

AVAXConsenSys:一文速览以太坊测试网简史

原文标题:《The History of Ethereum Testnets》 测试网络是模拟区块链主网的替代网络,其创建目的是为了测试和试验主网区块链的功能,以减少实际运行式产生的错误,例如真实资金的损失。 这些区块链测试网可以比作传统 Web 开发中的「模拟环境」,开发人员可以在测试网中调试协议升级和智能合约,然后再部署到主网。

[0:0ms0-6:810ms