解读ZKEVM:编译Solidity源码到LLVM IR系列(一)_NFT:NFTP价格

零知识证明(ZKP)发展至今,大多数方案都是基于低级别表述语言实现的,例如 QAP、R1CS 或 Circuit。尽管 ZKP 不受语言限制,可以使用任何语言定义,但是高级语言所带来的生成证明的复杂度却是难以接受的。因此很多区块链技术团队开始使用新的 DSL 语言去编写业务逻辑,来实现复杂度较低的证明,但是这种模式却增加了用户编写合约的难度,因为大多数用户根本没有时间和精力学习 Rust、C++ 等语言。

Matter Labs 团队为了解决 ZKP 的图灵完备问题,引入了 ZINC 这门新的编写智能合约的语言。 然而该团队在 Youtube 上一段 ZKEVM 设计视频中曾公开表示 ZINC 目前并不是图灵完备的,缺乏循环、递归等内容。团队还表示,为了减少引入新的语言给开发者带来的学习成本,将尝试采用 Solidity-> YUL -> LLVM IR-> ZKEVM 的技术路线。

受该视频启发,本系列文章将与读者探讨使用 LLVM 编译器编译 Solidity /YUL字节码 到 R1CS 或 Circuit 的过程。尽管该方案后续可能发生重大变化,但是也是一次很好的学习机会。

第一篇 LLVM 介绍

概念

LLVM是模块化和可重用的编译器与工具链技术的集合, 经常被误认为是一个单纯的编译器,拿来跟 Clang 和 GCC 进行比较,实际上 Clang 也是仅仅作为 LLVM 项目的一部分单独发行的。以下是对这几个概念的详细介绍。

声音 | 李少平解读最高法“五五改革纲要”: 要推动区块链存证等科技创新手段深度运用:据中国之声《央广新闻》消息,《最高人民法院关于深化人民法院司法体制综合配套改革的意见》,即《人民法院第五个五年改革纲要(2019—2023)》今日发布。最高人民法院副院长李少平在对该文件进行解读时表示,“五五改革纲要”在前期工作基础上,提出要构建中国特色社会主义现代化智慧法院应用体系,不断破解改革难题、提升司法效能。其中,要推动语音识别、图文识别、语义识别、智能辅助办案、区块链存证、常见纠纷网上数据一体化处理等科技创新手段深度运用。[2019/2/27]

LLVM:LLVM 和虚拟机技术没有关系。它的名字并不是一个缩写,而是 LLVM 项目的全称。LLVM 的目标是提供一个现代化的、基于 SSA 编译策略的、同时支持静态和动态编译任何编程语言的编译器架构。现在 LLVM 已经发展成为一个由多个子项目组成的总体项目,其中许多子项目已被广泛应用于学术研究、商业和开源项目中。LLVM 核心库提供了与编译器相关的支持,可以作为多种语言编译器的后端来使用。能够进行程序语言的编译期优化、链接优化、在线编译优化和代码生成。

Clang:是 LLVM 的一个编译器前端,它目前支持 C, C++, Objective-C 以及 Objective-C++ 等编程语言。Clang 对源程序进行词法分析和语义分析,并将分析结果转换为 Abstract Syntax Tree(AST 抽象语法树) 和LLVM-IR,最后使用 LLVM 作为后端代码的生成器。

现场 |中国电子技术标准化研究院周平解读区块链技术:金色财经现场报道,今日下午,在北京召开的区块链应用技术高峰论坛暨区块链应用技术专项赛颁奖典礼上,中国电子技术标准化研究院软件工程评估中心主任周平在《区块链及其标准化》的主题报告中,介绍了国际标准化情况和《区块链和分布式记账技术 术语》标准 ISO 22739。他提到区块链是通过加密,将经验证和校验的区块链接,形成的分布式账本; Token是利用加密技术控制产生的资产的表现形式,该资产也通过加密技术校验所有权转移或状态变化等。[2018/9/6]

GCC:GNU编译器套件(GNU Compiler Collection)包括C、C++、Objective-C、Java、Go语言的前端,也包括这些语言的库(如 libstdc++、libgcj 等)。GCC的开发初衷便是一款专为GNU操作系统设计的编译器。

传统的静态编译器(例如大多数C编译器)采用三段式设计:前端、优化组件和后端。前端组件解析程序源代码,检查语法错误,生成一个基于语言特性的 AST(Abstract Syntax Tree)来表示输入代码,并提供给优化器。优化器会对AST数据进行相应的优化处理,以便最大程度的提升源代码的执行效率。优化后的中间表示代码(IR)会被送往后端程序。后端编译器会进行指令选择、寄存器分配等操作,最后将IR转化为相应平台的机器码。

今晚8点袁煜明将做客《金色讲堂》 深入解读“什么是区块链思维”:今晚20:00,火币区块链应用研究院院长袁煜明将做客《金色讲堂》深入解读“什么是区块链思维”。袁煜明将从股份制的种种弊端出发对区块链的出现给行业所带来的改变进行一一讲解。同时,袁煜明还会对区块链机制目前所存在的问题进行全方位的解读。详情请关注今晚8:00的《金色讲堂》。[2018/4/10]

优化器的作用是采用各种方式使代码运行得更快,例如删除死代码(DCE) 、常量折叠、传播优化等等策略。 后端(又叫代码生成器)将代码与任务指令一一对应起来。除了生成正确的代码以外,也要与机器设备的特性结合以保证生成代码的质量。通常编译器后端包括指令选择、寄存器分配和指令安排表等功能。JVM 也是采用这种模式,使用 Java 字节码作为前端与优化器的接口来实现的。

编译器的分段式架构使得开发分工更加明确。比如擅长编译器前端设计的开发人员,可以注重于编译器前端的设计,而不用考虑应该为后端优化器和编译器后端预留相应的资源以及进行什么样的配置。这也使得相关社区人员可以快速融入进来,实现自己力所能及的那部分。

三段式的结构设计是非常好的,但是因为各个编程语言的编译器和优化器的实现没有采用统一的 AST 和 IR 数据结构,导致对编译器链路的各个组成部分进行重用仍异常困难。

LLVM 编译器架构

杨东教授解读:央行开展对虚拟货币的清理整顿,切实保护金融消费者始终是基础:杨东教授发文称,当前虚拟货币交易存在一定风险与乱象,而投资者是风险的主要承担者,因为区块链技术应用于金融业态在包装和销售小额化金融资产的同时,也将金融风险扩散到了广大小微投融资者之间。但值得注意的是,投资者是区块链应用于金融业态的重要基础,金融科技必然回归到投资者保护。[2018/3/31]

根据上述架构图我们可以看到 LLVM 编译器采用的是跟传统编译器相同的三段式架构,但存在明显的区别,即 LLVM 编译器架构的优化器输入和输出都是 LLVM-IR。 LLVM-IR 是 LLVM 框架构建的核心基础,它确立了IR的规范,使得其不同于传统的编译器前后端,将整体架构彻底拆分为三段式,方便开发人员进行分工。

总结:我们经常使用的 Clang 只是一个 LLVM 编译器前端,它是狭义的 LLVM。 而 GCC 是一个完整的可执行文件,没有给其它语言的开发者提供代码重用的接口,因此复用静态库做静态分析或者代码重构时就会变得特别困难。而且脚本语言经常是通过动态解释嵌入到即将运行的大型应用程序中,这使得代码变得非常臃肿,复用其中的某一模块几乎不可能。 而 LLVM 作为后起之秀,既传承了三段式编译设计,又给开发者提供了可重用的编译前端和后端的接口,让开发者几乎不费力气就可以完成一个新语言的编译器前端。

LLVM 编译过程

韩国强监管信号解读:政府尚未形成统一意见:金色财经独家采访了韩国几大主流交易所负责人,他们向金色财经透露本次强监管信号的形成原因。其中提到,由于韩国近期比特币价格高于其他国家交易所,促使更多投机者进入韩国市场搬砖,这加大了外汇场外交易风险,为防止某些换汇公司铤而走险进行违法行为,故发布了此条公告。同时,据韩国相关人士透露,政府不同机构对加密货币的立场不一,法务部对加密货币态度最严格,其他政府部门虽强调了加密货币监管的重要性,但仍对其持开放态度。因此有专家认为,韩国政府部门的意见不统一,不会立即出台强监管政策。[2017/12/28]

LLVM 编译过程涉及到前端、优化器、后端三部分的交互。具体过程如下:

Clang 读取源文件,并将源文件进行预处理。预处理的过程主要为:宏展开、导入头文件等。

词法分析器通过 Sanner 扫描处理过的源文件,生成 Token 序列,这个过程一般采用 Lex 完成。

语法分析在 Clang 中由 Parser 和 Sema 两个模块配合完成。根据定义好的语法(Grammar),对 Token 序列构成的输入文本进行分析并确定其语法结构。语法分析的过程会使用自顶向下或者自底向上的方式进行推导,最终形成AST(抽象语法树)。

CodeGen 负责将语法树从顶至下遍历,翻译成 LLVM IR。LLVM IR 既是 Frontend 的输出,也是 LLVM Backend 的输入。

通用优化器负责优化 LLVM IR, 可能会进行死代码删除(DCE) 、常量折叠、传播优化等过程。

最后 LLVM 后端根据 LLVM IR 生成特定平台可执行代码。

为了方便介绍以下的工具链,我们编写一个简单的hello.c文件

#includeint main() {        printf('Hello World!');        return 0;}Clang 编译器

Clang 本身不属于 LLVM 命令行工具的一部分,但是因为它是基于 LLVM 工具链开发的,使得它拥有了其他类似编译器不具备的功能,使用 Clang 可以将高级语言的源文件编译为LLVM-IR中间代码

Clang -S -emit-llvm hello.c

在上面的命令中 参数 “-S” 指定编译器生成包含具有可读性汇编代码的目标文件; 参数 “-emit-llvm” 用于设置编译器以LLVM-IR的形式生成目标文件,该参数需要配合 “-S” 参数一起使用。当该命令执行完成后,会在当前目录生成一个名为 “hello.ll” 的文件, 文件名后缀为 “.ll”, 表示这是一个含有可读 LLVM-IR 代码的 ASCII 文本文件。

LLVM-IR 解释器 - lli

通过 lli 命令,我们可以直接调用专门为 LLVM-IR 设计的即时解释器,解释器会逐行解释并执行目标文件内的 IR 代码。

LLVM-IR 优化器 - opt

通过 opt 命令,我们可以直接在命令行中调用 LLVM 工具链提供的 IR 代码优化器对 LLVM-IR 代码优化,该优化器同时支持对可读文本以及二进制格式下的 LLVM-IR 代码进行优化,并且可以通过参数执行相应的优化策略。

优化策略比较多,这里不一一列举,只列举一些常用的策略

-mem2reg:该策略会将IR内的内存级变量引用提升为寄存器级变量引用

“-constprop” :该策略主要是用于 “常量传播优化”

“-dce” :该策略主要是用于删除死代码(无法执行到的代码)

opt -S -mem2reg -constprop -dce hello.ll

LLVM 静态编译器 - llc

llc 是 LLVM 命令行工具提供的一个静态编译器。通过该编译器,可以将一个包含有 LLVM-IR 代码的 “.ll' 文件编译为以 “.s” 结尾的为特定平台架构的汇编代码文件。

llc hello.ll

执行完上述命令,会在当前目录生成一个 hello.s 的汇编文件,因为我的机器是 mac os 的,所以生成的汇编文件中会带有 mac os version 等字样

LLVM 汇编器 - llvm-as

通过 llvm-as 命令行工具,可以将包含有可读文本格式的 LLVM-IR 文件转为二进制格式的 LLVM 比特码

llvm-as hello.ll

执行完上述命令,会在当前目录生成一个 hello.bc 的比特码文件,可以通过 hexdump 查看文件具体内容

LLVM 符号表查看器 - llvm-nm

通过 llvm-nm 命令行工具,我们可以查看一个包含二进制 LLVM-IR 比特码的 “.bc” 文件内的符号表信息

上述命令中, “-A” 参数表示在输出结果中显示每个符号的来源文件名。 查看该输出可知在这个 LLVM 模块中存在两个符号,一个是内部名为 “main” 的符号,该符号对应着源码中的主函数,“T” 表示该函数是一个全局对象函数。“printf” 符号是引用外部标准库的函数, 所以用 “U”表示。

上面的实例中,我们生成了多个包含不同状态的 LLVM-IR 中间代码,以及面向特定底层平台架构的汇编代码,对于这些文件,我们都可以使用 Clang 将其编译为可执行的二进制文件。

本文简单介绍了 LLVM 项目,让读者能够了解 LLVM 项目的整体架构,懂得通过改造 LLVM 编译器前端,可以适配多种高级编程语言,包括 Java、Rust、Solidity 等。 鉴于直接通过 Solidity 生成 LLVM IR 难度较大,且 Solidity 语法变更迅速,开发者可通过 Solidity 生成中间语言 YUL ,将 YUL 作为输入提供给 LLVM 前端生成 LLVM IR 字节码,即各种零知识证明需要的表示形式,最后在 ZKEVM 中执行。从理论上来讲这套逻辑没有任何问题,但是实际执行的工程难度还是非常大的,具体细节需要研究后再做定论。

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

金宝趣谈

[0:15ms0-11:61ms