LVM:解读ZKEVM:编译Solidity源码到LLVM IR系列(一)

零知识证明(ZKP)发展至今,大多数方案都是基于低级别表述语言实现的,例如 QAP、R1CS 或 Circuit。尽管 ZKP 不受语言限制,可以使用任何语言定义,但是高级语言所带来的生成证明的复杂度却是难以接受的。因此很多区块链技术团队开始使用新的 DSL 语言去编写业务逻辑,来实现复杂度较低的证明,但是这种模式却增加了用户编写合约的难度,因为大多数用户根本没有时间和精力学习 Rust、C++ 等语言。

Matter Labs 团队为了解决 ZKP 的图灵完备问题,引入了 ZINC 这门新的编写智能合约的语言。 然而该团队在 Youtube 上一段 ZKEVM 设计视频中曾公开表示 ZINC 目前并不是图灵完备的,缺乏循环、递归等内容。团队还表示,为了减少引入新的语言给开发者带来的学习成本,将尝试采用 Solidity-> YUL -> LLVM IR-> ZKEVM 的技术路线。

受该视频启发,本系列文章将与读者探讨使用 LLVM 编译器编译 Solidity /YUL字节码 到 R1CS 或 Circuit 的过程。尽管该方案后续可能发生重大变化,但是也是一次很好的学习机会。

第一篇 LLVM 介绍

概念

LLVM是模块化和可重用的编译器与工具链技术的集合, 经常被误认为是一个单纯的编译器,拿来跟 Clang 和 GCC 进行比较,实际上 Clang 也是仅仅作为 LLVM 项目的一部分单独发行的。以下是对这几个概念的详细介绍。

Pudgy Penguins系列玩具在推出24小时后跃居亚马逊排行榜第一:金色财经报道,P.M.I. Kids World的授权Pudgy Penguins系列玩具在推出24小时后就跃居亚马逊排行榜第一,Pudgy Penguins于5月18日在Twitter上预告了该玩具系列的推出,在进入亚马逊市场24小时后,Pudgy Samurai Action Figure已经成为该平台上的第一大玩具,而Pudgy Penguins Huggable Plush则在竞争激烈的前十名中排名第五,其中还包括Pokémon、Barbie、Disney和Lego。[2023/5/22 15:19:16]

LLVM:LLVM 和虚拟机技术没有关系。它的名字并不是一个缩写,而是 LLVM 项目的全称。LLVM 的目标是提供一个现代化的、基于 SSA 编译策略的、同时支持静态和动态编译任何编程语言的编译器架构。现在 LLVM 已经发展成为一个由多个子项目组成的总体项目,其中许多子项目已被广泛应用于学术研究、商业和开源项目中。LLVM 核心库提供了与编译器相关的支持,可以作为多种语言编译器的后端来使用。能够进行程序语言的编译期优化、链接优化、在线编译优化和代码生成。

Clang:是 LLVM 的一个编译器前端,它目前支持 C, C++, Objective-C 以及 Objective-C++ 等编程语言。Clang 对源程序进行词法分析和语义分析,并将分析结果转换为 Abstract Syntax Tree(AST 抽象语法树) 和LLVM-IR,最后使用 LLVM 作为后端代码的生成器。

动态 | 纽交所为Bakkt测试举行启动仪式 外媒解读此举表明监管机构已为Bakkt开绿灯:据Trustnodes消息,比特币结算期货平台Bakkt将于7月22日开始测试。7月18日,纽约证交所(NYSE)董事会已举行比特币结算期货启动仪式。区块链投资基金Pantera Capital首席执行官Dan Morehead表示在Bakkt数字资产峰会(Bakkt Institutional Digital Asset Summit)上表示:“我们坐在纽约证交所的董事会会议室里——这是比特币的第一次。”Trustnodes评论称,到目前为止,峰会没有取得什么成果,也不清楚是否有媒体受邀,但此次活动的举办表明,经过数月的漫长过程,Bakkt目前正在推进比特币期货的测试工作。Bakkt已经通过自我认证获得了美国商品期货交易委员会(CFTC)的批准,经过长时间的谈判,旧的规章制度得到了政策上的调整。[2019/7/20]

GCC:GNU编译器套件(GNU Compiler Collection)包括C、C++、Objective-C、Java、Go语言的前端,也包括这些语言的库(如 libstdc++、libgcj 等)。GCC的开发初衷便是一款专为GNU操作系统设计的编译器。

传统的静态编译器(例如大多数C编译器)采用三段式设计:前端、优化组件和后端。前端组件解析程序源代码,检查语法错误,生成一个基于语言特性的 AST(Abstract Syntax Tree)来表示输入代码,并提供给优化器。优化器会对AST数据进行相应的优化处理,以便最大程度的提升源代码的执行效率。优化后的中间表示代码(IR)会被送往后端程序。后端编译器会进行指令选择、寄存器分配等操作,最后将IR转化为相应平台的机器码。

声音 | 最高人民法院工作报告解读:探索司法区块链等互联网模式:据新华网消息,12日,最高人民法院办公厅副主任陈志远接受专访,解读最高人民法院工作报告中网民高度关注的热点内容。陈志远介绍,杭州互联网法院通过全流程在线审理平台,实现案件全流程在线办理,让当事人打官司“一次都不用跑”;采用司法区块链等技术,让存证取证更方便,让电子证据更可靠。[2019/3/12]

优化器的作用是采用各种方式使代码运行得更快,例如删除死代码(DCE) 、常量折叠、传播优化等等策略。 后端(又叫代码生成器)将代码与任务指令一一对应起来。除了生成正确的代码以外,也要与机器设备的特性结合以保证生成代码的质量。通常编译器后端包括指令选择、寄存器分配和指令安排表等功能。JVM 也是采用这种模式,使用 Java 字节码作为前端与优化器的接口来实现的。

编译器的分段式架构使得开发分工更加明确。比如擅长编译器前端设计的开发人员,可以注重于编译器前端的设计,而不用考虑应该为后端优化器和编译器后端预留相应的资源以及进行什么样的配置。这也使得相关社区人员可以快速融入进来,实现自己力所能及的那部分。

三段式的结构设计是非常好的,但是因为各个编程语言的编译器和优化器的实现没有采用统一的 AST 和 IR 数据结构,导致对编译器链路的各个组成部分进行重用仍异常困难。

LLVM 编译器架构

中国人民大学法学院教授杨东解读《政府工作报告》:互联网金融的核心是对移动互联网技术、云计算、大数据、区块链技术运用,这将导致我们的金融体系回归金融的本质。目前互联网金融更多地带有金融科技的色彩,而监管科技的广泛运用更是有望将互联网金融信息不对称的问题根本解决,而未来信息在网络上的无障碍流动也必将导致人类生产方式的改变。[2018/3/10]

根据上述架构图我们可以看到 LLVM 编译器采用的是跟传统编译器相同的三段式架构,但存在明显的区别,即 LLVM 编译器架构的优化器输入和输出都是 LLVM-IR。 LLVM-IR 是 LLVM 框架构建的核心基础,它确立了IR的规范,使得其不同于传统的编译器前后端,将整体架构彻底拆分为三段式,方便开发人员进行分工。

总结:我们经常使用的 Clang 只是一个 LLVM 编译器前端,它是狭义的 LLVM。 而 GCC 是一个完整的可执行文件,没有给其它语言的开发者提供代码重用的接口,因此复用静态库做静态分析或者代码重构时就会变得特别困难。而且脚本语言经常是通过动态解释嵌入到即将运行的大型应用程序中,这使得代码变得非常臃肿,复用其中的某一模块几乎不可能。 而 LLVM 作为后起之秀,既传承了三段式编译设计,又给开发者提供了可重用的编译前端和后端的接口,让开发者几乎不费力气就可以完成一个新语言的编译器前端。

LLVM 编译过程

赵长鹏解读钓鱼网站运作方式:币安创始人赵长鹏再发推文,剖析了钓鱼网站运作方式,他首先配图指出钓鱼网站的域名中两个字母下方比正确地址多了两个点。他还表示,用户在钓鱼网站登录后跳转到真的币安。此外一旦登录后,用户就不能再进入钓鱼网站,而是自动跳转到币安(即使登出账号后)。[2018/3/8]

LLVM 编译过程涉及到前端、优化器、后端三部分的交互。具体过程如下:

Clang 读取源文件,并将源文件进行预处理。预处理的过程主要为:宏展开、导入头文件等。

词法分析器通过 Sanner 扫描处理过的源文件,生成 Token 序列,这个过程一般采用 Lex 完成。

语法分析在 Clang 中由 Parser 和 Sema 两个模块配合完成。根据定义好的语法(Grammar),对 Token 序列构成的输入文本进行分析并确定其语法结构。语法分析的过程会使用自顶向下或者自底向上的方式进行推导,最终形成AST(抽象语法树)。

CodeGen 负责将语法树从顶至下遍历,翻译成 LLVM IR。LLVM IR 既是 Frontend 的输出,也是 LLVM Backend 的输入。

通用优化器负责优化 LLVM IR, 可能会进行死代码删除(DCE) 、常量折叠、传播优化等过程。

最后 LLVM 后端根据 LLVM IR 生成特定平台可执行代码。

为了方便介绍以下的工具链,我们编写一个简单的hello.c文件

#includeint main() {        printf('Hello World!');        return 0;}Clang 编译器

Clang 本身不属于 LLVM 命令行工具的一部分,但是因为它是基于 LLVM 工具链开发的,使得它拥有了其他类似编译器不具备的功能,使用 Clang 可以将高级语言的源文件编译为LLVM-IR中间代码

Clang -S -emit-llvm hello.c

在上面的命令中 参数 “-S” 指定编译器生成包含具有可读性汇编代码的目标文件; 参数 “-emit-llvm” 用于设置编译器以LLVM-IR的形式生成目标文件,该参数需要配合 “-S” 参数一起使用。当该命令执行完成后,会在当前目录生成一个名为 “hello.ll” 的文件, 文件名后缀为 “.ll”, 表示这是一个含有可读 LLVM-IR 代码的 ASCII 文本文件。

LLVM-IR 解释器 - lli

通过 lli 命令,我们可以直接调用专门为 LLVM-IR 设计的即时解释器,解释器会逐行解释并执行目标文件内的 IR 代码。

LLVM-IR 优化器 - opt

通过 opt 命令,我们可以直接在命令行中调用 LLVM 工具链提供的 IR 代码优化器对 LLVM-IR 代码优化,该优化器同时支持对可读文本以及二进制格式下的 LLVM-IR 代码进行优化,并且可以通过参数执行相应的优化策略。

优化策略比较多,这里不一一列举,只列举一些常用的策略

-mem2reg:该策略会将IR内的内存级变量引用提升为寄存器级变量引用

“-constprop” :该策略主要是用于 “常量传播优化”

“-dce” :该策略主要是用于删除死代码(无法执行到的代码)

opt -S -mem2reg -constprop -dce hello.ll

LLVM 静态编译器 - llc

llc 是 LLVM 命令行工具提供的一个静态编译器。通过该编译器,可以将一个包含有 LLVM-IR 代码的 “.ll' 文件编译为以 “.s” 结尾的为特定平台架构的汇编代码文件。

llc hello.ll

执行完上述命令,会在当前目录生成一个 hello.s 的汇编文件,因为我的机器是 mac os 的,所以生成的汇编文件中会带有 mac os version 等字样

LLVM 汇编器 - llvm-as

通过 llvm-as 命令行工具,可以将包含有可读文本格式的 LLVM-IR 文件转为二进制格式的 LLVM 比特码

llvm-as hello.ll

执行完上述命令,会在当前目录生成一个 hello.bc 的比特码文件,可以通过 hexdump 查看文件具体内容

LLVM 符号表查看器 - llvm-nm

通过 llvm-nm 命令行工具,我们可以查看一个包含二进制 LLVM-IR 比特码的 “.bc” 文件内的符号表信息

上述命令中, “-A” 参数表示在输出结果中显示每个符号的来源文件名。 查看该输出可知在这个 LLVM 模块中存在两个符号,一个是内部名为 “main” 的符号,该符号对应着源码中的主函数,“T” 表示该函数是一个全局对象函数。“printf” 符号是引用外部标准库的函数, 所以用 “U”表示。

上面的实例中,我们生成了多个包含不同状态的 LLVM-IR 中间代码,以及面向特定底层平台架构的汇编代码,对于这些文件,我们都可以使用 Clang 将其编译为可执行的二进制文件。

本文简单介绍了 LLVM 项目,让读者能够了解 LLVM 项目的整体架构,懂得通过改造 LLVM 编译器前端,可以适配多种高级编程语言,包括 Java、Rust、Solidity 等。 鉴于直接通过 Solidity 生成 LLVM IR 难度较大,且 Solidity 语法变更迅速,开发者可通过 Solidity 生成中间语言 YUL ,将 YUL 作为输入提供给 LLVM 前端生成 LLVM IR 字节码,即各种零知识证明需要的表示形式,最后在 ZKEVM 中执行。从理论上来讲这套逻辑没有任何问题,但是实际执行的工程难度还是非常大的,具体细节需要研究后再做定论。

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

链链资讯

PolygonCRYPTO:将DeFi轻游戏化 CryptoTycoon即将问世

在 2016 年 1 月,时任微信的产品总设计师张小龙,向大家介绍了如何通过新的应用形态,让人们将目光不只关注于公众号,而是跳开视野,开始学习使用功能更强大的轻应用——这就是今天的微信小程序.

[0:0ms0-3:117ms