NiQin (blog: 泥芹) shared the aphorism --
I returned and saw under the sun, that the race is not to the swift, nor the battle to the strong, neither yet bread to the wise, nor yet riches to men of understanding, nor yet favour to men of skill; but time and chance happeneth to them all. -- 《圣经》

[Rust] RustyHermit——基于 Rust 实现的下一代容器 Unikernel

💥 内容涉及著作权,均归属作者本人。若非作者注明,默认欢迎转载:请注明出处,及相关链接。

Summary: RustyHermit,基于 Rust 实现的下一代容器 Unikernel,和 Linux 主机系统相比,性能表现差别极小。由于映像直接包含 OS 内核,unikernel 可以直接在虚拟机中引导运行,并且不需要在 VM 中包含 Linux 内核,也不需要包含用户区的典型软件堆栈。unikernel 不提供传统意义上的系统调用,因为所有操作都是以内核的特殊级别运行的。通常,unikernel 中,通过系统调用完成的操作,是通过公共函数调用提供的。这些内核是在虚拟机中运行,这将应用程序与实际系统隔离开来。此外,利用通用编译器分析方法检查软件栈的完整性,甚至可以删除不需要的组件,减少应用程序的占用。

Topics: rust 虚拟化 unikernel rustyhermit linux virtualization

本文主要摘选自 stlankes 发表于 2021 年 3 月的文章 The RustyHermit Unikernel

RustyHermit,是一个 Unikernel 应用,它完全是由 Rust 开发的。Unikernel 是直接将内核作为库方式包含的应用程序映像,因此不需要安装操作系统(OS)。它们通常用于构建典型云应用,或者基础设施建设的核心虚拟化环境。

这篇文章是我们 Showcase 系列的一部分,在这里,我们展示了 Rust 操作系统生态系统中有趣的项目。如果您愿意,可以通过创建 PR 来添加您自己的项目。

虚拟化的设计体系

常见的虚拟化环境,是基于经典虚拟机的。在这种情况下,将模拟或虚拟化完整的机器,并在主机和来客户机上运行通用操作系统:

虚拟化环境设计

这项技术已经在 VMware、Hyper-V 等虚拟产品中得到了广泛应用。然而,它引入了额外的开销,特别是在内存消耗和性能方面。

通用虚拟机的另一种设计方法是:从操作系统级别虚拟化,其内核,允许存在多个独立的用户空间实例。这些孤立实例即称为容器。一个典型的代表是 LXC 或 Docker,与普通虚拟机相比,它的开销更小。但是,进程之间的隔离性较弱,可能提供的安全性较差。

Unikernel

通常只有一个应用程序,如 web 服务器,在容器或虚拟机中运行。在这种情况下,单核是一个很有吸引力的解决方案。内核作为静态库,提供并链接到应用程序。由于映像直接包含 OS 内核,unikernel 可以直接在虚拟机中引导运行,并且不需要在 VM 中包含 Linux 内核,也不需要包含用户区的典型软件堆栈。

unikernel 不提供传统意义上的系统调用,因为所有操作都是以内核的特殊级别运行的。通常,unikernel 中,通过系统调用完成的操作,是通过公共函数调用提供的。乍一看,这听起来比以前的方法更不安全。但是,这些内核是在虚拟机中运行,这将应用程序与实际系统隔离开来。此外,利用通用编译器分析方法检查软件栈的完整性,甚至可以删除不需要的组件,减少应用程序的占用。

unikernel

比较流行的 unikernel,是诸如 MirageOSUnikraft 这样的内核。其中 MirageOS 是用 OCaml 语言开发的,而 Unikraft 仍然是使用经典的 C 语言。与这些内核不同,RustyHermit 完全用 Rust 编写,以受益 Rust 的高性能和安全性。

RustyHermit

原则上,每个现有的 Rust 应用,都可以构建于 RustyHermit 之上。然而,unikernel 是一个单任务操作系统。因此,缺少对系统调用 fork,以及进程间通信的支持。此外,还缺少一个经典的 C 语言库,它通常用作操作系统的接口。目前,那些绕过标准运行时,并试图直接与操作系统通信的 Rust crate,需要做对应修改。然而,绝大部分应用程序并不依赖于这些特性,所以可在 RustyHermit 上正常运行。

性能

单核,意味着可以高度优化。例如,我们优化了 RustyHermit 的网络堆栈。RustyHermit 使用 smolcp 作为网络堆栈,smolcp 完全是用 Rust 编写的。作为客户机和主机操作系统之间的接口,我们使用 Virtio,Virtio 包含在 KVM 的准虚拟化驱动程序之中,被广泛用于虚拟化 Linux 环境。

下图比较了 Linux 和 RustyHermit 的性能,两者都作为 guest 用户,在基于 Linux 主机系统上的虚拟机中运行:

rustyhermit 性能

实例项目

注:如果要测试实例,请注意下述各自配置文件和配置细节。

为了完整演示一个构建 RustyHermit 应用的示例,让我们创建一个新的 cargo(中文文档)项目:

cargo new hello_world
cd hello_world

RustyHermit 目前需要 Rust 工具链的 nightly 版本。为了简化工作流程,我们建议按如下方式创建和配置工具链,以定义所需的组件,并测试 nightly 编译器的版本:

Rust 工具链的安装和配置,以及国内镜像,请参与参考文档:Rust 环境配置(Linux、macOS、Windows)配置 Rust 工具链的国内源

[toolchain]
channel = "nightly-2020-12-23"
components = [ "rustfmt", "rust-src", "llvm-tools-preview"]
targets = [ "x86_64-unknown-hermit" ]

配置文件指定所需的组件,以及要使用的 nightly 编译器的版本。

RustyHermit 的构建目标是 target x86_64-unknown-hermit,其是 Rust 支持平台的一部分,但是不属于第 1 层平台,所以我们需要做编译配置。在 .cargo/config 中配置:

[unstable]
build-std = ["std", "core", "alloc", "panic_abort"]

[build]
target = "x86_64-unknown-hermit"

为了将操作系统库绑定到应用程序,我们必须将 crate hermit-sys 添加到文件中的依赖项中。在 Cargo.toml 中配置:

# Cargo.toml

[target.'cfg(target_os = "hermit")'.dependencies]
hermit-sys = "0.1.*"
features = ["smoltcp"]

如果您的应用程序需要建立 TCP 连接,则需要 smoltcp crate。

此实例结果,是一个 64 位的可执行链接格式(ELF)。要在公共的虚拟机中启动此应用程序,需要一个加载程序,它初始化处理器,并启动应用程序。我们在 GitHub 上提供了一个简单的加载程序。注意 makefile,用于构建加载程序,是项目的一部分。之后,在 VM 中,Qemu 可用于启动 RustyHermit,如下所示:

qemu-system-x86_64 -display none -smp 1 -m 64M -serial stdio  -kernel path_to_loader/rusty-loader -initrd path_to_app/app -cpu qemu64,apic,fsgsbase,rdtscp,xsave,fxsr

为了提高性能,可以使用 KVM 进行处理器的虚拟化扩展。

路线图

将来,RustyHermit 计划稳定与硬件的接口。例如,Virtio-fs 的支持。此外,与 Rust 标准库的集成还没有最终确定……

此项目还是起步阶段,目前 github 星星数 240 左右。

谢谢您的阅读!


Related Articles

  1. [Rust] iRust.net:基于 Rust-Web 技术栈,及 image-rs、fluent-rs、rhai-script ……
  2. [WebAssembly] yew SSR 服务器端渲染
  3. [Rust] async-std 创建者对于最近“项目是否已死?”,移除对其支持等的答复
  4. [Rust] Rust 1.56.0 版本和 Rust 2021 版次发布,新特性一览,及项目的迁移、升级
  5. [WebAssembly] Rust 和 Wasm 的融合,使用 yew 构建 WebAssembly 博客应用的体验报告
  6. [Rust] Rust 官方周报 399 期(2021-07-14)
  7. [WebAssembly] Rust 和 Wasm 的融合,使用 yew 构建 web 前端(5)- 构建 HTTP 请求、与外部服务器通信的两种方法
  8. [Rust] Rust 官方周报 398 期(2021-07-07)
  9. [Rust] Rust 官方周报 397 期(2021-06-30)
  10. [Rust] Rust 官方周报 396 期(2021-06-23)
  11. [Rust] Rust 官方周报 395 期(2021-06-16)
  12. [Rust] Rust 1.53.0 明日发布,关键新特性一瞥
  13. [Rust] 使用 tide、handlebars、rhai、graphql 开发 Rust web 前端(3)- rhai 脚本、静态/资源文件、环境变量等
  14. [Rust] 使用 tide、handlebars、rhai、graphql 开发 Rust web 前端(2)- 获取并解析 GraphQL 数据
  15. [Rust] 使用 tide、handlebars、rhai、graphql 开发 Rust web 前端(1)- crate 选择及环境搭建
  16. [Rust] Rust 官方周报 394 期(2021-06-09)
  17. [Rust] Rust web 前端库/框架评测,以及和 js 前端库/框架的比较
  18. [WebAssembly] Rust 和 Wasm 的融合,使用 yew 构建 web 前端(4)- 获取 GraphQL 数据并解析
  19. [WebAssembly] Rust 和 Wasm 的融合,使用 yew 构建 web 前端(3)- 资源文件及小重构
  20. [WebAssembly] Rust 和 Wasm 的融合,使用 yew 构建 WebAssembly 标准的 web 前端(2)- 组件和路由
  21. [WebAssembly] Rust 和 Wasm 的融合,使用 yew 构建 WebAssembly 标准的 web 前端(1)- 起步及 crate 选择
  22. [Rust] Rust 官方周报 393 期(2021-06-02)
  23. [Rust] Rust 官方周报 392 期(2021-05-26)
  24. [Rust] Rust 中,对网址进行异步快照,并添加水印效果的实践
  25. [Rust] Rust 官方周报 391 期(2021-05-19)
  26. [Rust] Rust,风雨六载,砥砺奋进
  27. [Rust] 为什么我们应当将 Rust 用于嵌入式开发?
  28. [Rust] Rust 官方周报 390 期(2021-05-12)
  29. [Rust] Rust + Android 的集成开发设计
  30. [Rust] Rust 1.52.1 已正式发布,及其新特性详述
  31. [Rust] 让我们用 Rust 重写那些伟大的软件吧
  32. [Rust] Rust 1.52.0 已正式发布,及其新特性详述
  33. [Rust] Rust 官方周报 389 期(2021-05-05)
  34. [GraphQL] 基于 actix-web + async-graphql + rbatis + postgresql / mysql 构建异步 Rust GraphQL 服务(4) - 变更服务,以及小重构
  35. [Rust] Rust 1.52.0 稳定版预发布测试中,关键新特性一瞥
  36. [Rust] Rust 生态中,最不知名的贡献者和轶事
  37. [Rust] Rust 基金会迎来新的白金会员:Facebook
  38. [Rust] Rustup 1.24.1 已官宣发布,及其新特性详述
  39. [Rust] Rust 官方周报 388 期(2021-04-28)
  40. [Rust] Rust 官方周报 387 期(2021-04-21)
  41. [GraphQL] 构建 Rust 异步 GraphQL 服务:基于 tide + async-graphql + mongodb(4)- 变更服务,以及第二次重构
  42. [Rust] Rustup 1.24.0 已官宣发布,及其新特性详述
  43. [Rust] basedrop:Rust 生态中,适用于实时音频的垃圾收集器
  44. [Rust] Rust 编译器团队对成员 Aaron Hill 的祝贺
  45. [Rust] Jacob Hoffman-Andrews 加入 Rustdoc 团队
  46. [机器人] 为什么应将 Rust 引入机器人平台?以及机器人平台的 Rust 资源推荐
  47. [Rust] rust-lang.org、crates.io,以及 docs.rs 的管理,已由 Mozilla 转移到 Rust 基金会
  48. [Rust] Rust 官方周报 386 期(2021-04-14)
  49. [Rust] Rust 编译器(Compiler)团队 4 月份计划 - Rust Compiler April Steering Cycle
  50. [GraphQL] 基于 actix-web + async-graphql + rbatis + postgresql / mysql 构建异步 Rust GraphQL 服务(3) - 重构
  51. [Rust] 头脑风暴进行中:Async Rust 的未来熠熠生辉
  52. [GraphQL] 基于 actix-web + async-graphql + rbatis + postgresql / mysql 构建异步 Rust GraphQL 服务(2) - 查询服务
  53. [GraphQL] 基于 actix-web + async-graphql + rbatis + postgresql / mysql 构建异步 Rust GraphQL 服务 - 起步及 crate 选择
  54. [Rust] Rust 2021 版本特性预览,以及工作计划
  55. [Rust] Rust 用在生产环境的 42 家公司
  56. [Rust] 构建最精简的 Rust Docker 镜像
  57. [Rust] Rust 官方周报 385 期(2021-04-07)
  58. [Rust] 使用 Rust 做异步数据采集的实践
  59. [Rust] Android 支持 Rust 编程语言,以避免内存缺陷
  60. [Rust] Android 平台基础支持转向 Rust
  61. [Rust] Android 团队宣布 Android 开源项目(AOSP),已支持 Rust 语言来开发 Android 系统本身
  62. [Rust] RustyHermit——基于 Rust 实现的下一代容器 Unikernel
  63. [Rust] Rustic:完善的纯粹 Rust 技术栈实现的国际象棋引擎,多平台支持(甚至包括嵌入式设备树莓派 Raspberry Pi、Buster)
  64. [Rust] Rust 迭代器(Iterator trait )的要诀和技巧
  65. [Rust] 使用 Rust 极致提升 Python 性能:图表和绘图提升 24 倍,数据计算提升 10 倍
  66. [Rust] 【2021-04-03】Rust 核心团队人员变动
  67. [Rust] Rust web 框架现状【2021 年 1 季度】
  68. [Rust] Rust 官方周报 384 期(2021-03-31)
  69. [Rust] Rust 中的解析器组合因子(parser combinators)
  70. [生活] 毕马威(KPMG)调查报告:人工智能的实际采用,在新冠疫情(COVID-19)期间大幅提升
  71. [Python] HPy - 为 Python 扩展提供更优秀的 C API
  72. [Rust] 2021 年,学习 Rust 的网络资源推荐(2)
  73. [Rust] 2021 年,学习 Rust 的网络资源推荐
  74. [生活] 况属高风晚,山山黄叶飞——彭州葛仙山露营随笔
  75. [Rust] Rust 1.51.0 已正式发布,及其新特性详述
  76. [Rust] 为 Async Rust 构建共享的愿景文档—— Rust 社区的讲“故事”,可获奖
  77. [Rust] Rust 纪元第 382 周最佳 crate:ibig 的实践,以及和 num crate 的比较
  78. [Rust] Rust 1.51.0 稳定版本改进介绍
  79. [Rust] Rust 中将 markdown 渲染为 html
  80. [生活] 国民应用 App 的用户隐私数据窥探
  81. [GraphQL] 构建 Rust 异步 GraphQL 服务:基于 tide + async-graphql + mongodb(3)- 重构
  82. [GraphQL] 构建 Rust 异步 GraphQL 服务:基于 tide + async-graphql + mongodb(2)- 查询服务
  83. [GraphQL] 构建 Rust 异步 GraphQL 服务:基于 tide + async-graphql + mongodb(1)- 起步及 crate 选择
  84. [Rust] Rust 操控大疆可编程 tello 无人机

Topics

rust(84)

graphql(17)

rust-官方周报(17)

webassembly(16)

wasm(10)

tide(9)

async-graphql(9)

yew(9)

rust-web(8)

rust-官方博客(8)

this-week-in-rust(6)

mysql(5)

actix-web(5)

rbatis(5)

android(4)

mongodb(3)

json-web-token(3)

jwt(3)

cargo(3)

技术延伸(3)

rust-wasm(3)

trunk(3)

handlebars(3)

rhai(3)

async-std(3)

用户隐私(2)

学习资料(2)

python(2)

ai(2)

人工智能(2)

postgresql(2)

rust-compiler(2)

rust-基金会(2)

rust-foundation(2)

rustup(2)

rust-toolchain(2)

rust-工具链(2)

rust-游戏开发(2)

rust-区块链(2)

rust-2021(2)

graphql-client(2)

surf(2)

rust-game(2)

rusthub(2)

tello(1)

drone(1)

无人机(1)

隐私数据(1)

markdown(1)

html(1)

crate(1)

async(1)

异步(1)

旅游(1)

不忘生活(1)

葛仙山(1)

hpy(1)

python-扩展(1)

正则表达式(1)

解析器组合因子(1)

组合器(1)

regular-expression(1)

parser-combinator(1)

regex(1)

官方更新(1)

rust-工作招聘(1)

rust-技术资料(1)

rust-周最佳-crate(1)

rust-web-框架(1)

rust-web-framework(1)

rust-核心团队(1)

rust-core-team(1)

rust-language-team(1)

pyo3(1)

rust-python-集成(1)

python-性能改进(1)

迭代器(1)

iterator-trait(1)

国际象棋(1)

chess(1)

游戏引擎(1)

game-engine(1)

虚拟化(1)

unikernel(1)

rustyhermit(1)

linux(1)

virtualization(1)

sandboxing(1)

沙箱技术(1)

数据采集(1)

异步数据采集(1)

docker(1)

镜像(1)

生产环境(1)

rust-评价(1)

rust-2021-edition(1)

rust-2021-版本(1)

graphql-查询(1)

vision-doc(1)

愿景文档(1)

代码重构(1)

steering-cycle(1)

方向周期(1)

隐私声明(1)

机器人(1)

robotics(1)

rustdoc(1)

rust-编译器(1)

实时音频(1)

real-time-audio(1)

变更服务(1)

mutation(1)

查询服务(1)

query(1)

rust-贡献者(1)

rust-轶事(1)

rust-稳定版(1)

rust-预发布(1)

rust-测试(1)

安全编程(1)

可信计算(1)

安全代码(1)

secure-code(1)

rust-android-integrate(1)

rust-embedded(1)

rust-嵌入式(1)

rust-生产环境(1)

rust-production(1)

网页快照(1)

网页截图(1)

水印效果(1)

图片水印(1)

yew-router(1)

css(1)

web-前端(1)

wasm-bindgen(1)

区块链(1)

blockchain(1)

dotenv(1)

标识符(1)

rust-1.53.0(1)

rust-1.56.0(1)

rust-项目升级(1)

异步运行时(1)

ssr(1)

tokio(1)

warp(1)

reqwest(1)

graphql-rust(1)


Elsewhere

- Open Source
  1. github/zzy
  2. github/sansx
- Learning & Studying
  1. Rust 学习资料 - iRust.net