Newshot

我如何将 Postgres 打包进单个二进制文件

Translation(model translation, not the source's own text)

我是如何把 Postgres 塞进单个二进制的

题图
题图

SQLite,但是 Postgres

SQLite 是我最喜欢的数据库技术之一。它是一个完整的 SQL 数据库,被设计成可嵌入的库,所有数据都存放在单个文件中。sqlite3 命令行工具也很棒。你把它指向一个文件,然后运行查询。不需要运行服务器。

另一端则是 Postgres。它是最强大的通用 SQL 数据库,在大规模生产环境中备受信任,某种程度上已是行业标准。随之而来的是复杂性,首先就是它是客户端-服务器架构。

对于需要数据库但不打算大规模部署在云端的软件来说,SQLite 是天然的选择:桌面应用、自托管工具、你在本地运行的东西。这些应用可以使用 SQLite 并自行管理它,你几乎感觉不到有数据库的存在。

所以,当你找到一款想在自己电脑上运行的自托管开源软件,而它说需要 Postgres 时,这会让人望而生畏。现在你要负责搭建一个数据库,并把它准备好供软件使用。

当然,你可以在 Docker 里运行 Postgres,很多项目也推荐这么做。但这样一来你有了两个依赖。如果你还没装 Docker,就得先安装它,这可能意味着要在你的机器上跑一个 VM 和一个守护进程。然后你还得在里面运行 Postgres,并确保每次使用该软件时它都在运行。仅仅为了尝试一个你还不确定是否想要的东西,这代价太大了。

如果能拥有 SQLite 般的体验,但用的是 Postgres,那该多好?

这就是 miniPG 。它并不是把 Postgres 做成库。已经有一个 WASM 项目做这件事了,名字取得很贴切,叫 PGlite。miniPG 更接近 SQLite CLI:一个单一程序,内嵌了完整的 Postgres 服务器和客户端,封装好之后你可以像用 sqlite3 那样使用它。把它指向一个路径,该路径就成了数据库,你可以立刻对它运行查询。不需要搭建或维持任何服务器。

现在,跳进一个新的 Postgres 数据库去尝试某个东西或调试它,比在 Docker 容器里用 Postgres 更容易,而且你完全不需要 Docker。同时 miniPG 仍然为需要服务器的软件提供一个功能完整的 Postgres 服务器。很多情况下,你可以直接用 miniPG 启动一个从环境变量中读取其 Postgres 配置的开源程序。

30 秒了解 miniPG

miniPG 以单个自包含可执行文件的形式提供。你只需把它指向一个目录并运行查询。无需启动服务器,无需任何配置,结果立刻返回。


        minipg ./mydb "create table notes (id serial, body text)"
minipg ./mydb "insert into notes (body) values ('hello')"
minipg ./mydb "select * from notes"
      

那个目录就是数据库。当没有东西使用它时,它就只是磁盘上的文件。你可以复制它、备份它或删除它。

这实际上是真正的 Postgres,不是兼容层,而且这个二进制可以编译到 Mac、Windows 和 Linux。

当某些软件期望一个 Postgres 服务器时,miniPG 可以充当:


        minipg serve ./mydb -p 5432
      

就像我之前提到的,它甚至可以用环境变量启动程序,将其配置为使用这个 Postgres 数据库:


        minipg run ./mydb -- some-tool
      

当程序终止时,不会有数据库守护进程残留下来或需要你记得去停止。只有数据本身保留在磁盘上,随时可供下次使用。

获取它的说明甚至一个交互式演示都可以在 miniPG 网站上找到 。

它是给谁用的?

做软件的人,从开发者到开源重度用户,还有 agent,都可以在原本会用 SQLite 但需要 Postgres 的时候使用 miniPG。

  • 运行只支持 Postgres 的软件。这正是让我开始做这件事的原因。自托管一个工具不应总是意味着要先运营一个数据库服务器。

文章标题:我是如何把 Postgres 塞进一个单一二进制文件的

正文:

  • 把 Postgres 嵌入到你自己的程序中。如果你的工具需要 Postgres,而 PGlite 又不够用,你可以打包并使用 miniPG。不在意的用户根本无需考虑它的存在,而想要掌控的用户可以像使用 sqlite3 一样用它来处理自己的数据。
  • 需要 Postgres 特性的 SQLite 风格应用。JSONB、全文搜索、窗口函数,以及 pgvector 或 PostGIS 这类扩展。Postgres 能做的事情比 SQLite 多得多,但以前往往不值得为此引入这个依赖。
  • 学习和试验 Postgres。没有服务器,没有配置。指向一个目录,然后开始输入 SQL。
  • 测试、本地开发和 agent。每个测试用一个用完即弃的数据库,或者用你在生产环境运行的那个数据库的本地副本,无需 Docker。Agent 可以为某项任务启动一个真正的 Postgres,做完之后直接丢弃。

这确实让 Postgres 在以前不适用的场景中变得更加可行。我很想听听我还没想到的用例。

嵌入真正的 Postgres

miniPG 是多次尝试把真正的 Postgres 嵌入一个独立、跨平台二进制文件的结果。

尝试 1:PGlite

显而易见,起点是 PGlite。名字说明了一切,某种意义上它也确实做到了:它是编译成 WebAssembly 的 Postgres。在 Go 中,你可以用 wazero 运行时加载该模块,在你的程序里运行 Postgres,然后让你的应用连接到它。这非常接近 SQLite 库的使用体验。

Brad Fitzpatrick 甚至做了一个概念验证,让 PGlite 可以作为标准 Go SQL 包的驱动使用。

问题在于,PGlite 只支持单个连接和单个会话。为真正的 Postgres 服务器编写的软件通常假定自己可以有更多连接。一个常见的模式是:先开启一个事务,然后在提交之前通过另一个独立连接发起另一个查询。由于只有一个连接,第二个查询就会等待一个正在等待它的事务。我试图运行的应用发生了死锁。

尝试 2:webview 中的虚拟机

如果我需要真正的 Postgres,我可以在一个可嵌入的虚拟机中运行真正的 Postgres。我偏爱用 webview 作为可移植的容器,于是我在其中运行了 v86 —— 一个面向浏览器的 x86 模拟器 —— 并在里面启动了一个完整的 Postgres 服务器。

剩下就是管线连接的工作。无头 webview 会向宿主程序打开一个 WebSocket 回连。Postgres 连接通过它进行隧道传输,Postgres 将数据写入通过同一 socket 提供的挂载点。这种方法的好处是,无论宿主程序运行在哪个平台上,Postgres 始终是运行在同一个虚拟机中的同一个构建版本。

我甚至为此构建了 webframe,一个用于无头运行原生系统 webview 的库和 CLI。

结果是一个我称之为 postgres-standalone 的概念验证:一个二进制文件,任何平台,给它一个端口和一个数据目录,你就得到一个完整的 Postgres 服务器。它成功了!

然而,它也比原生慢了一个数量级。浏览器中的 WebAssembly 中的虚拟机中的 Postgres。初始化和检查一个数据库需要一段时间。最好的情况下,在我的 M3 MacBook 上,它需要 7 秒才开始接受连接。

我已经为 SQLite 风格的 CLI 写了一份设计文档:给它一个目录,运行一个查询,没有需要运行的服务器。然而在这个技术栈上,每个 SELECT * 都会先在那里坐上 7 秒。这毁掉了体验,所以我不得不把它搁置。我已经证明了可嵌入的 Postgres 是可行的,只是不够令人愉快。

尝试 3:Hyper9

后来,因为一些不相关的原因,我构建了 Hyper9 。受系统 API 翻译的启发 —— Wine 和 Valve 的 Proton 正是建立在这一方法之上 —— 并结合一种使用 hypervisor 的独特方式,Hyper9 让你能在所有平台上以接近原生的速度运行 Plan 9 可执行文件。

我很快会发布更多关于 Plan 9 的内容,但借助一点额外的魔法,我能够在所有平台上以接近原生的速度、隔离地运行同样的 Postgres。这实际上与上一次尝试的思路相同,只是现在没有了性能损失。

文章标题:我如何把 Postgres 塞进单个二进制文件

启动时间从 7 秒降到 800ms。于是我把设计文档翻出来,把它实现了出来。PGlite 这个名字已被占用,所以 postgres-standalone 就叫了 miniPG。

它不是什么

miniPG 不是真正的 Postgres 部署的替代品。如果你在云端运行、使用副本,或者通过大量连接服务许多用户,请按常规方式使用 Postgres。

miniPG 面向本地、单用户的程序:也就是 SQLite 能派上用场、但你需要 Postgres 的那些场景。

话虽如此,尽管去试试看你能把它推到什么程度!

试用

我非常想看看 miniPG 在真实环境中的表现,尤其是在不同平台和架构上。请试用一下,并告诉我哪里出了问题。

如果这能成立,它就验证了一个远远超出 Postgres 的模式:把复杂的系统打包成单个二进制文件,服务于更具体的用例。这是我觉得最令人兴奋的部分,也是 Hyper9 带来的众多新可能性之一。

miniPG on GitHub

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Lobsters
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗