Translation(model translation, not the source's own text)
indexed_bzip2 2.0.0
选择一个标签进行比较
抱歉,出了点问题。
哎呀!
加载时出错。请重新加载此页面。
未找到结果
2.0.0 版本,构建于 2026-11-18
本次大版本发布引入了一些小的 Python 包装器 API 破坏性变更,相比 1.7.0 根据数据集和线程数带来了 2-8 倍的性能提升,并且是首个使用 AI 辅助的版本。
图表中包含 indexed_bzip2/ibzip2 1.7.0/2.0.0、GNU bzip2、许多其他新旧 bzip2 解压器,甚至还有 GNU gzip 和 igzip 作为对比,测量数据基于对数据集重新压缩后的 gzip 版本。在高压缩比数据上,indexed_bzip2 比 GNU gzip 快得多。对于低压缩比,例如 FASTQ 数据或 Silesia,它大致与 GNU gzip 持平,但远慢于 igzip。



完整基准测试可在此处查看
关于本次发布的类博客文章可在此处查看
特性
- 为 ibzip2 CLI 添加并行 bzip2 压缩。
- 为 ibzip2 CLI 添加 --count、--count-lines、byte --ranges 以及 --import-index/--export-index。
- 在解码和压缩过程中通过 -L/--export-index 流式输出 bzip2 块偏移索引。--list-offsets 仍作为别名保留以保持兼容性。压缩端的扫描基于内存中的块进行,因此也支持将压缩数据写入 stdout。空流会得到一个 EOS 加哨兵的索引,而无法推导出内部块偏移的块会被拒绝,而不是写入不完整的索引。
- 为 IndexedBzip2File 添加 import_index 和 export_index,用于纯文本 bzip2 块偏移索引。
性能
- 跨块复用 bzip2 块解码器状态和 BlockData 缓冲区(单核 1.01x,P4 上 text64 1.03x)。
- 使用交错链而非 libsais 解码游程记录并反转 BWT(Silesia 单核 1.32x,Huffman 0.74 s -> 0.64 s,逆 BWT 0.64 s -> 0.41 s)。
- 将八遍字节移位 std::string_view::find 块魔术搜索替换为单次字/SIMD 扫描,并在运行时分派到可移植、SSE2、AVX2 或 AVX-512 内核(缓存驻留数据上查找器带宽约 2x,64 MiB 上 1.5x)。
- 添加 SSE4.1、AVX2 和 AVX-512 符号解码内核,根据 Huffman 码长逐块选择(Silesia 1.23x,text64 单核 1.26x)。
- 在运行时将 last-to-first 映射构建器分派到 AVX2 或 AVX-512,使预构建的 wheel 在支持的 x86 CPU 上使用更宽的存储。
- 打包 Huffman LUT 条目和 MTF 列表(文本解码 1.07x)。
- 使 MTF 更新无分支(base64 解码 1.28x)。
- 使用 slicing-by-N 表计算 bzip2 CRC,并在可用时使用 PCLMUL/VPCLMULQDQ(常量数据上 4.2x,RLE 边界数据上 2.9-3.0x,高压缩比文件上 1.9x)。
- 按精确解码大小分配并行 bzip2 块并预取最后一个块(八个物理核心下,常量数据 3.1x,RLE 边界数据 4.0x)。
- 在 MTF 更新之前提前解码下一个 Huffman 符号(文本、DNA 和随机数据上 1.05-1.10x)。
- 在 ARM 上为 bzip2 MTF 和 RLE 展开、符号内核以及 last-to-first 映射构建器使用 NEON。
- 以 64 KiB 块解码顺序读取器,增量输出 RLE1 游程,用一次字写入存储短游程,并添加 64 字节 AVX-512 RLE 扫描。
文章标题:Show HN: Indexed_bzip2 2.0 – 我用 AI 让 bzip2 解压速度提升 4 倍
正文:
- 将块解码器状态保留在工作线程栈之外,避免零初始化并复用每个块的 BWT 缓冲区,并在工作线程中解析下一个块头。
- 避免 RawIOBase.readall 的 8 KiB 分块以及 Python 包装器中的重新分配。
- 修复每次调用读取少于块大小时反复读取导致的性能回退。
- 自动 ibzip2 并行化使用物理核心数,因为超过该数量后扩展性不佳。
修复
- 当未压缩大小尚不可知时,IndexedBzip2File.size() 返回 None 而不是返回 0。
- 使 ibzip2 --test 无需同时传递 --decompress 即可工作。
- 在 ibzip2 中遵循请求的块查找器并行度,并在 --test 与输出路径组合时保留显式输出。
- 在 32 位构建上启用 64 位文件偏移,以便可以读取和索引大于 2/4 GiB 的文件。
- 拒绝溢出块大小的 bzip2 运行长度以及具有空符号映射的数据块。
- 区分空 bzip2 流与截断的 bzip2 流,并在并行读取器中验证 bzip2 流 CRC。在非可寻址输入上,完整 EOS 之后立即接受 EOF,而不是将下一个流报告为截断。
- 在首次读取之前,从 ParallelBZ2Reader::tellCompressed 报告零压缩偏移。
- 解码串联的 bzip2 流,并在解码时验证导入索引的 CRC。
- 拒绝导入的 bzip2 块索引,其最后块偏移不完整、其解码块大小与数据不一致,或仅覆盖串联文件的第一个流。
- 共享来自 rapidgzip 核心的文件读取器和核心修复,包括 BufferedFileReader 的寻址和缓存行为、非可寻址流大小、空缓冲区跳过、越界 BufferViewFileReader 寻址,以及在 clear() 中重置驱逐策略。
- 修复从 Python 文件类对象读取返回的数据多于请求量的问题,并要求 Python readinto 使用可写的 C 连续缓冲区。
- 支持没有 fileno 的非可寻址 Python 文件对象,在检测输入类型时保持调用方拥有的文件描述符打开,释放回调引用,传播来自文件类对象的 Python 异常,使读取器构造和关闭异常安全,并在加入块查找器时释放 GIL。
- 在独立读取器和并行读取器中接受路径类和字节对象作为文件名。
- 修复在无法确定文件大小时写入 /dev/null 的问题。
- 在 ibzip2 CLI 中将 - 视为 stdin 或 stdout,并避免仅为打印详细范围信息而解码整个输入。
- 重试被中断的写入,并避免非可寻址输入丢失读取器线程唤醒。在扫描块魔数之前检查压缩器块长度,并将打包 MTF NEON 路径限制为小端目标。
- 在更新块查找器之前验证并行 bzip2 块偏移,拒绝无效 Huffman 码和块选择器并给出描述性错误,并且不要求解码块在下一个候选之前结束。
- 修复块零预取,在共享块获取器中保持重新抛出的工作线程异常存活,并在加入线程后保持并行读取器可用。
- 将非可寻址空输入报告为 EOF,拒绝省略第一个数据块的导入索引,并在寻址回起点后验证流 CRC。
- 传播来自 Python 文件类对象的缓冲区获取失败和转换错误,并在启动工作线程之前验证请求的并行度。
API
- 将仍为 size_t 的文件、位、块和块偏移拓宽为 64 位。块查找器现在返回 std::optional<uint64_t> 而不是使用 std::numeric_limits::max() 哨兵值,压缩块偏移回调采用 64 位偏移。
- 使用 FileOrPath、IndexFile 和 WritableBuffer 别名为 Python 包装器添加类型注解。
- 从 Python 读取器中移除 fileno 方法。
二进制文件
所提供的二进制文件是静态构建的,因此应当能在过去 10 年内发布的大多数系统上运行,且无需额外依赖。这些软件包二进制文件可以直接下载、解压并执行。二进制文件包含一个类似于 bzip2 的命令行界面。例如,参见 ibzip2 --help
或者,也可以使用 eget 和 ubi 等安装辅助工具。
- eget --to="$HOME/.local/bin/" mxmlnkn/librapidarchive 或 eget --pre-release mxmlnkn/librapidarchive
- ubi -i "$HOME/.local/bin/" -p mxmlnkn/librapidarchive(似乎不适用于预发布版本)