概念、阅读资料与活动

🧭 背景概念

• 2024-06-13：2024 ACM SIGMOD 国际数据管理大会：Apache Arrow DataFusion：一个快速、可嵌入、模块化的分析型查询引擎 - 下载、演讲视频、幻灯片、录像
• 2024-06-07：视频：SIGMOD 2024 实践专场：Apache Arrow DataFusion——一个快速、可嵌入、模块化的分析型查询引擎 - 幻灯片
• 2023-04-05：视频：DataFusion 架构第三部分：物理计划与执行 - 幻灯片
• 2023-04-04：视频：DataFusion 架构第二部分：逻辑计划与表达式 - 幻灯片
• 2023-03-31：视频：DataFusion 架构第一部分：查询引擎 - 幻灯片
• 2020-02-27：在线书籍：查询引擎是如何工作的

✨ 优质阅读

这里汇总了与 DataFusion 相关的博客文章、论文及其他资源。如果你创建或发现了新的资源，欢迎提交 PR 补充。

• 2026-07-29 博客：将 DuckLake 引入 DataFusion
• 2026-07-20 博客：为近乎有序的数据做优化：Apache DataFusion 中的排序下推
• 2026-06-03 博客：与 Comet 社区合作两个月，我们的 Spark 负载在 Amazon EKS 上表现如何
• 2026-05-28 博客：为开源项目编写 Agent Skills：来自 DataFusion Python 的经验教训
• 2026-05-24 博客：使用 Rust 运行时构建可组合的查询引擎
• 2026-05-23 博客：单节点数据工程：DuckDB、DataFusion、Polars 与 LakeSail
• 2026-04-10 博客：DataFusion 与解构化数据系统的崛起
• 2026-03-31 博客：在 Apache DataFusion 中编写自定义表提供者
• 2026-03-20 博客：将 LIMIT 变为 I/O 优化：深入 DataFusion 的多层剪枝栈
• 2026-02-23 博客：Apache DataFusion：数据工程师了解这一重塑数据系统构建方式的查询引擎的指南
• 2026-02-09 博客：仅使用 Parquet 和 DataFusion 实现向量搜索
• 2026-02-02 博客：优化 SQL CASE 表达式求值
• 2026-01-12 博客：扩展 DataFusion 中的 SQL：从 ->> 到 TABLESAMPLE
• 2025-12-15 博客：优化 DataFusion 中的重分区：我如何从数据库新手成长为做出核心贡献
• 2025-12-09 博客：Apache DataFusion：驱动下一代数据系统的隐形引擎
• 2025-09-21 博客：在 DataFusion 中实现用户自定义类型与自定义元数据
• 2025-09-10 博客：动态过滤器：在执行期间于算子之间传递信息，让查询快 25 倍
• 2025-08-15 博客：使用外部索引、元数据存储、目录与缓存加速 Apache Parquet 上的查询
• 2025-07-22 博客：为什么初创公司全都押注 Apache DataFusion
• 2025-07-14 博客：在 Apache Parquet 文件中嵌入用户自定义索引
• 2025-06-30 博客：使用 Rust 异步机制执行查询并取消长时间运行的查询
• 2025-06-15 博客：在 DataFusion 中优化 SQL（以及 DataFrame），第 1 部分：查询优化概览
• 2025-06-15 博客：在 DataFusion 中优化 SQL（以及 DataFrame），第 2 部分：Apache DataFusion 中的优化器
• 2025-04-19 博客：DataFusion 中的用户自定义窗口函数
• 2025-04-10 博客：tpchgen-rs——全球最快的开源 TPC-H 数据生成器，使用 Rust 编写
• 2025-03-11 博客：在 Apache DataFusion 中利用排序信息获得更优计划
• 2024-05-07 博客：宣布 Apache Arrow DataFusion 正式更名为 Apache DataFusion
• 2024-03-06 博客：宣布 Apache Arrow DataFusion Comet
• 2025-03-21 博客：Parquet 中的高效过滤下推
• 2025-03-20 博客：DataFusion 中的 Parquet 剪枝：只读取有用的数据
• 2024-11-22 博客：Apache DataFusion Comet 以及我首次为其贡献代码的故事
• 2024-11-21 博客：DataFusion 入选 CRN 评出的十大最酷开源软件工具
• 2024-11-20 博客：Apache DataFusion Comet 0.4.0 版本发布
• 2024-11-19 博客：使用 Python 比较 Apache DataFusion 中实现用户自定义函数的几种方式
• 2024-11-18 博客：Apache DataFusion 成为查询 Apache Parquet 文件速度最快的单节点引擎
• 2024-11-18 [博客：一个周末

🎥 视频

• 2026-04-04 视频：ParadeDB 中的通用共识与原生 Top-K 连接

• 2026-03-24 播客：DataFusion 的秘密，以及自定义查询引擎为何失败——与 Nikita Lapkov 对谈

• 2025-02-12 视频：Alex Kesling 谈 Apache Arrow DataFusion - Papers We Love NYC

• 2025-01-30 视频：Data & Drinks：使用 Apache DataFusion 构建下一代数据系统

• 2024-10-29 视频：MiDAS 2024 秋季研讨会——Andrew Lamb 演讲“Apache DataFusion”

• 2024-09-23 → 2024-12-02 演讲：卡内基梅隆大学：数据库构建模块研讨会系列 - 2024 年秋季

• 2024-11-12 视频：使用 FDAP 技术栈构建 InfluxDB 3.0：Apache Flight、DataFusion、Arrow 与 Parquet（Paul Dix）

• 2024-11-04 视频：Synnada：迈向“统一”的计算引擎：机遇与挑战（Mehmet Ozan Kabak）

• 2024-10-28 视频：Exon：一个专为用途构建的生物信息学数据库（Trent Hauck）

• 2024-10-21 视频：用 Spice.ai 开源软件加速数据与 AI（Luke Kim）

• 2024-10-07 视频：ParadeDB – 面向搜索与分析的 Postgres（Philippe Noël）

• 2024-09-30 视频：用 Apache DataFusion Comet 加速 Apache Spark 工作负载（Andy Grove）

• 2024-09-23 视频：Apache Arrow DataFusion：快速、可嵌入、模块化的分析查询引擎（Andrew Lamb）

• 2024-09-17 视频：使用 flamegraph 对 Apache DataFusion 进行性能分析

• 2024-08-15 视频：借助 StringView 让 DataFusion 更快 - Xiangpeng Hao（2024 年 8 月 15 日）

• 2024-04-06 视频：使用 Apache Arrow 用 Rust 挑战十亿行数据

• 2024-03-20 视频：使用 Instruments 对 DataFusion 进行性能分析（Mac OSx 上 XCode 的组成部分）

• 2023-05-25 视频：D3L2：与 Andy Grove 讨论 Rust、Ballista、Ray SQL、Data Fusion

• 2022-05-23 视频：Data Thread 2022：Apache Arrow 与 DataFusion - 幻灯片

• 2021-03-10 视频：InfluxData 技术分享：查询引擎设计与 Apache Arrow 中基于 Rust 的 DataFusion - 幻灯片

📅 发布说明与更新

• 2026-08-09 Apache DataFusion Ballista 54.1.0 发布
• 2026-08-07 Apache DataFusion Comet 1.0.0 发布
• 2026-07-12 Apache DataFusion Ballista 54.0.0 发布
• 2026-06-20 Apache DataFusion Comet 0.17.0 发布
• 2026-06-12 Apache DataFusion 54.0.0 发布
• 2026-05-26 Apache DataFusion Java 0.1.0 介绍
• 2026-05-24 Apache DataFusion Ballista 53.0.0 发布
• 2026-05-07 Apache DataFusion Comet 0.16.0 发布
• 2026-04-18 Apache DataFusion Comet 0.15.0 发布
• 2026-04-02 Apache DataFusion 53.0.0 发布
• 2026-03-18 Apache DataFusion Comet 0.14.0 发布
• 2026-01-30 Apache DataFusion Comet 0.13.0 发布
• 2026-01-12 Apache DataFusion 52.0.0 发布
• 更早的发布公告可以在 Apache DataFusion 博客中找到。

🎥 社区展示

DataFusion 社区展示是一项定期举行的线上活动，社区成员在此分享他们使用 DataFusion 构建的项目。

• 2026-08-06 第 3 期：ASAPQuery（Milind Srivastava）与 Streamling（Yaroslav Tkachenko）
• 2026-07-23 第 2 期：DataFusion Comet（Jordan Epstein）与 DataFusion Ballista（Phillip LeBlanc）
• 2026-07-09 第 1 期：SedonaDB（Dewey Dunnington）与 Xarray-SQL（Alex Merose）

🌎 社区活动

• 2026-09-30 伦敦 Apache DataFusion Meetup - 报名
• 2026-09-03 波士顿 Apache DataFusion Meetup - 报名
• 2026-08-13 旧金山 Apache DataFusion Meetup - 报名
• 2026-07-22 丹佛 Apache DataFusion Meetup - 报名
• 2026-06-28 上海 Apache DataFusion Meetup - 报名、LinkedIn
• 2026-05-12 纽约市 Apache DataFusion Meetup - 报名
• 2026-05-11 旧金山 Apache DataFusion Meetup - 报名
• 2026-04-23 西雅图 Apache DataFusion Meetup - 报名
• 2026-04-22 波特兰 Apache DataFusion Meetup - 报名
• 2026-03-05 斯德哥尔摩 Apache DataFusion Meetup - 报名、录像
• 2026-02-19 旧金山 Apache DataFusion Meetup - 报名、录像
• 2025-11-12 波士顿 Apache DataFusion Meetup - 录像、幻灯片
• 2025-09-15 纽约市 Apache DataFusion Meetup - 报名、录像
• 2025-01-23 阿姆斯特丹 Apache DataFusion Meetup - 幻灯片
• 2025-01-22 Datadog Apache DataFusion 社区会议 - 录像
• 2025-01-15 波士顿 Apache DataFusion Meetup - 幻灯片
• 2024-12-18 芝加哥 Apache DataFusion Meetup - 幻灯片、录像
• 2024-10-14 西雅图 Apache DataFusion Meetup
• 2024-09-27 贝尔格莱德 Apache DataFusion Meetup - 回顾、幻灯片、录像
• 2024-06-26 纽约市 Apache DataFusion Meetup - 幻灯片
• 2024-06-25 旧金山湾区 Apache DataFusion Meetup - 幻灯片、录像
• 2024-03-27 奥斯汀 Apache DataFusion Meetup - 幻灯片、录像