为什么 Netflix 和 Apple 选择了 Rust、PostgreSQL 和 Iceberg 构建他们的数据栈？

特性改变，集成演进着，原则永恒。(作者原创图片)

_> “我们已经看到了现代数据架构构建方式的结构性转变。”

从领英到苹果，从奈飞到腾讯，当今领先的科技公司都在汇聚到一些共同的技术上，来管理它们不断增长的实时数据流。这些选择并非随机——它们反映了我们在构建大规模、开放和灵活的系统方面更深层次的变化。

本文将解释为什么像 Rust 、 PostgreSQL 、 S3 和 Apache Iceberg 这样的技术正在悄悄成为现代数据栈的新基石——以及我们如何在 RisingWave 中整合这些技术，RisingWave 是一个下一代云端原生流数据库。

Rust已经成为系统程序员的最爱——确实有原因。

• 最受欢迎的语言（83%）——Stack Overflow 2024
• 每天在crates.io的下载量为42,712次
• 活跃的社区：r/rust（三十二万二千），r/learnrust（三万一千），r/rust_gamedev（四万一千）
• 被AWS、Dropbox、Cloudflare等公司和许多数据库供应商采用

Rust的安全保障和零成本抽象技术使得它非常适合高性能、并发和可扩展的系统，比如现代流媒体引擎。

Rust：增长、采用和社区势头。(作者创作的图片)

PostgreSQL 已从一个可靠的 OLTP（联机事务处理）数据库发展成为今天数据基础设施的基础之一。

• 年度数据库管理系统（DB-Engines 2024）
• 被48.7%的开发者使用(Stack Overflow 2024)
• 兼容Spark、Flink、dbt及BI仪表板
• 新型数据库（如TimescaleDB和RisingWave）的核心接口

由于其丰富的生态系统和长期稳定的特性，它已经成为许多现代数据平台默认使用的SQL层。

PostgreSQL：年度数据库管理系统（DBMS）（2024）——连续三年获奖。（作者自创图片）

Amazon S3不仅仅是一个存储服务，它更是一个平台。

• 存储350万亿个对象
• 每秒处理超过1亿次请求
• 11个9的持久性（99.999999999%），即接近100%的持久性
• 被MinIO、R2、DigitalOcean、IBM Cloud等多家公司采用

凭借其规模、简单性以及与 API 的兼容性，S3 (一个存储服务) 已成为从分析到人工智能的各种用途的通用存储解决方案。

亚马逊 S3：可扩展性、速度与兼容性。 （图片由作者提供）

冰山团队正在改变我们管理大规模数据的分析方式。

• 被 Netflix、Apple、AWS、Adobe、LinkedIn、Tencent 和 Pinterest 采用
• 生态系统发展势头：Databricks 收购了 Tabular，Snowflake 推出了 Polaris 目录，Dremio 构建了 Hybrid Iceberg 目录
• 获得 Trino、BigQuery、Flink、StarRocks、Redpanda 和更多支持
• 实现了批处理与流处理的统一，零 ETL 架构，以及开放数据治理

冰山（Iceberg）不仅是一种格式——它是一个现代化的、兼容且供应商中立的数据基础设施协议。

Apache Iceberg：未来的开放数据格式。

我们基于这些基础在RisingWave构建了以流优先的数据库。

• Rust 作为快速且安全的核心引擎
• PostgreSQL 协议 以保持熟悉和互操作性
• Amazon S3 作为默认的低成本且可扩展的存储层
• Apache Iceberg 将流数据与历史数据连接到一个可查询的系统

借助 RisingWave，开发人员可以使用简单的 SQL 语句来获取、处理和分析实时数据，无需锁定，无需专有技术层，只需使用正确的开放标准。