Tobiko Data：通过 SQLMesh 彻底改变数据转换

tobiko data是一家由 netflix、apple、airbnb 和 google 的行业资深人士创立的创新公司，它正在通过其旗舰产品sqlmesh彻底改变数据转换格局。作为一个开源数据转换平台，sqlmesh 使数据科学家和分析师能够构建正确而高效的管道，解决当前数据生态系统面临的常见痛点。

SQLMesh 的强大功能

tobiko data是一家由 netflix、apple、airbnb 和 google 的行业资深人士创立的创新公司，它正在通过其旗舰产品sqlmesh彻底改变数据转换格局。作为一个开源数据转换平台，sqlmesh 使数据科学家和分析师能够构建正确而高效的管道，解决当前数据生态系统面临的常见痛点。

Tobiko Data 联合创始人兼首席技术官Tobias Mao在第 56 届IT Press Tour上解释道：“Tobiko Data 是一个开源数据转换平台。我们主要编写开源软件，我们的旗舰产品名为 SQLMesh。SQLMesh 是一个框架，它允许数据科学家和数据分析师以高效且可重复的方式处理数据，从而降低成本并提高生产力。”

解决痛点

当前数据环境面临诸多挑战，包括难以维护的意大利面条式代码、数据准确性问题以及导致成本飙升的低效率。Tobias 强调了这些痛点：“你不知道数据内部和外部发生了什么。数据的制衡机制非常不成熟。这导致了很多问题，以及数据准确性和数据中断方面的信任问题。就缺陷而言，整个行业都不愿意考虑这个问题。而且，到目前为止，确实有办法解决这些不协调之处”

SQLMesh 通过提供高效、正确且操作完整的解决方案来解决这些问题。通过利用虚拟数据环境、一次构建表并降低仓库成本，SQLMesh 为组织节省了时间和金钱。它的语义理解、列级 DAG 解析以及对任何方言的简单 SQL 的支持可确保正确性，而不会影响功能。

SQLMesh 的优势

SQLMesh 的一个关键区别在于其虚拟数据环境。Tobias 解释道：“SQLMesh 的工作方式是，假设您有两个数据模型，并且有一个非常简单的插件。SQLMesh 将有两层。一层是物理层。这是存储所有实际表的地方，然后是虚拟层，您实际上可以与数据进行交互。虚拟层只是指向物理层的视图。”

这种创新方法可以实现即时、无停机部署和轻松回滚，使 SQLMesh 成为第一个提供真正带数据的蓝绿部署的数据平台。Tobias 强调说：“这是 SQL 版本独有的，任何数据平台第一次能够获得真正的带数据的蓝绿部署。”

利用 SQLGlot 实现无与伦比的理解

SQLMesh 功能的核心是 SQLGlot，这是 Tobias 在 Netflix 任职期间构建的开源 SQL 解析器。SQLGlot 使 SQLMesh 能够理解各种 SQL 方言，这是实现正确性和效率的关键方面。

Tobias 解释道：“在我创建 SQLGlot 之前，这种能力并不存在。现在有 Snowflake、BigQuery、Databricks、Postgres 和 MySQL。它们彼此之间有很大的不同。这使得工具很难理解为一个数据库编写的 SQL 查询并在另一个数据库上运行它们。谁能理解所有这些不同的 SQL 指南？答案就是 SQLGlot。”

无缝集成和供应商独立性

SQLMesh 可与现有数据生态系统无缝集成，包括 Snowflake 和 Databricks 等热门平台。它能够将代码从一种方言转换为另一种方言，从而确保供应商独立性，使组织能够拥有自己的数据并避免供应商锁定。

Tobias 强调说：“将 SQLMesh 与 Apache Iceberg 这样的数据湖结合使用，确实可以让您真正具备在任何供应商平台上工作的能力。”

数据转换的未来

Tobiko Data 的 SQLMesh 有望塑造数据转换的未来。凭借其高效、正确且操作完整的方法，SQLMesh 解决了数据科学家和分析师面临的关键挑战。随着组织越来越依赖数据驱动的决策，SQLMesh 等工具在构建可扩展且可靠的数据管道方面变得不可或缺。

Tobias 完美地总结道：“SQLMesh 是生成可扩展且正确数据的首要平台之一。这个平台可以帮助您的数据团队构建这些 AI 模型。”

拥抱开源社区

Tobiko Data 对开源软件的承诺在其构建和维护 SQLMesh 的方法中得到了体现。通过培育蓬勃发展的社区并利用协作的力量，Tobiko Data 确保 SQLMesh 始终处于数据转换创新的前沿。

Tobias 强调了开源社区的重要性：“我们的 Slack 频道拥有超过 2,000 人的庞大且不断增长的社区。当我们首次推出时，人们的反应是，‘哇，这解决了我们多年来遇到的很多问题。我们只是没想到能解决这些问题。’”

前方的路

随着 Tobiko Data 不断创新和扩展，SQLMesh 及其采用者的前景一片光明。SQLMesh 高度重视效率、正确性和操作完整性，完全有能力彻底改变数据转换格局。

托拜厄斯总结道：“现在，我玩得很开心。我做这件事不是为了任何经济利益。我只是想创办一家公司，和朋友们一起工作，创造一些伟大的东西。所以我们会看看这会给我们带来什么。”

对于寻求强大且用户友好的数据转换解决方案的开发人员、工程师和架构师来说，Tobiko Data 的 SQLMesh 是一个改变游戏规则的解决方案。通过利用 SQLGlot 的强大功能、虚拟数据环境以及对开源创新的坚定承诺，SQLMesh 将重新定义组织处理数据转换的方式。

以上就是Tobiko Data：通过 SQLMesh 彻底改变数据转换的详细内容，更多请关注本站其它相关文章！