Tobiko Data：通過 SQLMesh 徹底改變數據轉換

tobiko data是一家由 netflix、apple、airbnb 和 google 的行業資深人士創立的創新公司，它正在通過其旗艦產品sqlmesh徹底改變數據轉換格局。作爲一個開源數據轉換平臺，sqlmesh 使數據科學家和分析師能夠構建正確而高效的管道，解決當前數據生態系統面臨的常見痛點。

SQLMesh 的強大功能

tobiko data是一家由 netflix、apple、airbnb 和 google 的行業資深人士創立的創新公司，它正在通過其旗艦產品sqlmesh徹底改變數據轉換格局。作爲一個開源數據轉換平臺，sqlmesh 使數據科學家和分析師能夠構建正確而高效的管道，解決當前數據生態系統面臨的常見痛點。

Tobiko Data 聯合創始人兼首席技術官Tobias Mao在第 56 屆IT Press Tour上解釋道：“Tobiko Data 是一個開源數據轉換平臺。我們主要編寫開源軟件，我們的旗艦產品名爲 SQLMesh。SQLMesh 是一個框架，它允許數據科學家和數據分析師以高效且可重複的方式處理數據，從而降低成本並提高生產力。”

解決痛點

當前數據環境面臨諸多挑戰，包括難以維護的意大利麪條式代碼、數據準確性問題以及導致成本飆升的低效率。Tobias 強調了這些痛點：“你不知道數據內部和外部發生了什麼。數據的制衡機制非常不成熟。這導致了很多問題，以及數據準確性和數據中斷方面的信任問題。就缺陷而言，整個行業都不願意考慮這個問題。而且，到目前爲止，確實有辦法解決這些不協調之處”

SQLMesh 通過提供高效、正確且操作完整的解決方案來解決這些問題。通過利用虛擬數據環境、一次構建表並降低倉庫成本，SQLMesh 爲組織節省了時間和金錢。它的語義理解、列級 DAG 解析以及對任何方言的簡單 SQL 的支持可確保正確性，而不會影響功能。

SQLMesh 的優勢

SQLMesh 的一個關鍵區別在於其虛擬數據環境。Tobias 解釋道：“SQLMesh 的工作方式是，假設您有兩個數據模型，並且有一個非常簡單的插件。SQLMesh 將有兩層。一層是物理層。這是存儲所有實際表的地方，然後是虛擬層，您實際上可以與數據進行交互。虛擬層只是指向物理層的視圖。”

這種創新方法可以實現即時、無停機部署和輕鬆回滾，使 SQLMesh 成爲第一個提供真正帶數據的藍綠部署的數據平臺。Tobias 強調說：“這是 SQL 版本獨有的，任何數據平臺第一次能夠獲得真正的帶數據的藍綠部署。”

利用 SQLGlot 實現無與倫比的理解

SQLMesh 功能的核心是 SQLGlot，這是 Tobias 在 Netflix 任職期間構建的開源 SQL 解析器。SQLGlot 使 SQLMesh 能夠理解各種 SQL 方言，這是實現正確性和效率的關鍵方面。

Tobias 解釋道：“在我創建 SQLGlot 之前，這種能力並不存在。現在有 Snowflake、BigQuery、Databricks、Postgres 和 MySQL。它們彼此之間有很大的不同。這使得工具很難理解爲一個數據庫編寫的 SQL 查詢並在另一個數據庫上運行它們。誰能理解所有這些不同的 SQL 指南？答案就是 SQLGlot。”

無縫集成和供應商獨立性

SQLMesh 可與現有數據生態系統無縫集成，包括 Snowflake 和 Databricks 等熱門平臺。它能夠將代碼從一種方言轉換爲另一種方言，從而確保供應商獨立性，使組織能夠擁有自己的數據並避免供應商鎖定。

Tobias 強調說：“將 SQLMesh 與 Apache Iceberg 這樣的數據湖結合使用，確實可以讓您真正具備在任何供應商平臺上工作的能力。”

數據轉換的未來

Tobiko Data 的 SQLMesh 有望塑造數據轉換的未來。憑藉其高效、正確且操作完整的方法，SQLMesh 解決了數據科學家和分析師面臨的關鍵挑戰。隨着組織越來越依賴數據驅動的決策，SQLMesh 等工具在構建可擴展且可靠的數據管道方面變得不可或缺。

Tobias 完美地總結道：“SQLMesh 是生成可擴展且正確數據的首要平臺之一。這個平臺可以幫助您的數據團隊構建這些 AI 模型。”

擁抱開源社區

Tobiko Data 對開源軟件的承諾在其構建和維護 SQLMesh 的方法中得到了體現。通過培育蓬勃發展的社區並利用協作的力量，Tobiko Data 確保 SQLMesh 始終處於數據轉換創新的前沿。

Tobias 強調了開源社區的重要性：“我們的 Slack 頻道擁有超過 2,000 人的龐大且不斷增長的社區。當我們首次推出時，人們的反應是，‘哇，這解決了我們多年來遇到的很多問題。我們只是沒想到能解決這些問題。’”

前方的路

隨着 Tobiko Data 不斷創新和擴展，SQLMesh 及其採用者的前景一片光明。SQLMesh 高度重視效率、正確性和操作完整性，完全有能力徹底改變數據轉換格局。

託拜厄斯總結道：“現在，我玩得很開心。我做這件事不是爲了任何經濟利益。我只是想創辦一家公司，和朋友們一起工作，創造一些偉大的東西。所以我們會看看這會給我們帶來什麼。”

對於尋求強大且用戶友好的數據轉換解決方案的開發人員、工程師和架構師來說，Tobiko Data 的 SQLMesh 是一個改變遊戲規則的解決方案。通過利用 SQLGlot 的強大功能、虛擬數據環境以及對開源創新的堅定承諾，SQLMesh 將重新定義組織處理數據轉換的方式。

以上就是Tobiko Data：通過 SQLMesh 徹底改變數據轉換的詳細內容，更多請關注本站其它相關文章！