如何使用達美住表與穀歌雲存儲

[shrutis23]

嗨,團隊

我一直在努力探索三角洲POC住表GCS位置。

我有一些疑問:

1. 如何訪問gcs桶。我們有使用磚服務帳戶連接建立。正常創建集群,集群我們去頁麵,在“高級選項”我們提供磚服務帳戶的電子郵件。δ生活表作為集群的創建不是在我們的控製之下,如何將這封郵件添加到集群,使其可訪問。
2. gcp文檔需要更新。azure的路徑引用。https://docs.gcp.m.eheci.com/workflows/delta-live-tables/delta-live-tables-cookbook.html。請任何文檔,你可以訪問gcp的路徑。
3. 從本質上講,我想商店的三角洲住表數據存儲位置gcs桶位置。這是可能的,現在使用默認設置下的數據是存儲dbfs位置。

謝謝

[karthik_p]

@Shruti下麵請快速入門三角洲生活表快速入門|磚在穀歌的雲

在創建你的DLT管道使用工作流提供輸出數據的存儲位置

[shrutis23]

我試過,但我收到的錯誤

DataPlaneException:未能啟動DLT服務集群< cluster_id >。請檢查堆棧跟蹤或司機日誌以下更多的細節。com.databricks.pipelines.execution.service。java EventLogInitializationException:初始化失敗事件日誌。IOException:錯誤訪問gs: / / <路徑> shaded.m.eheci.com.google.api.client.googleapis.json.GoogleJsonResponseException: 403年被禁止https://storage.googleapis.com/storage/v1/b/ <路徑> ?字段=桶,名字,timeCreated,更新,代…{“代碼”:403年,“錯誤”:[{“域”:“全球”、“消息”:“調用方沒有storage.objects。獲得穀歌雲存儲對象。“storage.objects許可。獲得“否認資源(或可能不存在)。”,"reason" : "forbidden" } ], "message" : "Caller does not have storage.objects.get access to the Google Cloud Storage object. Permission 'storage.objects.get' denied on resource (or it may not exist)." }

另外,我也試圖從UI編輯三角洲住表集群通過添加服務帳戶sa在穀歌服務帳戶。保存集群失敗

錯誤:Dlt前綴火花圖片不能用δ住表以外的服務

[Kaniz]

嗨@Shruti年代,我希望這年代。O線程幫助解決你的問題。請LMK是否有幫助。

[shrutis23]

我可以得到任何更新嗎?

也有一個後續問題我們沒有觀察權限按鈕管道細節頁麵。我們想知道這是我們正在使用的定價層。