問題共享一個流表中創建表通過生活δ共享

[vkuznetsov]

你好,

我希望你能幫我找出我失蹤。

我想做一個簡單的事情。讀取數據從數據攝入區(csv文件保存到Azure存儲賬戶)使用三角洲生活表管道並分享結果表到另一個磚工作區使用三角洲共享。

這裏的代碼描述了DLT管道。

從pyspark.sql進口dlt。函數從pyspark.sql進口*。類型導入* raw_path = @dlt“/ mnt /攝入/感讀數”。表(評論=包含數據從傳感器接收API) def sensors_raw(): #裝載器裝載新攝取的文件。df = spark.readStream.format (cloudFiles) \ .option (“cloudFiles。形式at", "csv") \ .option("header",True) \ .load(raw_path) return (df)

它成功運行和表添加到目標模式。

但是當我試圖創建一個共享表不顯示。

上麵的表可以創建共享的筆記本df.write.saveAsTable ()。

閱讀時可用的文檔我看過的通過三角洲分享STREAMING_TABLE不能共享。

也許我忽略了某些設置?這將是偉大的,如果你能幫我弄出來。

謝謝。

[vkuznetsov]

仔細閱讀文檔之後我發現這是當前列表中提到的DLT和統一目錄的限製。

[shan_chandra]

@vkuznetsov作為一個解決方案,你能請將流表轉換為一個常規表使用一個獨立的/周期性工作,用它來δ分享?

spark.readStream.table (“< streaming-table >”) .writeStream .option (“checkpointLocation”、“dbfs: / / checkpoint_bar_1檢查點”).partitionBy .toTable(“<劃分字段>”)(“<差值表>”)

[Vidula_Khanna]

嗨@vkuznetsov

我們感激你的問題被發布在我們的社區!它帶給我們歡樂提供援助。

為了確保我們為您提供最準確的信息,請花一些時間來檢查響應查詢和選擇最好的一個地址。

這樣做也將受益其他社區成員可能也有類似的問題。我們感謝您的參與,請不要猶豫地聯係如果您需要任何進一步的幫助!

[vkuznetsov]

嗨@shan_chandra,

最後,我在你提出的方式。不幸的是,你必須做到在三角洲生活表工作流,你不能使用它的好處。

我很奇怪,因為DLT和δ共享是強大的工具,不能開箱即用的相結合。或者我丟失的東西因為我新DLT和δ共享。