問題與達美住表訪問工作流(dlt管道)

[Garik]

你好,

我試圖寫數據從外部s3 bucket三角洲住表統一目錄(不是dbfs)從一個工作流。我看到以下錯誤(說不支持目錄名稱空間。請檢查下麵的全部錯誤)

Detailspy4j錯誤。Python Py4JException:異常長大的代理。返回消息:回溯(最近的電話):

文件“/磚/火花/ python / lib / py4j-0.10.9.5-src.zip / py4j / clientserver。在_call_proxy py”, 617行

return_value = getattr(自我。池(obj_id)方法)(* params)

文件“/磚/火花/ python / dlt /幫手。py”,第26行調用

res = self.func ()

文件“<命令——1 >”,4號線,在demo_purpose

返回base64.b64decode (L1VzZXJzL3NyaWthbnRoQG1vdmlzdGEuY29tL3Rlc3R2ZXJzaW9uX2RsdF8y) .decode (“utf - 8”)

文件“<命令——1 >”,行30日dlt_table_fn

文件“/磚/火花/ python / pyspark / sql /會話。py”, 1120行,在桌子上

返回DataFrame (self._jsparkSession.table(表),自我)

文件“/磚/火花/ python / lib / py4j-0.10.9.5-src.zip / py4j / java_gateway。在__call__ py”, 1321行

return_value = get_return_value (

文件“/磚/火花/ python / pyspark / sql /跑龍套。py”, 202行,在裝飾

提高從沒有轉換

pyspark.sql.utils.AnalysisException:不支持目錄名稱空間。

[帕特]

嗨@Srikanth Garik

目前不支持DLT統一目錄。最新的埃塔,我聽說11月結束。

請看到的更多細節:

https://docs.m.eheci.com/release-notes/unity-catalog/20220825.html unity-catalog-ga-limitations

從三角洲住表引用統一編目表管道目前不支持。

你明天可能試圖加入磚辦公時間,問問題或是否有任何更新:

https://community.m.eheci.com/s/feed/0D58Y00009NH0xZSAT

謝謝,

帕特。

[Garik]

由於@Pat Sienkiewicz幫助很多的信息。我們會看到如果他們發布新版本的磚,促進dlt之間的通信和目錄。

[Kaniz]

嗨@Srikanth Garik,我們一直沒有收到你自從上次反應@Pat Sienkiewicz,我檢查看看我的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

[Garik]

嗨@Kaniz,似乎DLT catolog目前真不講團結。因此,我們正在考慮開發在倉庫DLT或目錄。但是我想DLT沒有數據沿襲選項和catolog不該改變數據提要(疾病預防控製中心-變化數據捕獲)。我們利用kakfa疾控中心。我想為我們的環境最好開發數據倉庫(青銅、白銀、黃金)層統一目錄我們可以利用數據沿襲和其他數據治理的能力。