DLT管道和集群的工作

[Deepak_Goldwyn]

我們寫了一些python函數(在一個類中的方法)和打包輪庫。

在原有情況我們使用輪庫安裝在通用我們已經創建的集群。

它將正常工作。

將來的情形下(δ生活表)我們希望這個輪庫安裝δ活的管道執行的一部分,因為當集群DLT管道運行它創建自己的工作。

我們使用很多python函數要做金銀層之間的轉換。

因此我們希望輪庫(所有的UDF)安裝在集群DLT管道創建工作。

當我們執行% pip安裝<輪庫位置DBFS > DLT筆記本作為第一步,它似乎並不工作。

但是當我們有% pip安裝numpy它的工作原理。

其對我們重要的輪庫安裝在集群由DLT管道的工作。

我們遺漏了什麼東西?

謝謝

[Hubert_Dudek1]

你確定DLT集群看到DBFS嗎?

您還可以使用“文件回購”或者相反。

[托馬斯]

它給你一個錯誤在運行DLT管道具體% pip命令或以其他方式不工作嗎?

如果是前者,你能分享你的路徑格式使用% pip命令的路徑?

[Deepak_Goldwyn]

@Tomasz Bacewicz

感謝你的回複!

我們使用以下命令作為一個拳頭cmd DLT(細胞)的筆記本,

% pip安裝/ dbfs / dist / abnamro_acdpt_centraldatapoint-0.12.0.dev24-py3-none-any.whl

通知你,

當我們嚐試手動安裝相同的工作的集群DLT管道創建它正在安裝。

還在上麵運行相同的pip安裝命令所有目的集群的安裝。

隻有當它從DLT管道運行失敗。

[托馬斯]

很有道理,好知道它手工作品。你也可以分享錯誤,你得到了什麼?