加州大學啟用集群ADF攝入

[ossinova]

我遷移數據湖使用統一目錄。然而,這有更改集群。我已經嚐試了一些選項,但似乎比它應該是相當複雜的。

我需要創建一個集群利用ADF統一啟用,可以安裝一個罐子裏。從我的測試中,一個共享的集群不能使用dbutils我(我需要傳遞參數。e的表)。它也不允許庫/ JAR安裝。

單個用戶互動集群似乎是正確的方法。然而,我無法添加ADF服務主體作為一個用戶。

集群工作工作。但我有許多管道和磚筆記本工作,日常運行。如此看來,而過度啟動X集群時可以使用一個或兩個集群互動

什麼是正確的方法來創建一個集群為加州大學ADF啟用,允許dbutils和可以有一罐安裝在嗎?

運行更多的工作比一個交互式通用一個集群更貴嗎?

[werners1]

我隻使用集群工作。他們是便宜的。

特別是當你創建一個與現貨實例池。我去,因為它是由:批處理作業

[ossinova]

@Werner Stinckens但是如果你有X管道與磚的活動。然後不會啟動集群?基本上每小時使用更多DBU(盡管這些DBU單位成本小於互動)。

[werners1]

這取決於你如何配置管道。

如果你有初版10你工作和運行這些並行工作,然後10集群創建工作。

所以你開始支付10集群。

你也可以按順序處理它們。這樣你隻使用1集群。但是你必須提供每個集群等,確實是浪費金錢。因此我提到集群池(溫暖的節點)。

但是你也可以創建初版2管道與5筆記本,如果你使用集群池你不要浪費錢/時間等節點配置。

交互式集群上運行工作幾乎是不便宜。記住,並行性也意味著工作完成得更快。

[ossinova]

@Werner Stinckens我得到你的觀點。我必須看起來更進,可能改變我的管道工作流程。每一個現在,它不適合工作的集群,因為它運行一個單獨的管道為每個表(在每個階段;青銅、白銀、黃金)。所以很多管道並行運行會導致一批這些工作正在執行集群而不是幾個互動的。