限製大小的init腳本

[Rahul2025]

你好,

我們使用磚運行時版本11.3 lts和執行一個火花Java集群工作使用的工作。自動化的執行這一工作,我們需要定義(從bash配置源文件)一些環境變量通過一個init腳本(集群級)並使其可用於Java工作的火花。

在這樣做的同時,我們意識到我們不能上傳一個init腳本的大小大於5 kb在適當的DBFS位置。顯然文檔指出init腳本的大小不應超過64 kb。在工作區中有設置/配置水平,可以幫助我們提高這個限製從5 kb到64 kb嗎?

請讓我們知道如果我們丟失的任何東西。任何幫助在這方麵將高度讚賞。

提前謝謝!

問候,

/ /拉胡爾

[User16776431039]

@Rahul K -磚建議你避免init腳本存儲在/磚/ init(目前遺留)為了避免意想不到的行為。嚐試使用新的全球Init腳本使用UI或API或起程拓殖,看看這個問題仍然存在。

參考:https://learn.microsoft.com/en-us/azure/databricks/clusters/init-scripts

[Rahul2025]

@Sundar喇曼感謝您的回應。是的,我們稱為鏈接是相同的共享和我們目前使用集群級腳本(以下選項# 4)對全球(以下選項# 3),因為腳本隻需要執行一個集群,並不是所有的集群,是工作的一部分。我們不使用以下選項# 1和# 2已經棄用。

1. 遺留全球(棄用)
2. Cluster-named(棄用)
3. 全球(新)
4. 集群級

這個clsuter-scoped init腳本提供了從UI和上傳/部署到DBFS根。已經上傳/部署到DBFS根中描述共享鏈接(部分——集群級init腳本位置)。我會檢查是否提到它直接從ADLS幫助解決limitatation大小。

[User16776431039]

噢,好吧!一個問題@Rahul K !你還在使用/磚/ init相關遺留全球路徑?你有試過集群級腳本保存到不同的位置,如/磚/腳本?

[Rahul2025]

是的@Sundar拉曼,但這也給了同樣的錯誤。

[User16776431039]

@Rahul K還請您能確認的位置不是DBFS山嗎?你有試過其他DBR你仍然有同樣的問題嗎?