@Rahul K -磚建議你避免init腳本存儲在/磚/ init(目前遺留)為了避免意想不到的行為。嚐試使用新的全球Init腳本使用UI或API或起程拓殖,看看這個問題仍然存在。
參考:https://learn.microsoft.com/en-us/azure/databricks/clusters/init-scripts
@Sundar喇曼感謝您的回應。是的,我們稱為鏈接是相同的共享和我們目前使用集群級腳本(以下選項# 4)對全球(以下選項# 3),因為腳本隻需要執行一個集群,並不是所有的集群,是工作的一部分。我們不使用以下選項# 1和# 2已經棄用。
這個clsuter-scoped init腳本提供了從UI和上傳/部署到DBFS根。已經上傳/部署到DBFS根中描述共享鏈接(部分——集群級init腳本位置)。我會檢查是否提到它直接從ADLS幫助解決limitatation大小。
噢,好吧!一個問題@Rahul K !你還在使用/磚/ init相關遺留全球路徑?你有試過集群級腳本保存到不同的位置,如/磚/腳本?
@Rahul K還請您能確認的位置不是DBFS山嗎?你有試過其他DBR你仍然有同樣的問題嗎?