數據磚集群創建失敗而運行Cron作業調度腳本通過init腳本方法從azure數據磚。

[Sugumar_Sriniva]

親愛的連接,

我無法運行shell腳本包含調度一個Cron作業通過init腳本方法Azure磚集群節點的數據。

錯誤從Azure數據磚工作區:

:“databricks_error_message集群範圍的init腳本dbfs: / < shell腳本>失敗:腳本退出狀態非零”

尋找一個方法來實現相同的。

[匿名]

你好@Sugumar Srinivasan——歡迎來到社區!很高興見到你。我的名字是風笛手,我是一個主持人的磚。

讓我們給其他成員有機會回答你的問題。我們將回到這個如果我們需要。

[werners1]

我不完全理解你想做什麼?

你想安排一個cron作業在集群上的工人嗎?

[Sugumar_Sriniva]

你好維爾納,

我需要執行azure數據的清理磚司機日誌(std.out std.err, log4j) dbfs路徑每小時。為此我想安排一個Cron作業數據磚司機節點,這樣每一小時記錄可以刪除。使用下麵的腳本在init, azure磚集群創建失敗。

shell腳本包含以下內容:

dbfs: / FileStore / crontab-setup-for-log-cleanup.sh

sudo bash - h - u root - c的回聲”(回聲“* * / 5美元* * * sh / dbfs / FileStore / driver-logs-cleanup。sh”;crontab - l 2 > & 1)”|crontab -'

[werners1]

腳本集群運行時工作,排除腳本本身的問題嗎?