數據磚集群創建失敗而運行Cron作業調度腳本通過init腳本方法從azure數據磚。

[Sugumar_Sriniva]

親愛的連接,

我無法運行shell腳本包含調度一個Cron作業通過init腳本方法Azure磚集群節點的數據。

錯誤從Azure數據磚工作區:

:“databricks_error_message集群範圍的init腳本dbfs: / < shell腳本>失敗:腳本退出狀態非零”

尋找一個方法來實現相同的。

[Sugumar_Sriniva]

是的,我能夠做一個cron運行集群中的條目的火花司機節點通過ssh。

[Tasootoor1998]

磚集群創建失敗而運行cron作業調度腳本通過init腳本方法從Azure數據磚

[Atanu]

這個問題肯定是init腳本。請交叉校驗init腳本或者你可以在這裏問如果沒有敏感信息。我們可以交叉驗證。

[Atanu]

@Sugumar Srinivasan你能檢查init腳本糾正這個問題呢?

[Sugumar_Sriniva]

@Atanu Sarkar,

我使用下麵的shell腳本試圖安排的crontab磚節點。

crontab-setup-for-log-cleanup.sh

sudo bash - h - u root - c”echo $ (echo ' * * / 3 * * * sh / dbfs / FileStore / driver-logs-cleanup。sh ';crontab - l 2 > & 1)”|crontab -'

driver-logs-cleanup.sh

# ! / bin / bash

#發現年長的stdout, stderr和log4j相應文件並刪除它。

找到/ dbfs cluster-logs / < db-cluster-id > /司機/ - name“stdout——*”- rm - f {} \;

找到/ dbfs cluster-logs / < db-cluster-id > /司機/ - name“stderr——*”- rm - f {} \;

找到/ dbfs cluster-logs / < db-cluster-id > /司機/ - name“log4j””——“*”。廣州”- rm - f {} \;

感謝和問候,

Sugumar Srinivasan。