是的,我能夠做一個cron運行集群中的條目的火花司機節點通過ssh。
@Atanu Sarkar,
我使用下麵的shell腳本試圖安排的crontab磚節點。
crontab-setup-for-log-cleanup.sh
sudo bash - h - u root - c”echo $ (echo ' * * / 3 * * * sh / dbfs / FileStore / driver-logs-cleanup。sh ';crontab - l 2 > & 1)”|crontab -'
driver-logs-cleanup.sh
# ! / bin / bash
#發現年長的stdout, stderr和log4j相應文件並刪除它。
找到/ dbfs cluster-logs / < db-cluster-id > /司機/ - name“stdout——*”- rm - f {} \;
找到/ dbfs cluster-logs / < db-cluster-id > /司機/ - name“stderr——*”- rm - f {} \;
找到/ dbfs cluster-logs / < db-cluster-id > /司機/ - name“log4j””——“*”。廣州”- rm - f {} \;
感謝和問候,
Sugumar Srinivasan。