Databricks集群默認使用公共NTP服務器。這對於大多數用例來說已經足夠了,但是您可以將集群配置為使用自定義NTP服務器。這並不一定是一個公共NTP服務器。它可以是您控製下的私有NTP服務器。一個常見的用例是最小化來自集群的Internet通信量。
更新集群的NTP配置
- 創建一個ntp.conf文件包含以下信息:
# NTP配置服務器< NTP -server-hostname> iburst . #
在哪裏< ntp-server-hostname >NTP服務器主機名或IP地址。
如果要列出多個NTP服務器,請將它們全部添加到文件中。每個服務器都應該列在自己的行中。 - 上傳ntp.conf文件/ dbfs /磚/ init_scripts /在您的集群上。
- 創建腳本ntp.sh在集群上:
%python dbutls .fs.put("/databricks/init_scripts/ntp.sh",""" #!/bin/bash echo "
" >> /etc/hosts cp /dbfs/databricks/init_scripts/ntp.conf /etc/ sudo service ntp restart""",True) - 確認腳本存在:
% python顯示器(dbutils.fs.ls(“dbfs: /磚/ init_scripts / ntp.sh”))
- 點擊集群,單擊集群名稱,單擊編輯,點擊高級選項,點擊Init腳本.
- 選擇DBFS下目的地.
- 輸入到的完整路徑ntp.sh並點擊添加.
- 點擊確認並重啟.出現一個確認對話框。點擊確認並等待集群重新啟動。
驗證集群是否使用更新的NTP配置
- 在筆記本上運行以下代碼:
%sh NTPQ -p
- 顯示當前正在使用的NTP服務器。