自定義Docker映像需要root

當與Databricks一起使用時,自定義Docker容器必須配置為以根用戶啟動。

寫的dayanand.devarapalli

最後發布時間:2022年3月4日

問題

您正在嚐試使用自定義Docker容器啟動Databricks集群,但集群創建失敗並出現錯誤。

{"reason": {"code": "CONTAINER_LAUNCH_FAILURE", "type": "SERVICE_FAULT", "parameters": {"instance_id": "i-xxxxxxx", "databricks_error_message": "Failed to launch spark container on instance i-xxxx. "無法為地址為xxxx的xxxx添加容器。不能在容器中創建mkdir

導致

數據庫集群需要root用戶和sudo。

不支持配置為以非根用戶啟動的自定義容器映像。

有關更多信息,請參閱自定義容器文檔。

解決方案

您必須將Docker容器配置為以根用戶啟動。

例子

這個容器配置從標準用戶ubuntu開始。無法啟動。

從databricksruntime /標準:8。x運行apt-get update -y && apt-get install -y git && \ ln -s /databricks/conda/envs/dcs-minimal/bin/pip /usr/local/bin/pip && \ ln -s /databricks/conda/envs/dcs-minimal/bin/python /usr/local/bin/python COPY。/app WORKDIR /app運行pip install -r requirements.txt運行chown -R ubuntu /app用戶ubuntu

這個容器配置從根用戶開始。發射成功。

從databricksruntime /標準:8。x運行apt-get update -y && apt-get install -y git && \ ln -s /databricks/conda/envs/dcs-minimal/bin/pip /usr/local/bin/pip && \ ln -s /databricks/conda/envs/dcs-minimal/bin/python /usr/local/bin/python COPY。/app WORKDIR /app運行pip install -r requirements.txt