是否有辦法讓databricks-connector等待集群運行?
細節:
databricks-connector = = 13.1.0和python小集群和環境都是3.10的版本
如果集群不是這將開始運行,但任何命令失敗,因為它不等待集群後做好準備:
從磚。從databricks.sdk進口DatabricksSession連接。核心導入配置#得到火花會話使用磚SDK的配置類:配置=配置(主機= os.environ.get (“DATABRICKS_HOST”),令牌= os.environ.get (“DATABRICKS_TOKEN”), cluster_id = os.environ.get (“DATABRICKS_CLUSTER_ID”)) = DatabricksSession.builder.sdkConfig火花(配置).getOrCreate ()
任何命令使用“火花”之後,失敗:
pyspark.errors.exceptions.connect。SparkConnectGrpcException: < _MultiThreadedRendezvous終止的RPC: = StatusCode地位。FAILED_PRECONDITION細節= " INVALID_STATE:集群(掩蓋)在意想不到的狀態等待。”debug_error_string =“無名:錯誤收到對等{created_time:“2023 - 07 - 06 - t18:57:01.084365359 + 00:00”, grpc_status: 9日grpc_message:“INVALID_STATE:集群(掩蓋)在意想不到的狀態等待。”}”
如果集群已經按預期運行一切正常。
我試圖建立一個測試CI工作,所以這是一種痛苦因為我必須手動確保集群運行或重新啟動工作。
