當執行sparkml databricks-connect錯誤

[特洛伊]

我使用databricks-connect,火花工作相關的火花dataframe工作好。但是,當我觸發火花毫升代碼,我得到錯誤。

例如,在代碼中執行:https://docs.m.eheci.com/_static/notebooks/gbt-regression.html

pipelineModel = pipeline.fit(火車)

22/11/04 09:28:15錯誤儀表:. io .IOException:意想不到的異常類型java.io.ObjectStreamClass.throwMiscException (ObjectStreamClass.java: 1750) java.io.ObjectStreamClass.invokeReadResolve (ObjectStreamClass.java: 1280) java.io.ObjectInputStream.readOrdinaryObject (ObjectInputStream.java: 2196) - - - - - - - - - - - - - - - - - - - - - - - - - -由:數組;InvocationTargetException sun.reflect.NativeMethodAccessorImpl。invoke0(本機方法)sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java: 62) sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java: 43) java.lang.reflect.Method.invoke (Method.java: 498) - - - - - - - - - - - - - - - - - - - - - - - - - - - -造成的:. lang。IllegalArgumentException:非法λ反序列化scala.runtime.LambdaDeserializer .makeCallSite 1美元(LambdaDeserializer.scala: 89)美元scala.runtime.LambdaDeserializer .deserializeLambda (LambdaDeserializer.scala: 114) scala.runtime.LambdaDeserialize.deserializeLambda (LambdaDeserialize.java: 38) - - - - - - - - - - - - - - - - - - - - - - - - - - - py4j.protocol。Py4JJavaError:調用o806.fit時發生一個錯誤。:. io .IOException:意想不到的異常類型java.io.ObjectStreamClass.throwMiscException (ObjectStreamClass.java: 1750) java.io.ObjectStreamClass.invokeReadResolve (ObjectStreamClass.java: 1280) java.io.ObjectInputStream.readOrdinaryObject (ObjectInputStream.java: 2196) - - - - - - - - - - - - - - - - - - - - - - - - - -由:數組;InvocationTargetException sun.reflect.NativeMethodAccessorImpl。invoke0(本機方法)sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java: 62) sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java: 43) - - - - - - - - - - - - - - - - - - - - - - - - - - - -造成的:. lang。IllegalArgumentException:非法λ反序列化scala.runtime.LambdaDeserializer .makeCallSite 1美元(LambdaDeserializer.scala: 89)美元scala.runtime.LambdaDeserializer .deserializeLambda (LambdaDeserializer.scala: 114) scala.runtime.LambdaDeserialize.deserializeLambda (LambdaDeserialize.java: 38)

有人知道如何修複它嗎?

[Oliver_Floyd]

你好,

同樣的問題,在法國。

@Kaniz Fatma我們可以有一些答案嗎?

[Kaniz]

嗨@Matt Chan @oliv競爭者,@Troy荷蘭,你有機會看到磚連接限製嗎?如果不是,請看看:-

磚連接不支持下麵的磚的特點和第三方平台:Beplay体育安卓版本

• 統一目錄。
• 結構化的流。
• 運行任意代碼不是遠程集群上火花工作的一部分。
• 本機Scala、Python和Rδ表操作的api不支持(DeltaTable.forPath)。然而,SQL API (spark.sql(…))與三角洲湖操作和火花API(例如,spark.read.load)三角洲表上都支持。
• 進入副本。
• 使用SQL函數、Python或Scala udf,這是服務器的目錄的一部分。然而,當地引入Scala和Python udf的工作。
• Apache飛艇0.7。下麵的x和。
• 連接到集群訪問控製表。
• 連接到集群處理隔離(換句話說,spark.databricks.pyspark啟用。enableProcessIsolation設置為true)。
• 三角洲克隆SQL命令。
• 全局臨時視圖。
• 考拉。
• 創建表的表選擇…SQL命令並不總是工作。相反,使用火花。sql(“選擇…”).write.saveAsTable(“表”)。
• 以下磚公用事業:
  • 憑證
  • 圖書館
  • 筆記本的工作流
  • 小部件
• AWS膠目錄

[Oliver_Floyd]

早上好,

錯誤信息不相關的局限性磚連接。

各種測試後,在我的例子中,事實證明,有必要更新庫venv用於磚的連接。

下麵是我做的python庫更新:

• databricks-connect 10.4.12 10.4.21
• databricks-cli 0.17.3 0.17.4
• mlflow 1.26.1 2.2.1
• protobuf 3.20.0 3.20.3

請注意,我使用10.4 lts集群

這些更新後,上麵的代碼示例工作正常在intelliJ磚連接

[Oliver_Floyd]

信息,升級python庫不會解決所有問題。

這段代碼工作正常在磚上筆記本:

進口mlflow模型= mlflow.spark.load_model(運行:/ cb6ff62587a0404cabeadd47e4c9408a /模型)

而它在intelliJ databricks-connect失敗

你有什麼解決方案嗎?