內部錯誤:com.databricks.rpc。st_intersects RPCResponseTooLarge,當試圖使用馬賽克

[kll]

我得到一個例外當試圖運行以下代碼行,火花DataFrame基於幾何的過濾器。

df_tx = df_zip.filter (st_intersects (st_aswkt (“zip_code_geom”), tx_poly)) df_tx.show ()

“tx_poly”,

' tx_poly = shapely.wkt.dumps (tx_poly2) '

例外:

內部錯誤。把你的筆記本不同的計算或重新啟動電流計算。com.databricks.rpc。RPCResponseTooLarge: rpc響應(20982872字節)超過20971520字節的限製com.databricks.rpc.Jetty9Client不久美元1.美元oncontent (Jetty9Client.scala: 657)美元shaded.v9_4.org.eclipse.jetty.client.api.Response Listener.onContent (Response.java: 294)

[沃納]

我不熟悉st_intersects,但似乎它運行完全司機(作為python代碼,而不是火花)。
鑲嵌在pyspark工作嗎?

如果不是:嚐試使用更大的司機。