問題你想timestamp_millis或unix_millis導入Scala的筆記本,但得到一個錯誤消息。% scala org.apache.spark.sql.functions進口。{timestamp_millis, unix_millis}錯誤:價值timestamp_millis org.apache.spark.sql不是一個成員對象。功能導入org.apache.spark.sql.functions。{timestamp_millis, unix_millis}標出……

本文信息適用於磚運行時11.3 LTS及以上。問題您正在運行SparkSQL / PySpark代碼使用廣播提示。需要花費很長的時間來運行比以前磚運行時和/或失敗的記憶錯誤消息。示例代碼:df.join(廣播(bigDf)) .write.mode .parquet(“覆蓋”)(“路徑”)錯誤消息:工作……

問題你是試圖讀取JSON文件。你知道文件數據,但是Apache火花JSON讀者返回一個null值。示例代碼可以使用這個示例代碼來重現該問題。創建一個測試在DBFS JSON文件。% python dbutils.fs.rm (“dbfs: / tmp / json / parse_test.txt”) dbutils.fs.put (“dbfs: / tmp / json / parse_test。txt”、“”“{…

問題你想查看SerDe Apache蜂巢上的屬性表,但顯示Apache火花DDL創建表返回。它不顯示SerDe屬性。例如,鑒於此示例代碼:% sql顯示創建表<表標誌>你會得到一個結果,沒有顯示SerDe屬性:因為您使用磚矮子…

問題你想給一個或更多的價值作為一個小數精度和等級使用相同值。返回一個null值的期望值。這個示例代碼:% sql SELECT鑄造(5.345小數(20、20))的回報:導致十進製類型(AWS | Azure | GCP)被聲明為十進製(精度、規模),在精度和年代……

問題你想使用一個模式創建一個數據集,其中包含Scala枚舉字段(類和對象)。當您運行您的代碼在筆記本電池,你會獲得ClassNotFoundException錯誤。示例代碼% scala對象TestEnum擴展枚舉{類型TestEnum =值val E1, E2、E3 =價值}spark.implicits進口。_進口TestEnum。_ c…