磚

我試圖加載靜態表流dlt管道來源。我明白這不是最佳的,但它提供了最好的道路最終擁有一個完整的流管道。當我做我得到以下錯誤:pyspark.sql.utils.Analysis……

我有一個筆記本電腦用於dlt管道。管道應該執行一個額外的任務如果管道運行作為一個完整的刷新。現在,我必須設置一個額外的配置參數當我運行一個完整的刷新。有沒有一種方法以編程方式……

從一個筆記本我可以從cs和進口log4j日誌寫日誌一樣:log4jLogger = sc._jvm.org.apache.log4jLOGGER = log4jLogger.LogManager.getLogger (__name__) LOGGER.info(“記錄器pyspark腳本初始化”),但這並不工作解決……

在攝取鋪文件自動裝卸機用以下codedf =(火花.readStream .format .option (“cloudFiles”) (“cloudfiles.format”、“鋪”).load (filePath))我得到以下錯誤:java.lang.UnsupportedOperationException:…