取消
顯示的結果
而不是尋找
你的意思是:

插入數據表扔java.lang.StackOverflowError CDF-enabled三角洲

約翰尼
新的貢獻者三世

我建立一個青銅表與CDF-enables這些步驟:

  • 最初,從著陸區讀取json文件和寫入表的位置
df = spark.readStream.format (cloudFiles) \ .option (“cloudFiles。schemaLocation”, < schema_loc >) \ .option (“cloudFiles。格式”、“json”) \ .option (“cloudFiles。在ferColumnTypes", "true") \ .option("cloudFiles.schemaEvolutionMode", "addNewColumns") \ .option("cloudFiles.includeExistingFiles", "true") \ .load() df.writeStream \ .format("delta") \ .trigger(once = True) \ .option("mergeSchema", "true") \ .option("checkpointLocation", )
  • 創建一個增量表並使CDF
創建表銅。mytable使用三角洲位置“<文件位置>”;ALTER TABLE銅牌。mytable TBLPROPERTIES(δ。enableChangeDataFeed = true);
  • 閱讀更多數據從著陸區完全相同的結構和插入銅表
df = spark.readStream.format (cloudFiles) \ .option (“cloudFiles。schemaLocation”, schema_loc) \ .option (“cloudFiles。格式”、“json”) \ .option (“cloudFiles。在ferColumnTypes", "true") \ .option("cloudFiles.schemaEvolutionMode", "addNewColumns") \ .option("cloudFiles.includeExistingFiles", "true") \ .load() df.createOrReplaceTempView("bronze_company_info_dataset") sql_query = "INSERT INTO bronze.mytable TABLE bronze_dataset" spark.sql(sql_query)

  • 它拋出. lang。StackOverflowError當sql_query執行:
/磚/火花/ python / pyspark / instrumentation_utils。py在包裝器(* args, * * kwargs) 46開始= time.perf_counter() 47個試題:- - - - - - > 48 res = func (* args, * * kwargs) 49記錄器。function_name log_success (50 module_name class_name, time.perf_counter()——開始,簽名/磚/火花/ python / pyspark / sql /會話。py在sql(自我,sqlQuery, * * kwargs) 1117 sqlQuery =格式化程序。形式at(sqlQuery, **kwargs) 1118 try: -> 1119 return DataFrame(self._jsparkSession.sql(sqlQuery), self) 1120 finally: 1121 if len(kwargs) > 0: /databricks/spark/python/lib/py4j-0.10.9.5-src.zip/py4j/java_gateway.py in __call__(self, *args) 1319 1320 answer = self.gateway_client.send_command(command) -> 1321 return_value = get_return_value( 1322 answer, self.gateway_client, self.target_id, self.name)
  • 我使用Community Edition,運行時版本11.3 LTS(包括Apache火花3.3.0,Scala 2.12)
2回答2

Priyag1
尊敬的貢獻者二世

一個運行時錯誤,檢查是否有任何遞歸調用,如果一切正常運行又新鮮

約翰尼
新的貢獻者三世

我試著用一個簡單的csv文件,隻有一個列。我得到了同樣的錯誤。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map