寫作PySpark DataFrame到AWS膠拋出錯誤

[raghub1]

我跟著這個博客中提到的步驟:https://www.linkedin.com/pulse/aws-glue-data-catalog-metastore-databricks-deepak-rajak/

但是,當試圖saveAsTable (table_name),它是一個錯誤

IllegalArgumentException:必須絕對路徑:< table_name > -__PLACEHOLDER__。

有人能幫我在這嗎?

[Prabakar · Accepted solution]

查看錯誤消息我相信問題是膠水的數據庫沒有位置DBR /δ的需要。你可以用改變數據庫datalake-processed設置位置= '……”或直接在膠控製台設置位置在AWS上。

https://docs.m.eheci.com/data/metastores/aws-glue-metastore.html creating-a-table-in-a-database-w……

[raghub1]

由於角色,我使用s3指定路徑的選擇,但是它不會工作。這是我使用的代碼:

df_final.write.partitionBy .mode (“partition_cols”)(“追加”)。選項(“路徑”,“s3: / /位置”).saveAsTable (“table_name”)

你能幫我嗎?

[Kaniz]

嗨@Raghu Bharadwaj Tallapragada,你能粘貼錯誤堆棧嗎?

[prabhatika]

@Kaniz開羅

我也麵臨著同樣的問題在使用‘saveAsTable DataFrameWriter的函數。以下是代碼片段:-

進口org.apache.spark.sql.functions。{坳,dayofmonth、月to_date,年}org.apache.spark.sql.types進口。數據類型val df = some-dataframe-here val glueTableName = " database-name-here。table-name-here " val s3Path = " s3a: / /一些/道路/ /“val partitionKeys =數組(“some-partition-key-here”) val dataframeWithYearMonthDay = df .withColumn(“年”,年(to_date (col (“createdAt”))) .cast (DataTypes.FloatType)) .withColumn(“月”,月(to_date (col (“createdAt”))) .cast (DataTypes.FloatType)) .withColumn(“天”,dayofmonth (to_date (col (“createdAt”))) .cast (DataTypes.FloatType)) dataframeWithYearMonthDay。寫.partitionBy(列表(“年”、“月”、“日”)+ + partitionKeys: _ *) .mode .format(“追加”)(“鋪”).option(“路徑”,s3Path) .saveAsTable (glueTableName)

PFA的堆棧跟蹤。請注意,給定的s3位置完全是空的,我想創建一個新表。

也,我麵臨這個問題隻有一個表。與寫信給其他表不麵臨這個問題。

請讓我知道如果需要任何其他信息從我的結束。