閱讀冰山表出現在S3使用火花從磚控製台沒有錯誤。

[vinaykumar]

嗨,團隊,

閱讀時我麵臨問題冰山從S3表讀取數據時,沒有錯誤。

我跟著下麵的步驟。

1. 冰山火花連接器庫添加到你的磚集群。

2。集群配置,使冰山一角

spark.sql.catalog.spark_catalog。倉庫/ icebergpoc /

spark.sql.catalog.spark_catalog。hadoop類型

spark.sql.catalog。spark_catalog org.apache.iceberg.spark.SparkCatalog

3所示。火花會話創建和配置使用冰山火花連接器:

從pyspark。sql進口SparkSession

火花= SparkSession.builder.appName (“myApp”) .getOrCreate ()

#配置冰山火花目錄

spark.conf.set (“spark.sql.catalog。spark_catalog”、“org.apache.iceberg.spark.SparkSessionCatalog”)

spark.conf.set (“spark.sql.catalog.spark_catalog。類型”、“hadoop”)

spark.conf.set (“spark.sql.catalog.spark_catalog。uri”、“s3: / / agilent-aws-dev-35-enterprise-analytics / it_share /數據/電流/它/ HANA / LCA T_LCA_ZLCA_IB_MASTER /元數據”)

4所示。使用spark.read.format加載冰山表作為DataFrame ()

df = spark.read.format(“冰山”).load (“s3: / / agilent-aws-dev-35-enterprise-analytics / it_share /數據/電流/它/ HANA / LCA / T_LCA_ZLCA_IB_MASTER /”)

得到錯誤。

冰山表文件夾結構

請查看問題,幫我解決它。

[Debayan · Accepted solution]

嗨,你能擴大錯誤並提供細節。

請標記@Debayan與你的下一個評論,這樣我將得到通知。謝謝你！