我可以讀我所有的s3數據沒有任何問題後配置我的集群實例配置文件但是當我試著運行以下dlt裝飾它給我一個拒絕訪問錯誤。還有一些其他我調整我需要讓三角洲嗎?在查看管道時,它看起來像它沒在s3設置表在最初閱讀。注意,我還試圖設置存儲位置的路徑在s3 s3a: / /和/ mnt語法沒有運氣。我還注意到,如果我設置存儲桶掛在等待資源之前失敗的DataPlaneException:未能啟動DLT服務集群”。最終我會用這個自動裝卸機和cloudFiles但這是一個簡化的測試應該無論如何工作,謝謝
#這給了我一個403 java.nio.file。從pyspark.sql進口dlt AccessDeniedException s3的位置。功能導入爆炸,@dlt上校。表def rtb_dlt_bids_bronze():返回(spark.read.format (json) .option .option(“多行”、“true”) (“inferSchema”,“真正的”).load (/ mnt /演示/ < pathtofile >))
另一方麵來說,這就做得夠好了:
顯示器(spark.read.format (json) .option(“多行”,“真正的”).option .load (“inferSchema”、“true”) (“/ mnt /演示/ < pathtofile >”))
提高Py4JJavaError (py4j.protocol。Py4JJavaError:調用o772.load時發生一個錯誤。:java.nio.file。AccessDeniedException: s3a: / / < pathtofile >: getFileStatus s3a: / / < pathtofile >: com.amazonaws.services.s3.model。AmazonS3Exception:禁止;要求:頭https:// < pathtofile >;{}Hadoop 3.3.1 aws-sdk-java / 1.12.189 Linux / 5.4.0-1075-aws OpenJDK_64-Bit_Server_VM / 25.302 -b08 java / 1.8.0_302 scala / 2.12.14供應商/ Azul_Systems _Inc。cfg com.amazonaws.services.s3.model.GetObjectMetadataRequest /重試模式/遺產
