功能存儲功能表的位置

[Direo]

磚功能表可以存儲DBFS以外的嗎?

[Priyag1]

@Direo Direo特性表是δ表可以共享不同的工作區。但你是問dbfs之外,到底是什麼要求,你想要存儲的地方

[Vidula_Khanna]

嗨@Direo Direo

@Priyadarshini G回答有幫助嗎?如果是這樣,你會很高興它標記為最好?如果沒有,請告訴我們,我們可以幫助你。

[sab]

是的,磚磚之外的功能表可以存儲文件係統(DBFS)。你可以存儲在Amazon S3等外部存儲係統功能表,Azure Blob存儲Azure數據存儲、湖或Hadoop分布式文件係統(HDFS)。

在外部存儲器存儲功能表,您需要配置存儲係統,並提供適當的連接信息在創建你的δ表。例如,當使用Amazon S3時,您將指定在創建表時的S3 bucket路徑。

這裏有一個例子如何創建一個使用PySparkδ表Amazon S3存儲桶中:

”“python
從pyspark。sql進口SparkSession

#啟動一個火花會話
火花= SparkSession。構建器\
.appName (“S3磚特性表”)\
.getOrCreate ()

#定義DataFrame樣本
data =[(34歲的“愛麗絲”)(“Bob”, 45歲),(“凱西”,29))
列=(“名字”,“年齡”)
df =火花。createDataFrame(數據列)

#寫DataFrameδ表在S3中
delta_table_path = " s3a: / / your-bucket-name / your-delta-table-path /”
df.write.format(“δ”).mode(“覆蓋”).save (delta_table_path)
' ' '

“your-bucket-name”和“your-delta-table-path”替換為適當的值為您的Amazon S3 bucket和期望的路徑。注意,您需要配置您的S3的身份驗證,並確保你有必要讀和寫的權限指定的桶。