如何通過磚SQL查詢存儲在s3 deltatables端點?

[athjain]

三角洲表後ETL在csv或鑲花格式存儲在s3,所以現在的問題是如何讓磚sql的端點運行查詢在s3保存文件

[werners1]

通過使用一個蜂巢metastore您提供數據。這基本上是把一個語義視圖的文件作為一個典型的數據表。(遠東saveAsTable或創建表)

可以訪問這個蜂巢metastore Sql端點。

不要忘記設置數據訪問(sql端點需要訪問的數據服務主體)。

[athjain]

由於@Werner Stinckens響應

但問題是,如果在未來我想從磚和三角洲表存儲在dbfs(後端在s3中使用鑲花的文件格式)

我怎麼能夠從文件在s3中檢索?

如果不是使用dbfs (saveAsTable三角洲表存儲在dbfs)來存儲三角洲表,我們如何直接使用s3索取表通過sql端點

或如何連接sql端點直接指向s3的表

[werners1]

好的我明白了。

在dbfs您可以選擇使用管理表(數據由磚工作區)或非托管表(數據駐留在外部存儲像S3, ADLS等)。

所以你的情況下你會看非托管表。

SQL接口端點當然需要一個表,所以你仍然需要定義表的數據。

但這些隻是元數據。

你甚至可以選擇外部metastore。

例如檢查這或這。

[Hubert_Dudek1 · Accepted solution]

第一個鬥山:

% python aws_bucket_name = " < aws-bucket-name > " mount_name = dbutils.fs“< mount-name >”。山(“s3a: / / % s: % s@ % s % (access_key, encoded_secret_key aws_bucket_name)“/ mnt / % s”% mount_name)

比δ文件夾注冊表:

% sql使用三角洲位置創建表“t”“/ tmp /δ”