取消
顯示的結果
而不是尋找
你的意思是:

訪問S3文件

Databricks3
貢獻者

我用統一編目集群。我有一個要求讀取源文件放置的團隊在一個特定的位置(降落)在S3中。我已經使用metastore指向不同的桶。我需要使用外部位置指向降落在S3中?此外,我怎樣才能從這些文件讀取數據?

3回複3

匿名
不適用

考慮到你有兩種選擇:

  1. 外部位置:你可以創建一個外部位置統一metastore指向在S3中著陸。這允許統一訪問文件的位置,而無需複製或移動到默認位置由統一管理。您可以配置外部位置使用統一目錄管理工具或通過使用統一SDK / API。

    創建外部位置,指定S3 bucket和前綴(文件夾)的文件。團結能夠直接從S3指定位置讀取數據沒有任何數據移動。

  2. 直接讀:團結也能夠直接從文件讀取數據在S3中而不需要外部的位置。在這種方法中,您可以直接在S3著陸桶使用SQL查詢文件或火花命令。統一將利用其潛在的查詢引擎執行分布式處理和檢索S3的數據文件。

    讀取數據直接從S3著陸桶中,您可以使用統一編目的SQL或火花接口與數據交互和執行必要的操作,比如過濾、聚合,或者加入數據集。

Databricks3
貢獻者

如果你能分享一個例子的閱讀文件的情況下,它將會很有幫助。

Vidula_Khanna
主持人
主持人

@Databricks3

希望你是好。隻是想看看你是否能夠找到一個回答你的問題,你想要一個答案標記為最好?它對其他成員也將很有幫助。

幹杯!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map