取消
顯示的結果
而不是尋找
你的意思是:

我想訪問S3數據磚

Karthe
新的貢獻者三世

你好,

我的新磚。我試圖從S3獲取數據。流媒體的視頻tutoirals平台訪問通過訪問ID訪問密鑰和秘密。Beplay体育安卓版本然而,磚扔一個不同的選擇。我不知道怎麼填。你能解釋或直接我正確的教程嗎

#文件位置和類型

file_location = " {{upload_location}} "

file_type = " {{file_type}} "

# CSV選項

infer_schema = " {{infer_schema}} "

first_row_is_header = " {{first_row_is_header}} "

分隔符= "{{分隔符}}"

# CSV文件的應用選項。對於其他類型的文件,這些將被忽略。

df = spark.read.format file_type \

.option (“inferSchema”, infer_schema) \

.option(“標題”,first_row_is_header) \

.option \(“9”,分隔符)

.load (file_location)

顯示器(df)

4回複4

Mohit_m
重視貢獻二世

有兩種方法在磚從S3讀取。你可以讀取數據一個我的角色使用訪問鍵或讀取數據。

在這裏你可以找到一些例子:

https://docs.m.eheci.com/_static/notebooks/data-import/s3.html

https://docs.m.eheci.com/administration-guide/cloud-configurations/aws/instance-profiles.html

Karthe
新的貢獻者三世

Mohit感謝你,我想我找到它仍然具有挑戰性的,因為我不清楚我相信的基礎。讓我試著找出其他方式。謝謝你分享答案。

AmanSehgal
尊敬的貢獻者三世

你可以做以下:

  1. 使用AWS密鑰和訪問一個S3 bucket DBFS山的關鍵。
  2. 概要文件和訪問通過創建一個實例
  3. 使用S3 bucket公裏,然後使用相同的公裏DBFS鬥山

Vidula
尊敬的貢獻者

嗨@Karthikeyan Palanisamy

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map