取消
顯示的結果
而不是尋找
你的意思是:

AmazonS3與自動裝卸機消耗“太多”請求或者不!

Tico23
貢獻者

成功加載後3小文件(每2 KB)從AWS S3使用自動加載程序出於學習的目的,我得到了,幾個小時後,一個“AWS自由層限製警戒”,雖然我沒有使用AWS帳戶。

這磚上,流媒體服務的消費請求即使沒有文件/數據上傳嗎?

Budget_alert這是正常的還是我忽略了一些隱藏的配置嗎?

1接受解決方案

接受的解決方案

daniel_sahal
尊敬的貢獻者三世

阿瑞亞@Alexander莫拉

它在某種程度上需要檢查是否有新文件存儲,是的——它將消耗請求如果連續運行。

在原帖子查看解決方案

3回複3

daniel_sahal
尊敬的貢獻者三世

阿瑞亞@Alexander莫拉

它在某種程度上需要檢查是否有新文件存儲,是的——它將消耗請求如果連續運行。

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨,汽車逐步加載程序和有效的流程到雲存儲新的數據文件。自動加載程序可以加載數據文件從AWS S3 (S3: / /), Azure數據存儲Gen2湖(ADLS Gen2 abfss: / /),穀歌雲存儲(GCS, gs: / /), Azure Blob存儲(wasbs: / /), ADLS Gen1 (adl: / /),和磚文件係統(DBFS DBFS: /)。自動加載器可以攝取JSON、CSV、拚花,AVRO,獸人,文本和BINARYFILE文件格式。

自動加載器提供了一個結構化的流媒體稱為cloudFiles來源。給定一個輸入在雲端文件存儲目錄路徑,cloudFiles源自動流程為到達的新文件,選擇也處理現有文件的目錄。自動加載程序支持Python和SQL三角洲生活表。

您可以使用自動加載程序來處理數十億的文件遷移或回填表。自動加載程序擴展到支持實時攝取數以百萬計的文件每小時。

請你reverify如果雲存儲接收任何文件或不呢?

請參考:https://docs.m.eheci.com/ingestion/auto-loader/index.html

請讓我們知道這有幫助。

也請標記@Debayan你的下一個反應,將通知我,謝謝!

@Debayan穆克吉

謝謝你的這個解釋。一切都工作好當我測試它,就像我上麵提到的。是它唯一不斷使得S3請求新數據,以檢查是否需要拉。我錯了嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map