續……
問:生成的列在三角洲住表包括標識列?
答:我的理解是,生成的列在三角洲住表不包含標識列。這是更多的生成的列DLT。
問:我們為每個客戶原始數據存儲在一個單獨的文件夾在S3。即使它有一些優點,處理數據讀取數據文件夾,文件夾是花費大量的時間。建議以這種方式存儲數據,還是你建議一個更好的方法嗎?(也許有一個鑲花文件並添加新數據?或……?)
答:在這種情況下,我認為你是正確的。所以當你試圖分析數據,查詢數據,這種方法可以加快的結果。你可以和當前的格式或將其存儲在格式因為δ更優化,它使您能夠回到時間和時間旅行。它還有許多其他功能如z順序優化。
問:我是一個承包商將對客戶使用磚。beplay体育app下载地址我該如何考慮用戶和數據管理,這樣我就可以順利移交項目一旦完成客戶端嗎?
你應該使用統一目錄允許您管理所有你的數據和你的數據資產像筆記本機器學習模型。此外,您可以使用三角洲分享,工作與統一目錄和讓你分享模型構件,筆記本,表或強調與客戶文件——磚和non-Databricks。beplay体育app下载地址
問:客戶想使用磚和突觸聯係在一起。任何建議嗎?synapse可以閱讀三角洲表生成的磚嗎?
答:您可以使用磚和突觸聯係在一起。但是我不明白為什麼你會使用突觸以及磚。除非有一個非常具體的要求,因為一切突觸磚可以做和越來越便宜的成本。如果你熱衷於這樣做不過,隨時閱讀醫生額外的細節。
問:你有推薦教程構建一個基於圖像的圖像分類器S3(包括可能轉移學習或使用現有的模型)?什麼磚對於這個應用程序的主要好處嗎?我一直看著SageMaker選項,看起來很簡單,我不確定有多深挖磚作為替代。
好問題!我們有許多不同類型的庫,您可以部署構建圖像分類器。所以,當你創建一個集群,就選擇集群的ml運行時間,選擇最新的長期支持運行時,這些庫也有很多。您還可以自定義腳本安裝在集群上如果你想使用的腳本。
問:你有什麼信息的使用三角洲住表嗎?例如,成功的故事。這將是對我們有用的決定是否使用三角洲生活表。
我們有很多客戶使用三角洲生活表。beplay体育app下载地址我的客戶基本上beplay体育app下载地址是創建管道使用三角洲生活例如表和我們有我們的一個最大的客戶是誰使用三角洲住表簡化創建管道。這給你數據質量的期望以及使數據工程數據工程師非常簡單,甚至可以為你的數據和分析的人。這也使得流媒體和批處理非常容易。
問:什麼是解決過程一個json文件像100 GB的文件和複雜的數組?
磚是良好的裝備來處理大文件。我建議你使用一個較大的集群i3.4xlarge。此外,一旦你得到這個數據存儲您應該使用命令像真空優化分配數據和真空除去舊的和未使用的文件。
問:我有點困惑的使用“pathGlobFilter”自動加載程序,你能解釋一下這個過濾器是用來做什麼的?
這些過濾器基本上幫你過濾數據。如果所有的原始文件是一個目錄,你可以選擇為每個如何負載工作某些文件。如果沒有正確地指定過濾器,那麼它將不會接這個模式。基本上這意味著你的數據,你不希望有時可能會流入嗯到三角洲湖以及它將導致更少的性能。這是一個社區的帖子更多的細節。
問:如何把當你從另一個分支在不同的分支,?例如,如果我在一個部門工作,和主分支包含變化之前,我的部門,我想把他們分支,如何變基我的分支與主分支在磚嗎?
答:例如你的同事正在行號10到15但你正在行號20到25。一旦他們把你推他們的變化會合並到主分支,然後出現了,你將審查和批準這些變化。
例如說,但如果你想要,你的同事已經在代碼和行號10到15你想要這些變化反映在你的代碼。你將不得不等待這些變化先批準合並到主分支,然後開始工作。
問:我如何使用增量表一起S3冰川(老日期記錄)?
答:保留一些舊記錄供您參考,所有表,那麼我建議你可以將這個數據推入S3冰川。已經說過的檢索時間仍將Sls AWS建議。所以如果你需要查詢這些數據由於任何原因然後你可能需要等待
