三角洲湖的源圖像訓練分類模型在本地計算機

[MCosta]

嗨,夥計們,

我評估三角洲湖存儲圖像/數據版本控製被用來訓練模型。我看著一個會話解釋如何做到這一點,還使用MLflow管理培訓(//m.eheci.com/session_na21/image-processing-on-delta-lake)。

注意:這將是有趣的有一個鏈接到源代碼中使用演示。

不過,我有一個稍微不同的場景。測試是一個本地機器上執行後快速教程(https://docs.delta.io/latest/quick-start.html)。在這種情況下,最好的方法是什麼(使用盡可能多的開箱即用的組件)與圖像“抓住”一個本地文件夾組織到子文件夾(類)和轉儲成三角洲湖,然後使用一個特定的快照tensorflow嗎?

謝謝

[Kaniz]

你好@MCosta!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在論壇上先回答你的問題。否則我們將很快跟進與回複。

[werners1]

這樣做我能想到的3方麵:

1. 使用web UI (create table選項或上傳數據到DBFS)
2. 本地機器使用databricks-connect橋梁與遠程數據磚集群
3. 使用databricks-cli dbfs複製本地文件

您的雲供應商也可能有一個本地數據複製到雲環境的工具。

你的目的(評估)web UI選項可能是最簡單的。

https://docs.m.eheci.com/data/data.html

https://docs.microsoft.com/en-us/azure/databricks/data/databricks-file-system file-upload-interface