模型訓練數據適配器錯誤。

[NathanLaw]

我們將Pyspark dataframe Tensorflow使用PetaStorm和遇到一個“數據適配器”錯誤。你推薦什麼診斷和修複這個錯誤嗎?

https://docs.microsoft.com/en-us/azure/databricks/applications/machine-learning/load-data/petastorm

https://docs.microsoft.com/en-us/azure/databricks/_static/notebooks/deep-learning/petastorm-spark-co..。

謝謝你的幫助

[Kaniz]

嗨@Nathan法律,你已經檢查過這些需求?

需求

1. 磚運行時7.3 LTS毫升以上。磚上運行時6。x ML,您需要安裝petastorm = = 0.9.0和pyarrow = = 0.15.0集群。
2. 節點類型:一個司機和兩個工人。磚建議使用GPU實例。

這筆記本磚上演示了以下流程:

1. 加載數據使用火花。
2. 把火花DataFrame TensorFlow數據集使用petastorm spark_dataset_converter
3. 提要的數據到一個單節點TensorFlow模型進行訓練。
4. 提要的數據到一個分布式hyperparameter調優功能。
5. 提要的數據轉換成一個分布式TensorFlow模型訓練。

這個筆記本的例子是基於從TensorFlow轉移學習教程。它適用於pretrainedMobileNetV2模型弗洛/數據集。

[匿名]

嗨@Nathan法律跟蹤你有機會檢查@Kaniz Fatma的年代之前的評論?

[Kaniz]

嗨@Nathan法律,我們還沒有收到你最後的回應我,我被檢查回看到如果你有一個決議。如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

[NathanLaw]

你好,

從Petastorm例子:

#確保分區的數量至少是分布式訓練所需的工人數量。

我測試一個建議不使用自動定量。我將報告結果。

• 內森