Featurization轉移學習
本文提供了一個示例做featurization轉移學習使用熊貓udf。
Featurization DL的轉移學習模型
磚支持featurization深度學習模型。Pre-trained深度學習模型可以用來計算用於其他下遊模型的特性。支持大規模featurization磚,在集群分布計算。您可以執行featurization與深度學習庫包含在磚運行時毫升,包括TensorFlow和PyTorch。
磚還支持轉移學習,一種featurization密切相關的技術。學習可以重用知識轉移中的一個問題領域相關的領域。Featurization本身就是一個簡單而強大的方法轉移學習:計算功能使用pre-trained深學習模式轉移知識從原始域特性好。
轉移學習步驟計算功能
本文演示了如何計算功能轉移學習使用pre-trained TensorFlow模型,使用以下流程:
開始pre-trained深度學習模型,在這種情況下一個圖像分類模型
tensorflow.keras.applications。截斷的最後一層(s)模型。修改後的模型產生一個張量作為輸出的特性,而不是一個預測。
該模型應用於一個新的圖像數據集從一個不同的問題域,計算圖像的特征。
使用這些功能來訓練新模式。以下筆記本省略了這最後一步。等訓練的例子,一個簡單的模型邏輯回歸,明白了模型訓練的例子。
示例:使用熊貓featurization udf
下麵的筆記本使用熊貓udf執行featurization一步。熊貓udf,他們的新變種標量迭代器熊貓udf,提供靈活的api,支持任何深度學習庫,提供高性能。