使用TensorFlow和TensorRT模型推理
本文中的例子筆記本演示了磚推薦深度學習推理工作流TensorFlow和TensorFlowRT。這個例子展示了如何優化訓練ResNet-50模型與TensorRT模型推理。
英偉達TensorRT是一個高性能的推理優化器和運行時,可提供低延遲和高深度學習推理應用程序吞吐量。TensorRT安裝GPU-enabled版本的磚運行時的7.0(不支持)及以上。
磚推薦您使用G4實例類型係列,這是優化部署在生產中機器學習模型。
2023年7月25日更新
本文中的例子筆記本演示了磚推薦深度學習推理工作流TensorFlow和TensorFlowRT。這個例子展示了如何優化訓練ResNet-50模型與TensorRT模型推理。
英偉達TensorRT是一個高性能的推理優化器和運行時,可提供低延遲和高深度學習推理應用程序吞吐量。TensorRT安裝GPU-enabled版本的磚運行時的7.0(不支持)及以上。
磚推薦您使用G4實例類型係列,這是優化部署在生產中機器學習模型。