模型服務與GPU集群

[alisher_pwc]

你好磚社區!

我們正麵臨一個強大的需要提供一些公共和私人GPU集群模型,我們有幾個要求:

1)我們希望能夠啟動/停止端點(最佳調度),以避免過度消費

2)我們想要一個靜態地址的端點

3)(可選)我們希望能夠一個集群上運行幾個模型(以更有效地利用GPU)

據我們所知你有GPU集群和容器服務。一個問題:有可能運行一個碼頭工人容器(或組)和暴露嗎?

我們知道大多數的GPU服務在預覽或β,然而,我們想聽到你的任何建議。現在我們使用磚在Azure比ML為不同的目的,但很想開始使用您的平台主機毫升模型。Beplay体育安卓版本

請建議我們可能從你的經驗方法。

謝謝你！

[Debayan]

你好,

您可以使用磚容器服務在集群gpu創建便攜式深度學習環境與自定義庫。看到自定義容器磚容器服務的指令。

創建自定義圖片GPU集群,您必須選擇一個標準的運行時版本代替磚運行時毫升的GPU。當您選擇使用自己的碼頭工人容器與一個標準的,你可以選擇GPU集群運行時版本。自定義圖像基於GPU集群官方CUDA容器,這是不同於磚運行時毫升的GPU。

當你創建自定義圖像GPU集群,你不能改變NVIDIA驅動程序的版本,因為它必須匹配主機上的驅動程序版本。

碼頭工人中心包含示例基礎圖像與GPU的能力。Dockerfiles用於生成這些圖像位於例子容器GitHub庫,也有細節的示例圖片提供,以及如何定製它們。

請參考:https://docs.m.eheci.com/clusters/gpu.html databricks-container-services-on-gpu-clusters

請讓我們知道這有幫助。

也請標記@Debayan你的下一個反應,將通知我,謝謝!

[Vartika]

嗨@Alisher維也納總醫院

@Debayan穆克吉的回答有幫助嗎?如果是的,你會很樂意的回答最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!