下載多莉模型在本地機器上

[JohnLaw]

嗨~我是新LLM工程,我想下載Dolly-v2-7b模型在本地機器上,所以我不需要連接到互聯網每次我要運行Dolly-v2-7b。是否可以這樣做?謝謝!

[Kaniz]

嗨@JohnLaw,下載Dolly-v2-7b模型在本地機器上,您可以使用MLflow進出口MLflow遷移模型從一個空間到另一個地方。你可以複製模型從一個空間到另一個,從開發到生產工作區。

然而,這將是最好的如果你有MLflow 2.3安裝,和任何集群安裝了擁抱的臉變形金剛庫可用於批量推理。《變形金剛》圖書館10.4 LTS毫升以上的都是係統預安裝。

這裏是您可以遵循的步驟:

1。從磚工作區導出Dolly-v2-7b模型使用MLflow進出口。
2。導出的模型下載到本地機器上。
3所示。在本地機器上安裝擁抱臉變形金剛圖書館。
4所示。加載到您的本地機器上使用的出口模型變形金剛庫。

來源:
- - - - - -https://docs.m.eheci.com/machine-learning/manage-model-lifecycle/workspace-model-registry.html
- - - - - -https://docs.m.eheci.com/machine-learning/train-model/huggingface/model-inference-nlp.html

[sean_owen]

@Kaniz這是沒有必要下載一個模型;它實際上與磚無關。

多利是托管在擁抱的臉。通過變壓器如果你下載它,它會緩存,而不是再次下載了。但你總可以隻下載文件的任何本地dir模型:https://huggingface.co/databricks/dolly-v2-12b/tree/main然後加載本地dir作為模型。

[JohnLaw · Accepted solution]

嗨Kaniz和肖恩,謝謝你的回複和時間。
我在Kaniz的方法,但是接到肖恩的答複,所以我也試過。我從肖恩的聯係提供了下載文件,保存在本地機器上,然後使用Dollyv2代碼(https://huggingface.co/databricks/dolly-v2-3b)並成功運行它沒有連接到Huggingface /磚。沒有試過沒有互聯網,但是我認為它也會工作。再次感謝Kaniz和肖恩的回複!

我使用代碼:

皮普 安裝 “加速> = 0.16.0 < 1” “變形金剛(火炬)> = 4.28.1 < 5” “火炬> = 1.13.1 < 2”

進口 火炬

從 變形金剛 進口 管道

generate_text =管道 ( 模型= “local_machine /道路/ / downloaded_Dolly_folder” , torch_dtype = torch.bfloat16 , trust_remote_code = 真正的 , device_map = “汽車” )

res = generate_text ( “我解釋核裂變和核聚變的區別。” )

打印 ( res ( 0 ][ “generated_text” ])