命令輸出消失(不確定的根本原因)

[shaunangcx]

我每個月有一個將運行工作流,它會創建一個新的包含輸出從主筆記本筆記本。然而,一段時間後,輸出從創建筆記本將會消失。我可以保留輸出呢?

[shaunangcx]

跟進與討論,創建新的筆記本命令輸出時,它顯示了修訂曆史是空的,它有一個等待修改。我必須手動點擊保存輸出的留下來。有,我可以從工作流自動保存修改,輸出可以保留嗎?

[匿名]

@Shaun Ang:

是的,你可以使用磚工作區API以編程方式保存修改創建的筆記本,而不需要人工幹預。

您可以使用工作空間對象在磚的Python API來創建一個新版本的筆記本並保存其內容。這裏有一個例子代碼片段展示了如何做到這一點:

進口從databricks_cli.sdk進口json請求。從databricks_cli.workspace api_client ApiClient進口。api導入WorkspaceApi #設置磚api客戶機api_client = ApiClient(令牌= dbutils.secrets。get(範圍= " < >範圍”,關鍵= <鍵>))workspace_api = WorkspaceApi (api_client) #創建一個新修訂的筆記本notebook_path = " /道路/ /新/筆記本”notebook_name =“new_notebook_name”notebook_content = dbutils.fs.head (notebook_path)筆記本= workspace_api。import_workspace (notebook_name格式=“源”,語言=“PYTHON”,內容= json。轉儲({“內容”:notebook_content})) #保存新修訂的筆記本notebook_revision =筆記本workspace_api“object_id”。保存(notebook_path修訂= notebook_revision)

在這個例子中,我們首先建立了磚API客戶端使用一個API的令牌從磚秘密API檢索。然後,我們創建一個新修訂的筆記本通過調用

import_workspace WorkspaceApi對象的方法,將新筆記本的名字,內容的格式(在這種情況下,“源”筆記本文件),筆記本電腦的語言(在本例中,“PYTHON”),和筆記本的內容文件作為一個JSON對象。然後我們檢索的新筆記本的對象ID的反應

import_workspace。

最後,我們保存新修訂的筆記本使用WorkspaceApi對象的保存方法,將筆記本的路徑和新修訂的對象ID。

請注意,你需要替換<範圍>和<鍵> dbutils.secrets。get方法與適當的範圍和磚環境的關鍵的名字。

我希望這可以幫助,請讓我知道如果你有任何進一步的問題或擔憂。

[匿名 · Accepted solution]

@Shaun Ang:

有幾個可能的原因的輸出創建筆記本可能消失:

1. 筆記本權限:有可能運行工作流的用戶或服務帳戶沒有權限寫入目標筆記本。確保用戶或服務帳戶擁有必要的許可寫的筆記本。
2. 筆記本刪除:有可能創建的筆記本被刪除或被另一個進程或用戶覆蓋。確保工作流不刪除或覆蓋的筆記本,而且沒有其他進程或用戶刪除或覆蓋的筆記本。
3. 筆記本的元數據:Jupyter筆記本格式輸出作為元數據存儲在筆記本電腦文件。有可能創建的筆記本電腦丟失或損壞的元數據,這是導致輸出消失。你可以嚐試在文本編輯器中打開了筆記本和檢查元數據輸出是否存在。

保留輸出,你可以試試以下幾點:

1. 保存筆記本創建在不同的位置或使用不同的名稱,以避免覆蓋原始的筆記本。
2. 使用版本控製跟蹤更改筆記本及其輸出。
3. 修改工作流包括步驟,保存輸出到一個單獨的文件或數據庫,而不是單純依賴筆記本的元數據。

我希望這可以幫助,請讓我知道如果你有任何進一步的問題或擔憂。