從內部訪問工作流設置一個筆記本。

[159312年]

我有一個筆記本電腦用於dlt管道。管道應該執行一個額外的任務如果管道運行作為一個完整的刷新。現在,我必須設置一個額外的配置參數當我運行一個完整的刷新。有辦法以編程方式訪問當前運行是否full_refresh或正常運行?

[Debayan]

@Ben鮑嘉create_update事件日誌表可以查詢知道如果它是full_refresh或定期運行。

另外,此外,

2.0 /管道/ {pipeline_id} /更新

上麵的API調用應該返回更新ID。

你可以得到更新細節update_id通過使用以下API:

2.0 /管道/ {pipeline_id} /更新/ {update_id}

JSON響應體應該有一個字段“full_refresh:真|假”。

[159312年]

@Debayan穆克吉我想從內部自動化這個筆記本是多個管道的一部分。兩種解決方案需要知道“pipeline_id”。我怎麼能從管道內訪問管道id運行?

參考鏈接為未來的讀者:

文檔查詢日誌

[kfoster]

管道可以找到id運行使用:

spark.conf.get (“pipelines.id”)

[Vidula]

嗨@Ben鮑嘉

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!