取消
顯示的結果
而不是尋找
你的意思是:

設置和使用變量在DLT管道筆記本

kskistad
新的貢獻者三世

使用DLT,我有兩個流源來自自動裝卸機。Source1包含文件中的一行數據和Source2有成千上萬的行。之間有一個共同的鍵列兩個來源一起加入他們的行列。到目前為止還好。

我有一個函數,一個CosmosDB數據庫中查找一個項目。這個函數接受一個ItemId作為參數。我使用返回值作為一個過濾器的管道在下一步。我在這個函數可以硬編碼一個ItemId和管道運行沒有問題,從宇宙拉回正確的數據和過濾器DLT表正確。然而,我不想硬編碼ItemId但得到它從文件後Source1土地的價值。Source1總是每個文件隻包含一行和ItemId列這一行。

我一直是這樣的:

ItemId =火花。sql(“從流(LIVE.Source1)選擇ItemId”) FilterInfo = LookupInCosmosdb (ItemId)

…但這並不工作。我試過其他的東西,都沒有工作。

我怎麼能:

  1. 設置一個變量從一個DLT流表
  2. 使用該變量在另一個DLT表作為過濾器條款
  3. 或者,直接在WHERE子句中使用子選擇Source2是這樣的:
    1. SELECT * FROM Source2 Source2的地方。在(選擇ItemId LookupInCosmosdb(從Source1 Source1.KeyCol))
0回答0
歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map