使用DLT,我有兩個流源來自自動裝卸機。Source1包含文件中的一行數據和Source2有成千上萬的行。之間有一個共同的鍵列兩個來源一起加入他們的行列。到目前為止還好。
我有一個函數,一個CosmosDB數據庫中查找一個項目。這個函數接受一個ItemId作為參數。我使用返回值作為一個過濾器的管道在下一步。我在這個函數可以硬編碼一個ItemId和管道運行沒有問題,從宇宙拉回正確的數據和過濾器DLT表正確。然而,我不想硬編碼ItemId但得到它從文件後Source1土地的價值。Source1總是每個文件隻包含一行和ItemId列這一行。
我一直是這樣的:
ItemId =火花。sql(“從流(LIVE.Source1)選擇ItemId”) FilterInfo = LookupInCosmosdb (ItemId)
…但這並不工作。我試過其他的東西,都沒有工作。
我怎麼能: