三角洲住表有不同的比相應的磚運行時的內置的SQL函數嗎?
我創建了一個集群與磚10.3運行時當前DLT(運行時)我可以測試我的三角洲住表代碼在運行它作為一個管道。我可以使用內置的SQL函數分割()和element_at()在我的互動工作簿,但是當我試著使用它們DLT運行,相同的代碼產生一個空值。
有參考指南為三角洲住表顯示內置函數(如果不同於相應的磚運行時的內置函數)?
我跑的代碼是分裂隻提取文件名的文件路徑。花了一個字符串:
“s3: / / example-bucket /文件夾/ secondfolder / thirdfolder / b4618a0e - ffb8 - 11 - ec - 9 -被- 00163 - e43d8f1.json”
並提取:
“b4618a0e——ffb8 9 - 11 - ec - -被- 00163 - e43d8f1”
這是代碼,在交互式10.3運行時工作正常,但不工作在DLT:
spark.sql (“””
選擇
element_at(分裂(element_at(分裂(file_name ' / '), 1),“\ \”。), 1) file_guid,
*
從my_tablename”“”)
