問題從DBFS . txt文件加載到Langchain TextLoader ()

[David_K93]

你好,

我致力於建立一個Langchain QA在磚中的應用。我目前有13 . txt文件加載到DBFS和我試圖在反複閱讀TextLoader(),將它們加載到RecursiveCharacterTextSplitter從Langchain塊他們(),然後將它們添加到一個色度的數據庫。這從我的本地機器上,運行時沒有問題。但從DBFS加載的應用程序似乎並不接受文件。

我已經嚐試加載這些作為字符串對象加載到TextLoader()但這並不奏效。

有人發現一個解決方案嗎?

[venkatcrc]

試著用。

python組件需要前綴“/ dbfs”路徑。因為你正在使用的輸出dbutils.fs.ls它將前綴為“dbfs:”

取代裝載機= TextLoader(我[0])與裝載機= TextLoader(我[0].replace (dbfs: ', ' / dbfs '))

[David_K93 · Accepted solution]

最後我修修補補,發現我需要使用操作係統包訪問它的/ dbfs filepath:

#遍曆文檔的目錄,負載,分裂然後添加總清單

txt_ls = []

因為我在os.listdir (dir_ls):

文件名= os.path。加入(dir_ls,我)

裝載機= TextLoader(文件名)

文件= loader.load ()

text_splitter = RecursiveCharacterTextSplitter (chunk_size = 1000, chunk_overlap = 0)

文本= text_splitter.split_documents(文檔)

txt_ls.append(文本)

[匿名]

嗨@David凱西

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!