取消
顯示的結果
而不是尋找
你的意思是:

pyspark:如何運行selenium UDF

DievanB
新的因素

你好,

我建立一個webscraper得到某些EAN的從亞馬遜網站的價格。因此我使用硒產品鏈接。之後我寫了te函數productlinks基於EAN的:

def getProductLinkAmazonPY (EAN): startURL = ' https://www.amazon.nl ' driver.get (startURL)元素= driver.find_element_by_id (twotabsearchtextbox) element.send_keys (EAN) element.send_keys (Keys.RETURN);productPage = [elem.get_attribute elem (“href”)的驅動程序。find_elements_by_xpath (" / / * [@class = ' a-link-normal a-text-normal“]”)]如果productPage ! = []: productPage = productPage[0]返回(productPage, EAN)

有人知道如何運行這個函數並行使用一個UDF pyspark嗎?

謝謝

1回複1

Hubert_Dudek1
尊敬的貢獻者三世

UDF函數是序列化,然後執行器上執行。我不認為這將與硒有可能。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map