我試圖用硒webdriver刮項目數據磚。筆記本電腦使用正常運行但現在有一個問題
得到:1http://archive.ubuntu.com/ubuntu焦/主要amd64 fonts-liberation 1:1.07.4-11 [822 kB]
命令。
細胞在此之前,我運行下麵的命令:
apt-get清潔& & sudo apt-get - y升級
使用sudo apt-get安裝- y
apt安裝libnss - y
apt安裝libnss3-dev libgdk-pixbuf2.0-dev libgtk-3-dev libxss-dev - y
使用sudo apt-get更新& & sudo apt-get安裝- y gconf-service libasound2 libatk1.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 libgtk-3-0 libnspr4 libpango - 1.0 - 0 libpangocairo - 1.0 - 0 libstdc + + 6 libx11-6 libx11-xcb1 libxcb1 libxcomposite1 libxcursor1 libxdamage1 libxext6 libxfixes3 libxi6 libxrandr2 libxrender1 libxss1 libxtst6 ca證書fonts-liberation libnss3 lsb-release xdg-utils wget ca證書google-chrome-stable libgbm1 libu2f-udev libwayland-server0 udev
我連接細胞失敗和錯誤消息。如果你有任何建議請讓我知道。
也許我的手冊如何運行selenium磚將幫助:
在圖書館集群選項卡中,請安裝PyPi chromedriver-binary = = 83.0(或更高,可能版本的腳本也可以更新)
請從筆記本運行下麵的腳本創建“/磚/腳本/selenium-install.sh”文件。
dbutils.fs.mkdirs (“dbfs: /磚/腳本/”)dbutils.fs.put(“/磚/腳本/ selenium-install。sh”、“”“# !/bin/bash apt-get更新apt-get安裝chromium瀏覽器= 91.0.4472.101-0ubuntu0.18.04.1——是的wgethttps://chromedriver.storage.googleapis.com/91.0.4472.101/chromedriver_linux64.zip- o / tmp / chromedriver。zip mkdir / tmp / chromedriver解壓/ tmp / chromedriver。zip - d / tmp / chromedriver /”“”,真的)顯示(dbutils.fs.ls (dbfs: /磚/腳本/))
請添加“/磚/腳本/selenium-install.sh“開始腳本——init集群配置。
後來在筆記本上,您可以使用chrome,如下的例子。
從硒進口webdriver chrome_driver = ' / tmp / chromedriver / chromedriver chrome_options = webdriver.ChromeOptions () chrome_options.add_argument (——no-sandbox) chrome_options.add_argument(——無頭)# chrome_options.add_argument (——disable-dev-shm-usage) chrome_options.add_argument (——homedir = / dbfs / tmp) chrome_options.add_argument (——user-data-dir = / dbfs /硒)#首選項= {“download.default_directory”:“dbfs / tmp”, #”下載。prompt_for_download”:假#}# chrome_options.add_experimental_option(“首選項”,控製台)司機= webdriver。鉻(executable_path = chrome_driver選項= chrome_options)