使用 Debian 操作系统来运行 Selenium.
概括
由于需要执行网络爬虫操作,我在Debian上进行搜索,发现有很多关于在Ubuntu上使用Chrome的文章,而在Debian上执行此操作的文章却很少。我觉得既然可以使用软件包中提供的工具,为什么还要费力地安装Chrome呢?因此,我将这些内容整理成参考资料。实际上,这并不需要总结,因为非常简单。
安装所需的软件包。
apt install chromium-driver python3-selenium
通过这个命令,会安装所需的包,包括Chromium。
使用Selenium
请参考各种不同网页上的介绍。
在代理环境下使用
如果在Proxy环境中使用,需要设置代理信息。由于python3-selenium安装的是Selenium4,因此需要进行以下设置。
-
- http_proxy
-
- https_proxy
- no_proxy
特别是如果不设置no_proxy=localhost、127.0.0.1和::1,那么与本地主机的通信(Selenium使用的?)也将通过代理进行,并导致错误。您可以在环境变量中设置这些,但也可以在源代码内部设置。
os.environ["https_proxy"] = "http://proxy.xxx.xxx:8080"
os.environ["no_proxy"] = "localhost,127.0.0.1,::1"
可能的选择是这样。