一行代码解决selenium爬虫老遇到谷歌人机验证问题
直接上代码
x = input("随便输点啥")
哈哈,是的,在百度了半天试了各种解决方法都不行之后,最后还是通过自己随便想的一个方法来简单粗暴地解决问题了。
我的任务是给一堆谷歌学术的链接,然后挨个打开连接,把里面的文章题目和url爬下来。使用selenium的chrome引擎的时候,不知道为啥,只要这个链接打开没有人机验证,后续翻页也不会有,而如果打开就有人机验证,我还没点完就循环到下一个连接了。为了解决这个问题,最后想到加入上面那个代码。
在执行driver.get(url)之后,加入输入等待,如果这时有人机验证,等我点完,再随便输入点啥,然后开始这个链接的爬取,然后爬完了等下一个连接看是不是会有人机验证。
缺点是不能完全自动,适合一些工作量不大的爬虫任务,可以玩着手机随时看两眼。
...
for url in urls:
...
driver.get(url)
x = input("随便输点啥")
...
暂无标签