直接上代码

x = input("随便输点啥")

哈哈,是的,在百度了半天试了各种解决方法都不行之后,最后还是通过自己随便想的一个方法来简单粗暴地解决问题了。

我的任务是给一堆谷歌学术的链接,然后挨个打开连接,把里面的文章题目和url爬下来。使用selenium的chrome引擎的时候,不知道为啥,只要这个链接打开没有人机验证,后续翻页也不会有,而如果打开就有人机验证,我还没点完就循环到下一个连接了。为了解决这个问题,最后想到加入上面那个代码。

在执行driver.get(url)之后,加入输入等待,如果这时有人机验证,等我点完,再随便输入点啥,然后开始这个链接的爬取,然后爬完了等下一个连接看是不是会有人机验证。

缺点是不能完全自动,适合一些工作量不大的爬虫任务,可以玩着手机随时看两眼。

...

for url in urls:

...
driver.get(url)
x = input("随便输点啥")
...

标签: none

添加新评论