请选择 进入手机版|继续访问电脑版
发新帖

Scrapy 爬虫莫名奇妙暂停了?

[复制链接]
7797 7

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
一个很简单的爬虫,就是一直监控某个页面,xpath 解析。通常情况下是正常运行的,但是有时候爬虫停止运行,更神奇的是按下 ctrl+c(windows7)居然又继续运行了。请问有人遇到过类似的情况吗?

举报 使用道具

回复

精彩评论7

ilovebaicai  新手上路  发表于 2018-1-28 14:29:16 | 显示全部楼层
内部有加其他解析方式不( requests ?),或者加一个 timeout。

举报 使用道具

回复
gouchaoer  注册会员  发表于 2018-1-28 15:27:25 | 显示全部楼层
powershell 或者 cmd 中关闭快速编辑模式

举报 使用道具

回复
gouchaoer  注册会员  发表于 2018-1-28 15:35:10 | 显示全部楼层
垃圾微软

举报 使用道具

回复
beforeuwait  新手上路  发表于 2018-1-28 15:49:53 | 显示全部楼层
刚接触爬虫的时候遇到过,当时也觉得有意思。
不过脚本是自己写的哈。

举报 使用道具

回复
chenjinluo  新手上路  发表于 2018-1-28 16:09:13 | 显示全部楼层
@gouchaoer 我确实看了快速编辑模式。难道问题就出在这里吗, 你也遇到过吗?  我现在正在重现这个问题,不断尝试中,毕竟出现这个问题的概率有点小-。-

举报 使用道具

回复
chenjinluo  新手上路  发表于 2018-1-28 16:25:20 | 显示全部楼层
@gouchaoer 开了快速编辑模式。打错。

举报 使用道具

回复
chenjinluo  新手上路  发表于 2018-1-28 16:44:32 | 显示全部楼层
@beforeuwait 是用的 Scrapy 吗?你有解决吗?

举报 使用道具

回复
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表