请选择 进入手机版|继续访问电脑版
发新帖

论文数据库爬取?

[复制链接]
3988 14

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
1.不是知网、万方;
2.在 tb 上买了一个集成平台的账号,号称几百个数据库论文都可以搜索到,登陆后可以选择你要跳转的数据库,然后这个数据库你就可以任意搜索下载了。想知道这种跳转技术是如何实现的,人家数据库那边不会检测到你是违法账号吗?如果要抓该数据库,直接传个 cookie 就行了?

ps:招爬虫工程师,联系 zgp6300@dingtalk.com

举报 使用道具

回复
zynlp  新手上路  发表于 5 天前 | 显示全部楼层
这是在面试吗?

举报 使用道具

回复
prokillerj  新手上路  发表于 5 天前 | 显示全部楼层
sci-hub 了解一下
https://zhuanlan.zhihu.com/p/2760916

举报 使用道具

回复
htfy96  新手上路  发表于 5 天前 | 显示全部楼层
2 的话,一般是买了这些数据库的某个学校的校外代理账号泄露了,你连集成平台,集成平台把你的请求通过校外代理发出去。分析过之前买的某家就是利用了兰州大学的校外代理

举报 使用道具

回复
okface  新手上路  发表于 5 天前 | 显示全部楼层
@zynlp 没有那么刻意吧。。当然面试聊这个也可以啊

举报 使用道具

回复
okface  新手上路  发表于 5 天前 | 显示全部楼层
@ProkillerJ 地址打不开。。。被知乎删掉了吧

举报 使用道具

回复
omph  新手上路  发表于 5 天前 | 显示全部楼层
偷的合法帐号,就这样

举报 使用道具

回复
pythonanswer  注册会员  发表于 5 天前 | 显示全部楼层
小哥就是被捉然后自戕的 注意法律风险

举报 使用道具

回复
yu099  新手上路  发表于 5 天前 | 显示全部楼层
这个下载一多比如一下子几小时上百篇,直接整个学校论文下载都停掉了。
学校被这样子搞过

举报 使用道具

回复
prokillerj  新手上路  发表于 5 天前 | 显示全部楼层
复制错了 应该是这个 https://zhuanlan.zhihu.com/p/27609168
@okface

举报 使用道具

回复
seven2016  新手上路  发表于 5 天前 | 显示全部楼层
跟 vip 视频解析一个原理呀,肯定是有合法的账户能够看到每个数据库的内容,才能抓下来。然后根据用户的需求构造参数用户合法账户去拿数据返回给用户。

举报 使用道具

回复
leigg  新手上路  发表于 5 天前 | 显示全部楼层
你都没试过,就来问,人家说的是给你搜索,不是给你爬,一个是人,一个是程序

举报 使用道具

回复
ioth  新手上路  发表于 5 天前 | 显示全部楼层
兼职

举报 使用道具

回复
alvin666  新手上路  发表于 5 天前 | 显示全部楼层
正规数据库是肯定有反爬机制的,我们学校买的数据库之前就因为下载量太大被封了一些 ip,要是不正规的数据库,谁知道里面的论文哪来的

举报 使用道具

回复
xmoiduts  新手上路  发表于 5 天前 | 显示全部楼层
触发反爬,直接上门。学校有过翻车经历,题主慎重。
当年那几个老哥好像下了 7w 篇。

举报 使用道具

回复
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表