本文共 3721 字,大约阅读时间需要 12 分钟。
原地址:
作者:网站「看知乎」后台爬虫的源码,使用node.js编写。
exports.jsonPath = "./json/";//生成json文件的路径exports.avatarPath = "./avatar/";//保存头像文件的路径exports.dbconfig = { host: 'localhost',//数据库服务器(必须) user: 'dbuser',//数据库用户名(必须) password: 'dbpassword',//数据库密码(必须) database: 'dbname',//数据库名(必须) port: 3306,//数据库服务器端口 poolSize: 20, acquireTimeout: 30000};exports.urlpre = "http://www.zhihu.com/";//知乎网址exports.urlzhuanlanpre = "http://zhuanlan.zhihu.com/";//知乎专栏网址exports.WPurl = "www.xxx.com";//要发布文章的wordpress网站地址exports.WPusername = "publishuser";//发布文章的用户名exports.WPpassword = "publishpassword";//发布文章用户的密码exports.WPurlavatarpre = "http://www.xxx.com/avatar/";//发布文章中替代原始头像的url地址exports.mailservice = "QQ";//邮件通知服务类型,也可以用Gmail,前提是你访问得了Gmail(必须)exports.mailuser = "12345@qq.com";//邮箱用户名(必须)exports.mailpass = "qqpassword";//邮箱密码(必须)exports.mailfrom = "12345@qq.com";//发送邮件地址(必须,一般与用户名所属邮箱一致)exports.mailto = "12345@qq.com";//接收通知邮件地址(必须)
保存,然后进入下一步。
爬虫的原理其实就是模拟一个真正的知乎用户在网站上点来点去并收集数据,所以我们需要有一个真正的知乎用户。
为了测试可以用你自己的账号,但从长远着想,还是专门注册个小号吧,一个就够,目前的爬虫也只支持一个。 我们的模拟过程不必像真的用户那样从首页登录,而是直接借用cookie值:注册激活登录之后,进入自己的主页,使用任何有开发者模式或查看cookie插件的浏览器,打开知乎中自己的cookie。
可能有很复杂的一大串,但我们只需要其中一部分,即「z_c0」。 复制你自己cookie中的z_c0部分,连等号、引号、分号都不要落下,最后格式大致是这样的:z_c0=”LA8kJIJFdDSOA883wkUGJIRE8jVNKSOQfB9430=|1420113988|a6ea18bc1b23ea469e3b5fb2e33c2828439cb”;
在mysql数据库的cookies表中插入一行记录,其中各字段值分别为:
然后就可以正式开始运行了。
如果cookie失效或用户被封,直接修改这行记录的cookie字段即可。
推荐用forever来执行,这样不仅方便后台运行和记录日志,还能在崩溃后自动重启。
示例:forever -l /var/www/log.txt index.js
其中-l后的地址就是记录日志的地方,如果放在web服务器目录下,就能在浏览器里通过 来直接查看日志了。
在index.js后面加参数(用空格分隔)可以执行不同的爬虫指令:
各阶段的功能在下一节介绍。
为了方便运行,可以将这行命令写成sh脚本,例如:
#!/bin/bash
cd /usr/zhihuspider rm -f /var/www/log.txt forever -l /var/www/log.txt start index.js $*
具体路径请替换成自己的。
这样就能通过./zhihuspider.sh 加参数来开启爬虫了:
比如./zhihuspider.sh -i -ng -nf就是立即开始任务、跳过新用户和保存文件阶段。停止爬虫的方法是forever stopall(或stop序号)。
看知乎爬虫的入口文件是index.js。它通过循环方式在每天指定时间执行爬虫任务。
每天顺序执行的任务有三个,分别是:
在以上三个任务执行完毕后,主线程会每隔几分钟刷新一次知乎首页,验证当前cookie是否仍然有效,如果失效(跳到未登录页),则会给指定邮箱发送通知邮件,提醒及时更换cookie。
更换cookie的方法和初始化时一致,只需手工登录一次然后取出cookie值就行了。如果对具体代码实现感兴趣可以仔细看里面的注释,调整一些配置,甚至尝试自己重构整个爬虫。
转载地址:http://igmxi.baihongyu.com/