微博评论API
- 想要爬取某一条微博的评论,首先会想到微博官方提供的API,但是不巧的是,官方提供的api能够获取的评论数量有限,不足以分析,那怎么办呢?
- 我们想到了网页端,手机端的微博,希望直接爬取上面的数据。试了下网页端,可能网页做得很完善了吧,网页端找不到突破口,于是想到手机端碰碰运气。通过使用chrome的工具,发现:爬取最新评论的URL如下:
url='https://m.weibo.cn/api/comments/show?id='+weibo_id+'&page={}'
,如果希望爬取某条微博下的评论,将weibo_id替换为该微博id即可。
爬取数据
如今找到了微博评论的API,后面的事情就轻车熟路了。上requests,发get请求,传入带有cookies的header即可。cookies就是自己微博登陆的cookies,可以使用chrome开发者工具获得。如百度的cookies可以通过network标签页下,选择某一文档获得。
直接上代码比较直观:
i=0#评论的页数 commentnum=1#爬取的评论总数量 while True: try: req=requests.get(url=url.format(i),headers=headers) commentpage=req.json()['data'] if req.status_code==200:
print('读取%s页的评论:'%i) for j in range(0,len(comment_page)): print('第%s条评论'%comment_num) user=comment_page[j] comment_id=user['user']['id']#评论id print(comment_id) user_name=user['user']['screen_name']#发表评论的用户名 print(user_name) create_at=user['created_at']#发表时间 print(create_at) text=re.sub('<.*?>|回复<.*?>:|[\U00010000-\U0010ffff]|[\uD800-\uDBFF][\uDC00-\uDFFF]','',user['text'])#去除评论中表情等的特殊字符 print(text) likenum=user['like_counts']#点赞数 print(likenum) source=re.sub('[\U00010000-\U0010ffff]|[\uD800-\uDBFF][\uDC00-\uDFFF]','',user['source'])#去除评论中表情等的特殊字符 print(source+'\r\n')
except: i+=1 passcomment_num+=1 i+=1 time.sleep(3)#防止反爬虫机制,停止一会~~~~ else: break
现在我们已经获取到了微博的评论,我们就把他们用Mysql存储起来,以待后面的使用。我们使用pymysql这个包来操作Mysql,一个简单的操作代码如下:
class Sql(object):
def __init__(self):
pass
def connect_sql(self):
self.conn=pymysql.connect(host='127.0.0.1',user='root',password='1111',charset='utf8',use_unicode=False)#此处和下面一样缩进,md调不过来。。。
self.cur=self.conn.cursor()
def insert_data(self,comment_id,user_name,create_at,text,likenum,source):
#数据库名为nlp,表名为luhan
sql='insert into nlp.luhan(comment_id,user_name,created_at,text,likenum,source) values(%s,%s,%s,%s,%s,%s)'
param=(comment_id,user_name,create_at,text,likenum,source)
try:
self.cur.execute(sql,param)
self.conn.commit()
except Exception as e:
print(e)
self.conn.rollback()
这个类定义了一个insert_data函数,连接Mysql后,将上面的comment_id,user_name,create_at,text,likenum,source传入函数即可存入Mysql。
至此,就可以把某条微博的评论获取到本地了。