获取数据——爬取某微博评论

微博评论API

  • 想要爬取某一条微博的评论,首先会想到微博官方提供的API,但是不巧的是,官方提供的api能够获取的评论数量有限,不足以分析,那怎么办呢?
  • 我们想到了网页端,手机端的微博,希望直接爬取上面的数据。试了下网页端,可能网页做得很完善了吧,网页端找不到突破口,于是想到手机端碰碰运气。通过使用chrome的工具,发现:爬取最新评论的URL如下:url='https://m.weibo.cn/api/comments/show?id='+weibo_id+'&page={}',如果希望爬取某条微博下的评论,将weibo_id替换为该微博id即可。

爬取数据

  • 如今找到了微博评论的API,后面的事情就轻车熟路了。上requests,发get请求,传入带有cookies的header即可。cookies就是自己微博登陆的cookies,可以使用chrome开发者工具获得。如百度的cookies可以通过network标签页下,选择某一文档获得。 直接上代码比较直观:

    i=0#评论的页数 commentnum=1#爬取的评论总数量 while True: try: req=requests.get(url=url.format(i),headers=headers) commentpage=req.json()['data'] if req.status_code==200:

            print('读取%s页的评论:'%i)
            for j in range(0,len(comment_page)):
                print('第%s条评论'%comment_num)
                user=comment_page[j]
                comment_id=user['user']['id']#评论id
                print(comment_id)
                user_name=user['user']['screen_name']#发表评论的用户名
                print(user_name)
                create_at=user['created_at']#发表时间
                print(create_at)
                text=re.sub('<.*?>|回复<.*?>:|[\U00010000-\U0010ffff]|[\uD800-\uDBFF][\uDC00-\uDFFF]','',user['text'])#去除评论中表情等的特殊字符
                print(text)
                likenum=user['like_counts']#点赞数
                print(likenum)
                source=re.sub('[\U00010000-\U0010ffff]|[\uD800-\uDBFF][\uDC00-\uDFFF]','',user['source'])#去除评论中表情等的特殊字符
                print(source+'\r\n')
    
    
    
            comment_num+=1
        i+=1
        time.sleep(3)#防止反爬虫机制,停止一会~~~~
    else:
        break
    
    except: i+=1 pass

现在我们已经获取到了微博的评论,我们就把他们用Mysql存储起来,以待后面的使用。我们使用pymysql这个包来操作Mysql,一个简单的操作代码如下:

class Sql(object):
    def __init__(self):
        pass

    def connect_sql(self):
self.conn=pymysql.connect(host='127.0.0.1',user='root',password='1111',charset='utf8',use_unicode=False)#此处和下面一样缩进,md调不过来。。。
        self.cur=self.conn.cursor()

    def insert_data(self,comment_id,user_name,create_at,text,likenum,source):
        #数据库名为nlp,表名为luhan
        sql='insert into nlp.luhan(comment_id,user_name,created_at,text,likenum,source) values(%s,%s,%s,%s,%s,%s)'
        param=(comment_id,user_name,create_at,text,likenum,source)
        try:
            self.cur.execute(sql,param)
            self.conn.commit()
        except Exception as e:
            print(e)
            self.conn.rollback()

这个类定义了一个insert_data函数,连接Mysql后,将上面的comment_id,user_name,create_at,text,likenum,source传入函数即可存入Mysql。

至此,就可以把某条微博的评论获取到本地了。