Skip to main content
 Web开发网 » 编程语言 » Python语言

python如何爬取大众点评评论信息?如何保存到mysql数据库中?

2021年11月27日17300百度已收录

这个非常简单,大众点评的数据是静态加载的,直接嵌套在网页源码中,所以直接爬取就行,下面我简单介绍一下实现过程,实验环境win10+python3.6+pycharm5.0,主要内容如下:

1.这里随便打开一个商户的评论页面,假设爬取的信息主要包括用户昵称、商户等级以及评论内容这3个字段(其他字段也可以),如下:

python如何爬取大众点评评论信息?如何保存到mysql数据库中?  Python数据库操作 第1张

2.接着右键检查元素,就可以看到对应的网页标签信息,包括属性、文本等,里面就有我们需要爬取的内容,如下:

python如何爬取大众点评评论信息?如何保存到mysql数据库中?  Python数据库操作 第2张

3.然后就是针对上面的网页结构编写对应代码解析网页内容,这里主要用到requests+BeautifulSoup组合,其中requests用于请求页面,BaautifulSoup用于解析页面,提取内容,测试代码如下,非常简单:

python如何爬取大众点评评论信息?如何保存到mysql数据库中?  Python数据库操作 第3张

点击运行这个程序,效果如下,已经成功爬取到评论内容:

python如何爬取大众点评评论信息?如何保存到mysql数据库中?  Python数据库操作 第4张

4.最后就是保存数据到mysql数据库中,主要用到pymysql这个模块,用于插入数据到mysql数据库中,安装的话,直接输入命令“pip install pymysql”就行,安装完成后,新建一个dzdp数据表,包含有user,rank,content这3个字段,接着就可以直接编写代码插入数据了,测试代码如下:

python如何爬取大众点评评论信息?如何保存到mysql数据库中?  Python数据库操作 第5张

点击运行这个程序,打开mysql数据库,已经成功插入数据,截图如下:

python如何爬取大众点评评论信息?如何保存到mysql数据库中?  Python数据库操作 第6张

至此,我们就完成了利用Python爬取大众点评评论信息并保存到mysql数据库中。总的来说,整个过程非常简单,因为是静态加载的数据,所以直接解析网页就行,如果是动态的,就需要抓包分析了,只要你熟悉一下上面的代码,很快就能掌握的,当然,你也可以使用scrapy爬虫框架爬取,都可以,网上也有相关教程和资料,非常丰富,感兴趣的话,可以搜一下,希望以上分享的内容能对你有所帮助吧,也欢迎大家评论、留言。

评论列表暂无评论
发表评论
微信