Selenium爬携程酒店评论+jieba数据分析实战

《Selenium爬携程酒店评论+jieba数据分析实战》

简介

如果你想使用最少的时间相对客观的了解一样事物,那么最好的方式就是快速收集大量的关于它的评价,然后迅速地找出这些评价中的关键信息。

而这道题目,有两个特别大的难点:

  1. 如何快速收集大量的评论
  2. 如何迅速的从大量评论中抽取关键信息

基于python语言的爬虫技术文本分析技术刚好可以克服这两大困难,帮助我们更快更客观的了解某样事物。接下来,我们使用python的Seleniumjieba对携程某酒店网页的评论进行抓取和分析。请大家搬好小板凳。

爬取评论数据

Selenium模拟浏览器

selenium是python中一个具有模拟浏览器操作功能的package。随着反爬虫技术日益强大,网页数据多数通过js和Ajax动态加载,简单的网页解析很难拿到关键数据。selenium的作用就发挥出来,它可以模拟浏览器向服务器发送请求,服务器将数据返回并加载到浏览器端后,我们就这样轻松的绕过了各种复杂的js解析过程,拿到那些动态加载的数据。
下面就是如何通过selenium模拟谷歌浏览器的一段代码,需要强调的是chromedriver的版本(下载地址)一定要和chrome的版本对应,比如笔者的chrome版本是71.0.3578.98(正式版本),则chromedriver对应版本是2.45,而且chromedriver下载完成后,解压后的chromedriver.exe 需放在chrome的应用文件夹内。

网页分析

首先我们进入携程官网某酒店的页面。直奔主题,找到评论区,利用chrome的审查元素功能查看评论的html代码,发现原来每条评论都装在一个 class 为 J_commentDetail 的 div 块里面。熟悉BeautifulSoup的朋友很容易就能想到,使用BeautifulSoup中按特定类选择器查找的函数 soup.find_all(class_ ="xxx") 就可以拿到所有评论。

《Selenium爬携程酒店评论+jieba数据分析实战》

接下来问题来了,这样查找文本只能拿到第一页的评论,如何对评论进行翻页操作呢?此时我们又要用请出selenium神器为评论爬取之旅保驾护航啦。还是同样的套路,用chrome对”下一页”这个链接进行元素审查,发现它是一个 class 为 "c_down" 的a标签。于是我们使用 next_ = driver.find_element_by_class_name("c_down") 这个函数模拟”下一页”按钮。之后只需要简单的通过 click 方法就可以实现翻页功能了。

《Selenium爬携程酒店评论+jieba数据分析实战》

下面的代码是使用selenium和BeatiBeatifulsoup对酒店评论进行抓取的部分。由于网页加载延迟问题,有时候点下一页,评论还没完全加载出来,代码就执行评论抓取的话,会导致评论抓取不到,所以增加了等待网页加载的部分。笔者只取了100页的评论数据。

运行如下代码后,笔者一共拿到967条酒店评论数据。

数据如下图所示,都是曾经住过这所酒店的人们留下的对这所酒店的评价。满满的真情实感。

《Selenium爬携程酒店评论+jieba数据分析实战》

文本分析

jieba

jieba是python语言中一个处理中文文本的package,常常被用来进行中文分词,词性标注,关键词提取。

关键词抽取

接着我们使用jieba自带的关键词抽取功能对对爬下来的评论数据进行分析,算法部分使用的是tf-idf,细节我就不介绍了,感兴趣的同学可以去研究一下。从分析结果我们可以发现,”江景 ,服务,热情,前台,免费,早餐 。。。”等重要程度高的关键词被提取出来。哇,在我们的脑海中一下子就浮现出 一个 可以观赏江景,前台热情,早餐免费,服务不错的酒店形象。大数据果真拥有大智慧呀。

《Selenium爬携程酒店评论+jieba数据分析实战》

生成词云

最后我们使用 word_cloud 将这些关键词可视化,这里字的尺寸越大代表这个词的信息越重要哦。从词云图中,我们可以更加直观的认识到这个酒店的特质,是不是很神奇。

《Selenium爬携程酒店评论+jieba数据分析实战》

结语

以上,我们了解到如何通过爬虫技术进行数据获取,以及数据分析技术对数据分析。运用大数据技术客观准确地认识事物的本质,在笔者看来是很值得探索的一个课题,要知道这个信息过载的时代,真相真的很难被挖掘出来。(这段很狗血,见谅)

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注

10 + 11 =