本文作者：张孟晗，中南财经政法大学统计与数学学院

本文编辑：孙一博

技术总编：王子一                         

当我们想出去大吃一顿时，我们通常都会打开我们手机里的美团，进入美食一栏，搜索附近好吃的店铺。而作为衡量一个店铺好坏的重要标准便是查看店铺的评论以及评分，从中我们可以大致看出这家店铺的水准如何。那么，今天小编便带大家用selenium爬取美团的评论并做一个简单的分析。

美团的反扒的第一关便是需要登录才能够查看具体的页面信息，而如果使用request来对登录的url发送一个post请求，最大的挑战便是破解其data参数值，而这些参数值的来源不仅限于一些固定的预设值，还有一些例如token参数需要分析js才能够破解，难度极其巨大。而selenium模块是代码操纵浏览器来完成自动化的操作，因此是不需要破解这些参数的，我们只需要像正常登陆一样，传入要输入的值，便可完成登陆的操作。但需要注意的是，如今美团网页也加大了对webdriver的检测，我们使用selenium时，我们浏览器的window.navigator对象会被设置为webdriver属性，而我们需要用一段javascript代码将webdriver属性设置为空，这样我们就能够绕开检测。

下面我们来分析一下美团的登陆页面：我们需要①给手机号一栏传导手机号值②给密码一栏传导密码值③勾选我已阅读按钮④点击登录按钮。

代码如下：

这样，我们就成功登陆上美团了

登陆成功后，我们首先得点击分类中的第一项美食，这样我们就会开启另一个窗口跳转到美团的美食专栏。这也意味着我们需要将webdriver的‘柄’切换到这个界面中，否则如果我们的‘柄’还在原来那个界面的话，是无法进行接下来的操作的，我们可以借助switch_to.window（）命令来完成。同时还需要注意的一点是，进入了一家店铺后，由于评论是动态加载的，如果我们不下滑到页面底端，可能一些数据并还未加载出来，所以那部分数据就无法爬取了，我们要做的是先下滑到页面底端再进行爬取，可以借助execute_script('scrollTo(0,10000)')来完成，这样就能保证当前页所有内容都已全部加载出来了。

代码如下：

随后，我们便可以用page_source命令来获取页面的源码数据并进行数据解析了。

从页面源代码中我们可以发现，一个页面有十条评论，均放在一个class属性为com-cont的div标签下。评论中我们可以获取用户名称，评价日期，具体评价以及所给评分，其中前三项可以根据class属性值来轻松获取。而评分的获取却大有门道，让小编带领大家分析一番。

通过对各星级的评分对比发现，各星级唯一的不同便在于style属性值的不同，style属性值内width后的数值越大，评分值越高。再经过仔细的比对后我们发现，星级乘以16.8便刚好是该数值的大小，所以我们可以根据width后数值的大小除以16.8来反推出星级。实现起来也很简单，只需要利用正则表达式提取出这部分数值，由于提取的是字符串，所以我们需要将其转化为数值类型，再作除法就大功告成啦！

最后我们将解析到的数据写入到csv文件中保存下来，代码如下：

首先读入我们的爬取到的评论文件，看爬到的数据大致长什么样。

对数据的清洗首先便是去重和处理缺失值了。经过这个步骤后，我们仍然可以看到，评论中包含一些由「」所框起来的菜名，\r\n表示的换行，这部分是没有价值的，我们可以利用正则表达式将其替换清除。并且我们还发现，评论里包含了许多emoji小表情，这个也是可以借助名为emoji的库，调用其demojiz方法，将表情转换为字符串，同样借用正则表达式将其替换清除。对于过短的评论，可能是为了刷好评留下的，价值不是很大，我们也将其过滤清除，最后留下的便是清洗好的数据，我们可以用它来话画云图。

从清洗后的数据来看，效果还算不错。

代码如下：

从词云图上来看，大家多从味道、服务及性价比等方面来对这家店铺进行评价，我们也可以看到满意、热情、不错等正向评价的词语，说明这家店铺还是挺不错的！

对于数值型数据，我们往往使用matplotlib或者pyecharts进行可视化，小编在此使用新工具—Power BI来进行可视化。Power BI相较于前两者，使用更加简单，无需编写代码，所有的操作都是拖拽点点点来完成的，生成的图像颜色也更加绚丽多彩，但最重要的是其有着出色的动态交互性，因此广泛用于商业数据分析。

对于我们爬取到的店铺评分数据，不妨用Power BI来可视化一下吧。首先，我们将数据导入到Power BI，由于我们的评分数据只有0.5—5.0共10个等级，所以绘制一个条形图更加合适，选定了图的类型后，便可以将评分拖入到轴、图例和值中，并且把值的模式改为计数（默认是求和）。

后面要做的就是美化我们的图了，打开“油漆刷”，我们就可以改变各坐标轴标题及字体，设置柱子的颜色等等等，所有操作都是实时更改实时展现的，大家根据自己的喜好调到一个自己认为整洁美观的状态就行。

从我们绘制出的图像可以看出，1000条评论中绝大多数的评论集中在4分及以上，但一家店铺的差评或许更能反映出这家店铺的缺点所在。可以看到1分级以下的评论达到了20条，占比为2%。然而没有对比是无法对这家店铺进行评价的，因此找了一家总体评分相同的店铺，将两组数据化为簇状条形图展示如下：

通过对比我们可以发现，从近1000条评论来看，用来对比的店铺B评分1及以下的评论达到了58条，占比约6%，比我们之前提到的店铺A高出了4个百分点，这个数值还是挺大的。并且由于这两家店铺的总体评分相同，所以综合来说本推文所选的这家店铺在近期的表现情况还是挺不错的。

结语：小编只演示了如何爬取一家店铺的评论，如果要爬取多家，可以尝试在外层套一个循环，更改xpath中的语句来达到进入不同店铺的效果。最后小编还想说的是，美团的反扒真的做的很严（毕竟有那么多优秀的程序员在维护），连续爬了几面后经常会弹出额外的验证，我们可以设置一个较长的隐性等待时间，利用这段时间我们便可以手动操作来完成验证。

腾讯课堂课程二维码