查看原文
其他

双标的莱万——足球无关政治?!

爬虫俱乐部 Stata and Python数据分析 2023-01-01

本文作者:闫宇聪,中南财经政法大学金融学院

本文编辑:冀思慧

技术总编:王子一                         

Stata&Python云端课程来啦!

      为了平衡团队运营成本,维系公众号的运营,也与国内动辄数千元的Stata课程缩短差距,我们的网课不得不上调价格,我们决定于2022年4月1日起调价,Python课程的价格调整为399.9元Stata基础课程调为399.9元Stata进阶课程调整到399.9元。大家可以告知一下身边想要购买的小伙伴,欲购从速哦,对报名有任何疑问欢迎在公众号后台和腾讯课堂留言~我们在这篇推文提供了每门课程的课程二维码,大家有需要的话可以直接扫描二维码查看课程详情并进行购买哦~


引言众所周知,4年一度的世界杯是每个球迷最盛大、最狂欢的节日。本次卡塔尔世界杯,211支国家足球队经过两年共901场预选赛的激烈厮杀后,最终仅有32支球队可以跻身世界杯决赛圈。目前,各个赛区的世界杯预选赛已经接近尾声,存在晋级希望的各个球队也都在奋力为自己的国家争取这宝贵的世界杯决赛圈门票。其中,竞争最激烈的欧洲赛区已经进行到附加赛阶段,俄罗斯、波兰、瑞典和捷克四支球队共同争夺一个宝贵的世界杯参赛名额。然而就在此时,俄乌冲突爆发,俄罗斯足球队相继被欧足联和国际足联禁赛。3月9日,FIFA官方宣布,由于俄罗斯被禁止参加国际足联和欧足联的赛事,波兰将直接晋级世预赛附加赛决赛。消息一出,波兰队中仅次于周琦的中锋,拜仁慕尼黑队的主力射手莱万多夫斯基多次在公共场合发声,强烈批判俄罗斯在俄乌冲突中的行为,并认为FIFA如此判决是非常正确的决定。而众所周知的是,莱万曾经在公开场合表示,希望不要有大的政治因素参与到足球当中来。笔者在看了俄乌冲突后莱万的这些发声,只想套用范大将军的一句名言来评价——“莱万这样双标,只怕是连面子都不要了。”

      当然,莱万的骚操作也引发了广大网友的激烈讨论,国内知名体育论坛“虎扑”足球专栏的官方用户“话题区圆桌”也发帖询问广大网友对此事的看法。今天小编就带大家一起去看一看虎扑网友对此事的评论。
1、单页爬取


首先,我们打开虎扑网页版,搜索关键字“莱万 俄乌事件”,找到原帖,点击进入。


我们发现帖子已经有40w+的阅读量,400+条回复,其中有50条高亮评论。我们打开开发者模式,在开发者工具里选择Network,此时刷新一下页面,但是却看不到网页的真实网址。这是为什么呢?

可以看到该网页的请求方式是get:

还有我们需要的请求头信息(最重要的是请求头中的user-agent信息):

接下来,我们使用xpath定位到评论,将评论挨个放入列表中,得到第一页所有的文字评论内容。

2、多页爬取

之后我们进行翻页操作,发现翻页后网页链接在html前出现了-2,因此我们可以使用一个循环,将所有的评论页都抓取下来。

完整代码如下:

#导包import requestsfrom lxml import etreeimport jiebaimport jieba.analyse as anlyimport numpy as npimport PIL.Image as Imagefrom wordcloud import WordCloud,ImageColorGenerator #爬虫all_comment=[]for i in range(1,1000): url = "https://bbs.hupu.com/52378643-%s.html" % i headers={ "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36" } html=requests.get(url, headers = headers) html.encoding = 'utf-8' tree = etree.HTML(html.text) comment_xpath="//div[@class='post-reply-list-container']/div[@class='reply-list-content']/div[@class='post-reply-list-content']/div[@class='reply-list-wrapper']/div[@class='m-c']/div[@class='bbs-thread-comp main-thread']/div[@class='thread-content-detail']/p" comment_list=tree.xpath(comment_xpath) comment_list = [comment.text for comment in comment_list] if len(comment_list) == 0: # 当页面没有要抓取的信息时,跳出循环 break while None in comment_list: comment_list.remove(None) all_comment.extend(comment_list) file = "./波兰.txt" with open(file, "w+", encoding="gb18030") as f : for comment in zip(all_comment) : f.write('''"%s"\n''' % (comment))print("程序执行完毕")
这样,我们就将所有的评论都抓取下来了,观察评论发现,网友们用“优美”的中国话批评了莱万的双标做派。

3、绘制词云图

接下来,为了更加直观的看出网友们的态度,我们使用Python来对评论的内容进行分词处理,并将波兰、波兰人、乌克兰、俄罗斯等无法体现评论特色的词加入停用词表中,再利用分词结果绘制词云图。具体代码如下:

#去停用词stopwordlist=[]fencilist=[]resultlist=[]with open(r"./停用词表.txt",'r',encoding='utf-8') as f: for i in f: stopwordlist.append(i)with open(r'./波兰.txt', 'r',encoding='gb18030') as test: for line in test: fencilist.append(line.strip())for i in fencilist: if(i not in stopwordlist): resultlist.append(i)with open(r"./处理过的分词.txt",'w',encoding='gb18030') as xx: for x in resultlist: xx.write(x) #分词text = open(r'./处理过的分词.txt', 'r', encoding='gb18030').read()word_list = jieba.cut(text)space_word_list = ' '.join(word_list)keywords = [] # 创建空列表(list)stopwords = ["波兰人","波兰","俄罗斯","莱万","乌克兰","球迷","拜仁"] for x, w in anly.extract_tags(space_word_list,topK=200, withWeight=True): # 前200关键词组成的list if x not in stopwords: keywords.append(x) print(keywords)space_word_list = ' '.join(keywords) #画词云图mask_pic = np.array(Image.open("./russia.jpg")) # 调用包PIL中的open方法,读取图片文件,通过numpy中的array方法生成数组 word = WordCloud( font_path='msyh.ttc', # 设置字体,微软雅黑 scale=4, #设置图片的清晰度 mode = "RGBA", mask = mask_pic, # 设置背景图片 background_color='FloralWhite', # 设置背景颜色 max_font_size=150, # 设置字体最大值 ).generate(space_word_list)word.recolor(color_func=ImageColorGenerator(mask_pic))image = word.to_image()word.to_file('1.png') # 保存图片image.show()
得到词云图如下:

从图片中可以看到,大家对莱万这番言论的最主要评价是“双标”,而“政治”、“恶心”、“从政”、“场下”等词也表现出了网友们对莱万场下政治行为的厌恶。莱万在场上作为波兰神锋,曾创造过德甲联赛9分钟打入5球的神迹,但是到了场下,却是一个为政治跳脚的“跳梁小丑”。

最后,小编作为一个资深的伪球迷,也想发表下自己的看法。足球界向来标榜“足球无关政治”,但这次官方机构的风向以及欧洲联赛顶级运动员们的表现,却与此宗旨背道而驰。不仅如此,他们表现得还及其双标,在FIFA官方社交媒体的下面,不少留言者提到了巴勒斯坦、伊拉克的例子,表示西方将战火烧到中东时,欧足联和国际足联没有表示,俄乌战争一爆发,这些“足坛话事人”便纷纷站出来“主持公道”。回顾历史,这已经不是欧足联和国际足联第一次这么双标了。人们总是津津乐道于丹麦在1992年欧洲杯创造的童话,却忽视了北欧海盗的参赛资格原本属于南斯拉夫;当1999年北约悍然轰炸南联盟,一众球员为祖国发声,官方组织却不断地以“足球无关政治”为理由对表达爱国情怀的球员进行处罚,而时至今日,莱万甚至戴上了乌克兰色调的队长袖标,政治倾向已经如此明显,欧足联却毫无表示。欧足联和国际足联,平日满口仁义道德,做出的决定却处处表明立场,他们把本该纯粹的足球变成他们参与政治的工具。可能他们永远也不明白,呼吁和平才是他们该做的事情,而不是去制裁那些无辜的人。

END
最后,我们为大家揭秘雪球网(https://xueqiu.com/)最新所展示的沪深证券和港股关注人数增长Top10。



腾讯课堂课程二维码





            


 对我们的推文累计打赏超过1000元,我们即可给您开具发票,发票类别为“咨询费”。用心做事,不负您的支持!














往期推文推荐

 Stata处理重复值:duplicates

It's time to send a flower to your lover!        2021各省GDP新鲜出炉

 爬虫实战-采集全国各省疫情数据

 log——为你的操作保驾护航

 一行代码教你玩转emoji

 票房遇冷的春节档口碑冠军丨《狙击手》影评分析

 学习丰县,营造良好营商环境!

 大国丢娃图:从川渝到徐州!

 丰县“失火”,殃及徐州:股市超跌近30亿!

 Unicode转义字符——编码与解码

        徐州!徐州!

        B站弹幕爬虫——冬奥顶流冰墩墩&雪容融

        不会用Stata做描述性统计表?so easy!

        丰沛之地:备足姨妈巾

 过年啦,用Python绘制一幅属于你的春联吧!

       登上爬虫俱乐部“时光机” |上“机”出发 开启一段奇妙之旅

       【基础篇】查找并输出子字符串的定位

        Stata中的小清新命令——添加观测值

        PCA(主成分分析法)降维——Python实现

       超好用的事件研究法

        如何绘制任泽平《鼓励生育基金》的几幅图

        Python 第六天——字符串

        findname——想要什么找什么

        Python字符串之“分分合合”

        PDF转docx可批量操作?——wordconvert的小技巧

        考研之后,文科生需以“do”躬“do”!

       手绘五星兴家国——用Stata绘制五星红旗

        Seminar丨董事会的性别多样化和企业创新:来自国际的证据

       Python与数据库交互——窗口函数

        Stata之post命令——数据邮递 

        爬虫俱乐部成员的Stata学习经验分享来啦!

       Seminar丨2002年萨班斯·奥克斯利法案的经济后果

        我几乎画出了“隔壁三哥”家的国旗

        Python基础——三大数字类型,你都了解吗?
        如何用Stata绘制带指向性箭头标注的图像       

关于我们 


   微信公众号“Stata and Python数据分析”分享实用的Stata、Python等软件的数据处理知识,欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。

   武汉字符串数据科技有限公司一直为广大用户提供数据采集和分析的服务工作,如果您有这方面的需求,请发邮件到statatraining@163.com,或者直接联系我们的数据中台总工程司海涛先生,电话:18203668525,wechat: super4ht。海涛先生曾长期在香港大学从事研究工作,现为知名985大学的博士生,爬虫俱乐部网络爬虫技术和正则表达式的课程负责人。



此外,欢迎大家踊跃投稿,介绍一些关于Stata和Python的数据处理和分析技巧。

投稿邮箱:statatraining@163.com投稿要求:
1)必须原创,禁止抄袭;
2)必须准确,详细,有例子,有截图;
注意事项:
1)所有投稿都会经过本公众号运营团队成员的审核,审核通过才可录用,一经录用,会在该推文里
为作者署名,并有赏金分成。

2)邮件请注明投稿,邮件名称为“投稿+推文名称”。
3)应广大读者要求,现开通有偿问答服务,如果大家遇到有关数据处理、分析等问题,可以在公众
号中提出,只需支付少量赏金,我们会在后期的推文里给予解答。

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存