且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

用Python分析双十一电商新闻传播数据

更新时间:2022-08-15 20:04:11

同期来自蚂蚁金服的金融支付数据显示:截至18时55分,支付宝支付笔数达到了8.2亿笔,已超过了去年全天的支付笔数,移动支付笔数超过了5.8亿笔,占比超七成。

下面我们用Python通过抓取百度搜索“双十一”关键词的所有文本,对新闻文本进行文本挖掘,并对双十一微博关键词和相关博主的新闻传播路径进行分析。

主要利用beautifulsoup、urllib2、string等函数库对文本进行抓取

主要代码片段如下:

if __name__=='__main__':

        myname=raw_input("请输入关键词\n")

        keywordsnum=raw_input("请输入关联词个数\n")

        if int(keywordsnum) == 0:

                keywords=[myname]

        else:

                keywords=['']*int(keywordsnum)

                for k in range(int(keywordsnum)):

                    keywords[k]=raw_input("请输入关联的关键字%d\n"%(k+1))

        url1 = "http://www.baidu.com/s?wd="+myname

        response1 = urllib2.urlopen(url1)

        content1 = response1.read()

        soup1 = BeautifulSoup(content1,'lxml')

        site1 = soup1.find(class_="nums").get_text()

        num = string.atoi(OnlyCharNum(site1[11:-1].strip() .lstrip() .rstrip(',')))

        page = num/10

        print num,page

        filename=myname+".txt"

        myfile=open(filename,"w")

        keywordshownum=0

执行脚本后输入双十一关键词会进行抓取,界面如下:

用Python分析双十一电商新闻传播数据

抓取的结果放进txt文档以便进行后续分析,

通过jieba分词等函数库或者分词软件对txt文本进行词频分析,得出以下结果,显示词语的出现次数和频率等,可以进一步进行可视化处理生成标签云等:

用Python分析双十一电商新闻传播数据

用Python分析双十一电商新闻传播数据

本文完整源码下载地址:

http://pan.baidu.com/s/1i54raZF

在Python中文社区底部回复“双十一”三个字获取本文完整源码下载密码。

对微博双十一、淘宝、京东关键词进行挖掘得出以下相关联的一些微博博主:

用Python分析双十一电商新闻传播数据

用Python分析双十一电商新闻传播数据

用Python分析双十一电商新闻传播数据


原文发布时间为:2016-11-11

本文作者:阿橙

本文来自云栖社区合作伙伴“Python中文社区”,了解相关信息可以关注“Python中文社区”微信公众号