当前位置:主页 > 娱乐文章 > 微博热点 > 基于微博数据流的热点话题发现方法研究及系统设计

基于微博数据流的热点话题发现方法研究及系统设计

2021-12-02 06:04来源:网络整理编辑:admin标签: 系统设计 科技新闻 大数据 

文章导读
对微博的舆情监控也越来越被重视,热点话题发现是其中的重要一个环节,可以从众多的数据中分析出人们所关注的事件,对舆论的监控有着重要的意义。2、在话题热度计算上,文本对微博的结构和特征进行了分析,结合用户影响力和单条微博影响力的特征,在LDA话题分布结果的基础上提出了一种话题热度的计算方法。得到话题分布和话题热度之后,对话题热度进行排序取出当前的热点话题,并在结果展示模块中对热点话题进行展示。...

【摘要】:随着互联网技术的发展以及移动网络的普及,人们之间的沟通交流也越来越频繁,交流方式也越来越丰富。微博提供及时的消息发布和订阅等功能,用户可以随时随地查看或者发布消息,这使得微博受到越来越多用户的喜爱。同时,一些新闻媒体和公众人物的加入,使得微博逐渐成为了一个影响力巨大的舆论社交平台。对微博的舆情监控也越来越被重视,热点话题发现是其中的重要一个环节,可以从众多的数据中分析出人们所关注的事件,对舆论的监控有着重要的意义。微博信息最大的特点就是微博文本长度的差异性大,文本类别以短文本居多,并且信息的实时性较强,热点也在实时变化。这给文本的聚类和话题的筛选造成了很大的困难。本文针对这一问题进行研究,提出了一种基于LDA的热点发现模型,并结合Spark平台进行了模型实现和系统设计。本文的主要工作包括:1、在话题分析的过程中基于微博的热点事件挖掘与情感分析,提出了一种基于时间窗的模式,使用前一个时间窗口内的数据对LDA模型进行离线训练,利用训练好的模型,使用Spark Streaming在线上对当前时间窗口内的文档做实时的话题分析,得出每篇文档的话题分布,以及通过话题热度公式计算每个话题的热度。每隔固定的时间基于微博的热点事件挖掘与情感分析,使用新采集的数据对模型进行训练并对模型进行更新。2、在话题热度计算上,文本对微博的结构和特征进行了分析,结合用户影响力和单条微博影响力的特征,在LDA话题分布结果的基础上提出了一种话题热度的计算方法。为用户的粉丝数,微博的评论数,转发数等设置一定的权重,计算出每条微博的影响力,并以此作为加权值对每个话题求期望得到话题热度。最后,对话题的热度进行排序便可以得到热点话题。3、对该模型做了系统实现。信息采集模块使用微博API不停的获取数据,将数据存放到本地数据库。对数据经过分词、去停用词的预处理之后,由语义分析模块进行模型的训练更新、文档的在线话题分析以及话题热度的计算。得到话题分布和话题热度之后,对话题热度进行排序取出当前的热点话题,并在结果展示模块中对热点话题进行展示。

热门文章
日榜 周榜
1 新浪微博热门话题

新浪微博还会随时更新热门话题列表,并将最热门的话题放在醒...

2 舆情监控系统python开源_舆情监测系统开源

信息采集:互联网信息(新闻、论坛等)的实时监测、采集、内容...

3 2021新浪微博手机客户端

新浪微博手机客户端是新浪出品的手机微博客户端软件,用户可...

4 微博情感分析(四)——微博情感分析基

前面说了微博情感分析的概述和特点,今天咱就来探讨一下微博...

5 新浪微博如何引流?

再往下可以拍一些微博故事,微博的一些问答,可以去提问,然...

6 微博之夜全景记录2017 凸显社交媒体三大

凭借对社会热点的全景记录、对泛娱乐领域的强大影响,微博之...

7 新媒体在社会热点事件传播中有哪些弊端

一、新媒体传播中的弊端一些专业能力较低的媒体快速报道社会...

8 基于关联挖掘的教学评论情感分析研究

综合国内外研究现状来看,当下情感分析的研究主要采用SVM、AN...

9 新浪微热点大数据研究院打造舆情数据应

新浪微热点大数据研究院从数据的发现、跟踪、分析、应对、疏...

10 微博舆情分析和人群情绪话语分析怎么做

《微博如何应对网络舆情——基于20起网络舆情事件典型案例分...

1 基于微博数据流的热点话题发现方法研究

对微博的舆情监控也越来越被重视,热点话题发现是其中的重要一...

2 舆情热点信息挖掘技术的研究与应用

本文通过设计并且实现了一个网络舆情观点收集系统,现在的网络...

3 微博名人看南宁 畅谈“壮乡世锦”

国家互联网信息办公室新闻协调局副局长梁立华在接受记者采访...

4 南宁"顺风车"悄然兴起 车主微博招"蹭车

2月26日,记者坐上一辆“顺风车”,感受免费私家车的"顺风"服...

5 基于GIS的移动通信网络投诉热点核查系统

本文主要分析和研究设计一个网络投诉热点核查系统。接着,本文...

6 百度新浪微博实时搜索上线

环信助力新浪微博打造全媒体智能客服新体验近日,新浪微博宣...

7 媒介融合形势下纸媒在“社会热点事件”

在当今媒介融合的形势下,纸媒作为我国的传统媒体之一,在报...

8 基于文本向量与机器学习的突发事件舆情

基于文本向量与机器学习的突发事件舆情演化分析方法本专利技...

9 基于文本挖掘的中国社交平台用户情感分

目前对文本进行情感分类有两种方法,一个是基于情感词典的分类...

10 新浪微博会像开心网那样没落吗?四大优

知乎上关于“新浪微博有没有可能像开心网那样没落?开心网在...

娱乐文章 | 精彩视频 | 电竞资讯 | 直播软件 | 美图看点 |

Copyright © 2002-2019 趣味头条资讯网 版权所有 Power by DedeCms 备案号: