舆情监控系统 开源(基于数据挖掘的网络舆情分析)

舆情系统中的数据收集是关键的一环。虽然这部分的核心技术是由爬虫技术框架构建的，但绝不是一两个爬虫程序就能抓取海量互联网数据的，尤其是在抓取大量网站的情况下。每天大量网站的状态和风格发生变化后，爬虫程序可以快速响应和维护。
分布式爬虫一旦规模大了，就会出现很多问题，都是技术上的挑战，会有很多门槛，比如：
1.检测到你是爬虫，黑你的IP(如果别人通过你的ua，行为特征或者其他检测到你是爬虫，你怎么避免)
如何识别别人返回给你的脏数据？
对方被你打死，你怎么设计调度规则？
4要求你一天爬10,000 W数据，一台机器带宽有限。如何以分布式的方式提高效率？
5数据回升。要不要清洗对方的脏数据？原始数据会脏吗？
对方的部分数据没有更新。没有更新的一定要重新下载吗？如何识别和优化你的规则？
数据太多，一个数据库装不下。是否要分割数据库？
8对方的数据是JavaScript渲染，那么要不要上PhantomJS怎么把握？
9对方返回的数据是加密的。怎么能解密呢？
10对方有验证码，你怎么破解？
1对方有APP，你怎么获取别人的数据接口？
12数据爬回来，你怎么展示怎么可视化，怎么利用，怎么发挥价值？
13等等。
在收集大规模互联网数据时，需要构建一个完整的数据收集系统。否则你的项目开发效率和数据收集效率都会很低。同时也会出现很多意想不到的问题。
开源舆论系统https://gitee.com/stonedtx/yuqing
在线体验系统环境地址：http://open-yuqing.stonedt.com/用户名：1390000000密码：stonedt开源技术栈开发平台：Java EE SpringBoot爬虫框架：Spider-Flow Web Magic HTTP客户端App爬虫：Xposed框架URL仓库：Redisweb应用服务器：NginxTomcat数据处理和存储任务发送：Kafka Zookeeper捕获任务发送：RabbitMQ配置管理：MySQL前端演示：Bootstrap VUE整体架构(这是最早的系统架构图)
数据处理流程(这是最早的系统设计)
信息源管理信息源，简称信息源。我们需要管理集合类型、内容、平台、区域和其他属性。我们已经开发了三代信息源管理平台。
第一代产品形式
第二代产品形式
三代产品形态
网站采用模拟浏览器请求技术实现深度和广度抓取算法，分为三个环节，包括1)全网站扫描，2)数据存储，3)特征分析。
Meta识别整个网站的结构，并进行分析和存储，为每个抓取的网站建立一个“小档案”库。在识别的基础上，index预存所有网页，提取各种特征值进行分析计算。从网站目录到网站栏，每一个被抓取的目标页面都会被标注不同的特征参数。最后siteFeatures会把整体分析计算的结果还原到这个网站的抓取画像和特征上，让机器知道采用哪种抓取策略来自动匹配这个网站的特征抓取。基于这种设计，可以实现大规模数据采集的无人值守效果，也就是百度、Google这种大型搜索引擎所达到的数据效果。用“探针机器人”对整个网站进行预抓取，相当于一支先头部队。搞清楚爬取网站的情况后，机器很快就会知道采取什么样的获取策略。大量需要采集的网站中，只有极小一部分需要人工干预采集，不需要写一行爬虫采集代码。它是完全自动化和低代码的大规模数据收集。数据抓取自动抓取有了一个网站的人像属性，你就知道该匹配哪种抓取策略了。大部分网站都可以自动抓取并自动识别抓取的数据，无需人工干预。很难手动配置某些网站进行爬网。使用可视化技术，整个网站的标签被提取给开发工程师，他们将能够快速配置网站的抓取。我们在采集任何一个网站的时候，都会有各种各样的“探头”在网站结构、广告位、重点内容、导航栏、分页、列表、站点特征、站点数据量、抓取难度、站点更新频率等等。模板收集为了简化人工操作，提高工作效率，我们还提供了一个爬虫模板。爬虫的意义在于，当用户遇到一个配置复杂的站点时，只需要在爬虫模板库中寻找一个相似的模板，而不是从头开始，如图：数据临时存储如果数据直接存储在系统的大数据库中，一旦大量收集的脏数据下来，就会浪费时间和精力，所有数据都要重新预览和存储。存储完成后，会有一个程序对此进行检查和监控，避免数据字段缺失和被错误存储。如果预警发现临时存储中存在存储错误，它会及时向R & ampd工程师通过电子邮件，通知他们的错误，并要求他们改正。低代码开发配置目前的爬虫工厂已经有了低代码开发的平台。更准确的说，我们不在上面开发，我们在上面做爬虫配置，抓取数据。如图：维护通过低代码的开发，我们对爬虫的维护更加方便。我们只需要在web管理界面修改爬虫的抓取配置，同时可以在线调试，查看具体的抓取错误日志。否则，某个站点的抓取出了问题，我们也不知道哪个服务器上的哪个爬虫抓取错了。一旦各个站点的爬虫数量增加，维护成本极高。分布式采集控制器(master)的爬虫工厂有一个web控件管理后台，开发者可以在上面添加要采集的任务计划，以及数据采集和捕获的规则和策略。控制器只发布采集任务的捕获指令，不做任何捕获操作。调度控制器(master)通过rabbitMQ消息向任意执行端发送捕获的任务，消息中包含捕获的策略指令和捕获目标，调度器只发送指令和策略。下载器可以部署在世界各地任何可以连接到互联网的机器上。只要这台机器能上网，它就能采集数据，并将采集到的数据送回中央数据仓库。管理爬网程序状态爬网程序分布在许多服务器上。知道哪个服务器上的哪个爬虫出了问题，甚至知道服务器由于捕获的数据量激增而挂起，都是很痛苦的事情。因此，有必要监视服务器监视器和服务器上的每一个爬虫。监控每一个爬虫是否正常运行，监控每一个运行爬虫的服务器是否正常运行。
采集状态捕获的站点经常变化，所以我们需要知道每个目标采集站点捕获的数据是否已经正常采集。通过为每个爬虫编写采集任务号并显示在web界面上，可以直观的看到数据采集的效果。可以通过电子邮件警报和每日电子邮件统计来实时监控收集状态。分类网站的收藏一般有两种模式：直接http请求查看HTML代码；另一种是浏览器模拟技术，将请求的JS渲染结果还原为HTML代码，找到HTML标签和URL路径进行抓取。目前微信官方账号的数据采集方式基本有两种：通过搜狗微信和通过微信官方账号管理后台。但是，这两个封印太强了。经过多种尝试，采用RPA模式模拟运营代理请求人工的IP地址，从而抓取微信官方账号数据。但同时需要大量的微信微信官方账号，因为这种抓取的方法是基于微信官方账号的数量，没有微信官方账号抓取的目标是未知的。app采集前，在开发环境中的电脑上设置了一个WIFI共享，让手机APP可以连接电脑，看到传输的数据。现在app的数据采集成本越来越高，高年级几乎没有不加密的APP。因此，Xposed框架是最稳定的数据采集方案。反爬行策略模拟请求头有专门的数据表记录和更新各种浏览器请求的模拟请求头，例如：Host、Connection、Accept、User-Agent、Referrer、Accept-Encoding、Accept-Language等组合请求头参数。代理ip池不足以拥有代理IP。一般来说，稳定的IP池是昂贵的，对于需要收集的数据源，代理IP资源总是稀缺的。也就是说，要充分利用代理IP资源。主要有两个功能：1)实时检查代理IP的有效性，丢弃无效IP，提高爬虫请求的效率。2) IP_1抢了A_网站，被屏蔽了，但不代表IP_1抢了B_网站和N_网站马上就会被屏蔽，这样就充分利用了代理IP。日志收集系统采用独立且功能强大的服务器，专门处理日志。该服务器收集从各个方向和不同电信机房的爬虫执行终端传输的错误日志信息。每个应用通过logback的kafak插件写入消息队列，然后批量写入专用的Elasticsearch日志分析服务器。跟踪ID为了更有效地解决问题，我们从抓取请求到存储数据开始。系统用唯一的日志标签标记每个作业。这样无论中间发生了什么，最后一步做了什么操作，执行了什么程序，都可以有效的跟踪和追溯。日志分析通过数据分析，可以看到目前收集到的数据有什么样的问题，大规模的问题主要集中在当天或者这段时间的什么地方，哪些网站有问题，这些抓到问题的网站是否是关注的重点等等。从面到点分析问题。自动数据解析自动数据解析主要用于信息、招投标、招聘，系统采用文本密度算法实现。虽然这三类数据大致相同，但是网站多了之后还是差别很大。如果你依靠手工的方式一个一个地配置或编写代码，那将是一场灾难。手动解析只有在机器无法自动识别的情况下，才使用手动配置将网页上的字段一个一个填写到低代码爬虫开发平台。