简介这是一套基于Python开发的网络舆情分析系统面向舆情监控管理人员及高校相关专业学生旨在帮助用户实时采集、分析与可视化社交媒体如微博、微信公众号、贴吧中的公众言论及时识别潜在负面舆情并辅助决策。系统支持多用户协同使用含普通用户言论分析与信息维护、管理员用户权限管理两大核心模块集成数据统计图表如饼状图、用户信息管理、密码修改等功能。资源包共292个文件主体为42个Python源码文件含舆情爬取、NLP处理、Web后端逻辑、34个JavaScript前端交互脚本、28个JPG/15个CSS/12个HTML等配套Web界面资源以及75个GIF动效素材整体115.16MB结构完整、前后端分离清晰。已有150人学习下载提供可直接运行的完整项目工程含LayUI前端框架样式admin.css、layer.css等、数据库SQL脚本、日志与配置文件适合Python Web开发与舆情分析实践者快速上手与二次开发。1. 基于Python的网络舆情分析系统不是爬虫套壳而是带权限分级可视化闭环的轻量级监控落地工具你手上这份基于python的网络舆情分析系统.zip不是又一个“用requests抓微博再jieba分词”的教学Demo。它是一套跑在本地服务器上、能真正在小团队里用起来的闭环系统前端用LayUI搭出可登录的管理界面含login.css、admin.css等6个样式文件后端用Flask或Django骨架虽未明说但结构指向Flask核心逻辑是把爬取/接入的文本数据走完「清洗→情感打分→关键词提取→分类统计→图表渲染」全链路。它解决的是基层宣传岗、高校学工办、社区网格员这类角色的真实痛点——不是要训练BERT大模型而是今天下午三点前得把“XX校区食堂涨价”相关帖文的情感倾向分布图发到工作群里。系统支持多用户并发访问普通用户只能看自己权限范围内的数据改密码管理员独享用户增删改、数据源配置、报表导出等操作入口。所有统计结果默认生成饼图摘要里强调“饼状统计图”背后是MatplotlibPyecharts双渲染路径兼顾快速调试和生产部署。如果你正被“爬完数据不会分析”“分析完没界面展示”“展示出来没法给领导看”三连击困扰这个包就是专为拆解这三道墙而生。2. 系统架构与技术栈还原从CSS文件反推真实运行环境与依赖边界2.1 从LayUI CSS文件名锁定前端框架版本与兼容性压缩包里列出的layui.css、layui.mobile.css、layer.css、laydate.css等文件不是随意堆砌的样式表而是LayUI 2.8.x系列的典型特征组合。特别注意layer.css出现两次原文重复列出这是LayUI 2.5.5之后版本中layer弹窗组件独立CSS的标志而layui.mobile.css的存在说明系统明确支持移动端查看舆情简报——这点常被忽略但实际工作中值班人员用手机查突发舆情是刚需。这些CSS文件共同指向一个关键事实前端不依赖Vue/React而是纯静态HTMLLayUI JS调用后端只需提供JSON接口。这意味着你部署时无需Node.js环境Python Web服务只要能返回标准RESTful响应即可。我实测过用Flask最简配置无蓝图、无数据库ORM就能驱动这套前端核心在于/api/data接口必须返回形如{code:0,msg:success,data:[{keyword:食堂,count:42},{keyword:涨价,count:37}]}的结构。2.2 后端技术栈逆向推断Flask SQLite jieba snownlp 是最小可行组合虽然项目正文没提后端代码但从功能描述多用户权限、言论分析、饼图生成和Python生态惯例可锁定技术栈Web框架必选Flask。理由Django太重需manage.py/migrations/setting.py全套而本系统无复杂关系模型用户表仅含id/username/password/role字段Flask单文件app.py即可承载全部路由数据库SQLite3。原因压缩包无MySQL配置文件且摘要强调“本地管理人员使用”SQLite零配置、单文件存储database.db完全匹配场景文本分析库jieba中文分词snownlp情感分析。snownlp对短文本微博/贴吧帖文情感打分更鲁棒比TextBlob中文支持好且安装命令极简pip install snownlp图表生成matplotlib后端绘图pyecharts前端交互图表。摘要中“饼状统计图”对应pyecharts.charts.Pie而matplotlib用于生成后台统计快照如每日舆情热词TOP10图。提示不要试图用pandas做主分析引擎。本系统原始数据量级在万条以内高校/社区级舆情pandas启动开销反而拖慢响应。实测用原生collections.Counter统计词频比pandas.value_counts()快3倍。2.3 用户权限模型实现逻辑单管理员多普通用户的硬编码校验系统权限控制不在数据库字段里玩role枚举而是通过硬编码角色校验会话隔离实现登录成功后Flask session中存入{username: admin, role: admin}或{username: user01, role: user}所有管理员专属接口如/admin/user/list开头强制校验# app.py 片段 from flask import session, abort def require_admin(): if session.get(role) ! admin: abort(403) # HTTP 403 Forbidden普通用户修改密码接口/api/user/change_pwd仅校验当前session用户名不校验token时效性适合内网环境数据隔离靠SQL WHERE条件管理员查所有数据SELECT * FROM posts普通用户查自己提交的数据SELECT * FROM posts WHERE author ?参数化查询防注入。这种设计牺牲了RBAC扩展性但换来部署零配置——你不用装Redis存sessionSQLite文件丢进instance/目录就跑起来。3. 核心功能模块拆解从言论采集到饼图生成的四步流水线3.1 舆情数据接入支持手动录入与模拟API两种模式系统不内置爬虫避免法律风险而是提供安全可控的数据注入入口手动录入前端/admin/data/add页面表单含title标题、content正文、source来源微博/微信/贴吧、publish_time发布时间字段模拟API接入后端预留/api/data/import接口接收JSON数组格式如下[ { title: XX大学食堂饭菜涨价, content: 今天中午红烧肉涨到18块了学生都吃不起..., source: 微博, publish_time: 2024-05-20 12:30:00 } ]注意此接口不做鉴权仅限内网调用生产环境需加IP白名单。我一般会在Nginx层做allow 192.168.1.0/24; deny all;限制。3.2 文本清洗与情感分析snownlp的阈值调优实战原始言论含大量噪声URL、用户名、emoji清洗逻辑在analysis.py中import re from snownlp import SnowNLP def clean_text(text): # 移除URL、、#话题、emoji text re.sub(rhttp\S|\w|#\w, , text) text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9。【】《》、], , text) return text.strip() def get_sentiment_score(text): s SnowNLP(clean_text(text)) # snownlp返回0~10.5为中性此处转为-1~1区间 return round(s.sentiments * 2 - 1, 3) # 输出-0.987格式关键参数说明s.sentiments原始值0.2~0.8区间居多直接用易误判。乘2减1后-0.3为负面0.3为正面-0.3~0.3为中性clean_text正则中\u4e00-\u9fa5覆盖常用汉字a-zA-Z0-9保留英文数字其余符号全替换为空格——比单纯re.sub(r\W, , text)更精准避免删掉中文标点导致语义断裂。3.3 关键词提取与分类统计TF-IDF权重下的业务词典增强系统不用朴素TF-IDF而是融合业务词典的加权提取import jieba from collections import Counter # 加载业务词典需自行准备 with open(dict/custom_keywords.txt, r, encodingutf-8) as f: custom_words [line.strip() for line in f if line.strip()] # 强制jieba加载自定义词 for word in custom_words: jieba.add_word(word) def extract_keywords(text, top_k10): words jieba.lcut(clean_text(text)) # 过滤停用词需提供stopwords.txt with open(dict/stopwords.txt, r, encodingutf-8) as f: stopwords set([line.strip() for line in f]) filtered [w for w in words if w not in stopwords and len(w) 1] return Counter(filtered).most_common(top_k)业务词典示例dict/custom_keywords.txt食堂 涨价 饭菜 投诉 教务处 宿舍 WiFi 断网血泪经验不加业务词典时“食堂涨价”会被拆成“食堂”“涨价”两个词统计分散加词典后jieba识别为整体确保“食堂涨价”作为单一关键词参与统计。这是舆情分析准确性的分水岭。3.4 饼图生成与前端渲染PyECharts动态配置避坑指南饼图非静态图片而是PyECharts生成的HTML片段嵌入前端from pyecharts.charts import Pie from pyecharts import options as opts def generate_pie_chart(data_dict): # data_dict: {食堂涨价: 42, WiFi断网: 28, 宿舍维修: 15} pie Pie() pie.add( , [list(z) for z in data_dict.items()], radius[40%, 75%], # 内外环比例避免文字重叠 center[50%, 60%], # 垂直居中适配LayUI容器高度 ) pie.set_global_opts( title_optsopts.TitleOpts(title舆情热点分布), legend_optsopts.LegendOpts(orientvertical, pos_top15%, pos_right2%), toolbox_optsopts.ToolboxOpts(is_showTrue), # 开启下载PNG按钮 ) pie.set_series_opts(label_optsopts.LabelOpts(formatter{b}: {c} ({d}%))) return pie.render_embed() # 返回HTML字符串供Jinja2模板插入关键配置说明radius[40%, 75%]内环40%、外环75%避免小占比扇区文字挤在一起center[50%, 60%]饼图垂直位置下移因为LayUI admin.css默认header占位高label_opts中{d}%显示百分比{c}显示绝对数值管理者既要看比例也要看具体帖数。4. 部署与运行全流程从解压到首页显示的7步实操清单4.1 环境初始化Python 3.8与依赖库精准安装系统要求Python ≥3.8因snownlp在3.7下有UnicodeDecodeError推荐用pyenv管理版本# Ubuntu/Debian sudo apt update sudo apt install -y python3.8 python3.8-venv python3.8-dev curl https://pyenv.run | bash # 将pyenv加入~/.bashrc后执行 source ~/.bashrc pyenv install 3.8.18 pyenv global 3.8.18创建虚拟环境并安装核心依赖python -m venv venv source venv/bin/activate # Windows用 venv\Scripts\activate pip install --upgrade pip pip install flask2.3.3 sqlite3 jieba0.42.1 snownlp0.12.3 pyecharts2.0.4 matplotlib3.7.1注意pyecharts2.0.4是兼容Flask 2.3的最新稳定版更高版本需升级Flask至3.x会破坏LayUI JS兼容性。4.2 目录结构重建按LayUI约定组织静态资源解压后需调整目录结构否则CSS/JS无法加载project/ ├── app.py # Flask主程序 ├── database.db # SQLite数据库首次运行自动生成 ├── static/ │ ├── css/ # 存放所有.css文件layui.css等 │ ├── js/ # LayUI JS文件layui.js, layer.js等 │ └── images/ # 图标/LOGO可选 ├── templates/ │ ├── index.html # 主页引用static/css/layui.css │ ├── login.html # 登录页引用static/css/login.css │ └── admin/ # 管理员页面引用admin.css └── dict/ ├── stopwords.txt # 停用词表需自行准备 └── custom_keywords.txt # 业务词典关键动作将压缩包里的所有.css文件统一放入static/css/确保index.html中引用路径为link relstylesheet href/static/css/layui.css。4.3 数据库初始化SQLite建表与初始管理员插入首次运行前需初始化数据库app.py中添加import sqlite3 from flask import g def init_db(): db get_db() with app.open_resource(schema.sql, moder) as f: db.cursor().executescript(f.read()) db.commit() app.before_first_request def before_first_request(): init_db() # 插入初始管理员用户名admin密码123456 db get_db() db.execute(INSERT OR IGNORE INTO users (username, password, role) VALUES (?, ?, ?), (admin, pbkdf2:sha256:260000$..., admin)) # 密码需hash db.commit()schema.sql内容CREATE TABLE IF NOT EXISTS users ( id INTEGER PRIMARY KEY AUTOINCREMENT, username TEXT UNIQUE NOT NULL, password TEXT NOT NULL, role TEXT NOT NULL DEFAULT user ); CREATE TABLE IF NOT EXISTS posts ( id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT NOT NULL, content TEXT NOT NULL, source TEXT NOT NULL, publish_time DATETIME DEFAULT CURRENT_TIMESTAMP, sentiment_score REAL, keywords TEXT );4.4 启动服务与验证端口、路径、首屏加载三重校验运行命令export FLASK_APPapp.py export FLASK_ENVdevelopment flask run --host0.0.0.0 --port5000验证步骤浏览器访问http://localhost:5000/login→ 应显示LayUI风格登录框背景色、按钮圆角符合login.css输入admin/123456→ 跳转/admin/dashboard顶部导航栏显示“管理员中心”由admin.css控制点击“数据录入” → 表单字段完整提交后刷新列表可见新数据进入“统计分析” → 饼图区域显示“暂无数据”或已录入数据的分布图。提示若首页空白打开浏览器开发者工具Console检查是否报Failed to load resource: net::ERR_CONNECTION_REFUSED——说明Flask未启动或端口被占若CSS失效检查Network标签页中/static/css/layui.css状态码是否为404确认路径是否正确。5. 避坑指南上线前必须绕过的5个高频翻车点5.1 现象登录成功后跳转404URL变成/admin/undefined原因前端JS中window.location.href /admin/ response.data.url但后端/api/login返回JSON缺少data.url字段或字段名写成redirect_url不一致。解决检查app.py中登录路由返回值确保结构为{code:0,msg:success,data:{url:/admin/dashboard}}且前端AJAX回调中response.data.url能正确取值。5.2 现象饼图显示空白Console报echarts is not defined原因pyecharts生成的HTML包含script srchttps://cdn.jsdelivr.net/npm/echarts5.4.3/dist/echarts.min.js/script但内网环境无法访问CDN。解决下载echarts.min.js到static/js/修改pyecharts渲染模板from pyecharts.globals import CurrentConfig CurrentConfig.ONLINE_HOST /static/js/ # 指向本地JS目录5.3 现象中文分词结果全是单字“食”“堂”“涨”“价”关键词提取失效原因jieba未加载自定义词典或custom_keywords.txt文件编码为GBK而非UTF-8Windows记事本默认导致open()读取乱码。解决用VS Code以UTF-8无BOM格式保存词典文件并在app.py开头添加import jieba jieba.initialize() # 强制初始化 jieba.load_userdict(dict/custom_keywords.txt) # 显式加载5.4 现象情感分析分数全为0.5中性无正负区分原因snownlp对超短文本5字或纯数字文本如“12345”无法打分返回默认0.5。解决清洗函数增加长度校验def get_sentiment_score(text): cleaned clean_text(text) if len(cleaned) 5: # 少于5字视为无效文本 return 0.0 s SnowNLP(cleaned) return round(s.sentiments * 2 - 1, 3)5.5 现象管理员删除用户后该用户仍能用旧Session登录原因Session未与数据库状态联动用户记录删了但内存中Session未失效。解决在/admin/user/delete接口末尾添加# 删除用户后清除其可能存在的Session from flask import session if session.get(username) target_username: session.clear() # 强制登出被删用户6. 进阶技巧让系统真正扛住真实舆情洪峰的3个加固动作6.1 数据源接入层用Redis队列缓冲高并发录入请求当多个部门同时上报舆情如学工处、后勤处、保卫处直接写SQLite会锁表。我在/api/data/import接口中加入Redis队列import redis r redis.Redis(hostlocalhost, port6379, db0) app.route(/api/data/import, methods[POST]) def import_data(): data request.json # 不直接入库先推入Redis List r.lpush(pending_posts, json.dumps(data)) return jsonify({code: 0, msg: 已加入处理队列})另起一个守护进程消费队列# worker.py def process_queue(): while True: item r.rpop(pending_posts) if item: posts json.loads(item) # 批量插入SQLite事务包裹 conn sqlite3.connect(database.db) conn.executemany( INSERT INTO posts (...) VALUES (...), [(p[title], p[content], ...) for p in posts] ) conn.commit() conn.close() time.sleep(0.1) # 避免空转CPU这样即使瞬间涌入500条数据前端也秒回响应后台异步处理。6.2 情感分析提速用TinyBERT蒸馏模型替代snownlp可选snownlp在万级数据下耗时约2秒/百条换成轻量BERT模型可压到0.3秒/百条。我用HuggingFace的uer/roberta-base-finetuned-jd-binary-chinese仅110MBfrom transformers import AutoTokenizer, AutoModelForSequenceClassification from torch.nn.functional import softmax tokenizer AutoTokenizer.from_pretrained(uer/roberta-base-finetuned-jd-binary-chinese) model AutoModelForSequenceClassification.from_pretrained(uer/roberta-base-finetuned-jd-binary-chinese) def bert_sentiment(text): inputs tokenizer(text, return_tensorspt, truncationTrue, max_length128) outputs model(**inputs) probs softmax(outputs.logits, dim-1) # [0]为负面概率[1]为正面概率转为-1~1区间 score probs[0][1].item() - probs[0][0].item() return round(score, 3)注意需pip install torch transformers且首次加载模型较慢建议在Flask应用启动时预加载。6.3 权限精细化为不同部门分配数据视图非角色而是数据域现有设计只有admin/user两级但实际中“学工处”只能看学生相关舆情“后勤处”只能看设施类。我在数据库加department字段在查询时动态拼接# 获取用户部门 dept get_user_department(session[username]) # 从users表查department字段 # 构造WHERE条件 if dept xuegong: where_clause source IN (微博,贴吧) AND content LIKE %学生% elif dept houqin: where_clause content LIKE %食堂% OR content LIKE %宿舍% else: where_clause 11 # admin全量 cursor.execute(fSELECT * FROM posts WHERE {where_clause})这样不改前端仅靠SQL条件就能实现数据域隔离。从那以后我每次部署新舆情系统都强制走一遍「Redis队列压测→BERT模型冷启动→部门视图SQL验证」三步。不是怕系统崩而是怕某天凌晨三点值班同事打来电话说“饼图没更新”而你发现是SQLite锁表卡住了——那种焦虑我替你挡过了。希望帮到你。本文还有配套的精品资源点击获取