深度学习毕业设计基于LSTM的新闻文本摘要系统
一、项目技术
开发语言:Python
python框架:Django
软件版本:python3.7/python3.8
数据库:mysql 5.7或更高版本
数据库工具:Navicat11
开发软件:PyCharm/vs code
前端框架:vue.js
二、项目内容和功能介绍
🎈1.项目内容
利用深度神经网络Encoder-Decoder基本框架,通过引入注意力模型,本次将尝试实现应用LSTM+attention算法自动生成新闻摘要。首选利用LSTM神经网络编码出中间语义特征,最后利用注意力模型与LSTM神经网络解码出中间语义特征,最终实现自动生成新闻摘要。本次实现算法模型采用keras神经网络编程框架,数据集为中文数据,由于数据量稍微有点大。
🎈2.功能介绍
功能需求:
1、数据处理: 编写数据处理模块,将新闻文本数据进行清洗、分词、向量化等预处理操作,以便于输入 LSTM 模型。
2、LSTM 模型构建: 创建一个 LSTM 模型,包括一个 LSTM 编码器和一个解码器。编码器将输入文本编码成语义向量,解码器将该向量解码成摘要文本。
3、训练模型: 实现模型的训练过程,包括定义损失函数、选择优化器、迭代训练模型参数,并根据训练数据不断调整模型。
4、摘要生成: 开发摘要生成模块,用于输入一篇新闻文本,通过训练好的 LSTM 模型生成对应的摘要。
5、评估模型: 编写评估模块,使用自动评价指标(如 ROUGE)或人工评价指标来评估生成摘要的质量,帮助改进模型。
6、用户界面(可选): 如有需要,创建一个简单的用户界面,方便用户输入新闻文本并获取生成的摘要。
7、模型保存与加载: 实现模型的保存和加载功能,以便在训练完成后保存模型,并在需要时重新加载模型进行推理。
8、文档和演示: 撰写项目文档,包括代码注释、模型结构图、使用说明等,以及进行毕设演示,展示系统的功能和效果。毕设答辩常见问题的解答
三、核心代码
部分代码:
def config_page(request):
'''
获取参数信息
:return:
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code,
"data": {"currPage": 1, "totalPage": 1, "total": 1, "pageSize": 10, "list": []}}
req_dict = request.session.get('req_dict')
msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
msg['data']['pageSize'] = config.page(config, config, req_dict)
return JsonResponse(msg)
def config_list(request):
'''
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code,
"data": {"currPage": 1, "totalPage": 1, "total": 1, "pageSize": 10, "list": []}}
req_dict = request.session.get("req_dict")
msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
msg['data']['pageSize'] = config.page(config, config, req_dict)
return JsonResponse(msg)
def config_info(request, id_):
'''
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}
data = config.getbyid(config, config, int(id_))
if len(data) > 0:
msg['data'] = data[0]
return JsonResponse(msg)
def config_detail(request, id_):
'''
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}
data = config.getbyid(config, config, int(id_))
if len(data) > 0:
msg['data'] = data[0]
return JsonResponse(msg)
def config_save(request):
'''
创建参数信息
:return:
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}
req_dict = request.session.get('req_dict')
param1 = config.getbyparams(config, config, req_dict)
if param1:
msg['code'] = id_exist_code
msg['msg'] = mes.id_exist_code
return JsonResponse(msg)
error = config.createbyreq(config, config, req_dict)
logging.warning("save_config.res=========>{}".format(error))
if error != None:
msg['code'] = crud_error_code
msg['msg'] = error
return JsonResponse(msg)
def config_add(request):
'''
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}
req_dict = request.session.get("req_dict")
error = config.createbyreq(config, config, req_dict)
if error != None:
msg['code'] = crud_error_code
msg['msg'] = error
return JsonResponse(msg)
def config_update(request):
'''
更新参数信息
:return:
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}
req_dict = request.session.get('req_dict')
config.updatebyparams(config, config, req_dict)
return JsonResponse(msg)
四、效果图








DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)