一、功能与要求

1、实现功能

（1）使用Spark SQL对原始数据集进行数据预处理

（2）使用Spark SQL对预处理后的数据进行分析和统计

（3）通过使用echarts.js组件将进行分析后的数据展示到前端页面中

2、项目要求

（1）项目中需要包含数据获取、数据清洗、数据分析统计、数据可视化看板展示等功能；

（2）使用工具：Visual Studio Code

     使用技术：python语言,spark

3、提交作品

项目设计报告、项目源程序（项目工程目录及相关资源文件）、项目演示录屏。

4、项目组各成员工作分工

项目名称	成员	实现功能
信用卡逾期数据分析 与可视化项目		数据分析
		数据可视化
		数据采集
		数据预处理

5、对题目的分析与理解

信用卡逾期问题一直是金融行业和个人信用管理中备受关注的议题。逾期情况不仅影响个人信用评级，还可能对金融机构的风险管理产生重大影响。了解逾期情况，尤其是分析导致逾期的因素，可以帮助金融机构更好地了解客户行为，改善信贷政策，降低不良贷款率，提高金融服务的质量。

本项目的目的在于分析信用卡逾期的情况，探究逾期和各种因素之间的关联，为金融机构提供洞见。具体目标包括：

1. 年龄与逾期关系分析： 探究不同年龄段的人群中逾期率的变化，了解不同年龄层次的信用还款情况，为定向制定信贷政策提供依据。
2. 逾期记录与逾期关系分析： 分析有逾期记录的人中，30-59天逾期和60-89天逾期的比例，深入了解逾期人群中短期和长期逾期的情况。
3. 房产抵押与逾期关系分析： 探究有无房产抵押的人中逾期率的差异，了解房产抵押与信用还款情况的关系，为信贷政策的制定提供数据支持。
4. 家属人数与逾期关系分析： 分析有无家属的人中逾期率的比例，探究家庭结构对逾期情况的影响，为个性化信贷服务提供依据。
5. 月收入与逾期关系分析： 比较超过均值月收入和低于均值月收入人群的逾期情况，了解月收入对信用还款的影响，为信贷额度的确定提供数据支持。

二、方案设计

（一）系统总体设计

（1）系统总体架构设计

（2）系统模块设计

data_preprocessing.py:数据预处理模块

data_analysis.py：数据分析模块

data_web.py：数据可视化模块

字段名称	字段含义
SeriousDlqin2yrs	是否逾期
RevolvingUtilizationOfUnsecuredLines	信用卡和个人信贷额度的总余额
Age	年龄
NumberOfTime30-59DaysPastDueNotWorse	借款人逾期30-59天的次数
DebtRatio	负债比率
MonthlyIncome	月收入
NumberOfOpenCreditLinesAndLoans	未偿还贷款数量
NumberOfTimes90DaysLate	借款人逾期90天以上的次数
NumberRealEstateLoansOrLines	房地产贷款的数量
NumberOfTime60-89DaysPastDueNotWorse	借款人逾期60-89天的次数
NumberOfDependents	家庭中的家属人数

三、项目的实现

1、系统开发环境

Linux: Ubuntu 22.04.3

Hadoop3.1.3

Python：3.6

Spark：2.4.0

Jupyter Notebook

Pyecharts  

2、各模块功能实现

（1）年龄与是否逾期情况分析

# 共有逾期10026人，139974没有逾期，总人数150000

    total_y = []

    for i in range(2):

        total_y.append(df.filter(df['y'] == i).count())

    all_list.append(total_y)

    # 年龄分析

    df_age = df.select(df['age'],df['y'])

    agenum = []

    bin = [0,30,45,60,75,100]

    # 统计各个年龄段的人口

    for i in range(5):

agenum.append(df_age.filter(df['age'].between(bin[i],bin[i+1])).count())

    all_list.append(agenum)

    # 统计各个年龄段逾期与不逾期的数量

    age_y = []

    for i in range(5):

        y0 = df_age.filter(df['age'].between(bin[i],bin[i+1])).\

            filter(df['y']=='0').count()

        y1 = df_age.filter(df['age'].between(bin[i],bin[i+1])).\

            filter(df['y']=='1').count()

        age_y.append([y0,y1])

all_list.append(age_y)

源码及详细文章获取请添加下方名片