在这里插入图片描述

qidian_analysis

目的

本次的数据分析项目实现了数据爬取、解析、储存、分析和可视化等需求。本项目整体使用了Python语言，爬取的目标是起点中文网，目的是获得其畅销榜单的前100部小说的相关信息（排行，书名，作者，书籍类型，简介，最新章节，最近更新时间和书籍链接），并在网页上进行相应的分析和可视化展示。

介绍

  • spider_qidian：将目标网站的数据进行爬取、清洗，然后保存在excel和数据库中

  • flask_qidian：web可视化展示

  • 本次项目实现的大致功能：

    1. 网页爬取：采用Python中的urlib库连接并且爬取了起点中文网畅销榜单，获得了需要的内容。

    2. 数据解析：利用了BeautifulSoup和正则式对获取的网页内容进行了解析，拿到我们需要的信息（排行，书名，作者，书籍类型，简介，最新章节，最近更新时间和书籍链接）。

    3. 数据存储：将拿到的数据保存在了Excel文件中同时也利用sqlite3库将相关的数据保存在了数据库中，以便于之后数据的利用。

    4. 数据分析：利用flask框架构造了一个本地的网站，再次利用sqlite3操作数据库进行数据分析并且在网页上进行了展示。

    5. 数据可视化：通过echarts对书籍类型分布情况绘制了柱状图，然后又用wordcloud完成了对书籍简介词频分析和图像的制作，同时进行了展示。

环境

python3.9 + BeautifulSoup4 +flask + 各种库

搭建/运行

  1. 数据爬取(指定起止页1~30)

在这里插入图片描述

  1. 可视化展示(运行app.py后访问终端显示的链接)

在这里插入图片描述

效果图

  1. 首页(轮播图)

在这里插入图片描述

  1. 书籍(畅销榜)

在这里插入图片描述

  1. 柱状图(类型分布)

在这里插入图片描述

  1. 词云

在这里插入图片描述

  1. 图书类型再分类分析

在这里插入图片描述

  1. 可视化大屏

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Tg2ZIwbo-1688808431047)(https://github.com/Mingdaj/qidian-analysis/assets/130920375/5c9116e8-8d77-49d3-b895-0b925c47d640)]

项目详情 https://github.com/yizhishiliu/qidian-analysis

# 数据分析 # python # 爬虫
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

大模型应用开发三个月入门实战指南

本文为大模型开发零基础者提供实战指南，聚焦环境搭建、思维转换与核心技能落地。通过配置虚拟环境、掌握Prompt工程与RAG实现，手把手构建可运行的对话机器人。内容涵盖API调用、参数调优、错误处理及生产部署要点，强调“做中学”，帮助开发者跨越术语壁垒，快速实现从0到1的突破。

avatar DAMO开发者矩阵

Science Robotics 会定车、翘头、前空翻的自行车机器人

2026年10月14日，Science Robotics 发表了一篇论文，主角是一辆"会杂技"的自行车。它叫 UMV（Ultra Mobility Vehicle），重 23.5 公斤，完全蹲伏时高 0.8 米。它能原地定车，能翘着前轮前进，能单用后轮像袋鼠一样跳着走，能一口气前空翻，还能自己助跑、跳上 1 米高、相当于其名义身高 130% 的台子。它最高时速 8 米/秒。最离谱的是：做到这一切，

avatar DAMO开发者矩阵

世界模型新突破：偷懒率下降85.7%

包括在 WorldArena 1.0 上开展零样本迁移评估，在不同分布的 AgiBot 数据进行后训练，并在 EWMBench 上评估运动质量与综合表现；目前的主流方法，是以预训练视频生成模型为基础，在机器人操作数据上进行监督微调（SFT），根据初始观测、任务指令等条件生成后续交互视频。在消融实验中，他们分别测试仅 IGR、仅 TIA 和完整组合，并与普通 SFT 比较，检查两个模块各自带来的变化

avatar DAMO开发者矩阵