• 绪论

1.1研究背景与意义

随着全球经济的持续发展和人民生活水平的日益提高，扫地机器人作为中国新兴产业，其市场规模不断扩大，消费群体逐渐增多，市场竞争也日益激烈。在这样的背景下，如何有效管理和分析扫地机器人销售数据，挖掘潜在的市场机会，提升企业的竞争力，成为扫地机器人行业面临的重要课题。扫地机器人销售数据具有复杂性和多样性的特点。销售数据不仅包括销售额、销售量等基本的统计信息，还涉及消费者行为、市场动态、产品特征等多方面的信息。传统的数据处理和分析方法往往难以应对如此复杂的数据环境，因此需要借助更为先进和高效的技术手段。

大数据和云计算技术的快速发展为扫地机器人销售数据分析提供了新的可能性。Spark作为一种基于内存计算的分布式处理框架，具有处理速度快、扩展性强等优势，非常适合处理大规模的数据集。通过利用Spark技术，我们可以对扫地机器人销售数据进行高效的处理和分析，提取出有价值的信息，为企业的决策提供科学依据。

可视化技术的普及也为扫地机器人销售数据分析提供了更为直观和便捷的展示方式。通过可视化界面，我们可以将分析结果以图表、仪表盘等形式展示出来，使得用户能够更加直观地了解销售数据的分布和趋势，从而更好地制定市场策略和调整产品布局。

本研究旨在基于Spark技术设计一个扫地机器人销售数据分析与可视化系统，具有以下重要意义：

提高数据处理和分析的效率：通过利用Spark技术的分布式计算能力，实现对扫地机器人销售数据的高效处理和分析，减少数据处理的时间和成本。

挖掘潜在的市场机会：通过对销售数据的深入分析，发现隐藏在数据中的关联规则和趋势预测，为企业制定市场策略提供有力支持。

优化产品组合和销售策略：根据分析结果，企业可以了解不同产品的市场表现和消费者偏好，从而优化产品组合和制定更加精准的销售策略。

提升企业竞争力：通过本系统的应用，企业可以更加深入地了解市场和消费者，提高市场响应速度和决策效率，从而在激烈的市场竞争中占据有利地位。

基于spark的扫地机器人销售数据分析及可视化系统设计的设计与实现具有重要的现实意义和应用价值。通过本系统的应用，不仅可以提高数据处理和分析的效率，还可以为企业带来实际的经济效益和竞争优势，推动扫地机器人行业的持续发展。同时，本研究也可以为其他行业的销售数据分析提供有益的参考和借鉴。

1.2国内外研究现状

基于spark的扫地机器人销售数据分析及可视化系统设计设计及实现是近年来在数据科学与信息技术领域中的一个重要研究方向[1]。

基于Spark的销售数据挖掘算法中利用Spark的并行处理能力，对扫地机器人销售数据进行深入挖掘，发现隐藏在数据中的模式和关联关系。通过挖掘扫地机器人销售数据中的关联规则和频繁项集，该算法能够帮助有关部门了解扫地机器人销售的相互资料，为有关部门制定更加精准的扫地机器人销售预警提供依据[2]。

Spark计算技术是一种在诸多领域广泛应用的新型计算方式[4]。基于Spark的高校学生移动轨迹预测模型中利用Spark的机器学习库和深度学习框架，对高校学生移动轨迹数据进行学习，并采用多种机器学习算法进行预测[5]。

随着大数据技术的不断发展，国内扫地机器人企业越来越意识到利用大数据进行销售数据分析的重要性。一些企业已经开始尝试使用Spark等大数据处理工具来处理和分析销售数据，以更好地理解市场需求和消费者行为[6]。

基于Spark的制造企业数据分析与决策支持利用Spark的大数据处理能力，对制造企业数据进行全面分析和挖掘，为企业提供个性化的决策支持[7]。通过分析市场趋势、消费者行为以及竞争状况等信息，这种系统能够帮助企业制定更加科学、合理的销售策略，提高市场占有率和竞争力。此外，该系统还支持对不同地域、不同产品线的销售数据进行对比和分析，为企业决策提供更加全面和精准的支持[8]。

综上所述，基于spark的扫地机器人销售数据分析及可视化系统设计设计及实现是当前大数据和商业智能领域中的重要研究方向之一。国内学者在此方面的研究涉及多个方面，包括数据挖掘算法、数据可视化工具、销售预测模型、决策支持系统以及数据隐私保护方法等[9]。这些研究为企业提供了全面的扫地机器人销售数据分析与可视化解决方案，有助于提高销售业绩和市场竞争力。同时，也为其他行业的销售数据分析与可视化提供了借鉴和参考[10]。

基于Spark的分布式扫地机器人销售数据分析框架中利用Spark的并行处理能力，对扫地机器人销售数据进行高效的分析和挖掘。通过对销售数据进行多维度聚合和分析，该框架能够帮助企业全面了解销售状况，及时调整销售策略，提高销售业绩。基于Spark的扫地机器人销售数据可视化方法中利用Spark的机器学习库和图形可视化库，将扫地机器人销售数据以图表、图像等形式进行呈现，帮助企业更好地理解市场趋势和消费者行为。此外，该方法还支持对不同地域、不同时间段的销售数据进行对比和分析，为企业决策提供有力支持[11]。

基于Spark的扫地机器人销售预测模型中利用Spark的分布式计算能力，对历史销售数据进行学习，并采用多种机器学习算法进行预测。通过对未来一段时间内的销售数据进行预测，该模型能够帮助企业提前做好库存管理和物流规划，提高销售效率和客户满意度[12]。

基于Spark的扫地机器人销售数据分析与决策支持系统中利用Spark的大数据处理能力，对扫地机器人销售数据进行全面分析和挖掘，为企业提供个性化的决策支持。通过分析市场趋势、消费者行为以及竞争状况等信息，该系统能够帮助企业制定更加科学、合理的销售策略，提高市场占有率和竞争力[13]。

综上所述，基于spark的扫地机器人销售数据分析及可视化系统设计设计及实现是当前数据科学与信息技术领域中的重要研究方向之一。国外学者在此方面的研究涉及多个方面，包括数据分析框架、数据可视化方法、销售预测模型、决策支持系统以及数据隐私保护方法等。这些研究为企业提供了全面的扫地机器人销售数据分析与可视化解决方案，有助于提高销售业绩和市场竞争力。同时，也为其他行业的销售数据分析与可视化提供了借鉴和参考。

基于spark的扫地机器人销售数据分析及可视化系统设计设计及实现是一个充满活力和持续发展的课题。随着大数据技术的不断进步和普及，越来越多的企业开始意识到销售数据分析的重要性，并积极寻求更加高效和精准的销售管理方式。

未来，该课题的发展趋势主要体现在以下几个方面：

随着数据挖掘和机器学习技术的不断发展，基于Spark的扫地机器人销售数据分析将更加智能化和自动化。通过对销售数据的深入挖掘和分析，能够更加准确地预测市场趋势和消费者行为，为企业制定更加精准的销售策略提供依据。

数据可视化将成为该领域的一个重要研究方向。通过更加直观和易懂的图形、图像等方式呈现销售数据，能够更好地帮助企业理解销售状况和趋势，进而制定更加科学、合理的销售策略。

随着云计算和大数据技术的不断发展，基于Spark的扫地机器人销售数据分析将更加灵活和高效。通过云计算平台，企业可以更加方便地处理大规模的销售数据，并进行可视化展示。这将为企业提供更加全面和精准的销售管理服务，提高市场占有率和竞争力。

1.3系统的特点

基于spark的扫地机器人销售数据分析及可视化系统设计设计及实现这一课题的目的在于利用大数据技术和可视化手段，帮助企业实现对扫地机器人销售数据的全面、高效、精准分析，进而提升销售业绩和市场竞争力。

该课题的意义在于：

1.提高销售数据分析的效率和准确性：传统的销售数据分析方法往往采用手工处理方式，难以应对大规模数据的处理和分析。基于spark的扫地机器人销售数据分析及可视化系统设计能够利用分布式计算和存储技术，快速处理和分析大规模销售数据，提高了数据分析的效率和准确性。

2.帮助企业更好地了解市场趋势和消费者需求：通过对扫地机器人销售数据的分析和挖掘，该系统能够帮助企业更好地了解市场趋势和消费者需求，从而制定更加精准的销售策略，提高销售业绩和市场占有率。

3.提供更加直观、易懂的销售数据分析结果：通过数据可视化技术，该系统能够将复杂的销售数据以更加直观、易懂的方式呈现出来，帮助企业更好地理解销售状况和趋势，进而制定更加科学、合理的销售策略。

4.为企业提供智能化的销售管理方式：该系统的实现将为企业提供一种智能化的销售管理方式，有助于提高企业的市场占有率和竞争力，对于企业的发展具有重要的战略意义。

1.4研究内容

① 数据采集：通过爬虫技术对扫地机器人主流销售网站采集数据。

② 平台搭建：搭建Hadoop大数据平台，加入Hive,Spark等大数据组件。

③ 分布式数据处理：利用Spark的分布式计算能力，对大规模的扫地机器人销售数据进行处理和分析，以加快数据处理速度和提高分析效率。

④ 数据分析：通过对销售数据的季节性、周期性和趋势来进行销售趋势分析；通过销售数据在不同地区的变化进行地域分布分析；通过对消费者的偏好和购买习惯进行用户行为分析。

⑤ 可视化系统设计及实现：通过数据可视化分析系统技术的设计，将扫地机器人销售数据以直观、易懂的图形化方式呈现给用户，使用户能够快速了解销售状况和趋势。

• 相关技术介绍

2.1 Hadoop

Hadoop是一个开源的分布式计算框架，主要用于处理和分析大规模数据集。Hadoop生态系统由多个组件构成，其中最核心的是Hadoop分布式文件系统（HDFS）和MapReduce编程模型。

HDFS是Hadoop的基础，它提供了一个高度容错、高吞吐量的分布式文件系统，能够将数据分布在大量廉价硬件上，从而实现数据的可靠存储和高效访问。HDFS采用主从架构，包括一个NameNode和多个DataNode，NameNode负责管理文件系统的元数据，而DataNode负责存储实际的数据块。

MapReduce是Hadoop的另一个核心组件，它提供了一种编程模型，用于处理和分析大规模数据集。MapReduce将复杂的计算任务分解为两个主要阶段：Map阶段和Reduce阶段。在Map阶段，系统将输入数据划分为多个分片，并为每个分片创建一个Map任务，这些任务并行处理数据并生成中间结果；在Reduce阶段，系统对Map阶段产生的中间结果进行合并和汇总，最终输出计算结果。

Hadoop因其可扩展性、容错性和高效性而广泛应用于各种大数据处理场景，包括日志分析、数据挖掘、机器学习等。

2.2 Spark

Apache Spark是一个快速、通用的大规模数据处理引擎，它提供了内存计算的能力，从而比传统的Hadoop MapReduce模型具有更高的计算性能。Spark支持多种数据源，包括HDFS、关系型数据库、NoSQL数据库等，并且提供了丰富的API，使得开发者能够轻松构建数据处理应用。

Spark的核心是一个弹性的分布式数据集（RDD），它是一个不可变的、分布式的对象集合。RDD允许开发者进行高效的转换操作（如map、filter、reduce等），并将这些操作转换为执行计划，在集群上并行执行。此外，Spark还提供了DataFrame和DataSet API，用于处理结构化数据，并支持SQL查询。

Spark还包含了MLlib（机器学习库）、GraphX（图处理库）和Streaming（实时处理库）等多个组件，使得Spark能够处理更加复杂的数据分析任务。Spark因其高效性、易用性和广泛的生态支持，在大数据领域得到了广泛的应用。

2.3 ECharts

ECharts是一个使用JavaScript实现的开源可视化库，它可以在Web浏览器中生成交互式的图表和可视化效果。ECharts提供了丰富的图表类型，包括折线图、柱状图、散点图、饼图等，并且支持数据的动态更新和交互操作。

ECharts具有易于使用和高度定制化的特点。开发者可以通过简单的配置和调用API，即可生成各种复杂的图表。同时，ECharts还支持多种主题和样式定制，使得图表能够符合不同的视觉需求和设计风格。

在大数据可视化方面，ECharts可以与Hadoop、Spark等后端数据处理框架进行无缝集成。通过后端框架处理和分析数据，然后将结果传递给ECharts进行可视化展示，可以实现数据从处理到展示的完整流程。因此，ECharts在构建大数据可视化系统时具有广泛的应用前景。

 

• 需求分析

3.1可行性分析

在进行基于大数据技术的扫地机器人销售数据分析与可视化系统的设计与实现前，对其进行全面的可行性分析是至关重要的。可行性分析旨在评估项目在技术、经济和社会等方面的可行性，以确保项目能够成功实施并达到预期目标。

从技术可行性角度来看，当前大数据技术已经相当成熟，Hadoop、Spark等分布式处理框架在大数据处理和分析领域具有广泛的应用。同时，前端可视化技术如ECharts也提供了丰富的图表类型和交互功能，能够满足系统对于数据可视化的需求。因此，从技术角度来看，实现基于大数据技术的扫地机器人销售数据分析与可视化系统是可行的。

从经济可行性角度来看，虽然系统的实施初期需要投入一定的成本，包括硬件设备的购置、软件的开发和维护等费用，但考虑到系统能够带来的长期效益，这些投入是值得的。通过系统的应用，企业可以更加精准地了解市场趋势和消费者需求，优化产品组合和销售策略，从而提高销售效率和市场竞争力。因此，从经济角度来看，该项目的实施也是可行的。

从社会可行性角度来看，随着大数据时代的到来，数据已经成为企业决策的重要依据。通过实现基于大数据技术的扫地机器人销售数据分析与可视化系统，企业可以更好地利用数据资源，提高决策的科学性和准确性。同时，该系统也有助于推动大数据技术在其他行业的应用和发展，促进整个社会的信息化和智能化水平提升。因此，从社会角度来看，该项目的实施同样是可行的。

基于大数据技术的扫地机器人销售数据分析与可视化系统在技术、经济和社会等方面都具备可行性。然而，在项目实施过程中，还需要注意风险管理和控制措施的实施，确保项目的顺利进行和成功交付。

3.2 非功能性需求分析

在设计和实现基于大数据技术的扫地机器人销售数据分析与可视化系统时，非功能性需求的分析同样重要。这些需求关注于系统的性能、可靠性、易用性、安全性等特性，对于确保系统的稳定运行和高效服务至关重要。

性能是非功能性需求的重要方面。系统需要能够高效地处理和分析大规模的扫地机器人销售数据，包括数据的快速加载、存储、查询和分析等。同时，系统还需要具备快速的响应能力，以便用户能够及时获取分析结果。为了满足这些性能需求，我们需要在系统设计时考虑使用高性能的硬件设备和优化数据处理算法。

可靠性是另一个关键的非功能性需求。系统必须能够稳定运行，减少故障发生的概率，并在出现故障时能够迅速恢复。这要求我们在系统设计时采取容错和冗余措施，确保数据的完整性和系统的可用性。同时，我们还需要定期备份数据，以防止数据丢失或损坏。

易用性也是非功能性需求中不可忽视的一部分。系统应该提供直观、友好的用户界面，使用户能够轻松上手并高效地完成操作。为了实现易用性，我们需要进行用户调研，了解用户的需求和习惯，并根据反馈不断优化界面设计和操作流程。

安全性是非功能性需求中至关重要的一点。由于系统中存储了大量的销售数据，这些数据可能涉及商业机密和消费者隐私，因此必须采取严格的安全措施来保护数据的安全性和隐私性。这包括数据加密、访问控制、安全审计等措施，以防止数据泄露或被非法访问。

非功能性需求在基于大数据技术的扫地机器人销售数据分析与可视化系统中具有重要地位。通过对这些需求的深入分析和合理设计，我们可以确保系统不仅满足功能需求，还能在性能、可靠性、易用性和安全性等方面达到较高的标准，为用户提供优质的服务体验。

3.3主要流程分析

① 数据收集与存储

首先，需要从多个来源使用Scrpay框架对扫地机器人的销售网站进行采集数据。这些数据可能包括产品名称、销售量、销售日期、客户信息等。销售渠道可以多种多样，如线上商城、实体店等。为了处理和分析这些数据，需要将其存储在本地的数据库MySQL中，再由本地存入Hadoop大数据平台中。

② 数据处理与分析

使用Apache Spark，可以构建一个数据管道来处理和分析收集到的销售数据。Spark提供了Spark SQL和DataFrame API等强大的工具，可以方便地对数据进行处理和分析。例如，可以使用Spark SQL来查询和转换销售数据，使用DataFrame API来进行数据清洗和聚合操作。此外，还可以使用Spark的机器学习库MLlib来进行更深入的数据分析，例如识别潜在的客户群体、购买行为模式等。

③ 数据挖掘与模式识别

在数据清洗和整理后，可以利用机器学习算法对数据进行深入挖掘。例如，可以使用决策树、随机森林等算法对销售数据进行分类或者回归预测。这些算法可以帮助我们发现隐藏在数据中的模式和趋势，从而更好地理解客户需求和市场趋势。

④ Hadoop大数据平台建设

搭建环境：服务器配置主节点（NameNode、ResourceManager）、从节点（DataNode、NodeManager）；网络配置高速网络，确保节点之间的通信速度和带宽满足大数据处理的需求；编辑Hadoop的配置文件，包括core-site.xml、hdfs-site.xml、mapred-site.xml等，根据集群规模和需求进行相应的参数设置。

使用的组件包括：HDFS存储销售数据、日志等大量数据；YARN 确保任务可以在集群上有效地分配资源和运行；MapReduce通过编写MapReduce任务实现数据处理和分析；Hive数据仓库，在数仓中创表，将清洗后的数据存入其中；Spark用于进行数据处理和分析等等。

⑤ 可视化展示

使用ECharts数据可视化工具将分析结果以图表的形式呈现。可以根据需要设计和选择合适的可视化图表，如折线图、柱状图、饼图等，以便用户更直观地理解和分析数据。

3.4本章小结

本章首先对系统开发的可行性进行了分析，然后对系统的非功能性需求进行了分析，并对系统开发的整体流程以及主要流程操作进行了介绍。

• 系统设计

系统设计是系统开发之前需要做的总体设计，这里主要从系统的架构设计，后台的包括架构设计以及前台页面结构设计，模块设计等进行阐述.

4.1 系统总体架构设计

发布的内容、互动信息等。这一层通常会使用各种网络爬虫和API接口来获取数据。

数据预处理层：在这一层中，将对采集到的原始数据进行清洗、去重、分类和标注等操作，使其满足后续分析和预测的需求。数据预处理还包括对数据进行必要的转换和格式化。

存储层：使用Hadoop的HDFS进行大规模数据的分布式存储。此外，也可能包括一些关系型数据库或NoSQL数据库用于存储结构化或半结构化数据。

计算层：使用Hadoop和Spark等大数据处理框架进行数据的分析和挖掘。包括数据聚合、分类、聚类、关联规则挖掘等操作。

机器学习与预测层：在这一层，使用各种机器学习算法对数据进行深入分析，挖掘用户行为的潜在规律，并基于这些规律进行用户行为的预测。

应用层：提供友好的用户界面，展示数据分析结果和预测结果，并允许用户进行交互和查询。应用层还可以根据用户的反馈和需求进行定制化开发。

安全层：确保整个系统的数据安全和隐私保护，防止数据泄露和非法访问。

4.2 系统模块设计

（1）系统整体开发流程图设计

系统开发流程如下图所示，首先需要使用request爬虫框架网中获取到相应的网页，并且通过BeautifulSoup提取需要的相关数据，然后通过pandas写入到csv文本文件中，然后再通过操作hadoop进行分布式存储，通过Spark分布式计算写入到数据库中，最后通过前台的vue和Echart进行数据可视化展示。

图4.1系统整体开发流程图

（2）用户注册与登录流程设计

浏览人员进入网站之后，如果不是会员则需要先注册。即填写信息，在数据库中添加用户信息，注册成功。注册用户登录之后，可以跳转到主页面，并且可以查看扫地机器人销售数据可视化设计和用户行为的详细内容并收藏操作等，流程图如3.2所示。

图4.2用户注册与登录流程图

（3）机器学习和推荐功能流程设计

如下是机器学习和推荐功能实现的步骤和相关的技术，首先对爬取的数据进行预处理，这里主要使用pandas；第二步是特征工程，从扫地机器人销售数据可视化设计和用户行为数据中提取出与推荐相关的特征，如内容、分类、收藏等；第三部是建立训练模型，这里使用了协同过滤算法实现模型的训练，通过评估之后就可以使用模型了。

图4.3机器学习流程图

1. 1. 1. 系统功能介绍

系统的功能主要包括三个方面。首先是需要从网站站爬取到相应的数据，这些数据包括有扫地机器人销售数据可视化分析和用户行为分类信息，扫地机器人销售数据可视化分析和用户行为信息等。其次是将这些数据通过hadoop的HDFS组件存储到服务器的mysql中，通过pyspark对数据进行分布式计算处理。最后通过django搭建的web页面进行数据的可视化展示，在页面中也需要完成扫地机器人销售数据可视化分析与可视化平台功能，推荐的方式主要是通过用户点击的扫地机器人销售数据可视化分析与可视化平台相类似的扫地机器人销售数据可视化分析和用户行为，其次就是根据像是其他用户常看的扫地机器人销售数据可视化分析与可视化平台给相关用户。

1. 1. 1. 系统主要模块设计

根据以上的功能需求情况，整体的功能模块包括有前台vue项目模块，后台django后台项目模块和爬虫模块。前台vue的页面主要页面包括注册与登录页面，数据可视化展示页面，爬虫模块主要用来爬取网站的相关数据信息的，通过使用hadoop进行数据的存储，django后台用来提供前台所用的json数据以及给出推荐的相关的扫地机器人销售数据可视化分析和用户行为信息。其中扫地机器人销售数据可视化分析与可视化平台模块的实现是基于机器学习功能之后的应用阶段。

图4.2系统功能模块图

 

• 系统实现

5.1 系统的配置和部署

系统后台使用python书写，采用django框架搭建。以下是需要配置的一些插件，包括pyMysql,django,pip等，系统的虚拟环境采用python3.8，具体如下图所示。

 图5.1系统的配置图片

后台程序需要连接数据库，在settings.py文件中进行相应的配置，以下是配置内容。

DATABASES = {     'default': {         'ENGINE': 'django.db.backends.mysql',    # 数据库引擎         'NAME': 'jd', # 数据库名称         'HOST': '127.0.0.1', # 数据库地址，本机 ip 地址 127.0.0.1         'PORT': 3306, # 端口         'USER': 'root',  # 数据库用户名         'PASSWORD': 'root', # 数据库密码     } }

5.2 下单性别统计

系统能够收集并处理销售数据中的客户性别信息。通过Spark的分布式计算能力，对大量数据进行高效的统计和分析。生成不同性别客户的购买占比、购买频次等统计图表，帮助企业了解不同性别客户的消费习惯和偏好，如图5-2所示。

图5.2下单性别统计图片

5.3类别统计

系统能够对扫地机器人的不同类别（如香型、度数、品牌等）进行统计和分析。通过Spark的数据处理和分析功能，快速生成各类别的销售占比、增长趋势等统计结果。这些数据可以帮助企业了解市场对不同类别扫地机器人的需求情况，从而优化产品结构和市场策略，如图5-3所示。

图5.3类别统计图片

5.4 年龄排行

系统能够收集并分析客户的年龄信息，了解不同年龄段客户的购买行为和偏好。通过Spark的数据处理能力，生成年龄段的购买占比、消费能力等排行和对比图表。这些数据有助于企业针对不同年龄段的客户制定更精准的营销策略，如图5-4所示。

图5.4年龄排行图片

5.5 销量数据

系统能够实时收集并处理销售数据，包括销售量、销售额等关键指标。通过Spark的实时计算和分析能力，提供销量数据的实时监控和预警功能。企业可以根据销量数据调整生产计划、库存管理和销售策略，以提高销售效率和利润水平，如图5-5所示。

图5.5销量数据图片

5.6 扫地机器人商品信息

系统能够存储和管理扫地机器人商品的基础信息，如产品名称、规格、价格、产地等。提供商品信息的查询和检索功能，方便用户快速了解产品的详细信息。结合销售数据，可以对商品的销售情况、库存情况进行综合分析和展示，如图5-6所示。

图5.6扫地机器人商品信息图片

5.7 销量价格预测

系统利用Spark的机器学习库，结合历史销售数据和商品信息，构建销量和价格的预测模型。通过模型训练和优化，实现对未来销量和价格的准确预测。这些预测数据可以帮助企业制定更合理的定价策略和市场规划，提高市场竞争力，如图5-7所示。

图5.7销量价格预测图片

5.9 爬虫模块

系统利用爬虫Scrapy爬取京东网站当中的商品信息，为下一步数据挖掘做准备其核心代码如图5-8所示。

图5-8 爬虫核心代码

5.10 机器学习模块

系统利用机器学习当中的随机森林算法依照数据库当中的历史数据，预测未来15天的销量与价格，其核心代码如图5-9所示。

图5-9 机器学习核心代码

• 系统测试

6.1 系统测试目的

系统由于是个人开发的，开发过程中当然避免不了出现各类的问题，包括个人代码的问题以及兼容性等问题。正是在这样的背景下，需要进行测试，测试包括兼容性测试和典型测试用例的功能性测试两类。

6.2 系统兼容性测试

浏览器兼容性问题：随着ES6标准的制定，目前主流的浏览器都是符合ES6标准的，尤其是以谷歌为核心的内核，然后IE浏览器的早期版本使用的是微软自己的内容，对信息的兼容性产生影响。测试结果表明，目前的主要浏览器包括谷歌，IE,360,火狐浏览器最近的版本的运行都是没有问题的，状态良好，就是使用IE的早期版本有会有图片展示问题，通过对代码的修改，进行了改善，所以总的来说浏览器兼容性是没有问题的。其它兼容性问题：具体的比如Django框架版本的使用上需要使用2.0.13以上的版本，mysql需要安装5.5版本，python需要使用3.8版本，hadoop使用3.3版本等。

6.3 功能性测试

通过对系统的管理员和注册用户的具体操作进行典型的测试用例，测试主要的功能是否都能够正常使用。具体如下表

表6.1登录测试

用例名	登录测试
目的	测试登录功能
前提	未登录的情况下
测试流程	1) 进入登录页面 2) 输入用户名和密码 3）提交
测试结果	1）当密码或者用户名错误的时候，提示用户名或者密码错误，页面不跳转； 2）当密码或者用户名都正确的时候，页面跳转到主页面；
是否符合预期	是

表6.2添加数据管理测试用例

用例名	添加数据管理测试用例
目的	测试管理员添加数据功能
前提	管理员用户登录系统
测试流程	1）点击对应的操作栏目 2）点击新增 3）填写内容后提交
测试结果	1）在相应的栏中展示新添加的数据。
是否符合预期	是

表6.3数据爬取测试用例

用例名	数据爬取测试用例
目的	测试数据爬取信息功能
前提	爬虫文件书写完成
测试流程	运行爬虫程序
测试结果	爬取的文本信息，存储到dataset目录下对应的csv文件中
是否符合预期	是

6.4 本章小结

本章主要介绍了先对系统进行了兼容性的测试，然后在针对系统的主要功能进行了用例测试，测试结果表明，系统符合既定的功能需求目标。