头歌旅游大数据分析实战：从数据抓取到智能推荐的完整代码解析

落云歌语文

354人浏览 · 2026-04-03 10:06:17

落云歌语文 · 2026-04-03 10:06:17 发布

头歌旅游大数据分析实战：从数据抓取到智能推荐的完整代码解析

旅游行业正经历着数字化转型的浪潮，大数据分析技术已成为提升用户体验和商业价值的关键工具。本文将深入探讨如何构建一个完整的旅游大数据分析系统，从数据采集、清洗、存储到最终的智能推荐，为开发者提供一套可落地的技术方案。

1. 数据采集与清洗实战

旅游数据的获取是整个分析流程的第一步，也是决定后续分析质量的关键环节。我们以携程网为例，展示如何高效抓取和处理旅游数据。

1.1 使用Jsoup进行网页数据抓取

Jsoup是一款优秀的Java HTML解析器，特别适合处理网页抓取任务。以下是抓取携程旅游网数据的核心代码：

public Document getHtml2(String url) throws IOException {
    Document document = Jsoup.parse(
        new File("./backups/hotels.ctrip.com_domestic-city-hotel.txt"),
        "utf-8"
    );
    return document;
}

关键点解析：

使用Jsoup.parse方法解析本地缓存的HTML文件
指定UTF-8编码确保中文正常显示
返回Document对象供后续元素提取使用

1.2 HTML元素提取与数据清洗

获取原始HTML后，需要从中提取有效信息并清洗无用数据：

public List<String> cleanHTML(Document doc) {
    List<String> list = new ArrayList<>();
    list.add(Jsoup.clean(doc.toString(), Whitelist.basic()));
    list.add(Jsoup.clean(doc.toString(), Whitelist.simpleText()));
    return list;
}

数据清洗策略对比：

清洗方式	保留内容	适用场景
Whitelist.basic()	基本文本格式（段落、换行等）	需要保留简单格式的文本
Whitelist.simpleText()	仅纯文本	完全不需要任何HTML标记

2. 数据存储与管理方案

2.1 HBase表设计与数据存储

旅游数据通常具有半结构化特点，HBase的灵活schema非常适合此类场景：

public static void saveCityAndHotelInfo() {
    try {
        HBaseUtil.createTable("t_city_hotels_info", 
            new String[] { "cityInfo", "hotel_info" });
        
        List<Put> puts = new ArrayList<>();
        for (Hotel hotel : parseArray) {
            Put put = new Put(Bytes.toBytes(cityId + "_" + hotelId));
            put.addColumn(Bytes.toBytes("cityInfo"), 
                Bytes.toBytes("cityId"), Bytes.toBytes(cityId));
            // 添加更多列...
            puts.add(put);
        }
        HBaseUtil.putByTable("t_city_hotels_info", puts);
    } catch (Exception e) {
        e.printStackTrace();
    }
}

HBase表设计要点：

行键设计：城市ID_酒店ID组合确保唯一性
列族划分：城市信息与酒店信息分离
批量写入：使用List提高写入效率

2.2 评论数据特殊处理

酒店评论数据包含用户生成内容(UGC)，需要特别注意：

put.addColumn("comment_info".getBytes(), 
    "content".getBytes(), Bytes.toBytes(comment.getContent()));
put.addColumn("comment_info".getBytes(), 
    "userNickName".getBytes(), Bytes.toBytes(comment.getUserNickName()));

注意：处理用户评论时应遵守数据隐私法规，必要时进行匿名化处理

3. 数据分析与挖掘技术

3.1 基于MapReduce的价格分析

使用Hadoop MapReduce计算各城市酒店平均价格：

public static class MyMapper extends TableMapper<Text, DoubleWritable> {
    protected void map(ImmutableBytesWritable rowKey, Result result, Context context) 
        throws IOException, InterruptedException {
        String cityId = Bytes.toString(result.getValue(
            "cityInfo".getBytes(), "cityId".getBytes()));
        double price = Double.parseDouble(Bytes.toString(
            result.getValue("hotel_info".getBytes(), "price".getBytes())));
        context.write(new Text(cityId), new DoubleWritable(price));
    }
}

分析维度扩展建议：

价格区间分布
价格随时间变化趋势
价格与评分相关性

3.2 评论词频统计与可视化

中文评论分析需要特殊处理：

List<Word> segs = WordSegmenter.seg(filter);
for(Word cont : segs) {
    Text text = new Text(cont.getText());
    IntWritable v = new IntWritable(1);
    context.write(text,v);
}

词云生成配置参数：

参数	说明	推荐值
字体	支持中文的字体	宋体
尺寸	图片分辨率	500x312
颜色方案	视觉呈现	线性渐变
布局算法	避免重叠	PIXEL_PERFECT

4. 智能推荐系统实现

4.1 用户-酒店矩阵构建

构建推荐系统的核心数据基础：

def create_user_hotel_matrix(users, items, data, hotel_id):
    user_hotel_matrix = np.zeros((users, items))
    for line in data.itertuples():
        user_hotel_matrix[line[3], hotel_id.index(line[1])] = line[4]
    return user_hotel_matrix

矩阵分解推荐算法参数：

参数	作用	典型值
潜在因子维度(d)	控制模型复杂度	5-20
学习率(lr)	影响收敛速度	0.01-0.1
正则化系数(α)	防止过拟合	0.05-0.2

4.2 基于矩阵分解的推荐算法

实现基础的协同过滤推荐：

def recommend_hotel(A, userid):
    m,n = A.shape
    B = np.random.uniform(0,1,(m,d))
    C = np.random.uniform(0,1,(d,n))
    
    # 矩阵分解迭代过程
    for i in range(iterations):
        B_grads = np.dot(np.multiply(record, np.dot(B,C)-A),C.T)
        C_grads = np.dot(B.T, np.multiply(record,np.dot(B,C)-A))
        B = alpha*B - lr*B_grads
        C = alpha*C - lr*C_grads
    
    pred_ratings = np.dot(B, C)
    ranklist = np.argsort(A[userid])
    return ranklist[-1:-4:-1]

推荐效果优化方向：