少儿编程进阶实战：用Python requests与BeautifulSoup，手搓一个“天气数据抓取器”

机器人编程胡老师

38人浏览 · 2026-11-08 17:07:51

机器人编程胡老师 · 2026-11-08 17:07:51 发布

【核心摘要】
当孩子掌握了Python基础语法后，如何让他们感受到代码连接真实世界的威力？本文以开发一个“天气数据抓取器”为例，深度解析网络爬虫（Web Scraping）的底层逻辑。通过 requests 库发送HTTP请求获取网页源码，结合 BeautifulSoup 库解析HTML标签，帮助孩子理解网络数据传输、DOM树结构与数据提取的过程，并重点探讨了网络安全与合法合规爬虫的红线。

---

大家好，我是机器人编程胡老师。在做少儿编程教育之前，我曾做过多年底层软件开发。

在10岁以上的Python进阶课中，孩子们经常会问：“胡老师，我学了这些代码，到底能干嘛？”

今天，我们从网络通信与数据解析的视角，教孩子做一个超级实用的项目——合法抓取公开的天气预报数据。这个项目将彻底打通孩子对“互联网数据流转”的认知。

一、技术选型与核心概念

要完成网页数据的抓取，我们需要两个极其经典的第三方库：

1. requests：负责向目标网站发送HTTP请求，把网页的HTML代码原封不动地拉取下来。
2. BeautifulSoup（简称BS4）：负责解析这堆乱七八糟的HTML代码，像剥洋葱一样，精准定位到我们需要的那几个字（比如“晴”、“25℃”）。

首先，需要在终端安装这两个库：


```bash
pip install requests beautifulsoup4
```

二、代码实战：抓取天气预报

我们以抓取一个公开的天气示例网页为例。

```python
import requests
from bs4 import BeautifulSoup

def get_weather():
    # 1. 目标URL（这里使用一个用于教学测试的公开网站）
    url = "http://example.com/weather"
    
    # 2. 伪装成浏览器（极其重要，否则容易被服务器拒绝）
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }

    try:
        # 3. 发送GET请求
        response = requests.get(url, headers=headers, timeout=5)
        # 检查请求是否成功（状态码200）
        response.raise_for_status() 
        # 解决中文乱码问题
        response.encoding = response.apparent_encoding 
        
        # 4. 解析HTML
        soup = BeautifulSoup(response.text, 'html.parser')
        
        # 5. 提取数据（假设天气在 <div class="temp">25℃</div> 中）
        temp_element = soup.find('div', class_='temp')
        
        if temp_element:
            print(f"🌤️ 今日天气数据抓取成功：{temp_element.text}")
        else:
            print("❌ 未找到天气数据，可能是网页结构发生了变化。")

    except requests.exceptions.RequestException as e:
        print(f"⚠️ 网络请求失败: {e}")

if __name__ == "__main__":
    get_weather()
```

技术解析：
requests.get 就像是派了一个快递员去网站拿包裹。BeautifulSoup 就像是一把剪刀，精准地把包裹里写着“天气”的那张纸条剪下来。User-Agent 是给快递员穿上一件“浏览器”的马甲，防止被保安（反爬系统）拦住。

三、教学降维：如何给10岁孩子讲透“爬虫”？

讲“HTTP协议、DOM树、反爬机制”，孩子会立刻跑路。在教学中，我用的是“派机器人去书店抄书”的降维话术：

1. 关于“爬虫（Web Scraping）”：
降维话术：“你想知道最新的天气，自己去网页查太慢了。你写个代码，相当于派了一个机器人，去那个网站上把天气数据给你抄回来。”
2. 关于“requests（请求）”：
降维话术：“你要进书店，得先敲门（发送请求）。requests 就是帮你敲门、并且向老板要书的那只手。”
3. 关于“BeautifulSoup（解析）”：
降维话术：“老板把一整本书（HTML源码）扔给你，里面什么都有。BeautifulSoup 就是你的扫描仪，它只看你要找的那个字（比如‘天气’），其他废话全过滤掉。”
4. 关于“User-Agent（伪装）”：
降维话术：“书店老板不喜欢机器人进去。所以你得给机器人穿上一件‘我是人类’的衣服，这就是 User-Agent。”

四、教学避坑指南：网络安全与红线

1. 必须讲清法律底线：少儿编程教爬虫，绝对不能去抓取隐私数据、付费内容、或者疯狂高频请求导致别人网站瘫痪。这是极其严重的违法行为。只允许去抓取公开的、允许爬取的示范性网页。
2. 处理网页报错：网站的结构经常改版。如果代码今天能跑，明天报错，别慌，告诉孩子这就是真实软件工程的常态。让他自己学去打印 response.text，看看网页结构哪里变了。

---