Python爬取全国或城市的百度地图慧眼（百度迁徙）迁入、迁出大数据

百度地图慧眼（百度迁移）迁入迁出大数据的官网显示如图：

爬取百度迁移的大数据，Python代码实现如下：

import requests
import time
import pandas as pd
import datetime

# 百度迁移方向 0迁入，1迁出
MOVE = ('move_in', 'move_out')

"""
构造10个城市名和代码
代码可以在民政部查找，连接地址 http://www.mca.gov.cn/article/sj/xzqh/2019/2019/201912251506.html
上述连接是2019年11月中华人民共和国县以上行政区划代码
"""
CITY = {'北京': '110000',
        '上海': '310000',
        '广州': '440100',
        '深圳': '440300',
        '成都': '510100',
        '天津': '120000',
        '南京': '320100',
        '杭州': '330100',
        '重庆': '500000',
        '武汉': '420100'}


def get_data_from_url(url):
    print('请求http数据', url)
    resp = requests.get(url, timeout=5)
    j = resp.json()
    if j['errmsg'] == 'SUCCESS':
        data_list = j['data']['list']
        return data_list
    else:
        print('请求服务器数据失败!')

    return None


def get_data(city_code, direction, date):
    if city_code is None:
        # 根据日期获取当前全国热门的迁入/迁出城市
        url_nation = f'http://huiyan.baidu.com/migration/cityrank.json?dt=country&id=0&type={direction}&date={date}'
        return get_data_from_url(url_nation)
    else:
        # 根据城市码和日期获取当前城市的迁入/迁出数据
        url_city = f'http://huiyan.baidu.com/migration/cityrank.json?dt=city&id={city_code}&type={direction}&date={date}'
        return get_data_from_url(url_city)


def get_date(year, month, day):
    d = datetime.date(year, month, day)
    return d.__format__('%Y%m%d')


def main():
    # 拼接特定日期，年月日
    date = get_date(2020, 11, 11)

    # 获取给定日期、给定城市码的城市迁入/迁出数据
    data = get_data(city_code=CITY['成都'], direction=MOVE[0], date=date)
    df = pd.DataFrame(data=data, columns=['city_name', 'province_name', 'value'])
    df.to_excel('1.xls', encoding='utf-8')  # 数据写入excel文件
    print(df)

    time.sleep(3)

    # 获取给定日期全国热门城市迁入/迁出数据
    data = get_data(city_code=None, direction=MOVE[0], date=date)
    df = pd.DataFrame(data=data, columns=['city_name', 'province_name', 'value'])
    df.to_excel('2.xls', encoding='utf-8')  # 数据写入excel文件


if __name__ == '__main__':
    main()

输出结果，数据存入excel表格，2020年11月11日全国热门迁入城市排名数据：