TCGA数据库病理切片及对应临床信息下载

病理切片示例

1. TCGA病理切片介绍

1.1 病理切片类型:

  • 病理切片类型可分为细胞病理,冷冻病理,术后病理:

    • 细胞病理:由细针穿刺等方式得到的细胞样本。
    • 冷冻病理: 是在手术过程中,从患者身上取下一小块组织,迅速冷冻后切片,进行快速显微镜检查。医生在手术室内评估结果,以帮助指导手术决策 (比如判断是否切除干净,确定淋巴结是否转移等)。
    • 术后组织病理:指手术切除的整个组织或器官(或其中一部分)经过固定、取材、包埋、切片、染色等一系列处理后,进行详细的显微镜检查。
  • TCGA数据库包含两种病理切片:

    • Tissue slides是快速冰冻病理切片。
      • 快速冷冻样本通常在冷冻实验室的手术过程中产生,以帮助外科医生确定肿瘤的边界是否干净(即肿瘤是否已被完全切除);
      • TCGA下载数据时,Data Type选择Slide Image,Experimental Strategy选择Tissue slide
      • 切片文件名中带有“TS#”或“BS#”的文件(其中 # 是整数),是冻结的幻灯片;
    • Diagnostic slides是福尔马林固定石蜡包埋玻片(FFPE),是金标准;
      • TCGA下载数据时,Data Type选择Slide Image,Experimental Strategy选择Diagnostic slide;
      • 切片文件名中带有“DX#”的文件(其中 # 是整数),是一个 FFPE 幻灯片;
      • 更适合计算,因此一般下载diagnostic slides;

1.2 病理切片格式:

  • svs,tiff,ndpi和mrxs等

1.3 病理切片可视化:

  • 本地软件:qupath,ImageScope

  • Python包:openslide

  • 网页:https://openslide.org/demo/ (svs在线查看器)


2. 病理切片下载

Step1:在windows电脑下载gdc-client工具。

​ 参考:TCGA之GDC-client工具下载安装与使用_gdc-client安装-CSDN博客

Step2:在网页https://portal.gdc.cancer.gov/上下载对应数据集的gdc_manifest.2025-02-28.173510.txt文件(以TCGA-THCA为例)。

​ 参考:TCGA 数据库下载肿瘤样本病理切片FFPE(福尔马林固定石蜡包埋)_tcga病理切片数据-CSDN博客

Step3:本地通过gdc-client工具下载切片。

  • win+R, 输入cmd,回车
  • gdc-client download -m D:\data_download\TCGA-THCA\gdc_manifest_update.txt -d D:\data_download\TCGA-THCA\Slide

Ps:下载完毕后,Slide目录下会出现很多子目录,一个子目录为一张切片的相关信息

在这里插入图片描述


Step4:数据整理及完整性Check

  • 本地下载完毕后,可将Slide目录下的所有文件直接上传至服务器中进行分析,目录结构参考如下:

在这里插入图片描述

  • 数据整理
# 将下载的所有文件直接上传至slide目录下的raw文件
# 第一步: 将所有svs或者svs.parss文件移动至slide目录下
find raw -type f \( -name "*.svs" -o -name "*.svs.partial" \) -exec mv -t . {} +

# 删除当前目录下文件大小为0的文件
find . -type f -size 0 -delete

# 修改文件名,TCGA中有些切片下载完毕后依然保持为.svs.partial的尾缀名,因此直接将名字替换为.svs结尾
rename 's/\.svs.partial$/\.svs/' *.svs.partial


  • 考虑到病理切片较大,在本地下载可能由于内存等问题中断,因此可以通过下述代码更新gdc_manifest.2025-02-28.173510.txt文件,进而重新下载
  • 按照下面的代码得到更新后的gdc_manifest_dpdate.txt, 重新执行Step1-Step4,确保数据完全下载。
import numpy as np
import pandas as pd
import os
from datetime import datetime

dirs = "/data/hanli/database/TCGA/TCGA-THCA/"
gdc_file = dirs + "gdc_manifest.2025-02-28.173510.txt"

df_all = pd.read_csv(gdc_file,sep="\t")
print("需要下载的slide数量为:",df_all.shape[0])
df_all.head(3)

download_list = os.listdir(dirs+"/slide/")
print("已下载的slide数量为:",len(download_list))

df_rest = df_all[~df_all["filename"].isin(download_list)]
print("未下载的slide数量为:",df_rest.shape[0])

# 获取当前时间
now = datetime.now()
# 格式化为月、日、小时、分钟
formatted_time = now.strftime("%Y-%m-%d.%H%M")
print("当前时间(月-日 小时:分钟):", formatted_time)

outfile = dirs + 'gdc_manifest_update_' +formatted_time +'.txt'
print(outfile)
df_rest.to_csv(outfile, sep='\t', index=False, header=True)



3. 临床信息下载

在网站https://www.cbioportal.org/datasets可下载TCGA数据集对应的临床信息。以TCGA-THCA为例,输入甲状腺,定位含有TCGA的数据集,选择样本最多的数据集进入,即可下载临床数据为表格文件。
在这里插入图片描述
在这里插入图片描述

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐