默沙东NAR论文| DeepBGC，用于生物合成基因簇预测的深度学习基因组挖掘策略

• 默沙东NAR论文| DeepBGC，用于生物合成基因簇预测的深度学习基因组挖掘策略

• • 1. 论文简介

  • 2. 摘要

  • 3. 引言

  • 4. 材料与方法

  • 5. 结果

  • 6. 讨论

1. 论文简介

Hannigan G D, Prihoda D, Palicka A, et al. A deep learning genome-mining strategy for biosynthetic gene cluster prediction[J]. Nucleic acids research, 2019, 47(18): e110-e110. 【累计引用400余次】

1.1 作者简介

• 通讯作者1：Danny Asher Bitton默沙东应用研究与创新主管。

• 通讯作者2：Christopher H. Woelk在大型制药公司、初创企业、学术界和医院系统拥有超过20年的工作经验。他精通多个治疗领域（例如免疫学、传染病、肿瘤学、呼吸和神经病学），能够找到正确的技术解决方案，从而确保研究和临床成功。他的技能组合将机器学习、系统生物学、多组学和数据科学等强大的技术应用于靶点识别、生物标志物发现、患者分层和药物开发。

2. 摘要

天然产物蕴藏着丰富的小分子候选药物，可用作抗菌药物、抗癌疗法和免疫调节剂。这些分子是由共定位基因（称为生物合成基因簇 (Biosynthetic Gene Clusters，BGC)）合成的微生物次级代谢产物。微生物全基因组及类似资源的增加促进了生物合成基因簇预测算法的发展，尽管其精度和识别新型生物合成基因簇类的能力仍有待提高。本文提出了一种深度学习策略 (DeepBGC)，与现有的机器学习工具相比，该策略降低了生物合成基因簇识别的假阳性率，并提高了推断和识别新型生物合成基因簇类的能力。我们补充了随机森林分类器，该分类器可以准确预测生物合成基因簇类产物及其潜在的化学活性。DeepBGC 应用于细菌基因组，发现了先前无法检测到的推测 BGC，这些生物合成基因簇可能编码具有新型生物活性的天然产物。DeepBGC 的精度和分类能力的提升，对计算机上的BGC 识别技术而言是重大进步。

3. 引言

天然产物是指存在于自然界中并由生物体产生的化合物。它们代表着丰富的候选药物库，已在多个治疗领域得到证实。1981年至2014年间，美国食品药品监督管理局（FDA）批准的小分子药物中，三分之一（32%）是未经修饰的天然产物（6%）或天然产物衍生物（26%）(1)。这些药物包括多种抗菌药物，以及肿瘤药物、糖尿病药物、降胆固醇药物和免疫调节剂(1,2)。全球抗生素耐药性的上升(3,4)、免疫调节剂在癌症治疗中的应用前景日益广阔(5)，以及在新型复杂生物学领域持续开发新药的需求，都取决于结构多样的生物活性化合物的鉴定(6-8)。

天然产物发现领域的早期遗传学研究表明，生物活性分子是微生物次级代谢产物，其合成主要由基因组共定位的基因（称为生物合成基因簇 (BGC)）调控(9-11)。虽然这些早期的见解源于正向遗传学方法（从表型到序列），但新一代测序技术和基因组学方法的出现为反向遗传学方法（从序列到表型）在生物合成基因（BGC）的发现、合成和表征中提供了机会(2)。微生物基因组资源的激增，包括培养和未培养生物体的完整基因组序列，使得计算方法在天然产物候选药物发现中的应用发生了范式转变。

众多生物信息学工具利用日益丰富的基因组数据来促进天然产物基因组挖掘(12)。早期方法使用像BLAST(13)这样的程序实现了简单的BGC参考比对技术，并且通常与人工筛选相结合。基于规则的算法(14,15)在其前身的基础上进行了改进，使用人工编码（“硬编码”）的规则集，根据BGC与参考基因的相似性和蛋白质结构域组成来定义BGC。虽然一些近期方法仍在沿用这些“基于参考”的技术，但其他算法的进步已转向更具普适性的机器学习方法，从而更有效地发现新的BGC基因组元素。一种名为ClusterFinder (16)的机器学习方法广泛使用，它采用隐马尔可夫模型 (HMM)，而非其他方法（例如AntiSMASH（抗生素和次级代谢物分析SHell）(14) 和PRISM (18)）中常见的基于多序列比对的profile-HMM (17) 方法。

虽然HMM（例如ClusterFinder）一直很有效，但它们无法保留（即记住）远距离实体之间的位置依赖效应或顺序信息 (19-21)。这意味着基于HMM的工具无法捕获实体之间的高阶信息 (19-21)，从而限制了它们检测BGC的能力。我们通过实施深度学习方法解决了这一算法限制，该方法使用循环神经网络 (RNN) 和蛋白质家族 (Pfam) (22) 域的向量表示。与隐马尔可夫模型 (HMM) 不同，这两种方法能够从本质上感知相邻和远距离基因组实体之间的短期和长期依赖效应 (23)。该方法的性能优于另一种领先算法 (ClusterFinder)，包括提高了从基因组序列中检测生物合成基因簇的准确率，以及提高了识别新类别生物合成基因簇的能力。

本文，我们介绍了 DeepBGC，这是一种新颖的深度学习和自然语言处理 (natural language processing，NLP) 策略，用于改进细菌基因组中生物合成基因簇的识别（图 1）。DeepBGC 采用双向长短期记忆 (Bidirectional Long Short-Term Memory，BiLSTM) RNN (24,25) 和一个类似于 word2vec 的词嵌入 skip-gram 神经网络（我们称之为 pfam2vec）。与 Clusterfinder (16) 相比，DeepBGC 改进了从细菌基因组中检测已知类别的生物合成基因簇的能力，并展现出检测新型生物合成基因簇的巨大潜力。我们补充了通用随机森林分类器，该分类器能够根据化合物的类别和分子活性对生物合成基因簇进行分类。我们将 DeepBGC 应用于细菌参考基因组，以识别编码具有假定抗生素活性分子的生物合成基因簇候选分子，而这些分子无法通过其他现有方法识别。除了细菌参考基因组之外，我们预计这种方法在微生物组宏基因组分析中也具有重要意义，改进的生物合成基因簇检测方法可能为新的功能洞察提供新的思路。为了促进这些应用及其他分析应用，DeepBGC 可在 https://github.com/Merck/deepbgc 获取。

Figure 1. Overview of the deep learning strategy for detection of Biosynthetic Gene Clusters in bacterial genomes.

4. 材料与方法

4.1 开放阅读框识别

使用 Prodigal (27) 2.6.3 版，在默认参数下，预测了 3376 个参考细菌基因组 (26) 的开放阅读框架。所有其他序列均已下载，并附有注释和基因位置。

4.2 蛋白质家族识别

使用 HMMER (17)、hmmscan 3.1b2 版和 Pfam 数据库 31 版 (22) 识别蛋白质家族结构域。除原始 ClusterFinder 算法外，所有应用均使用 Pfam 数据库，原始 ClusterFinder 算法保留为旧版本。使用 BioPython SearchIO 模块（1.70 版）过滤 Hmmscan 表格输出，仅保留 e 值 <0.01 且得分最高的 Pfam 区域。生成的 Pfam 结构域列表按基因和结构域起始位置排序。

4.3 Pfam2vec 实现

Pfam2vec 嵌入是使用 word2vec python 包（版本 0.9.2）中封装的原始 word2vec 实现 (28) 生成的。经过引导评估后，选择了以下超参数：100 个维度、8 次训练迭代和 Skipgram 架构。训练语料库包含 3376 份文档（细菌）和 23425967 个单词（15686 个唯一的 Pfam 标识符）。每个文档包含一个空格分隔的 Pfam 标识符列表，这些标识符代表特定细菌基因组中按其基因组顺序排列的所有 Pfam 域。为了评估 pfam2vec 嵌入，我们使用域向量的余弦相似度，并与 Pfam 数据库版本 31 (22) 中 604 个 Pfam 超家族（氏族Clan）之一的域成员资格进行比较。

• 首先，将所有 Pfam 超家族中所有（非同一）域对的余弦相似度（使用 Wilcoxon 秩和检验）与随机打乱的 Pfam 超家族中所有域对的余弦相似度进行比较。

• 其次，用随机数值向量替换 pfam2vec 向量，进行相同的计算。

• 第三，通过余弦相似度计算每个 pfam2vec 向量与其最近邻的 Pfam 域描述的编辑距离，并将其与每个 pfam2vec 向量与随机选择的 pfam2vec 向量的描述相似度进行比较（使用 Wilcoxon 秩和检验）。

• 最后，将 MIBiG 集合中每个生物合成基因簇的平均 pfam2vec 向量表示计算为其 pfam2vec 向量列表的平均值，并分别计算每个维度的平均值。使用具有余弦度量、随机初始化和默认困惑度(Perplexity) 30 的 scikit-learn manifold.tSNE 包将此生物合成基因簇向量表示简化为二维，以便进行可视化。

4.4 DeepBGC训练集

DeepBGC 在原始 ClusterFinder 正样本训练集的子集以及基于与 ClusterFinder 负样本训练集类似原理生成的负样本训练集上进行训练。为了收集原始正样本训练集，我们从 ClusterFinder 补充表中获取了 681 个登录号，并在 NCBI 上进行搜索，共返回 617 个序列。为了生成负样本训练集，我们从 EMBL-EBI 收集并预处理了一个包含 3376 个细菌的公共参考集。对于每种参考细菌，我们移除了与已知 MIBiG BGC（1.3 版）相似的区域（Blastn (13)，阈值为 95%）。为了生成单个负样本，我们随机选择一个参考细菌，并从 ClusterFinder 正样本训练集中选择一个随机样本。将正样本中的每个基因替换为参考细菌中的随机基因，同时仅考虑 Pfam 结构域数量最相似的 1% 的基因。总共从每种参考细菌中生成三个样本，共计 10128 个负样本。

4.5 DeepBGC实现

BiLSTM 模型使用 Keras（版本 2.1.6）和 TensorFlow 后端（版本 1.6.0）实现。该架构由一个包含两层的 Keras Sequential 模型组成。首先，该模型包含一个包含 128 个单元、dropout 为 0.2 的状态 BiLSTM 层。其次，该模型包含一个具有 S 形激活函数和 1 个输出单元的时间分布密集层。输入是一个由 102 维向量表示的 Pfam 结构域序列，该向量由 100 维 pfam2vec 嵌入和两个二进制标志组成，用于标记位于蛋白质起始或终止处的结构域。输出是一个介于 0 和 1 之间的值序列，表示给定结构域作为生物合成基因簇一部分的预测分数。在每个训练周期中，所有正样本和负样本都会被随机打乱并连接起来，从而创建一个人工基因组。训练配置为 256 个时间步长和 64 个批次大小。因此，每个 epoch 的训练序列被分成 64 个子序列，每个子序列以 256 个时间步长的批次并行训练，每个时间步处理一个训练向量。最终模型使用 Adam 优化器训练了 328 个 epoch，学习率为  ，并使用加权二分类交叉熵损失函数（权重与训练数据集中正样本和负样本的数量成反比，因此赋予正样本更大的权重）。

为了获得用于生物合成基因簇级别分析的生物合成基因簇区域，首先，对每个基因的预测分数进行平均，使用任意给定阈值选择生物合成基因簇基因，并合并连续的生物合成基因簇基因。或者，可以使用 Cimermancic 等人定义的过滤器创建后处理的生物合成基因簇区域（16）：合并最多相隔一个基因的生物合成基因簇区域，并从 antiSMASH（14）的 ClusterFinder（16）子模块中发布的 133 个域的当前列表中筛选出少于 2000 个核苷酸的区域和没有已知生物合成域的区域。

4.6 DeepBGC验证

Cimermancic 等人 (16) 发表的主要评估指标是基于 10 个参考基因组的 ROC 曲线，这些参考基因组已完整注释生物合成基因簇和非生物合成基因簇区域。相关基因组的检索基于补充表 (16) 中提供的基因位点列表。通过在 NCBI 上查询基因位点，获得了 10 个原始基因组中的 9 个。原始的玫瑰孢链霉菌 (Streptomyces roseosporus) 基因组无法检索。其中三个基因组中的基因并非在单个重叠群中发现，而是在多个重叠群中发现（加纳链霉菌 (Streptomyces ghanaensis) 中两个，AA4 链霉菌 (Streptomyces sp. AA4) 中两个，C 链霉菌 (Streptomyces sp. C) 中三个）。自论文发表以来，序列已更新，导致 7% 的基因位置发生偏移，并从原始螺旋链霉菌 (Streptomyces pristinaespiralis) 基因组中移除了 10 个生物合成基因簇基因。

为了确保 DeepBGC 与 ClusterFinder 之间的准确比较，DeepBGC 使用了上述 617 个正样本和 10128 个负样本进行训练。由于该数据集是人工创建的，它缺乏真实数据的一些特征（例如生物合成基因簇在基因组中的潜在非随机分布、基因的真实分布和顺序等）。因此，无法保证在我们人工训练集上训练的模型在真实基因组上也能达到相同的准确率。为了解决这个问题，我们选择使用真实数据子集来调整超参数。为了避免验证集的缩减以及训练集数据泄露到验证集，我们选择了一种“引导”方法。该方法包括创建多个模型，每个模型将利用验证集的一小部分进行超参数调整，其余部分用于测试。事实证明，对这些多个模型的准确率取平均值可以收敛到一个无偏估计值。

在超参数调优过程中，我们考虑了以下参数和值：学习率 (0.001, 0.0001)、pfam2vec 训练迭代次数 (4, 8, 16, 32)、pfam2vec 维度数 (50, 100, 200) 和正样本权重 (1, 16.415)。我们使用 Keras EarlyStopping 方法，在 100 个 epoch 内，验证 ROC AUC 的最小 delta 值为 0.0005。我们发现，无论验证基因组选择如何，大多数学习到的模型都倾向于以下参数：学习率为 0.0001，pfam2vec 训练迭代次数为 8，pfam2vec 维度数为 100，以及基于负样本/正样本比率 16.415 的正样本权重。

在第一个 bootstrap split 的测试集上进行了生物合成基因簇级别的覆盖率评估。使用上述方法将每个模型的预测结果转换为BGC区域（包含后处理和未包含后处理）。每个模型的真实BGC覆盖率计算为每个标注的真实BGC区域，即该区域被给定模型所有重叠预测BGC区域覆盖的比例。当BGC的覆盖率高于给定的覆盖阈值时，即认为该BGC已被检测到。覆盖率分布的计算方法是，以0.1%的步长，从0%到100%评估所有覆盖阈值。接下来，如果每个预测的BGC区域与真实BGC区域重叠，则将其标记为真阳性；如果不重叠，则标记为假阳性。最后，BGC级精度计算为真阳性区域数除以预测区域总数。

Cimermancic等人(16)发表的第二个评估指标是基于65个BGC在其6个基因组中的基因组背景下的真实阳性率(TPR)评估。 Cimermancic 等人 (16) 的补充表中提供了所有生物合成基因簇位置以及来源细菌的名称。首先，通过手动查询生物体名称在 NCBI 上找到基因组。其次，验证生物合成基因簇的起始和终止位置，使其与检索到的基因组中注释基因的起始和终止位置匹配。最后，我们使用 DeepBGC、原始 ClusterFinder 和重新训练的 ClusterFinder 获得了生物合成基因簇预测结果。原始评估指标是基于计算 TPR，即 ClusterFinder HMM 预测中值 >0.4 阈值时检测到的生物合成基因簇比例。检查 ClusterFinder 预测结果后发现，在定义的生物合成基因簇区域之外，超过 42% 的区域被检测到的阈值高于给定阈值，这依赖于大量的进一步后处理和手动注释来过滤掉假阳性。因此，使用 ROC 曲线对序列进行评估，该曲线将所有未注释的区域视为负值，从而得出 AUC 值的下限，该下限对这两个模型均无偏。

为了进行交叉验证和留类验证，我们从 MIBiG（版本 1.3）中获取了全部 1406 个生物合成基因簇样本，以及 10128 个样本的阴性集。每个样本都以 Pfam 域标识符列表的形式表示。为了进行交叉验证，样本被随机分配到 10 个样本组中。在 10 个交叉验证组中，每个样本组都对 9 个样本组进行训练，并对 1 个样本组进行评估。训练样本和测试样本被打乱并连接起来，从而创建人工基因组。通过连接所有测试分割预测来计算平均 ROC。在留类验证中，选择了来自六个非混合类别（Polyketide, NRP, RiPP, Saccharide, Terpene, Alkaloid）的 1003 个样本。对于每个类别，模型都在所有其他类别和随机三分之二的负样本上进行训练。此后，在给定类别（通过放回抽样将样本上采样至 500 个）和剩余三分之一的负样本上测试模型。再次，将训练和测试样本打乱并连接起来以创建人工基因组。对每个类别执行三次此操作，并使用不同的随机分割和随机打乱，以最大限度地减少任何随机初始化的影响。通过连接所有测试预测来计算平均 ROC。

4.7 ClusterFinder 实现

ClusterFinder 预测结果使用 antiSMASH（版本 4.1.0）生成，启用 ClusterFinder 并使用默认参数。从最终的 Genbank 输出文件中解析出每个 Pfam 域的原始预测分数。这些分数用于生成域级 ROC 曲线。用于生物合成基因簇级分析的原始和后处理后的生物合成基因簇区域，是通过基因级分数平均法获得的，类似于上述 DeepBGC 实现。

为了重新训练模型进行交叉验证和留类验证，我们使用 hmmlearn python 模块（版本 0.2.0）重新实现了 ClusterFinder HMM。使用了原始模型的转移概率矩阵和起始概率矩阵。使用新的正样本和负样本训练集重新计算了发射概率矩阵，这些训练集已使用 Pfam 数据库版本 31（与 DeepBGC 模型相同）进行了预处理。

4.8 随机森林多标签产物分类

生物合成产物类别和活性训练数据取自 MIBiG 数据库（版本 1.3），以 JSON 格式存储。从“biosyn_class”字段中提取产物类别，生成 1355 个带标记的训练样本。从“compounds”字段中每种化合物的“chem_act”字段中提取产物活性（不包括未知产物活性的 BGC），生成 370 个训练样本。使用 scikit-learn Python 模块（版本 0.19.1）针对两个领域分别训练了一个随机森林分类器。使用多标签分类法预测类别，其中每个样本都用一个二进制向量标记，该向量表示存在零个或多个类别。使用原生 scikit-learn 方法获取全局特征重要性，并通过为每个类别训练一个单独的临时随机森林分类器来计算类别特定的特征重要性。为了评估模型性能，我们使用了 5 倍交叉验证，生成了 5 组实值预测分数，这些分数被合并并与不同阈值下的预期输出进行比较，从而生成 ROC 曲线。通过将每种出现的生物合成类别组合视为一个单独的混合类别，生成混淆矩阵。为了生成antiSMASH ROC曲线，所有MIBiG BGC基因库文件均通过antiSMASH（版本4.1.0）使用默认参数进行处理。从文本输出文件中解析预测的产物类型，并将其映射到更高级别的MIBiG分类。在antiSMASH产物类型无法映射到单个MIBiG类别的模糊情况下，给定产物类型的BGC将被从两个模型的评估中剔除。对于antiSMASH，由于没有可用的分类分数，因此生成的类别预测结果用于生成一条只有一个点的ROC曲线。

5. 结果

5.1 通过数据整理，产生了多样化的训练和验证数据集

BGC预测是一项分类任务，需要使用标记的BGC和非BGC序列（分别称为“正集”和“负集”）来训练和验证分类器。为了确保现有HMM方法与我们的深度学习策略之间能够充分比较，我们使用与Cimermancic等人(16)类似的训练集来训练和验证我们的模型。我们从Cimermancic等人(16)发表的667个标记BGC中检索了617个，构建了正集训练集（补充图S1和补充表S1）。我们基于与Cimermancic等人(16)类似的原理，构建了一个包含10128个随机基因簇的负集训练集。我们另外检索了第二个补充数据集，该数据集包含来自生物合成基因簇最低信息 (Minimum Information about a Biosynthetic Gene cluster，MIBiG) 数据库 (29) 的 1406 个细菌基因组 (BGC)，用于进行十折交叉验证、留类验证和训练随机森林分类器（补充图 S1、补充表 S2）。

除了生物合成基因簇序列数据集外，我们还使用了已手动注释生物合成基因簇和非生物合成基因簇区域的全细菌基因组。我们使用了 Cimermancic 等人 (16) 提供的包含 291 个手动注释生物合成基因簇的 9 个细菌基因组数据集，并将其用于验证、超参数调整和测试（补充图 S1、补充表 S3）。我们还使用了另一组65个经实验验证的细菌基因组（BGC），它们来自六个细菌基因组（称为Cimermancic等人(16)验证集，补充图S1，补充表S4），用于进行补充模型测试。此外，我们还检索了3376个未注释的细菌基因组语料库，用于生成阴性样本、pfam2vec语料库整理以及探索性地应用DeepBGC检测新的BGC（补充图S1，补充表S5）。

Supplementary Figure S1. Diagram of the major steps in DeepBGC analysis, including the relevant datasets used and the progression of algorithms and their performance tests. Input datasets are shown in grey, published results are shown in yellow.

5.2 Pfam2Vec 捕获 DeepBGC 输入的生物信号

BGC 识别面临的一个主要挑战是为算法定义信息丰富的基因组输入。生物实体的输入序列可以在不同的基因组层面上表示，包括核苷酸、氨基酸和基因。在这些选项中，序列蛋白质家族 (Pfam) 结构域表示对于生物合成基因簇识别 (16,30) 提供了丰富的信息，因为它们代表了基因内的功能元件。我们扩展了这种方法，使用 word2vec 算法 (28) 将 Pfam 结构域标识符序列转换为数值向量表示。由此产生的实数向量基于其基因组上下文封装了结构域属性，使我们能够利用 Pfam 结构域和生物合成基因簇之间的上下文相似性（下文我们将展示功能相似性）。

我们通过计算超家族成员之间的平均向量余弦相似性，验证了 pfam2vec 能够在基因组中生成具有功能意义的 Pfam 结构域数值表示的能力。同一Pfam超家族（氏族）内的余弦相似性显著高于随机结构域向量对之间的相似性（P < 2.2 × 10−16，补充图S2a）。当使用随机表示向量时，超家族对与随机对之间的平均余弦相似性以0为中心（P = 0.09，补充图S2b）。与随机对相比，最近结构域向量对的已知结构域功能注释更相似（P < 2.2 × 10−16，补充图S2c），并且N端和C端结构域对在向量空间中似乎比其他结构域更相似（补充表S6）。这些发现表明，pfam2vec通过反映已知的超家族相似性，生成了具有功能意义的Pfam结构域序列的数值表示。

Supplementary Figure S2. Pfam2vec captures similarity between domains.

我们通过评估pfam2vec载体根据其Pfam库区分BGC的能力，进一步证实了其功能相关性。我们通过使用两种替代方法将每个给定生物合成基因簇中的众多 Pfam 结构域压缩为单个代表性生物合成基因簇向量来实现这一点。在第一种方法中，我们通过平均 pfam2vec 向量值创建代表性生物合成基因簇向量；在第二种方法中，我们创建了一个二进制向量来指示每个特定结构域的存在（结构域集向量表示）。我们通过对 MIBiG 数据库 (29) 中所有生物合成基因簇进行 t 分布随机邻域嵌入 (t-SNE) 来评估这两种方法的生物学相关性，并表明这两种方法都保留了生物合成基因簇亚类之间的相似性（补充图 S3a 和 b）。在评估生物合成基因簇的分类学辨别能力时，BGC 的分离度降低了，这进一步表明生物合成基因簇主要由其功能域结构定义，而较少由其细菌种类定义（补充图 S3c 和 d）。我们还注意到，虽然这在结构域层面上确实如此，但它并不能反映化学类别层面的分类单元特异性，而我们预期化学类别层面的分类单元特异性会有所提高 (16)。虽然结构域集向量能够有意义地表示生物合成中心 (BGC)，但它们无法用于单个结构域表征，而这些表征可以按序列作为 RNN 模型的输入。相反，pfam2vec 向量提供了单个结构域的精简且有意义的表征，因此可以作为 RNN 的功能相关输入，从而增强生物合成基因簇的识别。

5.3 独特的模型架构和引导程序改进了生物合成基因簇预测

DeepBGC的BiLSTM 神经网络由三层组成：输入层、BiLSTM 单元和输出层（图 2）。输入层编码一系列数值向量，代表 Pfam 域的基因组顺序。BiLSTM 层由前向和后向 LSTM 网络层组成，每层包含一个基本 LSTM 单元（记忆单元），其中包含一个 128 维的隐藏状态向量。记忆单元接收一个输入向量以及该单元在基因组中前一时间步的状态。所有 LSTM 记忆单元的输出都通过一个带有 S 型激活函数的全连接输出层进行处理。这为每个基因组 Pfam 实体生成一个值，该值代表该 Pfam 域的生物合成基因簇分类分数。该模型使用我们的正样本（标记的 BGC）和负样本（随机基因簇）进行训练，这些样本被转换为各自的 pfam2vec 向量序列。阳性和阴性样本被反复混洗和连接，以模拟真实的基因组环境，其中生物合成基因簇随机分散在整个基因组中，并被非生物合成基因簇序列包围。

Figure2. Bidirectional Long-Short Term Memory(BiLSTM) neural network architecture(left to right blocks).

为了弥补缺乏可用于优化模型架构、输入特征和超参数的大型独立验证集的不足，我们采用了自助抽样技术（bootstrap sampling technique）。由于我们的模型是在人工创建的基因组上训练的，因此我们自助了一个真实世界的数据集，以便进行超参数调整，同时防止数据泄露导致算法准确率估计出现偏差。我们使用了九个手动生物合成基因簇注释的全基因组数据集进行自助抽样，其中五次迭代中，每次随机替换两个基因组进行超参数验证，并使用剩余的基因组进行测试（补充图 S1）。我们通过结合 5 次迭代测试集预测获得了平均接收者操作特性 (ROC) 曲线，与原始 ClusterFinder HMM 模型以及使用最新数据重新训练的 ClusterFinder HMM 相比，该曲线显示出精确度和召回率的提高（AUC：分别为 0.946、0.837、0.912，平均精确度：分别为 0.75、0.28、0.63，图 3A 和 B）。

5.4 DeepBGC 准确率优于现有机器学习模型

我们正式评估了 DeepBGC 模型的性能，并将其与 ClusterFinder 模型进行了比较，测试了其在以下几个方面的能力：(i) 准确识别全细菌基因组中生物合成基因簇的位置；(ii) 区分生物合成基因簇和人工生成的非生物合成基因簇序列；以及 (iii) 识别尚未接触过的“新型”生物合成基因簇类别。

• 首先，为了确定 DeepBGC 是否能够准确识别全基因组中的生物合成基因簇位置，我们使用来自 6 个细菌基因组 (16) 的 65 个实验验证的生物合成基因簇集评估了模型的定位精度。结果表明，DeepBGC (AUC = 0.923) 的性能优于 ClusterFinder (AUC = 0.847，图 3C)。

• 其次，我们使用 10 倍交叉验证来评估最终的 DeepBGC 模型与现有的 ClusterFinder 算法相比，是否能够更好地区分生物合成基因簇和人工生成的非生物合成基因簇序列。我们使用 MIBiG 数据库 (29) 中的生物合成基因簇作为正集，随机基因簇作为负集。两组数据均随机分布在 10 个箱体中，其中 9 个箱体用于训练模型（采用最优设置），1 个箱体用于测试。DeepBGC（AUC = 0.984）在区分正样本和负样本方面优于 ClusterFinder（AUC = 0.936）（补充图 S4）。

• 第三，为了评估 DeepBGC 识别“新型”BGC 的能力，我们进行了“留类”验证，评估模型识别测试集中故意从训练集中省略的单个生物合成基因簇类别的能力。与 ClusterFinder（AUC = 0.865；图 3D，补充图 S5）相比，DeepBGC 对未遇到的类别的识别更为准确（AUC = 0.946）。总体而言，DeepBGC 的生物合成基因簇识别准确率有所提高，并且能够更准确地推断出以前未遇到的类别的生物合成基因簇。

Figure 3. Model validation and testing on Pfam domain level using the (A) Receiver Operating Characteristic (ROC) curves and (B) Precision (Y-axis) Recall (X-axis) Curve reflecting performance of: (blue) original ClusterFinder HMM model, (dashed blue) ClusterFinder HMM model retrained with latest training data and latest Pfam database, and (red) DeepBGC.

5.5 DeepBGC 提高了精度和生物合成基因簇覆盖率

诸如 DeepBGC 之类的生物合成基因簇识别模型最常见的用例是定位细菌基因组中的生物合成基因簇。因此，我们有必要验证 DeepBGC 除了提高精确度和召回率之外，还能够提升生物合成基因簇的位置预测准确率。我们通过比较 DeepBGC 和 ClusterFinder 在一组手动注释的细菌基因组子集中的生物合成基因簇检测准确率来实现这一点。为了解释所选生物合成基因簇分数阈值可能带来的差异影响，我们根据各自的领域级 ROC 应用了两个不同的阈值：一个严格的结构域级阈值为 10% 的假阳性率 (FPR)，以及一个宽松的阈值为 80% 的真阳性率 (TPR，补充表 S7，补充图 S6a 和 b)。

在 FPR 为 10% 的严格阈值下，无论生物合成基因簇覆盖率阈值如何，DeepBGC 预测的生物合成基因簇数量始终高于 ClusterFinder 预测的数量（图 4A 和 B）。随着覆盖阈值的增加，ClusterFinder 预测的生物合成基因簇数量急剧下降（图 4B），表明该方法预测的生物合成基因簇通常较短（补充图 S7，补充表 S8）。两种模型在生物合成基因簇层面的总体精度保持相当（精度 = 34%，26%，图 4C）。在更宽松的 TPR 阈值 80% 下，当覆盖阈值保持在 < 68% 时，ClusterFinder 预测的生物合成基因簇数量比 DeepBGC 多（图 4D 和 E）。但我们发现 ClusterFinder 预测精度较低，且包含许多假阳性（图 4F，BGC 层面精度 = 9%，补充图 S8，补充表 S8）。相反，DeepBGC 的精度是 ClusterFinder 的 4 倍以上（精度 = 44%，图 4F）。

为了校正 ClusterFinder 预测的较短生物合成基因簇，Cimermancic 等人 (16) 应用了一个后处理步骤，将相邻簇合并，前提是它们之间仅隔着一个基因。长度小于 2 kb 的假定簇以及不包含已知生物合成结构域的簇会被过滤掉。我们实施了这种方法，发现虽然此步骤显著提高了两个模型的精度（图 4C 和 F），但它也不可避免地删除了一部分真正的阳性预测，尤其是在 ClusterFinder 的 FPR 为 10% 时（图 4B）。因此，我们得出结论，与 ClusterFinder 相比，DeepBGC 不仅减少了错误预测的数量，而且还能更准确地在基因组中定位生物合成基因簇。

Figure 4. Precision and coverage of DeepBGC and ClusterFinder algorithms.

5.6 随机森林提供产物和活性分类

为了识别预测的生物合成基因簇衍生的生物合成产物，我们使用 MIBiG 数据库训练和测试随机森林分类器对生物合成基因簇序列进行分类，该数据库包含将生物合成基因簇分类为一个或多个化合物类别（表 1）。五折交叉验证显示，我们的随机森林分类器的平均 AUC 为 0.80（表 1，补充图 S9），当映射到常见的 MIBiG 分类（补充表 S9）时，其 AUC 为 0.78（表 1），与 antiSMASH 产物类型预测准确度大致相当。我们的方法还可以揭示驱动分类器决策的最具影响力的 Pfam 结构域（补充图 S10）。因此，我们的 DeepBGC 随机森林分类器为基于规则的 antiSMASH 分类方法提供了一种数据驱动的替代方案。同样值得注意的是，DeepBGC 和 antiSMASH 算法的主要区别在于糖类分类，这是因为 antiSMASH 在设计时选择避免在处理过程中自信地识别这些簇。

除了识别BGC类别外，我们还评估了使用370个分子活性标记的MIBiG生物合成基因簇子集预测BGC分子活性信息的能力。由于样本量较小，分类器仅考虑了四种最常见的化合物活性类别：抗菌、细胞毒性、抑制剂和抗真菌。使用5倍交叉验证，根据化合物活性对BGC进行了分类，精度适中（平均AUC 0.61，表1）。未来需要更大的训练集来提高性能。

5.7 DeepBGC预测新型抗菌生物合成基因簇

上文我们展示了 DeepBGC 与随机森林分类器结合使用，可以有效识别细菌基因组 (BGC)，并对其化合物类别和分子活性进行分类。因此，我们应用该模型来挖掘其他方法无法预测的新型细菌基因组 (BGC)。我们利用 3376 个 RefSeq 细菌基因组 (26) 组成的细菌参考集，对其进行 DeepBGC、antiSMASH 和 ClusterFinder 分析，然后对它们的预测结果进行系统性比较（补充表 S10）。为了避免人为夸大假定的新型预测数量，我们通过接受 ClusterFinder 和 antiSMASH 的默认（宽松）设置来最大化其检测生物合成基因簇的能力，同时仅对 DeepBGC 应用严格的截断值（域级别 2% 的 FPR）。在这些标准下，ClusterFinder 预测的生物合成基因簇(62491) 数量是 antiSMASH (13865) 的 4.5 倍以上，是 DeepBGC (10926) 的 5.5 倍以上。正如预期的那样，ClusterFinder 识别出的大多数生物合成基因簇（约 75%）都无法被 DeepBGC 或 antiSMASH 识别（图 5a）。ClusterFinder 预测与 DeepBGC 和 antiSMASH 的重叠度相当（分别为 18% 和 15%）。相反，DeepBGC 的比较显示，DeepBGC 的大多数预测与 ClusterFinder 重叠（约 90%），与 antiSMASH 重叠约 39%，其中 35% 与两者重叠（图 5A）。使用我们保守的误报检测阈值，大约 5%（566）的 DeepBGC 预测无法通过任何其他方法发现。对基于规则的 antiSMASH 预测的评估表明，DeepBGC 遗漏的生物合成基因簇总体上属于不同类别，其中许多可以通过使用更宽松的 DeepBGC 参数来恢复（补充表 S11，补充图 S11）。 S. coelicolor生物合成基因簇检测（该结构域中研究透彻的生物体）的一个具体示例证实，较宽松的 DeepBGC 阈值允许检测到更多由基于规则的antiSMASH 识别的生物合成基因簇，其中 DeepBGC 识别的antiSMASH生物合成基因簇数量范围为28个中的21 至 9个，阈值分别为 0.1-0.9（补充图 S12 和 S13）。

我们进一步探索了这些新的特征，并分析了 DeepBGC 检测到的约 5% 的新型生物合成基因簇。我们考虑了 227 个至少包含 5 个 Pfam 结构域的生物合成基因簇，并根据其化合物类别和分子活性对其进行了分类。我们发现，结果中，没有确定类别的生物合成基因簇（约 70%）和源自分枝杆菌属的生物合成基因簇（约 49%，补充图 S14）的富集率较高。使用 t-SNE 进行可视化时，那些无法确定单个化合物类别的新型生物合成基因簇跨越了不同类别的边界（灰色加号，图 5b），而其余的生物合成基因簇则根据各自的类别与已知生物合成基因簇紧密聚类（图 5b）。

为了进一步强调 DeepBGC 功能分类在真实数据上的性能，我们评估了上文使用的 S. coelicolor 参考基因组。我们发现，一些被归类为RIPP的S. coelicolor生物合成基因簇在人工检查中似乎不包含RIPP的遗传特征（表S12）。DeepBGC还识别出一个类似番茄红素的类胡萝卜素簇，但将其误认为萜类化合物簇，而antiSMASH则将其视为初级代谢物。这些例子进一步佐证了我们上述的基准测试结果，表明尽管DeepBGC的表现优于其他方法，但它并不能完美地识别和分类BGC。

Figure 5. DeepBGC uncovers novel BGCs with antibacterial activity in bacterial genomes.

为了评估单个BGC，我们根据它们的Pfam结构域总数、预测的抗菌活性得分以及它们与MIBiG数据库中已知BGC的相似性，对我们的新预测进行了排序（补充表S13）。我们使用此列表手动识别了一个候选BGC，该候选BGC无法归类到特定的化合物类别，与已知BGC的相似性得分较低，但抗菌预测得分较高。这种新型BGC位于致病菌结核分枝杆菌（Mycobacterium tuberculosis）的基因组中，已知该菌中BGC含量丰富（31–35）。该簇与其他任何相邻预测簇均较远（约9 kb，图5C），且富含多种调节、转运和修饰酶（图5d，补充表S14），包括乙酰转移酶和乙二醛酶/博来霉素抗性蛋白，已知这些酶可催化多种生化反应（36）。该簇还编码一个II型毒素-抗毒素系统，进一步支持了其潜在的细胞毒活性（37）。如此丰富的修饰酶可能赋予最终天然产物一种新颖的化学性质。对具有相似结构域的BGC进行搜索，发现在另一株结核分枝杆菌菌株中存在类似的簇（相似度为80%）。在其他分枝杆菌属物种中发现了更多相似度得分超过60%的差异较大的簇，antiSMASH和ClusterFinder的预测结果也支持了这些簇（补充图S15）。我们还重点介绍了另外五个由DeepBGC唯一鉴定的、来自不同细菌类群的假定BGC（补充图S16，补充表S15）。结合我们上述留类验证和其他验证指标的结果，这些发现凸显了DeepBGC的价值及其挖掘细菌基因组的能力，从而为细菌天然产物化学提供前所未有的洞见。这些洞见将为实验验证和后续实验提供方向，并作为对预测的BGC生物学相关性的有力验证。

6. 讨论

我们在此提出 DeepBGC，这是一种全面的深度学习策略，用于从细菌基因组中识别生物合成基因簇，并根据其产物类别和化学活性对其进行分类。我们的深度学习方法基于自然语言处理 (NLP) 领域的概念，并建立在现有算法之上，这些算法要么在识别新的生物合成基因簇类别方面能力有限，要么在准确识别基因组中的生物合成基因簇方面能力有限。我们证明了 DeepBGC 方法在准确识别基因组中的生物合成基因簇方面优于一种常用的机器学习算法 ClusterFinder（补充表 S16）。我们的留类分析（leave-class-out analysis）表明，DeepBGC 模型也具有更大的潜力，可以推断和识别它从未遇到过的生物合成基因簇类别。补充的随机森林分类方法使我们能够根据 Pfam 结构域组成准确识别生物合成基因簇类别，并且尽管可用于训练的样本量有限，但仍能够对所得次级代谢物的化学活性进行一定程度的预测。最后，与其他机器学习算法一样，随着微生物基因组中BGC的不断发现、验证和标记，DeepBGC也将持续改进。

机器学习对自然语言处理（NLP）方法论产生了巨大的影响，催生了强大的词嵌入技术，例如word2vec，它允许将单词表示为实数的低维向量，从而增强了基于上下文的学习能力(38)。Asgari等人(39)最近采用词嵌入和神经网络，利用氨基酸序列向量改进了蛋白质家族的分类；Kim等人(40)也引入了Mut2Vec来表示癌性突变。在我们目前的研究中，我们利用从大量未标记的基因组序列语料库中生成的新型pfam2vec表示向量，增强了DeepBGC BiLSTM网络学习基因组序列中复杂模式的能力。通过这种方式，我们能够更好地理解神秘的基因组背景。我们相信，我们的 pfam2vec 方法可以进一步帮助基于基因组背景注释未知功能域。为此，我们还提供了一组已知和未知功能的最近域对（补充表 S17），但这一探索最终超出了本研究的范围，我们将在未来的工作中继续探索。

我们将该模型应用于真实数据集（参考细菌基因组集合），以突出其对细菌生物合成基因簇提供独特见解的能力。ClusterFinder 预测的生物合成基因簇数量过高可以很容易地用其低精度来解释。我们的结果表明，许多 ClusterFinder 预测是假阳性，而那些非假阳性的预测仅代表了真实生物合成基因簇的一小部分。在整个研究过程中，我们保守地选择了参数设置，因为我们更倾向于低估预测值，而不是对生物合成基因簇预测错误的细菌基因组进行注释。

我们发现，我们的模型识别出了 ClusterFinder 无法识别的各种产物类别的生物合成基因簇，尽管大多数生物合成基因簇类别无法被可靠地分配。这表明存在识别新型BGC的潜力，值得未来进行深入验证以探索这些BGC候选物。这些未知的BGC主要存在于分枝杆菌属中，而分枝杆菌属已知含有多种不同的BGC（31-35）。因此，我们的模型不仅能够识别潜在的新型BGC特征，还能在已知BGC含量较高的细菌中识别，因此我们可能预先预期这些细菌可能拥有大量的新型BGC。

虽然我们阐述了该工具在参考基因组中的应用，但我们也期待DeepBGC能够通过鸟枪法宏基因组数据集应用于微生物组研究。了解BGC的差异存在或表达（使用宏转录组学方法）可以为微生物组功能、疾病的潜在机制和治疗方法提供新的见解。虽然超出了本研究的范围，但将DeepBGC纳入微生物组序列分析将是未来研究的一个激动人心的途径。

虽然我们基于深度学习的 DeepBGC 方法优于其他常用模型，但其局限性也不容忽视。与其他现有模型一样，该模型是在现有的生物合成基因簇数据库上训练的，而这些数据库严重偏向于来自天然产物“主力”细菌（例如链霉菌）的生物合成基因簇。训练数据的这种偏差可能会限制模型识别数据库中特征不明确的细菌来源（包括复杂微生物群落（微生物组）中的细菌）中新型生物合成基因簇的能力。我们通过进行留类验证来解决这个问题，以突出我们的方法相对于其他现有方法的普遍性。尽管我们的性能有所提升，但进一步我们需要开展更多工作来构建更多样化的生物合成基因簇数据库，以便改进我们模型的训练和验证，并最终提升其整体性能。

另一个需要注意的问题是 DeepBGC 与 antiSMASH 的比较，antiSMASH 代表了一种基于规则的生物合成基因簇识别方法。通过人工定义的规则实现领域专家知识的方法利用了广泛的领域信息，因此在寻找符合我们当前对该领域理解的生物合成基因簇特征方面具有显著的价值。诸如 ClusterFinder 和 DeepBGC 之类的机器学习方法擅长识别新的特征，并且随着我们数据库的改进而不断扩展。然而，这些模型的优劣取决于用于训练的底层数据库的准确性和深度。我们的观察结果反映了这一点：一些经过充分研究的类别无论阈值如何都能被恢复，而另一些类别则更依赖于阈值（补充图 S11）。我们观察到在 S. coelicolor 参考基因组示例中某些类别被错误识别，这进一步强调了这一点，这与我们的其他基准测试结果一致。总体而言，这凸显了这些机器学习模型应被视为互补而非冗余，因为它们在信号识别方面具有独特的优势。

我们的 DeepBGC 模型以及其他机器学习模型的分类和误分类结果凸显了机器学习方法识别其数据集预测特征的共性，而这些共性可能无法反映真实的生物学特性。正如我们上文提到的，由于机器学习模型是在相对较小的参考数据集上训练的，它们可能会学习到偏差而不是真实的生物学信号，例如学习将 ABC 转运蛋白信号与 RiPP 簇关联（这种关联并不能反映其真实的生物学特性）。总而言之，这说明了整合更大数据集的重要性，我们构建了 DeepBGC 来实现这种数据整合的便捷性。这将是未来研究的一个重要领域。

尽管存在此局限性，但我们的模型与其他方法相比表现良好，并且代表了天然产物发现领域的一种有用算法。由于我们模型识别新型细菌基因组（BGC）的能力有所提升，我们证明了我们能够识别其他现有模型遗漏的BGC，从而识别现有细菌基因组序列中先前未知的天然产物来源。通过减少细菌基因组中被识别的碎片化BGC数量，我们提升的预测准确率将降低BGC计数膨胀。此外，通过提供更准确的BGC边界预测，我们将减少人工筛选工作，以清理基因组位置不完全准确的预测BGC。总而言之，DeepBGC通过提升BGC识别准确率、BGC基因组位置预测以及识别当前训练知识库中不存在的潜在新型BGC特征，代表了对当前“最先进”技术的进步。这将用于支持后续对新型BGC及其产生的天然产物的基因组挖掘，而改进的外推能力将增强微生物组数据集的BGC挖掘，而微生物组数据集仍然是一个尚未被充分探索的基因组BGC资源。这些微生物组分析，包括与疾病表型的关联以及抗生素或免疫调节剂等类别中的新化学物质的鉴定，可能对将微生物组数据转化为治疗干预措施产生重要的临床影响。

转自：竹篱茅舍

最全1000+植物核基因组数据库IMP (点击图片直达)

高颜值免费 SCI 在线绘图(点击图片直达)

往期精品(点击图片直达文字对应教程)

Linux      Python  

R绘图   NGS基础   GEO高级

 生信自学   生信书籍   系列教程   心得体会

转录组经典   宏基因组   蛋白质组   单细胞系列   测序发展史

    免费在线画图   色彩搭配   图形排版   图形解读   

       ChIP-seq     TCGA     GSEA     WGCNA       

     海哥组学    傻瓜系列    文章写作 

 Cytoscape   Excel  PPT

机器学习