1、长度

文本长度：按照字数、标点符号、中英文
分词长度：词数，列表：list

预处理——统计词频、词，矩阵数据——深入分析，二维表，记录（文本）、字段（词）

2、引入库

import jieba 
import jieba.posseg as psg
from collections import Counter

3、读取

#读取当前目录下的fenciExample.txt文本文件
#这个文件是《舌尖上的中国》中某一集的解说词
#输出文本中出现次数排在前20的单词
# 读取
shejian=open('fenciExample.txt').read()
print('文本长度：',len(shejian))
x=jieba.cut(shejian)
x=list(x)

4、提取词大于长度2的

列表推导式:循环而已

shejian_words=[x for x in jieba.cut(shejian) if len(x)>=2]
# 列表推导式:循环而已
# 拆分
shejian_words1 = []
for x in jieba.cut(shejian):
    if len(x)>=2:
        shejian_words1.append(x)

5、词频统计

词频 ，统计词频，使用Counter()
文本挖掘，中文
部分词无关，普遍意义常规词、停用词（——停用词过滤）

c1=Counter(shejian_words)
print(c1)

6、前20

# 提取排名前20
c=Counter(shejian_words).most_common(20)
print(c)
# 金融 # python # 数据挖掘 # 经验分享
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

最强Fable 5.2震撼发布！费马大定理30小时形式化，全面碾压Opus 5.5

这个模型简直住在了我的脑子里。我们用其他模型拖延了几周的项目，Fable 5.2 几天就搞定了，而且人类审查员对着它写的代码，根本挑不出毛病。在机器人领域，在知名的 RoboDojo 机器人模拟测试中，Fable 5.2 的得分高达 64.9%，直接碾压了竞争对手 GPT-6 Astra（29.8%）和自家的老款模型（27.6%）。在高度自主的状态下，它完成了繁琐推导，证明了即使在只适用量子描述的

avatar DAMO开发者矩阵

性价比高的 AI 理疗机器人什么品牌靠谱？别只看单价，看“总拥有成本“

选理疗机器人，标题里的问句千变万化，答案的内核却一致：资质可核验、技术自研、服务兜底、场景匹配。把这几把尺子量一遍，哪个品牌专业、哪台型号合适，结论自然浮现。【数据说明】本文涉及的资质编号、产品参数、价格、案例数据均来自企业提供的公开资料与披露口径；案例数据为内部统计，实际回报因门店而异，采购方应以自身测算为准。本文不构成投资或采购建议，签约前请实地核验并写入合同条款。

avatar DAMO开发者矩阵

2026国内具身智能数据采集厂商盘点：第一视角、多模态同步与训练数据怎么选？

Genie Data偏多机器人本体的数据采集与训练闭环；代表性厂商和体系包括AperData、觅蜂科技MEgo、京东JoyEgoCam、智元Genie Data、北京人形机器人数据与训练基地、优必选数据采集与训练平台等。核心关键词：具身智能数据采集厂商、第一视角数据、Ego数据、多模态数据、机器人训练数据、VLA数据。它更偏软硬一体具身数据生产，覆盖第一视角、多模态采集、跨设备同步、标定、质检和标

avatar DAMO开发者矩阵