词频统计为什么把“苹果”拆成两个字?先看计数口径和百分比分母
词频统计
点击使用相关工具
把“苹果 苹果 香蕉”放进统计页,结果却出现“苹”“果”“香”“蕉”,并不意味着原文被改坏了。本站词频统计的中文口径是逐个汉字计数,英文则提取连续英文字母并转为小写。需要统计“苹果”这个完整词出现几次时,应先选择有中文分词能力的方法;给汉字之间加空格,不能让当前页面自动理解词组。
用两行短文本,把分母算清楚
打开工具,在“输入文本”中粘贴下面两行,然后点击“统计词频”。第二行末尾的123也保留,它正好能检验数字是否计入。
苹果 苹果 香蕉 Apple apple BANANA 123
第一行有6个参与统计的汉字;第二行提取出Apple、apple、BANANA三个英文单位。空格、换行和123不参与本次计数,所以总数是9,不是原文的字符数,也不是把中文先分词后得到的单词数。
| 结果中的词/字 | 次数 | 占比计算 | 显示值 |
|---|---|---|---|
| 苹 | 2 | 2 ÷ 9 × 100% | 22.22% |
| 果 | 2 | 2 ÷ 9 × 100% | 22.22% |
| apple | 2 | 2 ÷ 9 × 100% | 22.22% |
| 香 | 1 | 1 ÷ 9 × 100% | 11.11% |
| 蕉 | 1 | 1 ÷ 9 × 100% | 11.11% |
| banana | 1 | 1 ÷ 9 × 100% | 11.11% |
表下方应显示“共6个不同的词/字,总计9个”。三个2和三个1相加等于9;不同项有6种。屏幕上的百分比相加只有99.99%,是各项保留两位小数的舍入结果,不是少算了一项。同频项的名次不代表某个字更重要,核对次数和占比比比较并列顺序更有意义。
结果里没有123,也不会自动过滤“的”
当前工具只提取页面规则覆盖的汉字和A至Z英文字母。纯数字、标点及表情不会生成统计项;“苹果123”里的苹果会计入,123不会计入。它也没有停用词开关,“的”“了”“是”不会因为常见就被自动删掉。英文大小写会合并,但没有词干还原:apple与apples仍是两个不同的项。
可以另做一个小实验:只输入“苹果苹果”,仍然得到苹2次、果2次、总计4个。再把输入换成“123 !!!”,结果没有词/字可统计。后者不代表文本为空,只说明没有匹配到本页面计数范围内的单位。只输空白再点击按钮,则会提示需要输入内容;统计前最好先保留一份原文,避免把旧结果误认成刚输入文本的结果。
页面最多展示频次靠前的100项,底部总数与占比仍按全部提取出的单位计算。词/字种类超过100时,未展示项仍在分母中,不能把可见100行相加当成全文总数。它没有导出按钮、自定义词典或专业语料分析设置,不宜用来承诺论文级中文分词准确率。
你要的到底是字频、词频,还是文本长度?
核对某几个汉字在短文本中出现多少次、观察英文高频词,这个页面就够用。分析中文主题词、专有名词或“人工智能”这样的短语,需要能明确分词规则和词典的方法;当前工具不能凭空把四个字合成一个词。分词后把词组重新粘贴到这里,也还是会逐字计数,不应这样绕过限制。
如果任务是检查投稿或表单的长度,另用字数统计并核对其字数、字符数口径;两页的数字不要求相等。若发现原文存在不同写法,可以先用文本替换明确改写规则,但要知道清理后的统计代表新文本,不再代表未经处理的原文。
能用频次直接判断关键词重要性吗?
不能直接等同。频次只说明当前文本里出现多少次,常用虚词也可能排在前面。当前结果没有情感分析、词性筛选或跨文档权重;先弄清计数单位,再结合上下文判断。
为什么英文don't没有作为一个完整单词?
当前规则提取连续英文字母,撇号会把它隔开,因此得到don和t。带连字符的词也可能被拆开。需要按语言学规则处理缩写、词形或多语文本时,应使用支持相应分词规则的工具,不能仅因页面名称包含“词频”就假定这些能力存在。