首页 > 文章 > 文本处理 > 词频统计为什么把“苹果”拆成两个字?先看计数口径和百分比分母

词频统计为什么把“苹果”拆成两个字?先看计数口径和百分比分母

词频统计

点击使用相关工具

去使用

把“苹果 苹果 香蕉”放进统计页,结果却出现“苹”“果”“香”“蕉”,并不意味着原文被改坏了。本站词频统计的中文口径是逐个汉字计数,英文则提取连续英文字母并转为小写。需要统计“苹果”这个完整词出现几次时,应先选择有中文分词能力的方法;给汉字之间加空格,不能让当前页面自动理解词组。

用两行短文本,把分母算清楚

打开工具,在“输入文本”中粘贴下面两行,然后点击“统计词频”。第二行末尾的123也保留,它正好能检验数字是否计入。

苹果 苹果 香蕉
Apple apple BANANA 123

第一行有6个参与统计的汉字;第二行提取出Apple、apple、BANANA三个英文单位。空格、换行和123不参与本次计数,所以总数是9,不是原文的字符数,也不是把中文先分词后得到的单词数。

结果中的词/字次数占比计算显示值
苹22 ÷ 9 × 100%22.22%
果22 ÷ 9 × 100%22.22%
apple22 ÷ 9 × 100%22.22%
香11 ÷ 9 × 100%11.11%
蕉11 ÷ 9 × 100%11.11%
banana11 ÷ 9 × 100%11.11%

表下方应显示“共6个不同的词/字,总计9个”。三个2和三个1相加等于9;不同项有6种。屏幕上的百分比相加只有99.99%,是各项保留两位小数的舍入结果,不是少算了一项。同频项的名次不代表某个字更重要,核对次数和占比比比较并列顺序更有意义。

结果里没有123,也不会自动过滤“的”

当前工具只提取页面规则覆盖的汉字和A至Z英文字母。纯数字、标点及表情不会生成统计项;“苹果123”里的苹果会计入,123不会计入。它也没有停用词开关,“的”“了”“是”不会因为常见就被自动删掉。英文大小写会合并,但没有词干还原:apple与apples仍是两个不同的项。

可以另做一个小实验:只输入“苹果苹果”,仍然得到苹2次、果2次、总计4个。再把输入换成“123 !!!”,结果没有词/字可统计。后者不代表文本为空,只说明没有匹配到本页面计数范围内的单位。只输空白再点击按钮,则会提示需要输入内容;统计前最好先保留一份原文,避免把旧结果误认成刚输入文本的结果。

页面最多展示频次靠前的100项,底部总数与占比仍按全部提取出的单位计算。词/字种类超过100时,未展示项仍在分母中,不能把可见100行相加当成全文总数。它没有导出按钮、自定义词典或专业语料分析设置,不宜用来承诺论文级中文分词准确率。

你要的到底是字频、词频,还是文本长度?

核对某几个汉字在短文本中出现多少次、观察英文高频词,这个页面就够用。分析中文主题词、专有名词或“人工智能”这样的短语,需要能明确分词规则和词典的方法;当前工具不能凭空把四个字合成一个词。分词后把词组重新粘贴到这里,也还是会逐字计数,不应这样绕过限制。

如果任务是检查投稿或表单的长度,另用字数统计并核对其字数、字符数口径;两页的数字不要求相等。若发现原文存在不同写法,可以先用文本替换明确改写规则,但要知道清理后的统计代表新文本,不再代表未经处理的原文。

能用频次直接判断关键词重要性吗?

不能直接等同。频次只说明当前文本里出现多少次,常用虚词也可能排在前面。当前结果没有情感分析、词性筛选或跨文档权重;先弄清计数单位,再结合上下文判断。

为什么英文don't没有作为一个完整单词?

当前规则提取连续英文字母,撇号会把它隔开,因此得到don和t。带连字符的词也可能被拆开。需要按语言学规则处理缩写、词形或多语文本时,应使用支持相应分词规则的工具,不能仅因页面名称包含“词频”就假定这些能力存在。

立即使用词频统计