blank penalty 实验

飞书用户1434

2024年1月5日修改

1.
背景​

观察到 wenetspeech 的解码结果中，删除错误所占比例异常高，几乎和替换错误达到 1:1 的程度，正常情况下，删除错误和插入错误接近才是合理的。​

	ctc	rescore
dev	8.50 % N=328207 C=302555 S=13221 D=12431 I=2247	8.37 % N=328207 C=302993 S=12556 D=12658 I=2253
test_net	9.47 % N=414285 C=377490 S=24923 D=11872 I=2447	9.02 % N=414285 C=379271 S=23881 D=11133 I=2365
test_meeting	15.77 % N=220358 C=187189 S=15092 D=18077 I=1578	15.52 % N=220358 C=187746 S=14507 D=18105 I=1596

联想到 zipformer 在 wenetspeech 上 cer 差距拉的特别大，隐隐感觉是对删除错误做了特殊的优化，于是去 icefall 搜索 wenetspeech 相关 pr，果不其然 https://github.com/k2-fsa/icefall/pull/1130#issuecomment-1596888418，zipformer论文中汇报的所有wenetspeech结果，均是添加了blank penalty后的结果。对于不加任何解码trick的case，和conformer差距没有以前想象的那么大。

common.docs_name - LarkCCM_Docs_Menu_Image

(zipformer 论文结果)

62%

(PR中关于解码trick对zipformer的影响)

38%

2.
原理和实现​

进一步观察会发现，删除错误较多的有两种，一种是 语气词 (啊、吗、儿等)，一种是 口语化的重复词 (wenetspeech测试集较为口语化，有的人说话会稍微停顿和重复)​

（语气词和口语化重复词的删除错误示例）

这些问题出现的原因是 AM 本身也有一些弱LM 的作用，因此当出现语气词和重复词时，ctc 倾向于删掉这些字（或者换句话说，在这些字的位置给blank更高分数），因此解决方法就很简单，（无差别）惩罚一下blank https://github.com/wenet-e2e/wenet/pull/2278

添加penalty后，有些字就能出来了

blank penalty 实验​

blank penalty 实验