主题
NLP 的五大难点
- 规律复杂性:自然语言没有绝对统一的规则,例外情况频繁出现。例如英语中"child"的复数是"children",而非常规的"-s"结尾。
- 组合自由性:人类可通过有限词汇组合创造无限表达,如"量子计算机"、"元宇宙社交"等新兴概念的组合。
- 开放扩展性:语言系统持续进化,新词汇(如"内卷"、"yyds")和表达方式不断涌现,机器需实时更新理解能力。
- 知识关联性:语言理解依赖常识与领域知识,如理解"他因肺癌去世"需知道"肺癌"是致命疾病。
- 上下文依赖性:同一语句在不同语境中含义迥异,例如"我明天去医院"在"生病"和"探病"场景中动机不同。