人生火—如何在文本中找到重要的单词
这是我30天写作挑战赛的第二天 ,即将开始建立机器学习团队的新工作。 我将拥有大量的口头和书面文件。 今天,让我们看一下如何减少单词数量而不减少含义。 许多英语是多余的。 它充满了微妙之处,可以帮助散文流在一起而无需提供更多细节。 随着我们开始使用我们的数据来构建机器学习模型,这些多余的词将会被阻碍。 考虑一句“男人成功地生了火”。 相同的含义可以用“人在生火”来表达。 如果您真的这样说话,您听起来会像个尼安德特人,但是我们并没有因为只挑出重要的单词而迷失了要旨。 在最高级别上,我们希望找到特定文档中所有未出现在所有其他文档中的单词。 这意味着我们将立即打折“ the”,“ and”和“ I”之类的词。 我们也不太重视出现在每个文档中的常用词,即在我们的领域中常用的词。 我还没有发明这项技术。 我什至没有通过自己的研究发现这种技术。…