使用 Node.js 对文本内容分词和关键词抽取

作者: 月影大神 2017-05-16 14:28:05

众成翻译的文章有 tag,用户可以基于 tag 来快速筛选感兴趣的文章,文章也可以依照 tag 关联来进行相关推荐。但是现在众成翻译的 tag 是在推荐文章的时候设置的,都是英文的,而且人工设置难免不规范和不完全。虽然发布文章后也可以人工编辑,但是我们也不能指望用户或管理员能够时时刻刻编辑出恰当的 tag,所以我们需要用工具来自动生成 tag。

在现在开源的分词工具里面,jieba是一个功能强大性能优越的分词组件,更幸运地是,它有 node 版本

nodejieba 的安装和使用十分简单:

  1. npm install nodejieba 
  1. var nodejieba = require("nodejieba"); 
  2. var result = nodejieba.cut("帝国主义要把我们的地瓜分掉"); 
  3. console.log(result); 
  4. //[ '帝国主义', '要', '把', '我们', '的', '地', '瓜分', '掉' ] 
  5.  
  6. result = nodejieba.cut('土地,俺老孙的金箍棒在哪里?'); 
  7. console.log(result); 
  8. //[ '土地', ',', '俺', '老', '孙', '的', '金箍棒', '在', '哪里', '?' ] 
  9.  
  10. result = nodejieba.cut('大圣,您的金箍棒就棒在特别配您的头型!'); 
  11. console.log(result);  
  12. //[ '大圣',',','您','的','金箍棒','就','棒','在','特别','配','您','的','头型','!' ] 

 我们可以载入自己的字典,在字典里给每个词分别设置权重和词性:

编辑 user.uft8

  1. 地瓜 9999 n 
  2. 金箍 9999 n 
  3. 棒就棒在 9999 

然后通过 nodejieba.load 加载字典。

  1. var nodejieba = require("nodejieba"); 
  2.  
  3. nodejieba.load({ 
  4.   userDict: './user.utf8'
  5. }); 
  6.  
  7. var result = nodejieba.cut("帝国主义要把我们的地瓜分掉"); 
  8. console.log(result); 
  9. //[ '帝国主义', '要', '把', '我们', '的', '地瓜', '分', '掉' ] 
  10.  
  11. result = nodejieba.cut('土地,俺老孙的金箍棒在哪里?'); 
  12. console.log(result); 
  13. //[ '土地', ',', '俺', '老', '孙', '的', '金箍棒', '在', '哪里', '?' ] 
  14.  
  15. result = nodejieba.cut('大圣,您的金箍棒就棒在特别配您的头型!'); 
  16. console.log(result);  
  17. //[ '大圣', ',', '您', '的', '金箍', '棒就棒在', '特别', '配', '您', '的', '头型', '!' ] 

除了分词以外,我们可以利用 nodejieba 提取关键词:

  1. const content = ` 
  2. HTTP、HTTP/2与性能优化 
  3.  
  4. 本文的目的是通过比较告诉大家,为什么应该从HTTP迁移到HTTPS,以及为什么应该添加到HTTP/2的支持。在比较HTTP和HTTP/2之前,先看看什么是HTTP。 
  5.  
  6. 什么是HTTP 
  7. HTTP是在万维网上通信的一组规则。HTTP属于应用层协议,跑在TCP/IP层之上。用户通过浏览器请求网页时,HTTP负责处理请求并在Web服务器与客户端之间建立连接。 
  8.  
  9. 有了HTTP/2,不使用雪碧图、压缩、拼接,也可以提升性能。然而,这不代表不应该使用这些技术。不过这已经清楚表明了我们从HTTP/1.1移动到HTTP/2的必要性。 
  10. `; 
  11.  
  12. const nodejieba = require("nodejieba"); 
  13.  
  14. const result = nodejieba.extract(content, 20); 
  15.  
  16. console.log(result); 

输出的结果类似下面这样:

  1. [ { word: 'HTTP', weight: 140.8704516850025 }, 
  2.   { word: '请求', weight: 14.23018001394 }, 
  3.   { word: '应该', weight: 14.052171126120001 }, 
  4.   { word: '万维网', weight: 12.2912397395 }, 
  5.   { word: 'TCP', weight: 11.739204307083542 }, 
  6.   { word: '1.1', weight: 11.739204307083542 }, 
  7.   { word: 'Web', weight: 11.739204307083542 }, 
  8.   { word: '雪碧图', weight: 11.739204307083542 }, 
  9.   { word: 'HTTPS', weight: 11.739204307083542 }, 
  10.   { word: 'IP', weight: 11.739204307083542 }, 
  11.   { word: '应用层', weight: 11.2616203224 }, 
  12.   { word: '客户端', weight: 11.1926274509 }, 
  13.   { word: '浏览器', weight: 10.8561552143 }, 
  14.   { word: '拼接', weight: 9.85762638414 }, 
  15.   { word: '比较', weight: 9.5435285574 }, 
  16.   { word: '网页', weight: 9.53122979951 }, 
  17.   { word: '服务器', weight: 9.41204128224 }, 
  18.   { word: '使用', weight: 9.03259988558 }, 
  19.   { word: '必要性', weight: 8.81927328699 }, 
  20.   { word: '添加', weight: 8.0484751722 } ] 

我们添加一些新的关键词到字典里:

  1. 性能 
  2. HTTP/2 

输出结果如下:

  1. [ { word: 'HTTP', weight: 105.65283876375187 }, 
  2.   { word: 'HTTP/2', weight: 58.69602153541771 }, 
  3.   { word: '请求', weight: 14.23018001394 }, 
  4.   { word: '应该', weight: 14.052171126120001 }, 
  5.   { word: '性能', weight: 12.61259281884 }, 
  6.   { word: '万维网', weight: 12.2912397395 }, 
  7.   { word: 'IP', weight: 11.739204307083542 }, 
  8.   { word: 'HTTPS', weight: 11.739204307083542 }, 
  9.   { word: '1.1', weight: 11.739204307083542 }, 
  10.   { word: 'TCP', weight: 11.739204307083542 }, 
  11.   { word: 'Web', weight: 11.739204307083542 }, 
  12.   { word: '雪碧图', weight: 11.739204307083542 }, 
  13.   { word: '应用层', weight: 11.2616203224 }, 
  14.   { word: '客户端', weight: 11.1926274509 }, 
  15.   { word: '浏览器', weight: 10.8561552143 }, 
  16.   { word: '拼接', weight: 9.85762638414 }, 
  17.   { word: '比较', weight: 9.5435285574 }, 
  18.   { word: '网页', weight: 9.53122979951 }, 
  19.   { word: '服务器', weight: 9.41204128224 }, 
  20.   { word: '使用', weight: 9.03259988558 } ] 

在这个基础上,我们采用白名单的方式过滤出一些可以作为 tag 的词:

  1. const content = ` 
  2. HTTP、HTTP/2与性能优化 
  3.  
  4. 本文的目的是通过比较告诉大家,为什么应该从HTTP迁移到HTTPS,以及为什么应该添加到HTTP/2的支持。在比较HTTP和HTTP/2之前,先看看什么是HTTP。 
  5.  
  6. 什么是HTTP 
  7. HTTP是在万维网上通信的一组规则。HTTP属于应用层协议,跑在TCP/IP层之上。用户通过浏览器请求网页时,HTTP负责处理请求并在Web服务器与客户端之间建立连接。 
  8.  
  9. 有了HTTP/2,不使用雪碧图、压缩、拼接,也可以提升性能。然而,这不代表不应该使用这些技术。不过这已经清楚表明了我们从HTTP/1.1移动到HTTP/2的必要性。 
  10. `; 
  11.  
  12. const nodejieba = require("nodejieba"); 
  13.  
  14. nodejieba.load({ 
  15.   userDict: './user.utf8'
  16. }); 
  17.  
  18. const result = nodejieba.extract(content, 20); 
  19.  
  20. const tagList = ['HTTPS''HTTP''HTTP/2''Web''浏览器''性能']; 
  21.  
  22. console.log(result.filter(item => tagList.indexOf(item.word) >= 0)); 

***得到:

  1. [ { word: 'HTTP', weight: 105.65283876375187 }, 
  2.   { word: 'HTTP/2', weight: 58.69602153541771 }, 
  3.   { word: '性能', weight: 12.61259281884 }, 
  4.   { word: 'HTTPS', weight: 11.739204307083542 }, 
  5.   { word: 'Web', weight: 11.739204307083542 }, 
  6.   { word: '浏览器', weight: 10.8561552143 } ] 

这就是我们想要的结果。

以上就是分词库 nodejieba 基本的使用方法,在将来我们可以利用它对众成翻译发布的译文自动分析添加相应的 tag,以为各位译者和读者提供更好的用户体验。

Node.js 自然语言处理
上一篇:神经风格迁移研究概述:从当前研究到未来方向 下一篇:如何用 TensorFlow 教机器人作曲?秘诀原来是这样
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

自然语言处理的应用前景

自然语言处理(NLP)是人工智能技术的一个分支,它使计算机能够像人们一样理解、处理和生成语言,并且在商业中的应用正在迅速增长。

Terena Bell ·  2020-04-24 10:53:08
一文看懂NLP落地难在哪儿

近年来,自然语言处理技术逐渐成为应用范围最为广泛的人工智能技术之一。不过总体而言,NLP在商业化上其实受限颇多,相关产品基本属于“可用”,但离实际意义上的“好用”还有较长的距离。本文将从自然语言本身、多模态的学习、训练数据的获取、工业化设计的要求四个方面解析NLP技术的落地难点,希望能够对突破当前瓶颈有所启发。

张洁 ·  2020-03-25 09:20:21
知识图谱如何改变银行业务模式?

知识图谱、NLP和AI的结合,对于银行业的数字化转型至关重要。

佚名 ·  2020-03-13 20:01:08
“黑天鹅”羽下:AI在信息战场上的光影双面

疫情发生至今,信息的更新时时牵动着公众神经。在疫情相关的舆情梳理中,人工智能开始扮演“沙里淘金”的角色,运用NLP(自然语言处理)技术“提纯”有效信息,关联信息线索,打造公共危机事件里的信息中枢。同时需要警觉的是,人工智能也会被有心之人利用,造成舆情风险。光影双生,相伴而行。

张洁 ·  2020-03-06 10:03:31
自然语言处理(nlp)比计算机视觉(cv)发展缓慢,而且更难!

不是说nlp在这波深度学习浪潮下没有进展,而是说突破并没有cv那么巨大。很多文本分类任务,你用一个巨复杂的双向LTSM的效果,不见得比好好做手工feature + svm好多少,而svm速度快、小巧、不需要大量数据、不需要gpu,很多场景真不见得深度学习的模型就比svm、gbdt等传统模型就好用。

霍华德 ·  2018-11-07 09:25:07
除了自然语言处理,你还可以用词嵌入(Word2Vec)做这个

尽管词嵌入(Word2Vec)技术目前主要用在自然语言处理的应用中,例如机器翻译;但本文指出,该技术还可以用于分类特征处理,把文本数据转换成便于机器学习算法直接使用的实值向量,从而提供了一种看待词嵌入(Word2Vec)应用的新视角。

佚名 ·  2017-08-04 10:16:52
为什么神经网络如此强大?

众所周知,神经网络非常强大,可以将其用于几乎任何统计学习问题,而且效果很好。 但是您是否考虑过为什么会这样? 为什么在大多数情况下此方法比许多其他算法更强大?

闻数起舞 ·  2天前
达摩院AI进入中国科技馆,首张AI识别新冠CT成科技抗疫历史见证

5月29日消息,全国科技工作者日来临之际,一个特别的藏品入选中国科技馆“2020数字馆藏”——阿里巴巴达摩院AI识别标注的第一张新冠肺炎CT影像。达摩院AI作为科技抗疫的历史见证,被写入中国科技发展史。

佚名 ·  2天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载