基于FastText的短文本分类
在大数据背景下,如何快速准确的从庞大数据集中筛选过滤出有用信息一直是自然语言处理领域的一个研究目标,对用户所提问题进行意图识别能够帮助用户在向问答系统进行沟通的时候,根据用户提出的直接或者间接的信息来快速判断用户的真实意图,过滤无用冗余信息后返回一个概率最大答案给用户。FastText是Facebook AI Research推出的文本分类和词训练工具,它的最大特点是模型简单并且在文本分类的准确率上,和现有的深度学习的方法效果相近,即在保证了准确率的情况下大大缩短了分类时间。
用户评论
相关推荐
fastText fastText的Windows构建用于文本表示和分类的库源码
Windows版fastText Windows的非官方FastText二进制版本。 该存储库托管了fastText的非官方Windows二进制版本,fastText是一个用于高效学习单词表示和句子分
ZIP
4.1MB
2021-02-07 05:09
基于搜索的短文本分类算法研究
针对传统分类算法在处理短文本时的不足,提出了一种基于搜索的NaiveBayes文本分类方法。该分类方法对文本数据集规模、文档长度、类别数量、分布等情况综合考虑,对朴素贝叶斯算法进行改进,将搜索技术应用
PDF
300KB
2020-10-28 04:47
基于领域词语本体的短文本分类
短文本自身长度较短,描述概念能力弱,常用文本分类方法都不太适用于短文本分类。提出了基于领域词语本体的短文本分类方法。首先抽取领域高频词作为特征词,借助知网从语义方面将特征词扩展为概念和义元,通过计算不
PDF
347KB
2021-02-23 15:23
短文本分类
文档内容是短文本分类的外文期刊,提高英文阅读能力,获取国外分类技术信息
PDF
180KB
2020-12-22 03:25
基于LDA主题模型的短文本分类方法
针对短文本的特征稀疏性和上下文依赖性两个问题，提出一种基于隐含狄列克雷分配模型的短文本分类方法。利用模型生成的主题，一方面区分相同词的上下，降低权重;另一方面关联不同词以减少稀疏性，增加权重。
PDF
0B
2019-05-28 06:40
采用fasttext对文本公告进行分类
该代码文件包括以下几个部分: (1)nlp_utils.py 数据功能处理函数 (2)fast_text_train.py 训练代码 (3)fast_text_predict.py 利用meta模型预
ZIP
82.69MB
2020-08-08 08:25
短文本数据分类
介绍了网络舆情中的短文本数据分类的关键技术。
PDF
0B
2019-02-27 08:59
短文本分类器
面向语义的文本分类是指在给定的分类体系下，根据文本的内容自动识别文本类别的过程。是一种基于朴素贝叶斯算法的分类技术应用与中文短文本分类。
RAR
0B
2019-06-01 06:35
fastText文本分类和词嵌入工具
快速文本分类，多文本分类，词嵌入
zip
0B
2019-09-10 06:56
fastText用于快速文本表示和分类的库源码
fastText 是一个用于高效学习单词表示和句子分类的库。 目录 资源 楷模 最新的最先进的。 单词向量。 和。 补充资料 在[2]中使用的预处理的。 常问问题 您可以在我们的上找到。 备忘单 我们
ZIP
4.17MB
2021-05-12 05:48
基于CRFs的中文分词和短文本分类技术.pdf
本文的工作主要包括两部分：第一部分，我们借用了文本分类领域的特征选择算法对中文分词中的特征进行分析。分析结果表明，特征选择算法在中文分词的任务中也是适用的。在中文分词领域，基于字标注的方法得到广泛应用
PDF
0B
2018-12-26 05:55
基于LDA特征扩展的短文本分类_吕超镇
针对中文短文本篇幅较短、特征稀疏性等特征，提出了一种基于隐含狄利克雷分布模型的特征扩展的短文本分类方法。在短文本原始特征的基础上，利用LDA主题模型对短文本进行预测，得到对应的主题分布，把主题中的词作
CAJ
0B
2019-09-23 10:31
论文研究基于LDA特征扩展的短文本分类.pdf
针对中文短文本篇幅较短、特征稀疏性等特征，提出了一种基于隐含狄利克雷分布模型的特征扩展的短文本分类方法。在短文本原始特征的基础上，利用LDA主题模型对短文本进行预测，得到对应的主题分布，把主题中的词作
PDF
0B
2019-10-14 08:45
基于两步策略的中文短文本分类研究
为更好地挖掘文本信息,研究了将两步策略用于中文短文本分类的3个关键问题,提出了基于组合朴素贝叶斯(NB)和K近邻(KNN)分类器的两步中文短文本分类方法:(1)直接利用NB和KNN的输出构造其对应的二
PDF
295KB
2021-02-23 15:22
cpp ExtremeText是FastText库的扩展用于多标签分类
ExtremeText是FastText库的扩展,用于多标签分类,包括具有数十万和数百万标签的极端情况
ZIP
4.14MB
2020-08-09 04:58