论文研究 基于外部排序的字串左右熵快速计算方法.pdf

上传:oXiaoXiaoNiao40 浏览: 4 推荐: 0 文件:PDF 大小:520.83KB 上传时间:2020-07-19 17:51:08 版权申诉
左右熵在自然语言处理领域有着广泛应用,但目前尚无有效方法实施大规模语料中海量模式的左右熵快速计算。提出了一种计算方法,对于某长度字串计算熵,首先按长度提取语料中的全部字串,使用外部排序和归并获取字串的出现频率,然后分别剔除首尾字符构造待计算字串的频率提供文件,最后使用文件记录频率对比来计算右熵和左熵。分析和实验表明,该方法的计算量同语料规模成线性关系,适于大规模语料中海量字串的左右熵计算。
上传资源
用户评论
相关推荐
论文研究基于相对互补判断矩阵排序方法.pdf
论文研究-基于相对熵的互补判断矩阵排序方法.pdf,  针对互补判断矩阵的两种一致性定义,尝试用相对熵分别建立最优化模型, 获得了相应的两个排序公式,并从理论上研究了它们的一些有趣的性质. 最后,通过
PDF
440KB
2020-07-21 00:53
论文研究基于灰色TsallisSAR图像快速分割.pdf
针对SAR图像斑点噪声及分割速度慢的问题,提出一种基于灰色理论和Tsallis熵的SAR图像快速分割方法。该方法首先对待分割图像进行小波变换,将表征图像概貌信息的低频部分重构为概貌图像,表征图像细节和
其他文档
0B
2019-09-15 03:37
论文研究基于MDLPApriori算法离散Shannon值标签排序.pdf
针对传统Apriori算法在标签等级排序中辨识度不高的问题,提出一种基于最小化描述准则(MDLP)Apriori算法的离散Shannon熵值算法。通过在Shannon熵值公式中增加额外参数,并结合自适
PDF
0B
2020-05-25 16:40
论文研究基于信息公交线网优化方案余弦排序.pdf
论文研究-基于信息熵的公交线网优化方案余弦排序.pdf,  针对公交线网优化方案的排序问题,在对公交线网的优化目标和约束条件进行量化处理的基础上,利用余弦公式,建立了公交线网优化方案的余弦排序模型。
PDF
189KB
2020-07-16 17:14
论文研究一种基于能量快速遗传算法研究.pdf
论文研究-一种基于能量熵的快速遗传算法研究.pdf,  在分析标准遗传算法的优越性与存在不足的基础上,提出了对遗传算法的改进
PDF
0B
2020-04-29 21:27
论文研究基于条件和上下文邻近度句子排序研究.pdf
句子排序是多文档摘要系统中重要的任务之一,排序的质量将直接影响摘要的连贯性与可读性。当前基于时间的句子排序算法过度依赖文档的时间标签,通用性较差;基于大型语料库的句子排序算法训练过于复杂,排序质量不高
PDF
1.07MB
2020-07-17 01:41
论文研究.pdf
针对现有用户兴趣模型在模型建立以及更新阶段漂移策略的缺陷,设计了一种改进的基于隐式反馈的自适应用户兴趣模型。并将该模型与遗忘策略模型、滑动时间窗口模型和固定比例模型,做了精确率的对比实验,实验结果显示
PDF
0B
2020-02-27 06:15
论文研究一种基于文本相似性计算方法.pdf
文本比较是求解两个文本间相似度的过程,文本间的相似度越高代表两个文本越趋于类似。传统的相似度算法主要从字符的角度度量文本的相似性,忽略了文本内多个共同文本串对于文本相似度的影响。针对此问题提出一种基于
PDF
0B
2019-09-18 02:20
论文研究基于粒度知识约简算法研究.pdf
基于粒度熵的知识约简算法研究,张静,刘艳红,针对现有知识约简算法中存在的不完备性问题,提出了一种基于粒度熵的启发式知识约简算法,该算法不需要求核,对无核的这种特殊信
PDF
230KB
2020-07-16 17:15
论文研究基于权和超效率DEA模型装备立项评估排序.pdf
针对交叉效率不唯一而导致的决策单元(DMU)无法排序,以及在集结各DMU交叉效率时等权重的处理问题,运用数据包络分析(DEA)方法,构建基于超效率的交叉效率矩阵,应用信息熵确定各DMU的客观权重。并以
PDF
0B
2020-05-14 07:12
论文研究基于形状图像检索方法.pdf
提出了一种新的相似性图像检索方法。该方法利用信息熵理论,对图像的形状特征进行描述。首先分割图像,把一幅图像划分为若干子区域,抽取图像的主要形状并统计其所含的角度信息;再利用信息熵计算图像之间的形状互信
PDF
0B
2019-09-24 20:34
论文研究基于Shapley主观信任模型.pdf
针对开放网络信任的主观性、不确定性等特点,建立了一种基于Shapley熵的主观模糊信任综合评价模型。该模型运用模糊综合评价法得出节点间的直接信任值,并提出评价取向相似度、反馈评价不确定度、推荐节点可信
PDF
0B
2019-09-04 09:56
论文研究基于VPRS粗糙图像分割.pdf
变精度粗糙集是解决模糊决策问题的重要工具,图像边缘信息本身就具有一定的不确定性和模糊性,而图像分割的效果直接依赖于对图像边缘像素的判断精度,因此变精度粗糙集可以更精确地表达图像边缘。将经典图像粗糙集模
PDF
0B
2019-09-26 09:03
论文研究基于模糊BP算法改进.pdf
提出了一种基于特征相关性的特征选择方法。该方法以特征之间相互依赖程度(相关度)为聚类依据先对特征进行聚类,再从各特征簇中挑选出具有代表性的特征,然后在被选择出来的特征中删除与目标特征无关或是弱相关的特
PDF
0B
2020-02-27 06:15
论文研究基于数组排序排序
提出了一种基于数组排序的堆排序方法。 讨论了它的一些优点和缺点。 将其与传统的直接应用方法进行了比较。 在该方法中,在构建空堆之后,将数组中的排序关键字逐一放入堆中。 该方法需要相对较少的空间,适合于
PDF
368KB
2020-09-21 04:35