专利详情

专利名称	一种基于隐含狄利克雷分配模型的并行数据处理方法
申请号	CN200810126728.3	专利类型	发明专利
公开（公告）号	CN101359333	公开（授权）日	2009.02.04
申请（专利权）人	中国科学院软件研究所	发明（设计）人	李文波;孙乐
主分类号	G06F17/30(2006.01)I	IPC主分类号	G06F17/30(2006.01)I
专利有效期	一种基于隐含狄利克雷分配模型的并行数据处理方法至一种基于隐含狄利克雷分配模型的并行数据处理方法	法律状态	实质审查的生效
说明书摘要	本发明公开了一种基于隐含狄利克雷分配模型的并行数据处理方法，属于数据挖掘领域，该方法包含了多进程并行处理、多线程并行处理和复合多进程多线程处理三种方案，在这三种方案中都将要处理的数据D_M分成长度为等长或不等长的数据片段，每个数据片段都有一个索引，每个计算进程/线程通过申请索引来处理对应的数据片段，进而获得每个数据项的主题信息并生成局部充分统计量；处理完整个D_M后，通过归并局部充分统计量，得到全局充分统计量，即可估计得到当前模型M_i，直到该模型收敛。该方法能够充分利用单机上的多内核并行架构和多机上的机群大规模并行能力，进而实现对大规模文本集合的高速处理，并能有效降低并行处理过程中内存的使用量。