专利详情

专利名称	一种在线配置Hadoop参数的方法和装置
申请号	CN201310672010.5	专利类型	发明专利
公开（公告）号	CN103701635A	公开（授权）日	2014.04.02
申请（专利权）人	中国科学院深圳先进技术研究院	发明（设计）人	贝振东;喻之斌;曾经纬;张慧玲;须成忠
主分类号	H04L12/24(2006.01)I	IPC主分类号	H04L12/24(2006.01)I;H04L29/08(2006.01)I
专利有效期	一种在线配置Hadoop参数的方法和装置至一种在线配置Hadoop参数的方法和装置	法律状态	实质审查的生效
说明书摘要	本发明公开了一种在线配置Hadoop参数的方法和装置，以实现系统运行的性能最优。该方法包括：对生产环境集群中作业的数据量进行监控；当监控到生产环境集群中作业的数据量大于预设值时，统计当前配置下k个节点在p个任务阶段中每个任务阶段完成作业的平均完成时间；分别计算集合与n个记录中作业特征属性集合的n个欧几里得距离，获得n个欧几里得距离中最小欧几里得距离对应的记录；在当前配置和最优配置的配置参数值不等时，将最优配置设置为数据量大于预设值的作业在生产环境集群中运行时使用的配置。本发明能够在可以接受的时间里将这些情况的作业运行调整到资源使用的平衡状态，提高了系统在线运行的平均效率，实现系统运行的性能最优。