专利详情

专利名称	一种在线管理Hadoop集群资源的方法和装置
申请号	CN201310646044.7	专利类型	发明专利
公开（公告）号	CN103713935A	公开（授权）日	2014.04.09
申请（专利权）人	中国科学院深圳先进技术研究院	发明（设计）人	贝振东;喻之斌;曾经纬;张慧玲;须成忠
主分类号	G06F9/455(2006.01)I	IPC主分类号	G06F9/455(2006.01)I;G06F9/50(2006.01)I;H04L29/08(2006.01)I
专利有效期	一种在线管理Hadoop集群资源的方法和装置至一种在线管理Hadoop集群资源的方法和装置	法律状态	实质审查的生效
说明书摘要	本发明公开了一种在线管理Hadoop集群资源的方法和装置，以根据作业在线运行的特点动态地调整所需虚拟资源，避免资源的浪费。所述方法包括：对生产环境集群中用户所提交作业运行情况进行监控；获取在生产环境集群中使用k台运行代价最小的虚拟机中的任意一台作为虚拟资源时m个map任务的槽平均处理速度和r个reduce任务的槽平均处理速度；根据保存的运行代价最小的虚拟机的性能特征、MapSlotSpeed、ReduceSlotSpeed和用户对所提交作业的期望完成时间，重新确定在生产环境集群中运行用户所提交作业需要运行代价最小的虚拟机的数量knew；若knew和k不等，则将生产环境集群中运行代价最小的虚拟机调整至knew台。本发明使得用户所提交作业能够按时按需完成，提高了用户使用虚拟机的性价比。