YARN调度器

YARN调度器

1
2
3
4
5
6
7
8
FIFO  先进先出
Capacity  计算（默认使用）
| yarn.resourcemanager.scheduler.class | org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler |

Fair  公平

生产常用Fair调度器
yarn-site.xml
FIFO调度器


1
2
3
4
特点：先进先出
- FIFO把作业按照提交顺序排成一个*先进先出*的队列，在进行资源分配的时候，先给队列最前的作业分配资源，待最前的作业满足资源需求后再给下一个分配。
- 不适用于共享集群：大任务可能会使用所有集群的所有资源，这就会导致其他的应用被阻塞
- 官网基本上没有fifo调度器的相关文档了，估计在某个版本已经弃用，这里我们做了解就好

Capacity调度器


1
2
3
4
org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
特点：单独分配一个小队列执行小任务
- Capacity调度器会有一个专门的小队列运行小任务
- 会预先占用一定的集群资源，如果没有小任务那么这部分的资源就会被浪费掉

Fair调度器


1
2
3
4
5
6
org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
特点：动态调整
- Fair调度器会为所有运行的job动态调整系统资源
- 如果只有一个任务被运行，会获得所有的集群资源
- 如果此时加入了第二个任务，fair调度器会分配一般的资源给第二个任务（这个过程是有一定延时的）
- 待第二个任务运行完毕，释放资源给第一个任务继续使用

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

大树，<br>人在首都，就职猪厂,<br>测试开发一枚<br><br>骐骥一跃不能十步，驽马十驾功在不舍<br><br>qq:565506019<br>