第一个Hive案例

数据准备

  • 创建一个log文件

    1
    2
    3
    4
    5
    6
    vim test.log
    welcome	bigdata	test	hello
    bigdata	test	hello
    hello	welcome

    tab键分隔

  • 上传数据到hdfs

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    # 创建测试数据文件夹
    hadoop fs -mkdir /testData
    # 将我们创建的log文件上传到hdfs上
    hadoop fs -put test.log /testData/
    # 检查一下上传成功了没
    hadoop fs -text /testData/test.log
    19/03/04 21:09:59 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    welcome	bigdata	test	hello
    bigdata	test	hello
    hello	welcome
more >>

展开全文 >>

Hive安装部署

前置环境准备

hadoop:hdfs、yarn，参考https://gengzongyuan.github.io/2019/02/15/Hadoop伪分布式部署/
jdk

  • CDH版本软件下载
    1
    2
    下载网站：`http://archive.cloudera.com/cdh5/cdh/5/`
    下载地址：`wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz`
more >>

展开全文 >>

YARN调度器

YARN调度器

1
2
3
4
5
6
7
8
FIFO  先进先出
Capacity  计算（默认使用）
| yarn.resourcemanager.scheduler.class | org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler |

Fair  公平

生产常用Fair调度器
yarn-site.xml
more >>

展开全文 >>

YARN资源调优指南

内存资源规划与配置

  • 内存资源规划
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    48G物理内存

    - linux系统本身需要占用的内存+空留：20%-25%  9.6G
    - 剩余：80%  38.4G

    生产情况，NN和RM是部署在一台机器上的，一般分配8个G的内存，看情况适当调大
    - NN：8G
    - RM：8G

    生产情况，DN和NM也是部署在一台机器上的
    数据本地化：减少网络IO
    - DN：4G
    - NM：4G

    剩余资源内存=30.4G，运行container容器（每一个container容器都是一个单独的进程）
more >>

展开全文 >>

MapReduce编程模型简述

什么是MapReduce

1
2
- 源自Google的MapReduce论文
- 发表于2004年12月

特点

1
2
3
4
5
6
7
8
9
10
- 易于编程
- 如果要手工开发需要考虑的点
  -  输入数据要如何进行拆分
  -  数据的本地性怎么办
  -  作业如果挂了怎么进行容错
- 良好的拓展性，很容易线性拓展
- 高容错性
  -  HDFS的数据是多副本的，就近取副本的数据进行处理
  -  当前计算的任务如果挂了会自动转移到其他节点上去
- 适合离线数据的处理（大吞吐量）
more >>

展开全文 >>

Hadoop安全模式Safemode

  • 官网阅读
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    During start up the NameNode loads the file system state from the fsimage and the edits log 
    file. It then waits for DataNodes to report their blocks so that it does not prematurely start 
    replicating the blocks though enough replicas already exist in the cluster. During this time 
    NameNode stays in Safemode. Safemode for the NameNode is essentially a read-only 
    mode for the HDFS cluster, where it does not allow any modifications to file system or 
    blocks. Normally the NameNode leaves Safemode automatically after the DataNodes have 
    reported that most file system blocks are available. If required, HDFS could be placed in 
    Safemode explicitly using bin/hdfs dfsadmin -safemode command. NameNode front page 
    shows whether Safemode is on or off. A more detailed description and configuration is 
    maintained as JavaDoc for setSafeMode().


    - 在启动时候，NN会进入Safemode状态
    - Safemode时**无法进行数据的读写操作**
    - 当NN收到DN的report后，并且报告中的数据达到一个阈值的时候，才会解除Safemode
more >>

展开全文 >>

深度剖析Hadoop的SNN工作机制

  • 元数据描述及持久化位置

    1
    2
    3
    4
    5
    元数据：HDFS的目录结构以及每个文件的BLOCK信息（id，副本系数、block存放在哪个DN上）
    存放位置：${hadoop.tmp.dir}/name/....

    NN持久化存储路径：/home/hadoop/app/tmp/dfs/name/current
    SNN持久化存储路径：/home/hadoop/app/tmp/dfs/namesecondary/current

  • NN数据和SNN数据对比

more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

大树，<br>人在首都，就职猪厂,<br>测试开发一枚<br><br>骐骥一跃不能十步，驽马十驾功在不舍<br><br>qq:565506019<br>