Shell发送邮件

安装

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#下载安装包
wget http://caspian.dotconf.net/menu/Software/SendEmail/sendEmail-v1.56.tar.gz
#创建目录
mkdir -p /usr/local/bin
#解压
tar zxf sendEmail-v1.56.tar.gz -C /usr/src/
#进入解压目录
cd /usr/src/sendEmail-v1.56/
#复制程序到指定目录
cp -a sendEmail /usr/local/bin/
#给执行权限
chmod +x /usr/local/bin/sendEmail
#安装组件
yum install perl-Net-SSLeay perl-IO-Socket-SSL -y
more >>

展开全文 >>

Hadoop编译-支持五种压缩格式

基础环境

  • 安装bzip2和依赖
    1
    2
    3
    4
    5
    curl -Lks http://www.hop5.in/yum/el6/hop5.repo > /etc/yum.repos.d/hop5.repo
    yum -y install wget gcc gcc-c++ bzip2 bzip2-devel zlib zlib-devel openssl-devel curl curl-devel
    yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
    yum install -y svn ncurses-devel gcc*
    yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake cmake
more >>

展开全文 >>

Hadoop HA

为什么要HA部署

  • 如果HDFS和YARN的master宕机，整个服务就挂掉了
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    HDFS:
    NN  master
    SNN 
    DN

    YARN:
    RM  master
    NM

    - 小拓展
    hbase的读写是不需要经过master的，只有建表删表才会走master
more >>

展开全文 >>

MapReduce ETL开发案例

基础数据

1
baidu	CN	A	E	[17/Jul/2018:17:07:50 +0800]	2	223.104.18.110	-	112.29.213.35:80	0	v2.go2yd.com	GET	http://v1.go2yd.com/user_upload/1531633977627104fdecdc68fe7a2c4b96b2226fd3f4c.mp4_bd.mp4	HTTP/1.1	-	bytes 13869056-13885439/25136186	TCP_HIT/206	112.29.213.35	video/mp4	17168	16384	-:0	0	0	-	-	-	11451601	-	"JSP3/2.0.14"	"-"	"-"	"-"	http	-	2	v1.go2yd.com	0.002	25136186	16384	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	1531818470104-11451601-112.29.213.66#2705261172	644514568
more >>

展开全文 >>

Sqoop安装与使用

安装部署

  • 这里我们使用cdh版本的Sqoop,官网地址：http://archive.cloudera.com/cdh5/cdh/5/

    1
    2
    3
    4
    5
    6
    7
    8
    - 下载
    wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gz

    - 解压
    tar -zxf sqoop-1.4.6-cdh5.7.0.tar.gz -C ../app/

    - 修改名称
    mv sqoop-1.4.6-cdh5.7.0/ sqoop

  • 配置环境变量

    1
    2
    3
    4
    export SQOOP_HOME=/home/hadoop/app/sqoop
    export PATH=$SQOOP_HOME/bin:$PATH

    source ~/.bash_profile
more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

大树，<br>人在首都，就职猪厂,<br>测试开发一枚<br><br>骐骥一跃不能十步，驽马十驾功在不舍<br><br>qq:565506019<br>