hiveserver2(HS2)的使用

hiveserver2

  • 简述

    1
    hiveserver2 + client

  • 使用

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    - 启动hiveserver2，这里我们没有使用后台启动，所以在另一个窗口进行操作
    [hadoop@hadoop001 app]$ hiveserver2
    which: no hbase in (/home/hadoop/app/sqoop/bin:/home/hadoop/app/hive/bin:/home/hadoop/app/hadoop/bin:/home/hadoop/app/hadoop/sbin:/home/hadoop/app/jdk1.8/bin:/home/hadoop/app/hive/bin:/home/hadoop/app/hadoop/bin:/home/hadoop/app/hadoop/sbin:/home/hadoop/app/jdk1.8/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/hadoop/bin:/home/hadoop/bin)
    19/03/19 03:58:14 WARN conf.HiveConf: HiveConf of name hive.cli.prient.current.db does not exist

    - 在另一个窗口连接，默认端口10000
    beeline -u jdbc:hive2://hadoop001:10000/myhive -n hadoop

    - 端口修改hive-site.xml
        <property>
            <name>hive.server2.thrift.port</name>
            <value>16666</value>
        </property>

展开全文 >>

Hive分区表

分区表

  • 介绍
    1
    2
    3
    4
    5
    6
    在Hive中处理数据时，当处理的一张表的数据量过大的时候，每次查询都是遍
    历整张表，显然对于计算机来说，是负担比较重的。所以我们可不可以针对数
    据进行分类，查询时只遍历该分类中的数据，这样就能有效的解决问题。所以
    就会Hive在表的架构下，就会有分区的这个概念，就是为了满足此需求。

    - 分区表的一个分区对应hdfs上的一个目录
more >>

展开全文 >>

css深入理解之border

border-width的一些知识点

  • 1、border-width不支持百分比
1
2
3
<div style="border: #FF0000 solid; border-width: thin;">
	border-width不支持百分比
</div>
  • 2、 border-width支持关键字（默认）
1
2
3
<div style="border: #FF0000 solid; border-width: medium;">
	border-width的默认值是medium
</div>
more >>

展开全文 >>

js实现实时markdown转html

安装部署

  • 新建一个html项目

    1
    2
    - 创建一个js文件夹
    - 新建一个index.html文件

  • 下载marked.js文件

    1
    https://github.com/markedjs/marked/blob/master/lib/marked.js

  • 下载jquery.js文件

    1
    http://www.jq22.com/jquery/jquery-3.3.1.zip

  • 下载ace-builds

    1
    https://github.com/ajaxorg/ace-builds/
more >>

展开全文 >>

Python实现markdown转html

安装

  • pip install markdown2

这里使用了markdown2没有使用markdown，因为实验后发现markdown不支持代码块的转换，下面我们也会提到一个注意点。

使用

  • 原md文档>test.md
    1
    2
    3
    4
    5
    6
    7
    8
    9
    #### 安装django-cors-headers模块
    - 方法1:：`pip install django-cors-headers`
    - 方法2：下载whl文件

    `` `
    https://files.pythonhosted.org/packages/1b/fb/dcf38c17126eaeb926f4febb7b6eba0754eb841b1efd62949dde471498c3/django_cors_headers-2.5.1-py2.py3-none-any.whl

    pip install django_cors_headers-2.5.1-py2.py3-none-any.whl
    `` `
more >>

展开全文 >>

HTML基础

  • 学习前端 需要学习三大块
    1
    2
    3
    - HTML：（学习一套规则）在前端展示
    - CSS：样式，给前端页面化妆
    - JS：前后台交互、增加动作

HTML基础

  • html头部信息
    1
    2
    3
    <!DOCTYPE html>

    指定标准的HTML代码
more >>

展开全文 >>

Django跨域配置

安装django-cors-headers模块

  • 方法1:：pip install django-cors-headers
  • 方法2：下载whl文件
    1
    2
    3
    https://files.pythonhosted.org/packages/1b/fb/dcf38c17126eaeb926f4febb7b6eba0754eb841b1efd62949dde471498c3/django_cors_headers-2.5.1-py2.py3-none-any.whl

    pip install django_cors_headers-2.5.1-py2.py3-none-any.whl
more >>

展开全文 >>

Hive内部表和外部表

内部表和外部表的创建

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
CREATE [TEMPORARY] [EXTERNAL] TABLE table_name
[(col_name data_type [COMMENT col_comment]]
[(col_name data_type [COMMENT col_comment]]
[COMMENT table_comment]
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LOCATION '<hdfs_location>';

- 创建一个内部表
CREATE TABLE emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int
) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

- 创建一个外部表
CREATE EXTERNAL TABLE emp_ex(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int
) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LOCATION '/myhive/external';

- 这里的EXTERNAL字段就是给外部表开放的字段
- 同时如果一个外部表，hive强制需要我们指定LOCATION
more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

大树，<br>人在首都，就职猪厂,<br>测试开发一枚<br><br>骐骥一跃不能十步，驽马十驾功在不舍<br><br>qq:565506019<br>