与 QingStor 对象存储集成

 

Hive 与 QingStor 集成

更新时间 2023-09-06

基于 QingStor 的存储引擎

  1. 创建以 QingStor 为默认存储引擎的 Database。

    在 QingStor 的 bucket 中创建一个目录,这里命名为 test_s3 ,然后创建 Database。

    $ hive> create database test_s3 location 's3a://<your_bucket_name>/test_s3';
    
  2. 在以 QingStor 为默认存储引擎的 Database 中创建 Table 。

    创建table,并载入测试数据。

    $ hive> use test_s3;
    $ hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);
    $ hive> LOAD DATA LOCAL INPATH '/opt/hive/examples/files/kv2.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-15');
    $ hive> LOAD DATA LOCAL INPATH '/opt/hive/examples/files/kv3.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-08');
    
  3. 执行查询.

    $ hive> SELECT * FROM invites LIMIT 10;
    $ hive> SELECT avg(a.foo) FROM invites a WHERE a.ds='2008-08-15';
    

基于 HDFS 的存储引擎

创建以 HDFS 为默认存储引擎的 Database ,并创建基于 QingStor 的外部表(使用示例 2 通过 Hive 导入 QingStor 的数据)。

  1. 在 root 下创建一个名为 test 的数据库:

    $ /opt/hive/bin/hive -e "create database test_hdfs;"
    
  2. 在 root 用户下执行下面命令,将数据库 test_hdfs 的拥有者更改为 ubuntu 后,即可以 ubuntu 用户执行后续操作。

    $ /opt/hadoop/bin/hdfs dfs -chown -R ubuntu /user/hive/warehouse/test_hdfs.db
    
  3. 创建基于 QingStor 的外部表,并加入已有 partition。

    $ hive> use test_hdfs;
    $ hive> CREATE EXTERNAL TABLE IF NOT EXISTS invites_s3 (foo INT, bar STRING) PARTITIONED BY (ds STRING)     Location 's3a://<your_bucket_name>/test_s3/invites';
    $ hive> ALTER TABLE invites_s3 ADD PARTITION (ds='2008-08-15');
    $ hive> ALTER TABLE invites_s3 ADD PARTITION (ds='2008-08-08');
    

将 QingStor 数据导入 HDFS

将 QingStor 中的数据导入以 HDFS 为存储的 Hive 表中。

  1. 创建以 HDFS 为存储的 Hive 表

    $ hive> CREATE TABLE IF NOT EXISTS invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);
    
  2. 数据导入时,为了动态创建分区,设置 hive.exec.dynamic.partition.mode=nonstrict

    为了防止误操作导致动态创建大量分区,一般情况下应使用默认配置 hive.exec.dynamic.partition.mode=strict

    $ hive> set hive.exec.dynamic.partition.mode=nonstrict;
    
  3. 将 QingStor 中的数据导入。

    $ hive> INSERT OVERWRITE table invites partition (ds) select se.foo,se.bar,se.ds from invites_s3 se;
    
这篇文档解决了您的问题吗?
0
0