11.3.2　数据操作（DML）

下面我们将详细介绍DML，它是数据操作类语言，其中包括向数据表加载文件、写查询结果等操作。

1.向数据表中加载文件

当数据被加载至表中时，不会对数据进行任何转换。Load操作只是将数据复制/移动至Hive表对应的位置，代码如下：

LOAD DATA[LOCAL]INPATH'filepath'[OVERWRITE]

INTO TABLE tablename

[PARTITION（partcol1=val1，partcol2=val2……）]

其中，filepath可以是相对路径（例如，project/data1），可以是绝对路径（例如，/user/admin/project/data1），也可以是完整的URI（例如，hdfs：//NameNodeIP：9000/user/admin/project/data1）。加载的目标可以是一个表或分区。如果表包含分区，则必须指定每个分区的分区名。filepath可以引用一个文件（在这种情况下，Hive会将文件移动到表所对应的目录中）或一个目录（在这种情况下，Hive会将目录中的所有文件移动至表所对应的目录中）。如果指定LOCAL，那么load命令会去查找本地文件系统中的filepath。如果发现是相对路径，则路径会被解释为相对于当前用户的当前路径。用户也可以为本地文件指定一个完整的URI，比如file：///user/hive/project/data。此时load命令会将filepath中的文件复制到目标文件系统中，目标文件系统由表的位置属性决定，被复制的数据文件移动到表的数据对应的位置。如果没有指定LOCAL关键字，filepath指向一个完整的URI，那么Hive会直接使用这个URI。如果没有指定schema或authority，则Hive会使用在Hadoop配置文件中定义的schema和authority, fs.default.name属性指定NameNode的URI。如果路径不是绝对的，那么Hive会相对于/user/进行解释。Hive还会将filepath中指定的文件内容移动到table（或partition）所指定的路径中。如果使用OVERWRITE关键字，那么目标表（或分区）中的内容（如果有）会被删除，并且将filepath指向的文件/目录中的内容添加到表/分区中。如果目标表（或分区）中已经有文件，并且文件名和filepath中的文件名冲突，那么现有的文件会被新文件所替代。

2.将查询结果插入Hive表中

查询的结果通过insert语法加入到表中，代码如下：

INSERT OVERWRITE TABLE tablename1[PARTITION（partcol1=val1，partcol2=val2……）]

select_statement1 FROM from_statement

Hive extension（multiple inserts）：

FROM from_statement

INSERT OVERWRITE TABLE tablename1[PARTITION（partcol1=val1，partcol2=val2……）]

select_statement1

[INSERT OVERWRITE TABLE tablename2[PARTITION……]select_statement2]……

Hive extension（dynamic partition inserts）：

INSERT OVERWRITE TABLE tablename PARTITION（partcol1[=val1]，partcol2[=val2]……）

select_statement FROM from_statement

这里需要注意的是，插入可以针对一个表或一个分区进行操作。如果对一个表进行了划分，那么在插入时就要指定划分列的属性值以确定分区。每个Select语句的结果会被写入选择的表或分区中，OVERWRITE关键字会强制将输出结果写入。其中输出格式和序列化方式由表的元数据决定。在Hive中进行多表插入，可以减少数据扫描的次数，因为Hive可以只扫描输入数据一次，而对输入数据进行多个操作命令。

3.将查询的结果写入文件系统

查询结果可以通过如下命令插入文件系统目录：

INSERT OVERWRITE[LOCAL]DIRECTORY directory1 SELECT……FROM……

Hive extension（multiple inserts）：

FROM from_statement

INSERT OVERWRITE[LOCAL]DIRECTORY directory1 select_statement1

[INSERT OVERWRITE[LOCAL]DIRECTORY directory2 select_statement2]……

这里需要注意的是，目录可以是完整的URI。如果scheme或authority没有定义，那么Hive会使用Hadoop的配置参数fs.default.name中的scheme和authority来定义NameNode的URI。如果使用LOCAL关键字，那么Hive会将数据写入本地文件系统中。

在将数据写入文件系统时会进行文本序列化，并且每列用^A区分，换行表示一行数据结束。如果任何一列不是原始类型，那么这些列将会被序列化为JSON格式。