个人技术分享

13.1 行转列(收缩)

collect_set(字段名): 把多个数据放到一个set集合中,会对数据进行去重处理
collect_list(字段名): 把多个数据放到一个list集合中,不会对数据进行去重处理
​
把多个子串用指定分隔符拼接成一个大字符串: concat_ws("分隔符号",字段名称1,字段名称2..)
注意: concat_ws只能针对字符串内容进行拼接,不支持数值,需要使用cast进行类型转换。

需求:

示例:

use day09;
​
-- 行转列
create table row_2_column(
    col1 string,
    col2 string,
    col3 int
)row format delimited fields terminated by '\t';
​
-- 导入数据
load data inpath '/dir/r2c2.txt' into table row_2_column;
​
-- 验证数据
select * from row_2_column;
​
-- 行转列
/*
    sql编写思路:先写整体,再对局部地方进行细化。先易后难,先写你会的,再写你不会
 */
describe function extended collect_list;
select
    col1,col2,
    collect_set(col3) as set_col3s,
    collect_list(col3) as list_col3s,
    concat_ws("_",collect_list(cast(col3 as string))) as col3_str
from row_2_column
group by col1, col2;

13.2 列转行(扩展)

把字符串按照指定分隔符切割: split(字段名称,分隔符号)

需求:

示例:

-- 列转行:explode+lateral view
create table column_2_row(
    col1 string,
    col2 string,
    col3 string
)row format delimited fields terminated by '\t';
​
-- 导入数据
load data inpath '/dir/c2r2.txt' into table column_2_row;
​
-- 验证数据
select * from column_2_row;
​
-- 列转行:explode+lateral view
select
    col1,col2,new_col3
from column_2_row
lateral view explode(split(col3,",")) col3_view as new_col3;
​
-- 细节测试语句
select
    explode(split(col3,",")) as col3s -- split切分以后得到是array数据类型
from column_2_row;