博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
[Hive_add_10] Hive 的 serde (序列化 & 反序列化) 操作
阅读量:7072 次
发布时间:2019-06-28

本文共 895 字,大约阅读时间需要 2 分钟。


0. 说明

  serde 是序列化和反序列化 serialize & deserialize

  是将文件中的字段映射成 Hive 中的列

 

 


1. 验证

  1.1 openCSVSerde

  CSV 为逗号分隔的文件

create table serde_csv (id int, name string , age int)row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde' stored as textfile;create table serde_csv2 (id int, name string , age int)row format delimitedfields terminated by ',' stored as textfile;

 

  1.2 jsonSerde

  将 json 数据映射成列数据

  1. 准备 1.json 和 json-serde

 

  2. 部署 json-serde

  将 json-serde-1.3.8-jar-with-dependencies.jar 放置在 /soft/hive/lib 下并重启 Hive

  3. 创建表并指定表 serde   //以反引号作为解析字段``

create table json(`_location` string,`_ip` string,`_action` string, `_uid` string, `_timestamp` string) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'stored as textfile;

 

  4. 加载数据

load data local inpath '/home/centos/files/1.json' into table json;

 

  5. 查询验证

select * from json;

 

 

 

 

 


 

转载于:https://www.cnblogs.com/share23/p/10260507.html

你可能感兴趣的文章
iOS获取手机与屏幕属性
查看>>
这家AI芯片独角兽吊打英伟达,吹捧还是硬实力?
查看>>
寒冬下2年android的搞笑求职历程
查看>>
19.Shell编程进阶,数组,字符串,(for,select,while read line)
查看>>
怎样快速将文字转换成语音?这种操作很简单
查看>>
Oracle 树操作 (select…start with…connect by…prior)
查看>>
重新打开MyEclipse 后,发现SVN 不能用了,而且是引用直接失效问题
查看>>
ios 禁止横屏
查看>>
【非凡程序员】  OC第十一节课 (代码块)
查看>>
Java正则表达式详解(三)
查看>>
无线网络布署方式
查看>>
loadrunner 乱码问题设置总结
查看>>
php安装redis 和redis扩展
查看>>
Javascript将html转成pdf,下载(html2canvas 和 jsPDF)
查看>>
org.apache.jasper.jasperException
查看>>
详解 ML2 Core Plugin(I) - 每天5分钟玩转 OpenStack(71)
查看>>
week03_python解析式
查看>>
盘点中国未来最具潜力的IT培训学校前5名
查看>>
php5.4.26 安装出现 error: ‘struct gdIOCtx’ has no member named ‘data’
查看>>
java 后端简单分页
查看>>