关于hivestring转int的信息

Hive支持的数据类型

目前所学的复杂数据类型有三种 array ， map ， struct 。

hive中的列支持使用struct、map和array集合数据类型。大多数关系型数据库中不支持这些集合数据类型，因为它们会破坏标准格式。关系型数据库中为实现集合数据类型是由多个表之间建立合适的外键关联来实现。

上表我们看到hive不支持日期类型，在hive里日期都是用字符串来表示的，而常用的日期格式转化操作则是通过自定义函数进行操作。hive是用Java开发的，hive里的基本数据类型和java的基本数据类型也是一一对应的，除了string类型。

Hive支持大多数SQL标准数据类型，例如字符串、整型、浮点型等。此外，Hive还有一些自定义的数据类型如ARRAY、MAP和STRUCT。HiveQL Hive的查询语言被称为HiveQL，它是类似于SQL的查询语言，支持大多数SQL标准的查询语句。

hive导入到clickhouse的几种方式总结

主要说下安装过程。说明文档里说的 bin/logstash-plugin install logstash-output-clickhouse 方式，没有安装成功，所以只能自己编译安装。

从本地文件系统中导入数据到Hive表；从HDFS上导入数据到Hive表；在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。

ClickHouse留存分析工具十亿数据秒级查询方案 高效压缩位图RoaringBitmap的原理与应用 留存函数（retention）一般来说，求留存率的做法就是两天的用户求交集，join的速度会比较慢。

Hive中常用的字符串操作

1、先将字符串调整为hive可以识别的格式，即将形如20170728102031 转成 2017-07-28 10：20：31。

2、方法一：替换 准备了下图中的表格作为示例演示下操作方法。 现在，需要在每个单元格内的D字前面统一加上一个Q 我们可以使用替换法来操作。 这个替换并不是查找替换的替换，是用SUBSTITUTE函数来替换。

3、具体操作方法如下：left函数用来对单元格内容进行截取。从左边第一个字符开始截取，截取指定的长度。left函数的语法格式 =left（text，num_chars），text代表用来截取的单元格内容，num_chars代表从左开始截取的字符数。

hive数据倾斜及处理

如果在处理数据时，某个分组聚合的列有较大的倾斜，可以适当调小该值。表关联引发的数据倾斜 解决方案：通常是将倾斜的数据存到分布式缓存中，分发到各个Map任务所在节点。

二）数据倾斜的解决方案 参数调节 hive.map.aggr=true Map 端部分聚合，相当于Combiner hive.groupby.skewindata=true 有数据倾斜的时候 进行负载均衡 ，当选项设定为true，生成的查询计划会有两个 MR Job。

set hive.map.aggr=true； （默认 ： true） 第一个参数表示在 Map 端进行预聚。 因为传到数据量小了，所以效率高了，可以缓解数据倾斜问题。 最主要的参数，其实是 set hive.groupby.skewindata=true； 这个参数有什么作用呢。

下面会分几个场景来描述一下数据倾斜的特征，方便读者辨别。由于Hadoop和Spark是最常见的两个计算平台，下面就以这两个平台说明。

【现象】出现reduce阶段一直卡在99%的情况，猜测可能出现数据倾斜问题。【验证猜测】查看user表strmd5个数，6亿左右，做distinct之后，只有5亿。大约有5亿重复数据。