hive

2024/5/19 22:26:50

Hive进阶(4)----MapReduce的计算过程(赋图助君理解)

MapReduce的计算过程 MapReduce是一种编程模型和处理大规模数据集的方法。它通常用于分布式计算环境中,能够将数据处理任务分解成独立的部分,分配给多台计算机进行并行处理。这个模型由Google提出,并在开源领域中得到了广泛的应用和实现。Map…

Hive基础3

一、表的分区 大数据开发数据量较大,在进行数据查询计算时,需要对数据进行拆分,提升的查询速度 1-1 单个分区 单个分区是创建单个目录 -- 创建表指定分区,对原始数据进行分区保存 create table new_tb_user(id int,name string,ag…

【Hadoop】-Hive部署[12]

目录 思考 VMware虚拟机部署 规划 步骤1:安装MySQL数据库 步骤2:配置Hadoop 步骤3:下载解压Hive 步骤4:提供MySQL Driver包 步骤5:配置Hive 步骤6:初始化元数据库 步骤7:启动Hive&…

Hive 移除索引支持的原因

Hive在早期版本中确实提供了索引功能,但这些索引并不像传统关系型数据库中的索引那样高效。随着Hive的发展和对大数据生态系统的理解加深,以下是Hive移除索引支持的主要原因: 性能问题: Hive的索引在实际应用中往往没有达到预期的性能提升。由…

大数据第五天(操作hive的方式)

文章目录 操作hive的方式hive 存储位置hive 操作语法创建数据表的方式 操作hive的方式 hive 存储位置 hive 操作语法 创建数据表的方式 – 创建数据库 create database if not exists test我们创建数据库表的时候,hive是将我们的数据自动添加到数据表中&#xf…

大数据学习笔记14-Hive基础2

一、数据字段类型 数据类型 :LanguageManual Types - Apache Hive - Apache Software Foundation 基本数据类型 数值相关类型 整数 tinyint smallint int bigint 小数 float double decimal 精度最高 日期类型 date 日期 timestamps 日期时间 字符串类型 s…

hive库基本语法

hive库基本语法 要善于套用别人的成功模式 别人的成功模式可成为一种指引 让你有方向可循 目录 hive库基本语法 1.创建数据库 2.查看数据库信息 3.通过指定的HDFS路径创建数据库 4. 创建数据库时增加配置信息 5.删除数据库 1.创建数据库 CREATE DATABASE IF NOT EXISTS …

【Hadoop】-Hive初体验[13]

Hive体验 预先确保已经完成部署Hive,并启动了Metastore服务 可以执行:bin/hive,进入到Hive Shell环境中,可以直接执行SQL语句。 创建表 create table test(id int,name string,gender string); 插入数据 INSERT INTO test val…

Hive优化以及相关参数设置

1.表层面设计优化 1.1 表分区 分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive 中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE 子句中的表达式选择查询所需要…

头歌:Spark的安装与使用

第1关:Scala语言开发环境的部署 相关知识 Scala是一种函数式面向对象语言,它融汇了许多前所未有的特性,而同时又运行于JVM之上。随着开发者对Scala的兴趣日增,以及越来越多的工具支持,无疑Scala语言将成为你手上一件…

头歌:RDD的创建 -Scala

第1关:集合并行化创建RDD 任务描述 本关任务:计算并输出各个学生的总成绩。 相关知识 为了完成本关任务,你需要掌握:1.集合并行化创建RDD,2.reduceByKey算子、foreach算子 集合创建RDD Spark会将集合中的数据拷贝到集…

【Hadoop】-Hive初体验[13]

Hive体验 预先确保已经完成部署Hive,并启动了Metastore服务 可以执行:bin/hive,进入到Hive Shell环境中,可以直接执行SQL语句。 创建表 create table test(id int,name string,gender string); 插入数据 INSERT INTO test val…

hdfs 中 Map Tas工作机制(Hadoop,hive,hdfs)

Map Tas (1)Read阶段 : Map Task通过用户编写的RecordReader ,从输入InputSplit中解析出一个个key/value。 (2)Map阶段: 该节点主要是将解析出的key/value交给用户编写map()函数处理 &#x…

hadoop学习---基于hive的航空公司客户价值的LRFCM模型案例

案例需求: RFM模型的复习 在客户分类中,RFM模型是一个经典的分类模型,模型利用通用交易环节中最核心的三个维度——最近消费(Recency)、消费频率(Frequency)、消费金额(Monetary)细分客户群体,从而分析不同群体的客户价值。在某些…

【Hadoop】-Hive初体验[13]

Hive体验 预先确保已经完成部署Hive,并启动了Metastore服务 可以执行:bin/hive,进入到Hive Shell环境中,可以直接执行SQL语句。 创建表 create table test(id int,name string,gender string); 插入数据 INSERT INTO test val…

大数据第五天(操作hive的方式)

文章目录 操作hive的方式hive 存储位置hive 操作语法创建数据表的方式 操作hive的方式 hive 存储位置 hive 操作语法 创建数据表的方式 – 创建数据库 create database if not exists test我们创建数据库表的时候,hive是将我们的数据自动添加到数据表中&#xf…