hive 相关问题

Hive是Hadoop的数据仓库系统,可以简化数据汇总,即席查询以及分析存储在Hadoop兼容的分布式文件系统中的大型数据集。 Hive提供了一种机制,用于将结构投影到此数据上,并使用类似SQL的语言HiveQL查询数据。

解释一下Spark的approxQuantile函数和percentile_approx得到的结果之间的区别

当我运行下面的代码时,我得到了结果: 分位数段 =WrappedArray(-27.0, 2.0, 4443.0),显示中位数为 2.0 val 分位数 = dfQuestions .stat .approxQuantile("sc...

回答 1 投票 0

如何将数组<int>转换为配置单元中的字符串?

我有一个数组类型的列(例如值[1,2,3,4]),我想将其转换为字符串(例如“1,2,3,4”),我该如何这样做吗? 我尝试了 concat_ws(',' arr),但它抱怨 争论...

回答 2 投票 0

为什么Spark向外部表插入数据后不创建新文件?

我有一个 .csv 文件 data.csv 存储在以下位置:dbfs:/raw/data/externalTables/emp_data_folder/emp_data.csv 以下是文件中数据的示例: 爱丽丝,25,50000,北 鲍勃,30,60000,南 查理,35,

回答 1 投票 0

创建Hive表会自动更改mysql元存储的字符集设置

我将 Hive 配置为使用 mysql 元存储。效果很好。 但是当我尝试删除表格时,我收到一些如下错误。 失败:元数据错误:javax.jdo.JDODataStoreException:错误是...

回答 1 投票 0

使用哪个数据库进行游戏分析?

我们正在构建一个包含许多游戏的应用程序。孩子们在玩这些游戏时会学习数学。所有用户个人资料数据、游戏数据和课程/问题数据都存储在...

回答 2 投票 0

Hive 在 Mapreduce 时总是失败

我刚刚安装了hadoop 3.3.6和hive 4.0.0,并使用mysql作为元存储。运行 create table 或 select * from... 时运行良好。但是当我尝试插入或选择连接时,配置单元总是失败。我是

回答 1 投票 0

Hive 中的多插入语句

我在 Hive 中遇到多重插入问题 FROM staged_employees se 插入表 us_employees AS SELECT * WHERE se.cnty = 'US' 插入表 ca_employees AS 选择 * W...

回答 4 投票 0

在Python中安装“sasl”

尝试在python中安装sasl来连接Hive时,出现错误。请指教如何治疗? pip 安装 sasl 错误:命令出错,退出状态为 1: 使用缓存的 sa...

回答 0 投票 0

storage_backend_js 的 Hive Flutter 错误

一切工作正常,配置单元保存并加载了所有内容,但后来我开始收到此消息。而且我不知道如何解决它。 我尝试将新类型添加到配置单元适配器,然后...

回答 1 投票 0

在sqoop导出中,Avro表在RDBMS中定义模式

我正在使用SQOOP将数据从HDFS加载到mySQL,在该数据中,一条记录有超过70个字段,使得在RDBMS中创建表时定义模式变得困难。 有没有办法...

回答 2 投票 0

如何获取特定schema下所有表的详细信息

我通过以下查询在 Hive 中获取表的详细信息,但在 Athena 中没有找到相应的信息。 使用模式名称; 显示扩展如“*”的表 作为上面输出的一部分

回答 2 投票 0

如何使用Presto/Trino物理删除数据?

在我安装的 Presto (358) 中,我有两个可用的 hive 连接器: S3 Azure 斑点 (ABFS) 一切正常,但当我调用 DROP (TABLE/SCHEMA) 或 DELETE FROM 时,删除仅发生在

回答 2 投票 0

通过YARN APPLICATION ID进行Hql查询

所以我想知道是否可以使用在 YARN 上运行的 hive 查询的 applicationId 获取 HQL 查询或 SQL 查询。 我尝试使用 纱线日志 applicationid 但它显示了整个 exe...

回答 1 投票 0

解析具有 JSON 列且每个字段包含多行的表

我有一个与此类似的表,我需要从 id 等于 2 的每个 JSON 字段中提取值。我已经尝试了多个示例,但无法理解如何操作。 ..

回答 2 投票 0

通过在 SQL 中匹配列值来连接两个表

嗨,我一直在尝试通过匹配值连接两个表。 我有我的第一个表名为位置,其中包含以下列:(国家,州,城市,纬度,经度) 我有第二个表名为

回答 3 投票 0

如何配置Hive Metastore Docker容器?

我正在为我的公司构建一个演示,其设置为: 特里诺 最小IO Hive 元存储 (HMS) Trino应该使用HMS作为Iceberg目录,数据和元数据应该存储在MinIO中。 现在,添加后...

回答 1 投票 0

如何使用Docker在Spark代码和Spark容器之间建立连接?

我正在使用以下存储库为 Hadoop 和 Spark 设置 Docker:docker-hadoop-spark。我的 Docker Compose YAML 配置工作正常,并且我能够运行容器...

回答 1 投票 0

新的 HiveConf 异常 NoClassDefFoundError:com/ctc/wstx/io/InputBootstrapper

我正在运行 HiveConf 测试,当新的 HiveConf 说“java.lang.NoClassDefFoundError: com/ctc/wstx/io/InputBootstrapper”时,总是会出现异常 我尝试显式添加此 jar 依赖项...

回答 1 投票 0

如何以演示用户身份在hue中上传文件

我正在探索用于运行基本 Hive 查询的 Hue 平台。我想将 csv 文件从本地系统上传到 Hue,以便可以将其导入为表格。但我无法弄清楚...

回答 1 投票 0

HiveIgnoreKeyTextOutputFormat 的athena 插入和配置单元格式错误

在提出问题/问题之前,先进行以下设置: 表1 创建外部表 `table1`( `mac_address` 字符串, `节点` 字符串, `wave_found` 字符串, `wave_data` 字符串, `calc_dt` 字符串, `

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.