flink-connector-elasticsearch 相关问题


flink sql 作业抛出 no space left 异常,尽管有足够的空间可用

Flink 版本:1.17.1 环境:EKS Flink Kubernetes Operator Flink SQL 作业,rocksdb 后端的检查点状态小于 10GB。 我们将实例类型从 m5d.2xlarge 更改为 r5d.xl...


2022年Flink可以支持什么Java版本?

假设我开始一个新的Flink Java项目,如果我寻找“稳定的Flink Java生产体验”,我应该使用哪个版本?官方文档说可以支持...


Flink 1.15 toRetractStream 转换错误:不支持收回流的 Legacy 转换

我正在将 Flink 1.9 升级到 1.15.2,并且使用 Table API 到 Datastream API 转换 (flink-table-api-scala-bridge) 的应用程序出现错误(见下文)。 环境: 弗林克:1.15.2 斯卡拉 2.1...


无法将 Spark 数据帧写入 Mongo

使用 mongo-connector 版本 10.0.1 以下是我的配置 .config("spark.mongodb.write.connection.uri","mongodb://127.0.0.1:27017/") .config("spark.mongodb.write.database&


Kibana 无法从 Elasticsearch 节点检索版本信息。 getaddrinfo EAI_AGAIN elasticsearch

我正在尝试通过 docker-compose.yml 文件安装 kibana 和 elasticsearch,我得到了 {"type":"log","@timestamp":"2024-01-09T18:24:14+00:00 “,”标签...


Elasticsearch:何时将 omit_norms 选项设置为 false

elasticsearch 中 omit_norms 选项的良好用例是什么?我在 es 网站上找不到足够的解释。


将文档写入磁盘时,ElasticSearch(lucene) 段是必须的吗?

我想知道将文档写入磁盘时是否需要 Lucene 段。 以下是文档如何从 ElasticSearch 写入磁盘的简要过程 首先,将ElasticSearch文档写入...


如何记录所有执行的elasticsearch查询

我想查看针对 Elasticsearch 实例执行的所有查询。是否可以在调试模式下运行elasticsearch,或者告诉它存储针对它执行的所有查询? 目的是...


通过 docker-compose 的 Elasticsearch - 警告:“此节点已锁定到集群 UUID...”

我通过 docker compose 在本地集群中启动服务。两个docker容器来自elasticsearch的示例。我在 Elasticsearch 的控制台中收到以下错误: 弹性搜索_insta...


Llama-index 如何针对 OpenSearch Elasticsearch 索引执行搜索查询?

我有以下代码,可以在 Opensearch Elasticsearch 中创建索引: def openes_initiate(文件): 端点 = getenv("OPENSEARCH_ENDPOINT", "http://localhost:9200&...


Golang elasticsearch TypedClient 聚合如何循环结果

我正在使用 Elastic 的官方 Elasticsearch Go Typed Client 包来查询 uniq 服务名称,为此我构建了一个聚合搜索。查询成功,响应包含Bu...


Camel Kafka接收器连接器配置和依赖项

我正在尝试使用“camel-azure-storage-datalake-kafka-connector”从 Kafka 连接到 Azure ADLS Gen2 我有一个运行 Docker 的 Linux 机器,其中包含 debezium/zookeeper、debezium/kafka 和 debe...


使用elasticsearch 6过滤文档中的对象数组,删除不匹配的对象

在elasticsearch 6.0中,我创建了一个具有嵌套映射类型的索引: 放置节点2 { “设置” : { “指数” : { “分片数量”:3, ...


为 Mac 操作系统安装哪个 jdbc(连接器/j)

我正在尝试下载 jdbc 连接器,但我无法从以下链接的选择选项中找到 mac os: https://dev.mysql.com/downloads/connector/j/ 哪里可以下载mysql连接器...


Elasticsearch 密码重置失败并显示 https

当我尝试使用以下命令重置弹性搜索密码时(在弹性搜索的 bin 目录中)。 elasticsearch-重置密码-u弹性-i 它抛出以下错误。 警告:忽略 JAVA_...


Elasticsearch:如果值为 null,如何删除存储的属性

我们有一个索引模板,最多可包含 150 个属性。某些属性的值为 null 取决于名为“RecordType”的字段。 Elasticsearch 如何删除具有...的属性


Flink Timer onTimer 事件 - 它们是否强制重新分配流?

我有 KeyedProcessFunction (名为 Stateless),可以处理每个键的数据(例如事务 id)。 无状态是轻量级的,不使用状态——它只设置计时器一个计时器。 我正在上游阅读


尝试使用 cloud-sql-connector 连接到 google cloud SQL 时出现错误“地址已在使用中”

问题 当尝试连接到我的云 SQL 数据库时,出现以下错误。 错误:监听 EADDRINUSE:地址已在使用中 /Users/josechavez/projectName/projectName/.s.PGSQL.543...


ElasticSearch 正则表达式使用“ ”

我知道ElasticSearch不使用PRCE,并且它的操作有限,但我想知道是否有什么方法可以使用 在正则表达式中。 例如,弹性搜索不支持 \d 但我们可以使用 [0...


我有一个elasticsearch索引,一个名为“authority”的字段,它有多个字符串值,我想要最后一个逗号后面的最后一个值?

elasticsearch 索引名称为 data1 @authority 字段有时包含多个值或单个值 “@权威”: [ “恒星”, “克里斯”, “利昂娜”, “我……


向 ElasticSearch 中的文档添加新字段

我在ES中有一个索引,其文档格式如下 "_id": "9hGu8IwBXomVfLb-UJJo", “_score”:1, “_来源”: { “主持人”: { &


Kibana_system 无法验证弹性用户

我遇到了一个不知道如何解决的问题。 我已在本地安装了elasticsearch和kibana版本8.7.1,并按照本指南创建了证书: https://quachtd.com/


Elastic APM 服务器在 Docker 中不可用

我正在尝试运行 apm-server 使用 apm-agent 从基于 java 的应用程序收集并发送给 Elasticsearch。 这是我的撰写文件: 服务: 订单服务: 图片:apm-java/order-service:1.0.0 ...


Elasticsearch:如何在curl 命令中使用Painless 脚本引用嵌套字段名称

我有一个轻松的脚本,可以在控制台中运行,但在curl中失败。该脚本引用嵌套字段 (event.orinal)。 在 Kibana 控制台中,此语句运行良好: ctx._source.event.remove('


Spring data elasticsearch repository.count() 返回“当前令牌 (VALUE_NUMBER_INT) 不是布尔类型”

我正在将一个相当旧的应用程序从 Spring Boot 2.0.2 升级到最新的应用程序。 中期目标是更新到最新版本 2 (2.7.18) 所以这可能是一个依赖版本...


恢复Elasticsearch快照时出错

我使用curl 从 1 个集群创建了一个快照。当我尝试在另一个集群上使用curl 恢复快照时,第二个集群无法分配所有索引。集群 1 有 2 个节点,集群 2 有 1 个节点。我...


为什么ElasticSearch将主分片和副本分片放在同一主机上?

这是添加到现有集群测试中的新主机,触发了重新平衡过程。 两个节点node-5、node-6位于新物理主机中。 对于每个分片,只有一个主分片...


为什么ElasticSearch将主分片和副本分片放在同一主机上?

这是添加到现有集群测试中的新主机,触发了重新平衡过程。 两个节点node-5、node-6位于新主机中。 对于每个分片,只有一个主分片和一个


RestHighLevelClient 在尝试向 ElasticSearch 发送请求时给出“无法识别的参数”

我正在尝试连接到我的应用程序中的一个本地 ES 系统。以前它是一个不同的集群。最近,我们的 ES 团队将其迁移到启用了基本身份验证的不同集群。我...


有没有办法确定日志的优先级并将其发送到elasticsearch,以优化服务器上的日志负载

需要读取我的环境中所有应用程序日志中的严重、错误和警告。如果在 1000 次警告后发生严重情况,我希望 Logstash 立即发送它,并给予较高的优先级......


Velocity 在 Spring Boot 中找不到模板资源

我使用 Velocity 模板引擎在我的 Spring boot 应用程序中使用电子邮件模板发送电子邮件实用程序。 当前的代码如下所示。 pom.xml: 我正在使用 Velocity 模板引擎在我的 Spring boot 应用程序中使用电子邮件模板发送电子邮件实用程序。 当前代码如下所示。 pom.xml: <dependency> <groupId>org.apache.velocity</groupId> <artifactId>velocity</artifactId> <version>1.7</version> </dependency> <dependency> <groupId>org.apache.velocity</groupId> <artifactId>velocity-tools</artifactId> <version>2.0</version> </dependency> 速度引擎 bean 配置: @Configuration public class VelocityConfig { @Bean public VelocityEngine velocityEngine() { VelocityEngine ve = new VelocityEngine(); ve.setProperty(RuntimeConstants.RESOURCE_LOADER, "classpath"); ve.setProperty("classpath.resource.loader.class", ClasspathResourceLoader.class.getName()); ve.init(); return ve; } } 电子邮件模板放置在 src/main/resources/email-templates/summary-email.vm <!DOCTYPE html> <head> <title>Summary</title> </head> <body> <h1>Claims Summary</h1> </body> </html> 放置在以下目录中: src ├── main │ ├── java │ │ └── com │ │ └── packageNameioot │ │ └── SpringBootApplication.java │ ├── resources │ │ ├── email-templates │ │ │ └── summary-email.vm │ │ └── application.properties 使用模板发送电子邮件的服务类: @Slf4j @Service @RequiredArgsConstructor public class EmailSummaryService { private final EmailConnector connector; private final VelocityEngine velocityEngine; public Mono<Void> sendFinanceClaimsRunEmailSummary(FinancePeriodRunEntity periodRunEntity, int successCount, int errorCount) { EmailDto emailDto = EmailDto.builder() .recipients(Set.of("[email protected]")) .subject("Claims summary") .body(createEmailBody()) .html(true) .build(); return connector.submitEmailRequest(emailDto); } private String createEmailBody() { VelocityContext context = new VelocityContext(); Template template = velocityEngine.getTemplate("email-templates/summary-email.vm"); StringWriter writer = new StringWriter(); template.merge(context, writer); return writer.toString(); } } 但是Velocity无法定位模板,出现以下错误。 ERROR velocity:96 - ResourceManager : unable to find resource 'email-templates/summary-email.vm' in any resource loader. org.apache.velocity.exception.ResourceNotFoundException: Unable to find resource 'email-templates/summary-email.vm' 属性应该这样设置: VelocityEngine ve = new VelocityEngine(); ve.setProperty(RuntimeConstants.RESOURCE_LOADER, "classpath"); ve.setProperty("resource.loader.classpath.class", ClasspathResourceLoader.class.getName()); 根据 Apache Velocity Engine 文档。


如何使用LocalDate从spring查询elasticsearch

有这个搜索查询: 最终 SearchQuery searchQuery = new NativeSearchQueryBuilder().withQuery(QueryBuilders.rangeQuery("updateTime").gte(LocalDate.now())).build(); 最终名单 有此搜索查询: final SearchQuery searchQuery = new NativeSearchQueryBuilder().withQuery(QueryBuilders.rangeQuery("updateTime").gte(LocalDate.now())).build(); final List<ActivityValue> listOf = elasticsearchTemplate.queryForList(searchQuery, ActivityValue.class); 使用实体 ActivityValue: @Document(indexName = "tracking1", type = "activity") public class ActivityValue { @Id private String id; @Field(type = FieldType.Date, index = false, store = true, format = DateFormat.custom, pattern = "yyyy-MM-dd") @JsonFormat(shape = JsonFormat.Shape.STRING, pattern = "yyyy-MM-dd") private LocalDate updateTime; @Field(type = FieldType.Object, includeInParent = true) private Vendor vendor; @Field(type = FieldType.Object, includeInParent = true) private QCriteria quality; public ActivityValue() { } //setter and getter } 如果我运行查询并尝试接收列表,我会收到以下异常: caused by: java.io.IOException: can not write type [class java.time.LocalDate] 实体之前存储的实际日期为LocalDate。 我不确定查询 Elasticsearch 并解决此错误的最佳/最简单方法是什么。有人可以帮忙吗? final SearchQuery searchQuery = new NativeSearchQueryBuilder().withQuery(QueryBuilders.rangeQuery("updateTime").gte(LocalDate.now().toString())).build(); final List<ActivityValue> listOf = elasticsearchTemplate.queryForList(searchQuery, ActivityValue.class); 我通过使用 LocalDate.now().toString() 而不是 LocalDate.now() 解决了这个问题 而是使用自定义模式(您还必须在任何 @Field 上设置),您可以从 objectmapper 禁用默认行为。默认行为是将 LocalDate 转换为时间戳。 //For LocalDateTime usage final ObjectMapper objectMapper = new ObjectMapper().registerModule(new JavaTimeModule()); objectMapper.configure(SerializationFeature.WRITE_DATES_AS_TIMESTAMPS, false); final JacksonJsonpMapper jsonpMapper = new JacksonJsonpMapper(objectMapper); 这样做,您可以确保自动以 yyyy-MM-ddThh:mm:ss.SSSZ 格式存储,而不是在 epoc 时间后的几毫秒内存储。 现在您可以将数据设置为: static class Data { private LocalDateTime dateTime; } 并使用类似于以下的查询进行搜索: RangeQuery rangeQuery = new RangeQuery.Builder().field("dateTime").lt(JsonData.of(LocalDateTime.now())).build(); 没有问题或任何额外的努力。


© www.soinside.com 2019 - 2024. All rights reserved.