Druid群集具有2个节点,其中1个具有代理服务的节点,而其他节点则执行其余4个druid服务(协调器,重载,历史记录,MiddleManager)。 EC2机器类型为t2.xlarge。
我向Druid摄取数据的目标是在1个数据源中记录1.5亿条记录,以测试Druid在消耗方面的能力,以秒为单位。
问题
我已将10M的记录加载到Druids数据源中。在此基准测试之后,由于中间管理者服务,我面临着Java.io.IOException:设备上没有剩余空间。任何人都可以指导我进行适当的配置以在此庞大块中加载数据。
我尝试过以下选择作为“尝试并尝试”策略:
请检查以下配置中的tmp目录设置。
grep -r“ var” conf / druid / cluster / data
conf / druid / cluster / data / middleManager / jvm.config:-Djava.io.tmpdir = var / tmpconf /德鲁伊/集群/数据/middleManager/runtime.properties:druid.indexer.task.baseTaskDir=var/德鲁伊/任务conf /德鲁伊/集群/数据/历史/jvm.config:-Djava.io.tmpdir=var/tmpconf /德鲁伊/集群/数据/历史/runtime.properties:druid.processing.tmpDir=var/德鲁伊/处理conf / druid / cluster / data / historical / runtime.properties:druid.segmentCache.locations = [{“ path”:“ var / druid / segment-cache”,“ maxSize”:300000000000}]] >>
在我的情况下,var文件夹位于较小的卷中(您可以使用“ df -h”进行检查。
希望这会有所帮助。