本篇目录：
- 1、记一次日志采集问题:logstash没有向ES写入数据
- 2、logstash同时输出多个es集群
- 3、Elasticsearch数据迁移与集群容灾
- 4、当ES向logstash发出reject
- 5、es索引管理
记一次日志采集问题:logstash没有向ES写入数据
1、ai引擎检测到的攻击数据会写入kafka，然后通过logstash采集到es，提供给安全人员做人工评判。因为攻击可能重复出现，所以我们希望攻击（url）中只出现一次。
2、故障描述： 检查es索引发现几个大索引在半夜停了，查看redis发现已经被撑爆内存重启过了。集群状态为红色，logstash日志显示：检查各台服务器，发现有几台服务器磁盘使用量达到80%以上。
3、[TOC]如导入的文件为 phone_area.csv ，文件格式如下：定义配置文件 phone_area_imp.conf ：执行导入命令：导入界面， 将一直停留在命令行，不退出 ：当csv文件发生变动时，仍然会同步新数据到es中 。
4、常用的日志采集工具有Logstash、Fluentd、Filebeat等。这些工具可以自动化地采集、解析和转换各种格式的日志数据，并将其发送到中央存储或分布式存储系统中。
logstash同时输出多个es集群
1、这个原因是：Logstash 默认会上传一个名叫 logstash 的模板到 ES 里。如果你在使用上面这个配置之前，曾经运行过 Logstash（一般来说都会），那么 ES 里就已经存在这么一个模板了。
2、建议使用三个主节点三个数据节点集群，这里是演示 环境规划 Index modules Index management 可以通过Kibana Management或ILM API创建和管理索引生命周期策略。
3、使用 logstash 收集系统上的日志，并使用 grok 解析日志，使用 mutate 修改解析出来的字段类型、删除字段、重命名字段，最后将解析好的日主输出到 elasticsearch 中。
4、接着验证logstash输出是否正常 将logstash的配置文件做修改，output { stdout { codec = rubydebug # 将日志输出到当前的终端上显示 } } 查看输出结果，也是正常的。
5、输出中有个action字段，action的可选值为index，create，update，detele。默认为index。
Elasticsearch数据迁移与集群容灾
reindex是Elasticsearch提供的一个api接口，可以把数据从一个集群迁移到另外一个集群。
Elasticsearch由一些Elasticsearch进程(Node)组成集群，用来存放索引(Index)。为了存放数据量很大的索引，Elasticsearch将Index切分成多个分片(Shard)，在这些Shard里存放一个个的文档(document)。通过这一批shard组成一个完整的index。
es水平扩容数据有丢失风险。根据查询相关资料信息，Elasticsearch是利用分片将数据分发到集群内各节点。分片是数据的容器，文档保存在分片内，分片又被分配到集群内的各个节点里。
Elasticsearch使用可以简单分为两个阶段。数据初始化阶段、数据更新阶段。数据初始化阶段。数据初始化常见的方式如下：通过应用程序手动将数据库中的数据，调用ES接口API插入ES索引库中。
Elasticsearch之所以能动态resharding，主要在于它最开始就预先分配了多个shards(貌似是1024)，然后以shard为单位进行数据迁移。这个做法其实在分布式领域非常的普遍，codis就是使用了1024个slot来进行数据迁移。
甚至，通过添加properties，可以无限嵌套下去。
当ES向logstash发出reject
1、故障描述： 检查es索引发现几个大索引在半夜停了，查看redis发现已经被撑爆内存重启过了。集群状态为红色，logstash日志显示：检查各台服务器，发现有几台服务器磁盘使用量达到80%以上。
2、当Logstash向Kafka Broker请求的事件超出其在超时范围内无法处理的事件时，它将触发分区的重新分配。 分区的重新分配需要时间，并且可能导致事件的重复处理和严重的吞吐量问题。
3、这个原因是：Logstash 默认会上传一个名叫 logstash 的模板到 ES 里。如果你在使用上面这个配置之前，曾经运行过 Logstash（一般来说都会），那么 ES 里就已经存在这么一个模板了。
4、最近工作中正在用ELK搭建一套数据平台，通过Logstash（以下简称LS）读取文件的内容，然后同步给ES。
5、注：Logstash意思是日志存储，下文中对本词使用英文。
6、以便Kibana可以从ES中捞日志出来分析和展示的时候不需要任何改动。logstash存入ES的日志，一般遵循如下的index pattern：logstash-%{+YYYY.MM.dd} 使用日期进行索引（index）界定的好处是， 可以按照日期范围定期进行清理。
es索引管理
索引管理 使您能够查看索引设置、映射和统计信息并执行索引级操作。这些包括刷新、刷新、清除缓存、强制合并段、冻结索引等等。实践良好的索引管理有助于确保以最具成本效益的方式存储您的数据。
以下是一些常见关于ES索引管理的不正确的说法： 一个ES集群只能有一个索引：这是不正确的，一个ES集群可以包含多个索引。每个索引可以包含数百万个文档，每个文档可以包含多个字段。 删除文档会释放空间：这也是不正确的。
用户可以按需要自定义任何希望使用的名称，但出于管理的目的，此名称应该尽可能有较好的识别性。节点通过为其配置的ES集群名称确定其所要加入的集群。
如何用elasticsearch2实现全文索引安装ik分词器到elasticsearch很简单，它有个插件目录analysis-ik，和一个配置目录ik，分别拷贝到plugins和conf目录就可以了。ES使用倒序索引来加速全文索引。
到此，以上就是小编对于logstash配置es集群的问题就介绍到这了，希望介绍的几点解答对大家有用，有任何问题和不懂的，欢迎各位老师在评论区讨论，给我留言。
微信扫一扫打赏
