网络相关大数据分析架构用kafka+spark+hadoop比较好还是ELK的解决方案比较好

ELK一般用来解决分布式日志的查询和管理,如果需要大数据统计分析,spark hadoop还是更强一些。
但是如果是小公司,且数据量不大,都可以的,ELK可能还更简单一些
参考:
我的回答:我觉得选ELK可以实现大数据分析。
我提供一个架构:日志+Filebeat+Kafka+Logstash+elasticsearch+(Grafana+kibana)的日志采集和分析方案,一般在云计算里面监控用Prometheus(监控k8s)+Grafana。
我的分析:ELK是Elasticsearch、Logstash、Kibana的简称,这三个是核心的套件,但是并非是全部。
elasticsearch是一个实时全文搜索和分析的引擎,提供检索、分析和存储数据的三大功能。
它是一套提供高效检索功能、可扩展的分布式系统。
它构建于Apache 的Lucene搜索引擎库之上,使用elasticsearch进行数据索引和存储。
logstash是一个用来搜集、分析、过滤日志的工具。
使用Logstash进行数据聚合和处理。
Kibana是一套web的
日志采集端我们使用的是Filebeat。
先进行数据采集,再通过kafka集群送给Logstash进行数据的过滤和加工,使用Logstash集群去消费Kafka集群中的数据,Logstash输出日志给elasticsearch。
最后通过Kibana和Grafana进行数据可视化。
这个ELK的数据日志分析系统实际上分成几个部分:1.业务服务器:实现业务的高可用服务。
2.数据采集层:使用filebeat进行日志收集。
3.消息队列层:filebeat是消息的生产者,存储的日志可以随时被Logstash消费。
4.数据分析层:Logstash将获取到的日志进行分析、清洗和过滤,最后转发到Elasticsearch集群中。
5.数据持久化存储:Elasticsearch集群接收到Logstash发过来的数据,把结构化的数据存储到Elasticsearch集群中。
6.数据查询、展示层:Kibana是一个可视化的数据展示平台,当有数据检索请求时,它从Elasticsearch集群上读取数据,进行可视化出
鼓励的话语:博观而约取,厚积而薄发。

标签