Linux 安装 Elasticsearch Kibana Logstash

发表于 | 更新于 | 分类于 | | 阅读次数：

相关截图

各系统安装说明

相关截图

安装 ElasticSearch

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
 
$ groupadd es  //使用 root 用户启动 elasticsearch 会报错,用 root 用户新建 es

$ useradd -g es es //新建 es 用户，并添加到 es用户组

$ passwd es  //设置 es 用户的用户密码，按照提示输入你的密码

$ chown -R es:es /es //授权，我这里文件路径在 /es 下面

$ vim /etc/sysctl.conf  //编辑
   #添加一行
   vm.max_map_count=655360
 
$ sysctl -p  //配置生效

$ su es  //切换用户 

$ mkdir  es

$ cd es 

$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.7.0.tar.gz

$ tar -zxvf elasticsearch-6.7.0.tar.gz //解压文件

#es 作为集群，应该至少 3 个节点，这里服务器内存只有 2G，部署一个单机版 3 节点的伪集群
$ mv elasticsearch-6.7.0-node elasticsearch-6.7.0-node1 //给文件夹改名

#修改配置文件,默认值为 1g，我这里改为 160m，否则服务器带不动
$ cd elasticsearch-6.7.0-node1

$ vim config/jvm.options
    -Xms160m
    -Xmx160m

$ mkdir elasticsearch-6.7.0-data1 //新建文件夹存放数据和日志，默认存放于 es 安装目录，为了防止误删和被覆盖，另建文件夹

$ cd elasticsearch-6.7.0-data1/

$ mkdir data logs

#修改配置文件(https://www.cnblogs.com/zhq1007/p/8482454.html)
$ cd /es/elasticsearch-6.7.0-node1/config/
$ vim elasticsearch.yml
 
    cluster.name: 你的集群名称
    node.name: node-1	# 节点名称  其余两个节点分别为 node-2、node-3
    node.master: true
    node.data: true
    bootstrap.memory_lock: true
    path.data: /opt/fangzhibin/es670/elasticsearch-6.7.0-data1/data	# 其余两个节点为 data2/data、data3/data
    path.logs: /opt/fangzhibin/es670/elasticsearch-6.7.0-data1/logs # 其余两个节点为 data2/logs、data3/logs
    network.host: 0.0.0.0
    transport.tcp.port: 9301	# 因为在同一台服务器，其余两个节点分别为 9302、9303
    http.port: 9201   # 因为在同一台服务器，其余两个节点分别为 9202、9203
    discovery.zen.ping.unicast.hosts: ["节点IP:9301","节点IP:9302","节点IP:9303"] # 
    discovery.zen.minimum_master_nodes: 2   # 根据主节点数量计算：主节点数量/2 + 1；3 个节点则设置为 2

$ cd /es/elasticsearch-6.7.0-node1
$ bin/elasticsearch -d

#验证是否正常启动 node1（或者浏览器访问 http://你的IP:9201）
curl "http://你的IP:9201"
#出现以下内容即可，node2 和node3 同理
    {
      "name" : "node-1",
      "cluster_name" : "cluster-aly",
      "cluster_uuid" : "RixPnO6hTQClAqxlAt_v2g",
      "version" : {
        "number" : "6.7.0",
        "build_flavor" : "default",
        "build_type" : "tar",
        "build_hash" : "8453f77",
        "build_date" : "2019-03-21T15:32:29.844721Z",
        "build_snapshot" : false,
        "lucene_version" : "7.7.0",
        "minimum_wire_compatibility_version" : "5.6.0",
        "minimum_index_compatibility_version" : "5.0.0"
      },
      "tagline" : "You Know, for Search"
    }

#正常启动 node1 后，复制节点
$ cd /es
$ cp -r elasticsearch-6.7.0-data1 elasticsearch-6.7.0-data2
$ cp -r elasticsearch-6.7.0-node1 elasticsearch-6.7.0-node2
$ cp -r elasticsearch-6.7.0-data1 elasticsearch-6.7.0-data3
$ cp -r elasticsearch-6.7.0-node1 elasticsearch-6.7.0-node3
#注意：按照上面的配置项说明更改 node2、node3 的配置文件
#启动 node2 和 node3
$ cd /es/elasticsearch-6.7.0-node2
$ bin/elasticsearch -d
$ cd /es/elasticsearch-6.7.0-node3
$ bin/elasticsearch -d
#验证是否正常启动，参考上面
elasticsearch 默认配置
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#集群名称
cluster.name: elasticsearch_production

#该节点名称
node.name: elasticsearch_001_data

#数据存放目录
path.data: /home/elasticsearch-6.7.0-data1/data

#日志存放目录
path.logs: /home/elasticsearch-6.7.0-data1/logs

#是否可以被选举为master节点
node.master: true

#是否为data node
node.data: true

#端口
http.port: 9200

安装 Kibana

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
### Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。

#同样使用 es 用户
$ cd  /es
$ wget https://artifacts.elastic.co/downloads/kibana/kibana-6.7.0-linux-x86_64.tar.gz
$ tar -zxvf kibana-6.7.0-linux-x86_64.tar.gz
$ mv kibana-6.7.0-linux-x86_64  kibana
$ cd kibana
$ vim config/kibana.yml
# 更改如下配置
# 配置参考官方文档：https://www.elastic.co/guide/cn/kibana/current/settings.html
	server.host: "0.0.0.0"  # 指定后端服务器的主机地址
	i18n.locale: "zh-CN" #汉化
	elasticsearch.hosts: ["http://localhost:9201"]  # 所有 Elasticsearch 实例的 URL，用逗号分隔
	
$ nohup /es/kibana/bin/kibana  > /es/kibana/kibana.log & //启动 kibana 浏览器访问： http://Kibana服务器IP:5601

安装 Logstash

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
$ mkdir /es/logstash

$ cd /es/logstash

$ wget https://artifacts.elastic.co/downloads/logstash/logstash-6.3.0.zip

$ unzip logstash-6.3.0.zip

$ mv logstash-6.3.0  logstash

$ cd logstash  


$ bin/logstash -f config/xxx.conf > /es/logstash/logstash.log & //启动  Logstash启动时需要指定配置监控日志策略的文件，xx.conf放在ELK\logstash\config目录下
简单的配置说明
input {

    tcp {
	 
	    mode => "server"   #模式
		
        host => "localhost"#服务器IP
		 
        port => 900        #端口

        codec => json_lines #JSON格式

    }

}

output{

  elasticsearch { 
     action => "index"          
	 hosts => ["localhost:9200"] #Elasticsearch服务的IP和端口  
	 index  => "applog"          #Kibana管理中搜索所使用的索引名 
	 
	 }

  stdout { codec => rubydebug }        

}

最终效果图

相关截图