久久久精品网,久久99久久精品欧美,91福利精品在线观看

一、概述

使用 Docker Compose 快速部署 Elasticsearch 和 Kibana 可以幫助您在本地或開發環境中輕松設置和管理這兩個重要的工具，用于存儲和可視化日志數據、監控和搜索。以下是一個概述的步驟：

準備 Docker 和 Docker Compose：確保您已經安裝了 Docker 和 Docker Compose。您可以從 Docker 官方網站上獲取它們的安裝程序。
創建 Docker Compose 配置文件：創建一個名為 docker-compose.yml 的文件，它將定義 Elasticsearch 和 Kibana 的容器配置。這個文件應該包括服務名稱、映像、環境變量、端口映射等信息。
配置 Elasticsearch：在 docker-compose.yml 文件中，配置 Elasticsearch 容器。您通常需要指定節點名稱、發現類型等設置。使用容器版本的 Elasticsearch 鏡像。
配置 Kibana：在 docker-compose.yml 文件中，配置 Kibana 容器。指定要監聽的端口，并確保它依賴于 Elasticsearch 服務。
數據卷設置：在 docker-compose.yml 文件中，通常會使用數據卷來保存 Elasticsearch 數據。這確保了數據的持久性。
啟動容器：在終端中，導航到包含 docker-compose.yml 文件的目錄，并運行以下命令以啟動 Elasticsearch 和 Kibana。

復制

docker-compose up -d
# -d 選項用于在后臺運行容器。

等待服務啟動：容器啟動后，等待一段時間以確保 Elasticsearch 和 Kibana 完全啟動。
訪問 Kibana 控制臺：打開您的瀏覽器，訪問 Kibana 控制臺的地址，默認情況下是：http://localhost:5601。默認情況下，Kibana 不需要用戶名和密碼。
開始使用：現在，您可以使用 Kibana 控制臺來管理和可視化 Elasticsearch 中的數據，執行查詢、創建儀表板等操作。

這些步驟將幫助您快速部署 Elasticsearch 和 Kibana，以便進行日志分析、數據可視化和搜索等操作。請注意，您可以根據需要在 docker-compose.yml 文件中更改版本和配置選項。確保您的系統資源足夠以支持 Elasticsearch 和 Kibana 的運行。

圖片

二、開始編排部署（Elasticsearch 和 Kibana）

Elasticsearch 是一個開源的分布式搜索和分析引擎，最初由 Elasticsearch N.V.（現在是 Elastic N.V.）開發并維護。它是基于 Apache Lucene 搜索引擎構建的，專門設計用于處理和分析大規模的數據，提供了強大的全文搜索、結構化數據存儲、分析和可視化功能。以下是 Elasticsearch 的主要特點和用途的概述：

分布式和實時：Elasticsearch是一個分布式系統，可以輕松地擴展到數百臺服務器，以處理大量數據。它提供了實時搜索和分析，可以在毫秒級別內響應查詢。
全文搜索：Elasticsearch 以其卓越的全文搜索能力而聞名，可以對大量文本數據進行高效的搜索。它支持分詞、模糊查詢、通配符搜索、近似匹配等功能。
結構化和非結構化數據：Elasticsearch 不僅支持全文搜索，還能夠存儲和索引結構化數據，如 JSON、XML 等。這使得它非常適用于存儲各種類型的數據，從日志和事件數據到產品目錄和傳感器數據。
多種用途：Elasticsearch 可用于多種用途，包括搜索引擎、日志和事件數據分析、性能監控、安全信息與事件管理 (SIEM)、文檔存儲、實時儀表板和可視化等。
RESTful API：Elasticsearch 提供了一個易于使用的 RESTful API，使開發人員能夠通過 HTTP 請求執行各種操作，包括索引管理、搜索、分析和聚合。
分析和聚合：Elasticsearch 提供了豐富的分析和聚合功能，允許您從數據中提取有價值的見解。您可以執行聚合操作，生成圖表和儀表板，以可視化數據。
插件生態系統：Elasticsearch 具有豐富的插件生態系統，可以通過插件擴展其功能，包括監控、安全、報告等。
安全性：Elasticsearch 提供了安全特性，包括身份驗證、授權、傳輸層加密和字段級別的安全性，以保護數據免受未經授權的訪問。
強大的社區支持：Elasticsearch 擁有廣泛的社區支持，有大量的文檔、教程和第三方工具可用于幫助您學習和使用它。
商業支持：Elastic N.V. 提供了 Elasticsearch 的商業支持和托管服務，以滿足企業級需求。

總之，Elasticsearch 是一個強大且多才多藝的搜索和分析引擎，適用于各種用途，從全文搜索到日志分析和可視化數據。它在各種行業中被廣泛使用，包括搜索引擎、電子商務、日志管理、安全信息與事件管理、科學研究和更多領域。

圖片

服務布局：

服務名稱/主機名	開放端口
node-1	9200	1G
node-2	9201	1G
node-3	9202	1G
kibana	5601	不限

1）部署 docker

復制

# 安裝yum-config-manager配置工具 yum -y install yum-utils # 建議使用阿里云yum源：（推薦） #yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo # 安裝docker-ce版本 yum install -y docker-ce # 啟動并開機啟動 systemctl enable --now docker docker --version

2）部署 docker-compose

復制

curl -SL https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose
docker-compose --version

3）創建網絡

復制

# 創建 docker network create bigdata # 查看 docker network ls

4）創建掛載目錄

復制

#創建 es 目錄 chmod 777 ./es/node-{1..3}/{config,data,log}
chmod 777 ./es/plugins # 創建kibana的配置目錄 mkdir -p ./kibana/config #目錄授權 chmod 777 ./es/node-{1..3}/{config,data,log}
chmod 777 ./es/plugins
chmod 777 ./kibana/config

5）修改 Linux 句柄數

復制

#查看當前最大句柄數 sysctl -a | grep vm.max_map_count #修改句柄數 vi /etc/sysctl.conf
vm.max_map_count=262144 #臨時生效，修改后需要重啟才能生效，不想重啟可以設置臨時生效 sysctl -w vm.max_map_count=262144

6）修改句柄數和最大線程數

復制

#修改后需要重新登錄生效 vi /etc/security/limits.conf # 添加以下內容 * soft nofile 65535 * hard nofile 65535 * soft nproc 4096 * hard nproc 4096 # 重啟服務，-h 立刻重啟，默認間隔一段時間才會開始重啟 reboot -h now

7）添加 IK 分詞器

GitHub 下載地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

復制

# 將下載的分詞器復制到ES安裝目錄的plugins目錄中并進行解壓 mkdir ./es/plugins/ik && cd ./es/plugins/ik
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.17.5/elasticsearch-analysis-ik-7.17.5.zip unzip elasticsearch-analysis-ik-7.17.5.zip

8）編寫配置文件

1、node-1

./es/node-1/config/elasticsearch.yml

復制

#集群名稱 cluster.name: elastic #當前該節點的名稱 node.name: node-1 #是不是有資格競選主節點 node.master: true #是否存儲數據 node.data: true #最大集群節點數 node.max_local_storage_nodes: 3 #給當前節點自定義屬性（可以省略） #node.attr.rack: r1 #數據存檔位置 path.data: /usr/share/elasticsearch/data #日志存放位置 path.logs: /usr/share/elasticsearch/log #是否開啟時鎖定內存（默認為是） #bootstrap.memory_lock: true #設置網關地址，我是被這個坑死了，這個地址我原先填寫了自己的實際物理IP地址， #然后啟動一直報無效的IP地址，無法注入9300端口，這里只需要填寫0.0.0.0 network.host: 0.0.0.0 #設置映射端口 http.port: 9200 #內部節點之間溝通端口 transport.tcp.port: 9300 #集群發現默認值為127.0.0.1:9300,如果要在其他主機上形成包含節點的群集,如果搭建集群則需要填寫 #es7.x 之后新增的配置，寫入候選主節點的設備地址，在開啟服務后可以被選為主節點，也就是說把所有的節點都寫上 discovery.seed_hosts: ["node-1","node-2","node-3"] #當你在搭建集群的時候，選出合格的節點集群，有些人說的太官方了， #其實就是，讓你選擇比較好的幾個節點，在你節點啟動時，在這些節點中選一個做領導者， #如果你不設置呢，elasticsearch就會自己選舉，這里我們把三個節點都寫上 cluster.initial_master_nodes: ["node-1","node-2","node-3"] #在群集完全重新啟動后阻止初始恢復，直到啟動N個節點 #簡單點說在集群啟動后，至少復活多少個節點以上，那么這個服務才可以被使用，否則不可以被使用， gateway.recover_after_nodes: 2 #刪除索引是是否需要顯示其名稱，默認為顯示 #action.destructive_requires_name: true # 禁用安全配置，否則查詢的時候會提示警告 xpack.security.enabled: false

2、node-2

./es/node-2/config/elasticsearch.yml

復制

#集群名稱 cluster.name: elastic #當前該節點的名稱 node.name: node-2 #是不是有資格競選主節點 node.master: true #是否存儲數據 node.data: true #最大集群節點數 node.max_local_storage_nodes: 3 #給當前節點自定義屬性（可以省略） #node.attr.rack: r1 #數據存檔位置 path.data: /usr/share/elasticsearch/data #日志存放位置 path.logs: /usr/share/elasticsearch/log #是否開啟時鎖定內存（默認為是） #bootstrap.memory_lock: true #設置網關地址，我是被這個坑死了，這個地址我原先填寫了自己的實際物理IP地址， #然后啟動一直報無效的IP地址，無法注入9300端口，這里只需要填寫0.0.0.0 network.host: 0.0.0.0 #設置映射端口 http.port: 9200 #內部節點之間溝通端口 transport.tcp.port: 9300 #集群發現默認值為127.0.0.1:9300,如果要在其他主機上形成包含節點的群集,如果搭建集群則需要填寫 #es7.x 之后新增的配置，寫入候選主節點的設備地址，在開啟服務后可以被選為主節點，也就是說把所有的節點都寫上 discovery.seed_hosts: ["node-1","node-2","node-3"] #當你在搭建集群的時候，選出合格的節點集群，有些人說的太官方了， #其實就是，讓你選擇比較好的幾個節點，在你節點啟動時，在這些節點中選一個做領導者， #如果你不設置呢，elasticsearch就會自己選舉，這里我們把三個節點都寫上 cluster.initial_master_nodes: ["node-1","node-2","node-3"] #在群集完全重新啟動后阻止初始恢復，直到啟動N個節點 #簡單點說在集群啟動后，至少復活多少個節點以上，那么這個服務才可以被使用，否則不可以被使用， gateway.recover_after_nodes: 2 #刪除索引是是否需要顯示其名稱，默認為顯示 #action.destructive_requires_name: true # 禁用安全配置，否則查詢的時候會提示警告 xpack.security.enabled: false

3、node-3

./es/node-3/config/elasticsearch.yml

復制

#集群名稱 cluster.name: elastic #當前該節點的名稱 node.name: node-3 #是不是有資格競選主節點 node.master: true #是否存儲數據 node.data: true #最大集群節點數 node.max_local_storage_nodes: 3 #給當前節點自定義屬性（可以省略） #node.attr.rack: r1 #數據存檔位置 path.data: /usr/share/elasticsearch/data #日志存放位置 path.logs: /usr/share/elasticsearch/log #是否開啟時鎖定內存（默認為是） #bootstrap.memory_lock: true #設置網關地址，我是被這個坑死了，這個地址我原先填寫了自己的實際物理IP地址， #然后啟動一直報無效的IP地址，無法注入9300端口，這里只需要填寫0.0.0.0 network.host: 0.0.0.0 #設置映射端口 http.port: 9200 #內部節點之間溝通端口 transport.tcp.port: 9300 #集群發現默認值為127.0.0.1:9300,如果要在其他主機上形成包含節點的群集,如果搭建集群則需要填寫 #es7.x 之后新增的配置，寫入候選主節點的設備地址，在開啟服務后可以被選為主節點，也就是說把所有的節點都寫上 discovery.seed_hosts: ["node-1","node-2","node-3"] #當你在搭建集群的時候，選出合格的節點集群，有些人說的太官方了， #其實就是，讓你選擇比較好的幾個節點，在你節點啟動時，在這些節點中選一個做領導者， #如果你不設置呢，elasticsearch就會自己選舉，這里我們把三個節點都寫上 cluster.initial_master_nodes: ["node-1","node-2","node-3"] #在群集完全重新啟動后阻止初始恢復，直到啟動N個節點 #簡單點說在集群啟動后，至少復活多少個節點以上，那么這個服務才可以被使用，否則不可以被使用， gateway.recover_after_nodes: 2 #刪除索引是是否需要顯示其名稱，默認為顯示 #action.destructive_requires_name: true # 禁用安全配置，否則查詢的時候會提示警告 xpack.security.enabled: false

4、kibana

./kibana/config/kibana.yml

復制

server.host: 0.0.0.0 # 監聽端口 server.port: 5601 server.name: "kibana" # kibana訪問es服務器的URL,就可以有多個，以逗號","隔開 elasticsearch.hosts: ["http://node-1:9200","http://node-2:9201","http://node-3:9202"] monitoring.ui.container.elasticsearch.enabled: true # kibana訪問Elasticsearch的賬號與密碼(如果ElasticSearch設置了的話) elasticsearch.username: "kibana" elasticsearch.password: "12345" # kibana日志文件存儲路徑 logging.dest: stdout # 此值為true時，禁止所有日志記錄輸出 logging.silent: false # 此值為true時，禁止除錯誤消息之外的所有日志記錄輸出 logging.quiet: false # 此值為true時，記錄所有事件，包括系統使用信息和所有請求 logging.verbose: false ops.interval: 5000 # kibana web語言 i18n.locale: "zh-CN"

9）構建鏡像

這里就用別人已經構建好的好的鏡像，不再重復構建鏡像了，如果不了解怎么構建鏡像，可以私信我。

復制

### ES docker pull elasticsearch:7.17.5 # tag docker tag docker.io/library/elasticsearch:7.17.5 registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5 # 登錄將鏡像推送到阿里云 docker push registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5 ### kibana docker pull docker.io/library/kibana:7.17.5 docker tag docker.io/library/kibana:7.17.5 registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5 docker push registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5

10）編排 docker-compose.yml

復制

version: "3" services:
  node-1:
    image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5 container_name: node-1 hostname: node-1 environment: - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m" - "TZ=Asia/Shanghai" ulimits:
      memlock:
        soft: -1 hard: -1 nofile:
        soft: 65536 hard: 65536 ports: - "9200:9200" logging:
      driver: "json-file" options:
        max-size: "50m" volumes: - ./es/node-1/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./es/plugins:/usr/share/elasticsearch/plugins - ./es/node-1/data:/usr/share/elasticsearch/data - ./es/node-1/log:/usr/share/elasticsearch/log
    networks: - bigdata
    healthcheck:
      test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"] interval: 10s
      timeout: 10s
      retries: 5 node-2:
    image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5 container_name: node-2 hostname: node-2 environment: - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m" - "TZ=Asia/Shanghai" ulimits:
      memlock:
        soft: -1 hard: -1 nofile:
        soft: 65536 hard: 65536 ports: - "9201:9200" logging:
      driver: "json-file" options:
        max-size: "50m" volumes: - ./es/node-2/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./es/plugins:/usr/share/elasticsearch/plugins - ./es/node-2/data:/usr/share/elasticsearch/data - ./es/node-2/log:/usr/share/elasticsearch/log
    networks: - bigdata
    healthcheck:
      test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"] interval: 10s
      timeout: 10s
      retries: 5 node-3:
    image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5 container_name: node-3 hostname: node-3 environment: - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m" - "TZ=Asia/Shanghai" ulimits:
      memlock:
        soft: -1 hard: -1 nofile:
        soft: 65536 hard: 65536 ports: - "9202:9200" logging:
      driver: "json-file" options:
        max-size: "50m" volumes: - ./es/node-3/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./es/plugins:/usr/share/elasticsearch/plugins - ./es/node-3/data:/usr/share/elasticsearch/data - ./es/node-3/log:/usr/share/elasticsearch/log
    networks: - bigdata
    healthcheck:
      test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"] interval: 10s
      timeout: 10s
      retries: 5 kibana:
    container_name: kibana
    hostname: kibana
    image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5 environment:
      TZ: 'Asia/Shanghai' volumes: - ./kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml
    ports: - 5601:5601 networks: - bigdata
    healthcheck:
      test: ["CMD-SHELL", "curl -I http://localhost:5601 || exit 1"] interval: 10s
      timeout: 10s
      retries: 5 # 連接外部網絡 networks:
  bigdata:
    external: true

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
111.
112.
113.
114.
115.
116.
117.
118.
119.
120.

開始執行部署

復制

docker-compose up -d

# 查看
docker-compose ps

11）測試驗證

ES 訪問地址：http://ip:9200

復制

docker-compose ps
curl localhost:9200 curl localhost:9200/_cat/health

圖片

kibana：http://ip:5601/

圖片

git 地址：https://gitee.com/hadoop-bigdata/docker-compose-es-kibana.git

責任編輯：武曉燕來源：大數據與云原生技術分享

通過 Docker-Compose 快速部署 Elasticsearch 和 Kibana 保姆級教程