docker-compse Elasticsearch 설치

시스템 2023. 5. 18. 14:24

출처 : https://soyoung-new-challenge.tistory.com/110

 

root 디렉토리에   

mkdir elastic 

생성 후  

힙 사이즈를 늘린뒤 실행 시킨다.

sysctl -w vm.max_map_count=262144

7.7버전이 키바나가 죽어서 8.4.3으로 실행해 본다.

vi docker-compose.yml

version: '2.2'
services:
  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.4.3
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data01:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
    networks:
      - elastic

  es02:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.4.3
    container_name: es02
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data02:/usr/share/elasticsearch/data
    ports:
      - 9201:9201
    networks:
      - elastic

  es03:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.4.3
    container_name: es03
    environment:
      - node.name=es03
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data03:/usr/share/elasticsearch/data
    ports:
      - 9202:9202
    networks:
      - elastic

  kib01:
    image: docker.elastic.co/kibana/kibana:8.4.3
    container_name: kib01
    ports:
      - 5601:5601
    environment:
      ELASTICSEARCH_URL: http://127.0.0.1:9200
      ELASTICSEARCH_HOSTS: http://127.0.0.1:9200
    networks:
      - elastic

volumes:
  data01:
    driver: local
  data02:
    driver: local
  data03:
    driver: local

networks:
  elastic:
    driver: bridge

 

잘 되면 좋곘다.

 

'시스템' 카테고리의 다른 글

Forigate 방화벽 Syslog 백업  (0) 2023.07.21
Sonarqube 우분투 설치  (0) 2023.05.22
키바나 설치  (0) 2023.04.28
Logstash 설치  (0) 2023.04.27
iptime 공유기 & mesh linksys 콜라보레이션 무선 AP 구성  (0) 2023.04.18
블로그 이미지

iesay

,

키바나 설치

시스템 2023. 4. 28. 17:04

https://velog.io/@switchong/ubuntu-20.04-kibana-%EC%84%A4%EC%B9%98

 

[ubuntu] 20.04 kibana 설치

Kibana 설치Kibana 구성kibana.yml 파일 수정 ( \`\`\`server.port: 5601server.hostname: "your-hostname"elasticsearch.hosts: "http://localhost:9201"$ sudo sy

velog.io

 

https://www.elastic.co/guide/kr/kibana/current/deb.html

 

Debian 패키지로 Kibana 설치 | Kibana 사용자 가이드 [5.4] | Elastic

add-apt-repository`는 사용하지 마십시오. 이는 `deb-src 항목도 추가하는데 소스 패키지가 제공되지 않습니다. deb-src 항목을 추가하면 다음과 같은 오류가 표시됩니다. 릴리스 파일에서 예상된 항목 'm

www.elastic.co

외부에서 접근하기 위해 서버 호스트도 변경해 주었다.

 

 

 

 

키바나 접근 한후 

'시스템' 카테고리의 다른 글

Sonarqube 우분투 설치  (0) 2023.05.22
docker-compse Elasticsearch 설치  (0) 2023.05.18
Logstash 설치  (0) 2023.04.27
iptime 공유기 & mesh linksys 콜라보레이션 무선 AP 구성  (0) 2023.04.18
MongoDB Replica Set  (0) 2023.01.10
블로그 이미지

iesay

,

Logstash 설치

시스템 2023. 4. 27. 14:49

https://biggongjam.notion.site/Logstash-AWS-EC2-Logstash-7-17-2-b79a2613f6cb4148b8ba0c820b685731

 

Logstash - AWS EC2에서 Logstash 7.17.2 설치 및 실행

작성장 : 김재민

biggongjam.notion.site

 

Siem 로그 시스템 한번 구현해볼 생각이다.

결국은 상용 시스템 도입할 예정이지만 어떻게 돌아가는지 확인해볼 필요는 있다.

 

sudo apt-get -y update
sudo apt-get -y upgrade
sudo apt-get -y dist-upgrade

sudo apt-get install -y vim wget unzip ssh openssh-* net-tools
sudo hostnamectl set-hostname logstash01

sudo apt-get install -y openjdk-8-jdk
java -version


sudo find / -name java-8-openjdk-amd64 2>/dev/null
sudo mkdir -p /install_dir && cd /install_dir


pwd
wget https://artifacts.elastic.co/downloads/logstash/logstash-8.2.2-linux-x86_64.tar.gz
ls



sudo tar -zxvf logstash-8.2.2-linux-x86_64.tar.gz -C /usr/local
sudo mv /usr/local/logstash-8.2.2/ /usr/local/logstash
sudo chown -R $USER:$USER /usr/local/logstash && cd /usr/local/logstash


logstash.conf YML CONF 확장자 확인 필수 




ls
clear
ls -al
vi /usr/local/logstash/config/logstash.conf
/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/logstash.conf


ls
vim /usr/local/logstash/config/logstash.conf
/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/logstash.conf
ls
vi config



ls
cd config/
ls
vi logstash.conf
/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/logstash.conf


ls
clear
ls


vi logstash.conf
input {
}
output {



clear
/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/logstash.conf


pwd
ls
ls -al
ps -ef | grep logstash


kill 57810
/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/logstash.conf
ps -ef | grep logstash
kill -9 57810

 

AWS 오픈서치나 엘렉스틱 서치 클라우드 서비스를 받는다고 해도 스토리지 요금이 꽤나 많이 나온다고 한다.

그래서 로컬에서 NAS로 구축이 가능하다면 로컬로 구축해서 쓰는것도 나쁘지 않다고 한다.

 

input {
  http_poller {
    urls => {
            naver => {
            method => get
            url => "https://api.coingecko.com/api/v3/exchanges/upbit"
            }
    }
    request_timeout => 10
    schedule => { cron => "* * * * * UTC " }
    codec => "json"
    metadata_target => "http_poller_metadata"
  }
}

output {
  stdout {
  }
}

 

input {
  http_poller {
    urls => {
      test1 => "https://api.coingecko.com/api/v3/exchanges/upbit"
      test2 => {
        # Supports all options supported by ruby's Manticore HTTP client
        method => get
        url => "https://api.coingecko.com/api/v3/exchanges/upbit"
        headers => {
          Accept => "application/json"
        }
     }
    }
    request_timeout => 10
    # Supports "cron", "every", "at" and "in" schedules by rufus scheduler
    schedule => { cron => "* * * * * UTC"}
    codec => "json"
    # A hash of request metadata info (timing, response headers, etc.) will be sent here
    metadata_target => "http_poller_metadata"
  }
}

 output {
   elasticsearch {
     hosts => "localhost:9200"
         index => "covid_test"
         document_type => "search"
         #document_id => "%{[@metadata][_id]}"
   }
   stdout { codec => rubydebug }
 }

 

 

 

 

 

파싱이 되어온다 indexer를 어떤 방식으로 쓴는지 공부해보자

 

 

'시스템' 카테고리의 다른 글

docker-compse Elasticsearch 설치  (0) 2023.05.18
키바나 설치  (0) 2023.04.28
iptime 공유기 & mesh linksys 콜라보레이션 무선 AP 구성  (0) 2023.04.18
MongoDB Replica Set  (0) 2023.01.10
s3 권한이 없는 경우  (0) 2022.05.17
블로그 이미지

iesay

,

공지사항

최근에 받은 트랙백

글 보관함

달력

«   2024/05   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31

티스토리툴바