도커 용량 초과

docker 2024. 5. 28. 14:44

출처


https://ngela.tistory.com/90

https://shg-engineer.tistory.com/18

https://choco-life.tistory.com/41


https://choco-life.tistory.com/41

 

 

 

$ sudo bash -c 'du -sh /var/lib/docker/*'
2.2M    /var/lib/docker/buildkit
228K    /var/lib/docker/containers
4.0K    /var/lib/docker/engine-id
1.3M    /var/lib/docker/image
72K     /var/lib/docker/network
881M    /var/lib/docker/overlay2
0       /var/lib/docker/plugins
0       /var/lib/docker/runtimes
0       /var/lib/docker/swarm
0       /var/lib/docker/tmp
24K     /var/lib/docker/volumes
[ec2-user]$


$ df -Th
Filesystem       Type      Size  Used Avail Use% Mounted on
devtmpfs         devtmpfs  4.0M     0  4.0M   0% /dev
tmpfs            tmpfs     1.9G     0  1.9G   0% /dev/shm
tmpfs            tmpfs     766M  828K  765M   1% /run
/dev/nvme0n1p1   xfs       8.0G  3.8G  4.2G  48% /
tmpfs            tmpfs     1.9G     0  1.9G   0% /tmp
/dev/nvme0n1p128 vfat       10M  1.3M  8.7M  13% /boot/efi
tmpfs            tmpfs     383M     0  383M   0% /run/user/1000



$ du -h --max-depth=2
4.0K    ./.ssh
447M    ./market/market-docker
447M    ./market
136K    ./.docker/buildx
140K    ./.docker
8.0K    ./promtail
0       ./.config/procps
0       ./.config
447M    .



# du -hs *
40K     36b8eb11a99e9d22d719c2da652a266076cd96f7ead83f20648df07c2bd48580
649M    67372f8bc0510b890991bce2c70a39b1cd4a9d978b00cd9677687c2374b67c7a
48K     765b3adbc02abae7a2405979d6ec64d2a91fd5f265941f0fa6bbede54604c7a8











 



$ vi /etc/logrotate.d/docker



/var/lib/docker/containers/*/*.log {
  rotate 3
  daily
  compress
  missingok
  copytruncate
}

$ logrotate -fv /etc/logrotate.d/docker




 

vi /etc/docker/daemon.json

{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m",
    "max-file": "5",
    "labels": "production_status",
    "env": "os,customer"
  }
}

'docker' 카테고리의 다른 글

docker-compse Elasticsearch 설치  (0) 2023.05.18
블로그 이미지

iesay

,

IAM 역할 생성

https://bigco-growth-diary.tistory.com/40

 

[CloudWatch #3] Cloudwatch Agent 설치[Memory/Disk 수집]

Cloudwatch Agent란? 클라우드워치 에이전트는 AWS의 모니터링 서비스인 Amazon CloudWatch와 함께 사용되는 소프트웨어입니다. Cloudwatch에서 기본으로 제공하는 모니터링 외에 추가로 메모리, 디스크 사용

bigco-growth-diary.tistory.com

 

1] EC2 인스턴스에   보안 역할 등록 

2] Cloud watch 로그 그룹 생성 

3] Agent 설치

amazon-cloudwatch-agent   설치 

sudo yum install amazon-cloudwatch-agent


접속 정보 설정

sudo aws configure


AWS Access Key ID [None]: @@@@@
AWS Secret Access Key [None]: @@@@@
Default region name [None]: ap-northeast-2
Default output format [None]: json


연결확인 
$aws sts get-caller-identity

 

4] 설정파일 경로 /opt/aws/amazon-cloudwatch-agent/bin/logs.json

로그 그룹 네임 일치 필요

인스턴스 마다 생성하여 검색효과 극대화

{
        "logs": {
                "logs_collected": {
                        "files": {
                                "collect_list": [
                                        {
                                                "file_path": "/var/lib/docker/containers/*/*.log",
                                                "log_group_name": "로그그룹네임"
                                        }
                                ]
                        }
                }
        }
}

 

5] 실행

$ sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl -a fetch-config -m ec2 -c file:/opt/aws/amazon-cloudwatch-agent/bin/logs.json -s
$ sudo /bin/systemctl restart amazon-cloudwatch-agent.service

systemctl status amazon-cloudwatch-agent

 

6] 동작 확인

amazon-cloudwatch-agent-ctl -m ec2 -a status

{
  "status": "running",
  "starttime": "2024-05-07T03:31:14+00:00",
  "configstatus": "configured",
  "version": "1.300033.0"
}


systemctl status amazon-cloudwatch-agent


/var/log/amazon 로그 확인

 

 

7] 로그 확인

쌓여지는 어플리케이션 로그를 확인

 

 

 

8] 저장된 로그는  주단위    s3로  싼 스토리지에 별도로 저장

'aws' 카테고리의 다른 글

대용량 서비스 구축  (0) 2024.07.31
자동 스트리지  (0) 2024.05.28
AWS DMS Postgresql 마이그레이션  (0) 2024.03.25
AWS 보안성 향상  (0) 2024.02.13
AWS 요금 절약 방법  (0) 2024.02.07
블로그 이미지

iesay

,

신규 설치 error

Prometheus 2024. 4. 18. 15:28

1] cadvisor나  node-exporter에서는   /var/lib/docker/containers/   
   못 가지고 오는점 순수 HW 모니터링만 가능한듯
   (promtail, loki로 해결)

2]  etc 경로 못찾는 점 파일을 디렉토리로 인식

failed parsing config: /etc/loki/local-config.yaml does not exist, set config.file for custom config path
경로 못찾는 문제는   loki  promtail 2.9.2로 업그레이드


3] 데이터가 보여지는 상태에서     그라파나에 연결 가능한줄 이해  
  예전에는 그랬슴  그라파나에서 loki로 바로 3100포트 연결하니 보임
   
 예전 유지보수 하던건   중간에   prometheus가 수집해서 보여주는 형태
   [먼지모를 Agent] -> grok -> 프로메테우스 -> 그라파나      

  지금 신규 서비스는  
   promtail -> loki -> 그라파나 

 

 

 

'Prometheus' 카테고리의 다른 글

fluent-bit , influxDB  (2) 2024.07.19
Grafana 기초1  (0) 2021.11.10
블로그 이미지

iesay

,

repo 추가 


sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt/ $(lsb_release -cs)-pgdg main" >> /etc/apt/sources.list.d/pgdg.list'


wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -


업데이트 

sudo apt update

설치


sudo apt install postgresql -y



root@server:~# psql --version
psql (PostgreSQL) 16.2 (Ubuntu 16.2-1.pgdg20.04+1)

콘솔 접속
sudo -u postgres psql



데이터베이스 생성 
postgres=# CREATE DATABASE guru99;
CREATE DATABASE
postgres=#
postgres=#

권한 부여


postgres=# GRANT ALL PRIVILEGES ON DATABASE guru99 TO tkpark;
GRANT


postgres=# ALTER USER tkpark PASSWORD 'tkpark123';
ALTER ROLE


시클릿 메니저 값 변경됨

psql --host=호스트 --port=5432 --username=dbadmin --dbname=postgres
패스워드 나중에 입력

Password for user dbadmin:
psql (15.6, server 14.10)



postgres=> CREATE USER 계정;
CREATE ROLE



postgres=> GRANT ALL PRIVILEGES ON DATABASE 디비명 TO 계정;
GRANT


postgres=> alter user 계정 with encrypted password '패스워드';
ALTER ROLE




'시스템' 카테고리의 다른 글

github runner group  (0) 2024.02.02
Forigate 방화벽 Syslog 백업  (0) 2023.07.21
Sonarqube 우분투 설치  (0) 2023.05.22
키바나 설치  (0) 2023.04.28
Logstash 설치  (0) 2023.04.27
블로그 이미지

iesay

,

'aws' 카테고리의 다른 글

자동 스트리지  (0) 2024.05.28
docker container logs 저장 CloudWatch  (0) 2024.05.07
AWS 보안성 향상  (0) 2024.02.13
AWS 요금 절약 방법  (0) 2024.02.07
텔레포트 ec2 연동  (0) 2023.09.05
블로그 이미지

iesay

,

풀노드 구축

이더리움 2024. 3. 13. 10:38

https://github.com/eth-educators/eth-docker

 

GitHub - eth-educators/eth-docker: Docker automation for Ethereum nodes

Docker automation for Ethereum nodes. Contribute to eth-educators/eth-docker development by creating an account on GitHub.

github.com

./ethd install
./ethd config
./ethd up 

config 과정에서 execution, consensus 노드 원하시는 걸로 선택
모니털이 필요하면 grafana, prometheus 설정



피어 찾을때 레이턴시가 적은 피어들을 찾아서 수동으로 넣어줄수있어요 geth
그걸 자동화해두면 성능 향상에 좋습니다

 

'이더리움' 카테고리의 다른 글

EIP-1559 분석  (2) 2021.07.12
graphsq + mongodb  (0) 2021.06.08
스마트컨트렉 함수 접근 방법  (0) 2020.12.08
token 송금  (0) 2019.10.28
rinkeby.io facebook으로 테스트 이더 받기  (0) 2019.10.25
블로그 이미지

iesay

,

go 프로젝트 세팅

2024. 2. 26. 15:07

보호되어 있는 글입니다.
내용을 보시려면 비밀번호를 입력하세요.

AWS 보안성 향상

aws 2024. 2. 13. 15:02

1] ALB 포트만 외부에 공개하고 모든 서비스는 private 구성

2] ECR 도커 이미지에 대한 스캔 활성화

3] SonarCube 시큐어코딩 개발망 구현

4] AWS Network Firewall(IPS)활용한 inbound // outbound 제어

5] AWS CloudTrail 활성화

6]  Access Key 대신 OIDC 사용

7]  AWS WAF 적극 활용  cf, ALB, Amplify

8] CSPM , CNAPP

https://koreantech.org/%EB%8D%94-%EB%82%98%EC%9D%80-%ED%81%B4%EB%9D%BC%EC%9A%B0%EB%93%9C-%EB%B3%B4%EC%95%88%EC%9D%84-%EC%9C%84%ED%95%9C-12%EA%B0%80%EC%A7%80-%EC%B5%9C%EA%B3%A0%EC%9D%98-cnapp-%ED%94%8C%EB%9E%AB%ED%8F%BC/

 

더 나은 클라우드 보안을 위한 12가지 최고의 CNAPP 플랫폼

CNAPP(클라우드 네이티브 애플리케이션 보호 플랫폼)는 조직에 효율적인 클라우드 보안 도구와 기능을 제공하여 보안 위협과 위험을 완화하고 클라우드 애플리케이션과 워크로드를 보호합니다.

koreantech.org

 

9] IPS,  WAF 별도로 구축하여 보안관제 (aws read 계정)

10]  OS, DB 접근제어

11] URL Hunter 기능을 활용하여 악성코드 예외탐지 

 

 

12] Github 엔터프라이즈의 ip allow 정책을 활성화 하여

사내망과 private 형태의 인프라 구성  self-hosted 구축

 

 

 

 

'aws' 카테고리의 다른 글

자동 스트리지  (0) 2024.05.28
docker container logs 저장 CloudWatch  (0) 2024.05.07
AWS DMS Postgresql 마이그레이션  (0) 2024.03.25
AWS 요금 절약 방법  (0) 2024.02.07
텔레포트 ec2 연동  (0) 2023.09.05
블로그 이미지

iesay

,

AWS 요금 절약 방법

aws 2024. 2. 7. 10:23

 

 

- AWS 크레딧
- RI EC2,  RDS 적용
- 테스트서버 스냅샷 후  삭제
- RDS 개발 모드로 적용
- RDS 스토리지 gp3  20기가 시작 자동 용량 증가 옵션 활용
- 메가존 요금 절감 미팅
- 타 클라우드로 GCP  계정 마이그레이션,,, (크레딧)
- 메가존 billing  TAG 표시

 

대부분 요금이 스토리지, public IP, RDS쪽이 많이 발생

'aws' 카테고리의 다른 글

자동 스트리지  (0) 2024.05.28
docker container logs 저장 CloudWatch  (0) 2024.05.07
AWS DMS Postgresql 마이그레이션  (0) 2024.03.25
AWS 보안성 향상  (0) 2024.02.13
텔레포트 ec2 연동  (0) 2023.09.05
블로그 이미지

iesay

,

github runner group

시스템 2024. 2. 2. 14:46

https://www.youtube.com/watch?v=2lLsW9E3WcI

 

$export RUNNER_ALLOW_RUNASROOT="1"

 

default   러너를    self-hosted 그룹러너로 교체

 

# Create a folder



$ mkdir actions-runner && cd actions-runner



# Download the latest runner package



$ curl -o actions-runner-linux-x64-2.312.0.tar.gz -L https://github.com/actions/runner/releases/download/v2.312.0/actions-runner-linux-x64-2.312.0.tar.gz



# Optional: Validate the hash
$ echo "85c1bbd104d539f666a89edef70a18db2596df374a1b51670f2af1578ecbe031  actions-runner-linux-x64-2.312.0.tar.gz" | shasum -a 256 -c



# Extract the installer
$ tar xzf ./actions-runner-linux-x64-2.312.0.tar.gz



Configure
# Create the runner and start the configuration experience


중요 잘 확인 repo별이 아닌 조직 전체의 토큰이 나와야됨

$ ./config.sh --url https://github.com/조직 --token @@@@@@@@@@@@@@@



# Last step, run it!



$ ./run.sh
Using your self-hosted runner


# Use this YAML in your workflow file for each job
runs-on: self-hosted

조직에 러너그룹 설정  토큰 

 

 

 

 

 

레포에서 설정

 

 

 

'시스템' 카테고리의 다른 글

ubuntu postgresql 사용법 계정생성  (0) 2024.04.16
Forigate 방화벽 Syslog 백업  (0) 2023.07.21
Sonarqube 우분투 설치  (0) 2023.05.22
키바나 설치  (0) 2023.04.28
Logstash 설치  (0) 2023.04.27
블로그 이미지

iesay

,