본문 바로가기

전체 글75

AWS) AWS의 ElasticSearch, OpenSearch 사용하기 OpenSearch AWS의 OpenSearch는 가상머신 만들고 elasticsearch 설치해서 주는 개념 도메인 생성 > 이름 > 개발 및 테스트 > 버전: 7.10 > t3.small > 가용영역 1대만: 1AZ > 노드 수 1개 > 용량 10GB > 뒤에는 웬만하면 체크 해제 > 네트워크는 Public Access > (OpenSearch에서는 Kibana포함됨) > 세분화된 엑세스 제어 활성화 > 마스터 사용자 생성 > 마스터 사용자 이름: admin > 엑세스 정책 > 도메인 엑세스 정책은 맨 위에 것 > 암호화는 딱히 필요없음.. 고급 클러스터 설정에 1024입력 > 생성! 역할이 master, data, ingest가 있다. 핫 & 웜 & 콜드도 있다. POSTMAN에 IP주소 대신 도메.. 2023. 3. 23.
ElasticSearch 클러스터 구성 1. ElasticSearch를 설치할 리눅스 가상머신 3대를 준비한다. (CPU 2, Memory 4로 설정) 2. JDK를 설치한다. yum -y install java-1.8.0-openjdk-devel.x86_64 3. 레포지토리를 추가한다. 아래 더보기의 내용을 한 줄 씩 입력한다. 더보기 cat > /etc/yum.repos.d/elasticsearch.repo 2023. 3. 22.
AWS) SQS 사용하여 메시지 전송 및 수신 pull은 가져가도 돼? 한 다음에 가져가는 것 push는 subscriber를 찔러서 가져가는 것 aws sqs > 표준 > queue이름 아무거나 > 암호화 원래 시켜야 하지만,, 비활성화로 > 액세스 정책 (JSON편집, Principal : "*" 나머지는 다 비활성화 > 대기열(큐) 생성 AWS 콘솔에서 테스트 > '메시지 전송 및 수신'으로 테스트 가능 > 메시지 받을 땐 '메시지 풀링' 누르면 됨 파이썬 코드 boto3으로 테스트 queue_url에 대기열 넣으면 됨 messageBody에 메시지 입력하면 된다. > 송신코드 import boto3 sqs = boto3.client('sqs') queue_url = '[대기열 url 입력]' response =.. 2023. 3. 21.
리눅스, kafka와 zookeeper 클러스터 상태에서의 장애 상황 테스트 장애 상황일 때 메시지 확인 장애 상황이 발생되기 이전에 주고 받았던 메시지는 어떻게 될 것인가? 새로운 메시지를 발행하면 자동으로 kafka에서 생성이 된다. 새로 생성되는 건 쉬운데 삭제는 어렵다. 유실되는 게 없도록 한다. partition. replicas(메모리와 디스크에 저장을 해두는데 1번 디스크에 저장을 해뒀다.) Isr(replica들 중에서 리더를 선출하여 데이터를 가져갈 수 있도록 해야 한다. 그게 몇 번 브로커에서 가능한지 나타내는 것) Isr이 가리키는 브로커는 죽이면, Leader가 None이 된다. 따라서, 복사본과 파티션의 개수를 지정해줘야한다. (파티션은 늘리는 건 되는데 줄이는 건 안된다.) /opt/kafka/bin/kafka-topics.sh --create --boo.. 2023. 3. 21.

티스토리툴바