리눅스, kafka 클러스터 구성하기

1. JDK 다운로드 받기

yum -y install java-1.8.0-openjdk-devel.x86_64

 

 

2. kafka 다운로드 받기

wget https://downloads.apache.org/kafka/3.4.0/kafka_2.13-3.4.0.tgz

 

 

3. 2번에서 다운받은 압축 파일 압축 풀기

tar -xzvf kafka_2.13-3.4.0.tgz

 

 

4. 파일 이동하기

mv kafka_2.13-3.4.0 /opt/kafka

 

 

5. vi /opt/kafka/config/server.properties에서 kafka 설정을 한다.

 

zookeeper를 따로 설정을 했으니까, kafka만 설정하면 된다.

broker.id 라는 것이 있다.

kafka도 마찬가지로 아이디가 안 겹치게 설정해주면된다.

 

zookeeper 설정하는 곳에 zookeeper id들을 적어준다.

zookeeper.connect =zookeeper1의 IP:2181, zookeeper2의 IP:2181, zookeeper3의 IP:2181

advertised.listener=PLAINTEXT://[카프카 IP]:9092는 원래 주석 처리 되어있는데 주석 해제한다.

 

 

6. 아래의 명령어로 kafka를 실행한다.

/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties

 

 

7. 확인은 zookeeper에서 한다. zookeeper에서 아래의 명령어 입력

/opt/zookeeper/bin/zkCli.sh

 

위 명령어를 입력한 후 'ls /'를 입력하면 여러가지가 나온다. 이 중에 'brokers'가 있다.

(kafka 설치 전에는 없고, 설치하면 추가되어있는 것을 확인할 수 있다.)

 

 

kafka 설치 전

 

 

kafka 설치 후

 

 

또는

 

'ls /brokers/ids'를 입력하면 설정파일에서 입력한 브로커의 아이디들 중 켜져있는 브로커들이 나오는 것을 확인할 수 있다.

 

3개 다 켜져있을 경우,

 

1, 2, 3 중 kafka2(broker.id=2)만 껐을 경우,