[ETC]Windows에 Apache Kafka 설치

안녕하세요. 이번포스팅은 Windows에 Apache 카프카 설치입니다.

---

1. Apache Kafka 란?
2. Apache Kafka 설치
3. Zookeeper 설치
4. Zookeeper & Kafka 실행
5. Topic 테스트

---

표지

---

1. Apache Kafka 란?

아파치 카프카(Apache Kafka)는 분산형 실시간 이벤트 스트리밍 플랫폼입니다. 주로 대량의 데이터를 안정적으로 처리하고 실시간으로 전송하고 저장하기 위해 설계되었습니다.

• 분산 시스템 : 카프카는 여러 대의 서버로 구성된 분산 시스템입니다. 이를 통해 고가용성과 확장성을 제공하며 대량의 데이터 처리가 가능합니다.
• 메시지 큐 : 카프카는 메시지를 처리하고 전달하기 위한 분산 메시지 큐 시스템으로 사용됩니다. 메시지는 토픽(topic)에 발행되며, 이를 구독하는 컨슈머(consumer)가 메시지를 소비합니다.
• 이벤트 스트리밍 : 카프카는 이벤트 기반의 스트리밍 데이터를 처리하는 데 사용됩니다. 실시간 데이터 처리 및 분석에 적합하며, 이벤트 스트림을 통해 실시간 애플리케이션을 개발할 수 있습니다.
• 내구성 및 확장성 : 카프카는 디스크에 데이터를 영속적으로 저장하고, 복제를 통해 데이터의 내구성을 보장합니다. 또한 수평적으로 확장이 가능하여 데이터의 증가에 따라 시스템을 확장할 수 있습니다.
• 고성능 : 카프카는 높은 처리량과 낮은 지연 시간을 제공하여 대규모 데이터 처리를 지원합니다. 이를 통해 실시간 데이터 스트림 처리 및 분석을 수행할 수 있습니다.

카프카는 기업에서 대규모 데이터 처리, 이벤트 기반 아키텍처, 실시간 분석 등의 다양한 용도로 사용됩니다. 데이터 파이프라인 구축, 로그 및 이벤트 처리, 모니터링 및 경고 시스템, 사물인터넷(IoT) 플랫폼 등에서 널리 사용되고 있습니다.

---

2. Apache Kafka 설치

설치 주소 :  https://kafka.apache.org/downloads

Apache Kafka

설치 주소 사이트에 접속한 뒤 Download Kafka 선택을 하고 아래의 kafka_2.13-3.6.1.tgz를 다운받고 압축해제합니다.(저는 반디집 이용하여 압축해제 진행, 또는 tar -xvzf kafka_2.13-3.6.1.tgz 명령어로 진행)

Kafka 설치

※ Config 설정

• 해당 압축 해제 경로에 Logs 폴더 생성
• server.properties 파일 오픈 후 수정

server.properties 파일을 nodepad로 Open뒤 해당 부분 경로를 수정

---

3. Zookeeper 설치

설치 주소 : https://www.apache.org/dyn/closer.cgi/zookeeper/

Apache Download Mirrors

 

해당 그림 순서대로 진행 후 apache-zookeeper-3.9.1-bin.tar.gz 파일 다운로드 진행 후 압축 해제 진행

※ Config 설정

• 압축 해제 경로에 data폴더 추
• 압축 해제 경로에서 conf에 zoo_sample.cfg 파일을 복사하여 zoo.cfg로 복사
• zoo.cfg파일 notepad로 수정

 

※ 환경 변수 추가

• ZOOKEEPER_HOME 사용자 변수 추가 경로는 압축해제 경로 

---

4. Zookeeper & Kafka 실행

먼저, Zookeeper 먼저 실행 한다. cmd에 해당 Zookeeper 설치 경로로 이동 후 아래의 명령을 입력한다.

bin\windows\zookeeper-server-start.bat config\zookeeper.properties

위와 같이 동작한다면 정상적으로 실행되었다.

아래의 명령을 이용하여 정상적으로 서비스중인지 확인한다.

netstat -na | findstr "2181"

이어서, Kafka를 실행하기 위해 새로운 cmd 창에 kafka 설치 위치로 이동 한뒤 아래의 명령을 실행한다.

bin\windows\kafka-server-start.bat config\server.properties

netstat -na | findstr "9092"

Kafka 서비스가 정상적인지 확인 한다.

---

5. Topic 테스트

새로운 cmd창을 열어 kafka 위치로 이동 뒤 아래의 명령을 실행한다.

bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --topic dev-topic

아래의 명령을 이용하면 토픽을 확인 할 수 있다.

bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092

위와같이 테스트를 진행하여, 정상적인 동작을 확인 할 수 있습니다.

오늘은 Windows Apache Kafka 설치를 알아보았습니다. 궁금하신점이나 잘못된 내용있으면, 댓글이나 메일 부탁드립니다. 감사합니다.