Kafka 개발진들이 링크드인을 퇴사 후 Confluent라는 회사 설립 하고 오픈 소스인 Apache Kafka만이 아닌 Apache Kafka를 활용 하는 Event Streaming Platform인 Confluent Platform을 밀기 시작 하였습니다. Confluent에서는 Event Streaming Platform을 구축하기 위한 방법으로 Cloud와 Install 방식 2가지를 제공 하고 있습니다. 로컬 환경에 구축하기 위해 Install방식으로 선택 하였으며 설치방법을 소개 하고자 합니다.

Install 방식 중에서도 Confluent Platform을 다 사용 가능한 유료 버전과 오픈 소스들로만 구성된 무료 버전이 있습니다. 유료 버전(조건부 무료)은 Kafka Broker가 1개만 있을 경우는 무료 이므로 초보분들이 쉽게 접근가능한 GUI가 포함된 Confluent Platform을 설치 합니다.

각각 좋아하시는 환경으로 설치 하시면 되며 다른 배경 지식이 없어도 사용이 가능한 압축 파일 해제로 사용 가능한 버전을 다운 받겠습니다.

설치

https://docs.confluent.io/current/quickstart/ce-quickstart.html

이 문서를 순서대로 진행 하시면 됩니다.

제가 진행한 방식은 아래와 같습니다.

1. 다운로드

curl -O http://packages.confluent.io/archive/5.4/confluent-5.4.0-2.12.tar.gz

2. 압축 해제

tar xzf confluent-5.4.0-2.12.tar.gz

3. CLI 설치

curl -L https://cnfl.io/cli | sh -s -- -b ./confluent-5.4.0/bin

bin디렉토리에 confluent 파일이 생성 됨

kafka-connect-datagen은 설치 하지 않았습니다.

4. PATH등록 하기

Mac에서 zsh을 사용하였기에 zshrc에 설정하였습니다.

vi ~/.zshrc
아래 내용 삽입
export PATH=/절대경로/confluent-5.4.0/bin:$PATH

5. Confluent Platform 실행 하기

신규 shell terminal을 open 후 실행

confluent local start

6. localhost:9021 로 접속하여 확인

Control Center에서 편리하게 Confluent Platform을 모니터링 할 수 있으며, Topic생성도 GUI로 할 수 있습니다.

이후에는 kafka-streams-examples 를 실행하여 Stream Processing에 대해 알아볼 예정 입니다.