Kafka3 아파치 카프카 CLI 명령어 정리 아파치 카프카 CLI(Command Line Interface) 명령어를 정리한다. 아파치 카프카의 쉘 스크립트 파일은 카프카를 설치하고 압축해제를 했을 때 bin 디렉토리에서 확인할 수 있다. 아파치 카프카 CLI아파치 카프카 CLI는 카프카 클러스터와 상호작용하며 다양한 명령어들을 제공하는데, 애플리케이션을 개발하거나 클러스터를 운영할 때 자주쓰이므로 알아두는 것이 좋다. 카프카 CLI 명령어를 통해 토픽 관련 명령어를 실행할 떄 필수 옵션과 선택 옵션이 있다. 선택 옵션은 지정하지 않을 시 브로커에 설정된 기본 설정값 또는 커맨드 라인 툴의 기본값으로 대체되어 설정된다. 카프카 쉘 스크립트 파일을 사용해서 명령어를 실행하기 전 주키퍼와 카프카를 시작한다.# 주키퍼 서버 시작bin/zookeeper-.. 2025. 1. 8. 아파치 카프카 기본 설정 아파치 카프카를 실행하기 위해서는 주키퍼의 설정 파일인 zookeeper.properties와, 카프카 브로커 설정 파일인 server.properties 파일을 설정해야 한다. 세부적인 프로퍼티까진 설명하지는 않지만 설치했을 때 기본적으로 설정된 프로퍼티들을 확인할 것이다. 아파치 카프카를 설정하기 전에, 카프카의 설치는 아파치 카프카 공식 페이지에서 다운로드 할 수 있으며 Binary downloads의 tgz 파일의 링크를 wget으로 다운로드하면 된다. 포스팅에서 사용한 버전은 아파치 카프카 3.1.2 버전을 사용했다. 다운로드 시 Source download로 소스 파일을 다운로드한다면, 실행 가능한 바이너리 파일로 컴파일 되지 않은 상태이므로 소스 코드를 직접 빌드해서 사용해야 한다. 소스 코.. 2025. 1. 7. 아파치 카프카 개념 정리 아파치 카프카(Apache Kafka)에 대해서 공부하면서 아파치 카프카가 어떻게 등장했고, 무엇인지 그리고 주요 용여 및 동작 과정에 대해서 정리해본다. 내용은 카프카 공식 문서와 아파치 카프카 애플리케이션 프로그래밍 with 자바 책의 내용을 토대로 정리했다.아파치 카프카의 등장소셜 네트워크 사이트인 링크드인(LinkedIn)에서 데이터를 생성 및 적재하기 위해서는 데이터를 생성하는 소스 애플리케이션과 데이터를 최종 적재하는 타깃 애플리케이션을 연동하는 소스코드를 작성했다. 소스 및 타깃 애플리케이션을 연결하는 파이프라인의 개수가 많아지면서 소스코드 버전 관리 이슈가 생기고, 장애도 그대로 전달됐다. 갈수록 복잡해지는 파편화된 데이터 파이프라인의 복잡도를 낮추기 위해서 만든 시스템이 아파치 카프카다.. 2025. 1. 6. 이전 1 다음
