DevOps10 아파치 카프카 CLI 명령어 정리 아파치 카프카 CLI(Command Line Interface) 명령어를 정리한다. 아파치 카프카의 쉘 스크립트 파일은 카프카를 설치하고 압축해제를 했을 때 bin 디렉토리에서 확인할 수 있다. 아파치 카프카 CLI아파치 카프카 CLI는 카프카 클러스터와 상호작용하며 다양한 명령어들을 제공하는데, 애플리케이션을 개발하거나 클러스터를 운영할 때 자주쓰이므로 알아두는 것이 좋다. 카프카 CLI 명령어를 통해 토픽 관련 명령어를 실행할 떄 필수 옵션과 선택 옵션이 있다. 선택 옵션은 지정하지 않을 시 브로커에 설정된 기본 설정값 또는 커맨드 라인 툴의 기본값으로 대체되어 설정된다. 카프카 쉘 스크립트 파일을 사용해서 명령어를 실행하기 전 주키퍼와 카프카를 시작한다.# 주키퍼 서버 시작bin/zookeeper-.. 2025. 1. 8. 아파치 카프카 기본 설정 아파치 카프카를 실행하기 위해서는 주키퍼의 설정 파일인 zookeeper.properties와, 카프카 브로커 설정 파일인 server.properties 파일을 설정해야 한다. 세부적인 프로퍼티까진 설명하지는 않지만 설치했을 때 기본적으로 설정된 프로퍼티들을 확인할 것이다. 아파치 카프카를 설정하기 전에, 카프카의 설치는 아파치 카프카 공식 페이지에서 다운로드 할 수 있으며 Binary downloads의 tgz 파일의 링크를 wget으로 다운로드하면 된다. 포스팅에서 사용한 버전은 아파치 카프카 3.1.2 버전을 사용했다. 다운로드 시 Source download로 소스 파일을 다운로드한다면, 실행 가능한 바이너리 파일로 컴파일 되지 않은 상태이므로 소스 코드를 직접 빌드해서 사용해야 한다. 소스 코.. 2025. 1. 7. 아파치 카프카 개념 정리 아파치 카프카(Apache Kafka)에 대해서 공부하면서 아파치 카프카가 어떻게 등장했고, 무엇인지 그리고 주요 용여 및 동작 과정에 대해서 정리해본다. 내용은 카프카 공식 문서와 아파치 카프카 애플리케이션 프로그래밍 with 자바 책의 내용을 토대로 정리했다.아파치 카프카의 등장소셜 네트워크 사이트인 링크드인(LinkedIn)에서 데이터를 생성 및 적재하기 위해서는 데이터를 생성하는 소스 애플리케이션과 데이터를 최종 적재하는 타깃 애플리케이션을 연동하는 소스코드를 작성했다. 소스 및 타깃 애플리케이션을 연결하는 파이프라인의 개수가 많아지면서 소스코드 버전 관리 이슈가 생기고, 장애도 그대로 전달됐다. 갈수록 복잡해지는 파편화된 데이터 파이프라인의 복잡도를 낮추기 위해서 만든 시스템이 아파치 카프카다.. 2025. 1. 6. 젠킨스 파이프라인 문법 및 예외처리 젠킨스 파이프라인 및 깃허브 연동을 설명했던 이전 포스팅에서 선언형 파이프라인과 스크립트형 파이프라인에 대해서 간단히 설명했는데, 이번에는 두 파이프라인에 대해서 설명하고 문법 및 예외처리 방법을 알아본다. 두 파이프라인 문법의 특징 및 사용되는 pipeline, node, stage 등과 같은 지시자(Directive)들을 모두 설명할 수는 없지만 주로 사용되는 지시자를 확인할 것이다. 선언형 파이프라인과 스크립트형 파이프라인선언형 파이프라인(Declarative Pipeline)은 Jenkins DSL을 사용해서 구조화된 방식으로 파이프라인을 정의하며, 스크립트형 파이프라인(Scripted Pipeline)은 그루비(Groovy) 언어를 사용해서 파이프라인을 정의한다. 파이프라인은 자신이 사용하는 환.. 2024. 12. 24. 젠킨스 파이프라인으로 깃허브 SSH 연동 젠킨스 파이프라인(Jenkins Pipeline)을 정리하고, 이전에 도커로 젠킨스를 설치해서 깃허브를 SSH로 연동했었는데, 이번에는 젠킨스의 파이프라인을 사용해서 깃허브와 SSH 연동을 해볼것이다.도커로 젠킨스 설치와 Credentials 설정 및 깃허브의 SSH 설정은 이전 포스팅을 참조한다.젠킨스 파이프라인이란?젠킨스 파이프라인(Jenkins Pipeline)은 지속적인 전달 파이프라인을 구현하고 통합하는 것을 지원하는 플러그인의 모음이다. 젠킨스 파이프라인을 통해 CI/CD 작업을 코드로 정의하며 빌드, 테스트, 배포 등의 과정을 자동화할 수 있다.파이프라인은 파이프라인 DSL 구문을 통해 간단한 것부터 복잡한 전달 파이프라인까지 코드로 모델링할 수 있는 확장 가능한 도구 모음을 제공한다.이전에.. 2024. 12. 23. 도커 젠킨스로 깃허브 SSH로 연동 도커(Docker)로 젠킨스(Jenkins) 컨테이터를 생성해서 깃허브를 SSH 연동해볼 것이다.AWS EC2 서버를 프로비전해서 SSH로 배포할 수도 있지만, 여기서는 스프링 부트 프로젝트를 빌드하고, 패키징된 jar 파일까지만 확인해볼 것이다.도커 젠킨스 컨테이너 생성도커로 젠킨스 컨테이너를 생성하는데 젠킨스는 자신이 원하는 버전을 도커 허브에서 찾아서 사용하면된다. 여기서는 jenkins/jenkins:lts-jdk17를 사용한다.docker container run -d --name jenkins -p 20000:8080 -v /path/to/save:/var/jenkins_home jenkins/jenkins:lts-jdk17 로컬의 20000번 포트와 도커 젠킨스 서버의 8080번 포트를 매핑.. 2024. 12. 16. 이전 1 2 다음
