전체 글28 아파치 카프카 개념 정리 아파치 카프카(Apache Kafka)에 대해서 공부하면서 아파치 카프카가 어떻게 등장했고, 무엇인지 그리고 주요 용여 및 동작 과정에 대해서 정리해본다. 내용은 카프카 공식 문서와 아파치 카프카 애플리케이션 프로그래밍 with 자바 책의 내용을 토대로 정리했다.아파치 카프카의 등장소셜 네트워크 사이트인 링크드인(LinkedIn)에서 데이터를 생성 및 적재하기 위해서는 데이터를 생성하는 소스 애플리케이션과 데이터를 최종 적재하는 타깃 애플리케이션을 연동하는 소스코드를 작성했다. 소스 및 타깃 애플리케이션을 연결하는 파이프라인의 개수가 많아지면서 소스코드 버전 관리 이슈가 생기고, 장애도 그대로 전달됐다. 갈수록 복잡해지는 파편화된 데이터 파이프라인의 복잡도를 낮추기 위해서 만든 시스템이 아파치 카프카다.. 2025. 1. 6. 젠킨스 파이프라인 문법 및 예외처리 젠킨스 파이프라인 및 깃허브 연동을 설명했던 이전 포스팅에서 선언형 파이프라인과 스크립트형 파이프라인에 대해서 간단히 설명했는데, 이번에는 두 파이프라인에 대해서 설명하고 문법 및 예외처리 방법을 알아본다. 두 파이프라인 문법의 특징 및 사용되는 pipeline, node, stage 등과 같은 지시자(Directive)들을 모두 설명할 수는 없지만 주로 사용되는 지시자를 확인할 것이다. 선언형 파이프라인과 스크립트형 파이프라인선언형 파이프라인(Declarative Pipeline)은 Jenkins DSL을 사용해서 구조화된 방식으로 파이프라인을 정의하며, 스크립트형 파이프라인(Scripted Pipeline)은 그루비(Groovy) 언어를 사용해서 파이프라인을 정의한다. 파이프라인은 자신이 사용하는 환.. 2024. 12. 24. 젠킨스 파이프라인으로 깃허브 SSH 연동 젠킨스 파이프라인(Jenkins Pipeline)을 정리하고, 이전에 도커로 젠킨스를 설치해서 깃허브를 SSH로 연동했었는데, 이번에는 젠킨스의 파이프라인을 사용해서 깃허브와 SSH 연동을 해볼것이다.도커로 젠킨스 설치와 Credentials 설정 및 깃허브의 SSH 설정은 이전 포스팅을 참조한다.젠킨스 파이프라인이란?젠킨스 파이프라인(Jenkins Pipeline)은 지속적인 전달 파이프라인을 구현하고 통합하는 것을 지원하는 플러그인의 모음이다. 젠킨스 파이프라인을 통해 CI/CD 작업을 코드로 정의하며 빌드, 테스트, 배포 등의 과정을 자동화할 수 있다.파이프라인은 파이프라인 DSL 구문을 통해 간단한 것부터 복잡한 전달 파이프라인까지 코드로 모델링할 수 있는 확장 가능한 도구 모음을 제공한다.이전에.. 2024. 12. 23. 도커 젠킨스를 깃허브 SSH로 연동 도커(Docker)로 젠킨스(Jenkins) 컨테이터를 생성해서 깃허브를 SSH 연동해볼 것이다.AWS EC2 서버를 프로비전해서 SSH로 배포할 수도 있지만, 여기서는 스프링 부트 프로젝트를 빌드하고, 패키징된 jar 파일까지만 확인해볼 것이다.도커 젠킨스 컨테이너 생성도커로 젠킨스 컨테이너를 생성하는데 젠킨스는 자신이 원하는 버전을 도커 허브에서 찾아서 사용하면된다. 여기서는 jenkins/jenkins:lts-jdk17를 사용한다.docker container run -d --name jenkins -p 20000:8080 -v /path/to/save:/var/jenkins_home jenkins/jenkins:lts-jdk17 로컬의 20000번 포트와 도커 젠킨스 서버의 8080번 포트를 매핑.. 2024. 12. 16. Jenkins Github 리포지토리 SSH 연결 에러(stderr: No ED25519 host key...) 도커 컨테이너에서 젠킨스를 실행 후 깃허브 리포지토리와 SSH 연결을 하려고 하는 중에 에러가 발생했다. 깃허브의 리포지토리의 연결이 실패했는데, stderr: No ED25519 host key is known for github.com and you have requested strict checking. Host key verification failed. 문구를 확인하면 호스트 키 검증에 실패했다는 것을 알 수 있다. 젠킨스에서는 기본적으로 SSH 연결 시 호스트 키를 검증하는 Strict Host Key Checking 기능이 활성화되어 있다.이 문제는 SSH를 통해 깃허브 서버에 연결할 때, 깃허브 서버의 호스트 키가 로컬 머신의 known_hosts 파일에 등록되어 있지 않기 때문에 젠킨스가.. 2024. 12. 14. [Docker] 도커파일(Dockerfile) 개념 및 작성법 도커파일(Dockerfile)에 대해 이해하기 위해 공부한 내용을 정리해본다. Dockerfile의 개념, 작성 방법, 최적화, 멀티 스테이지 빌드, 주로 사용되는 인스트럭션까지 전체적으로 정리한다. Dockerfile이란?Dockerfile은 도커 이미지를 생성하기 위해 명령어들을 정의한 텍스트(스크립트) 파일이다. 도커 파일에 정의된 명령어들은 이미지의 빌드 과정에서 실행되며, 도커 CLI를 통해 빌드해서 이미지를 생성할 수 있다.도커파일은 인스트럭션과 명령어(스크립트), 주석으로 구성된다. 도커파일에서 인스트럭션이 이미지에 포함된 각 이미지 레이어가 되며, 인스트럭션을 실행한 결과로 이미지가 만들어진다. Dockerfile의 장단점장점일관된 환경과 이식성: 도커 파일을 상용하면 개발, 테스트, .. 2024. 11. 28. 이전 1 2 3 4 5 다음
