🛠️ CI／CD

빌드 및 배포 문서

0. 시스템 아키텍처

1. 개발자가 로컬 환경에서 코드를 작성 및 테스트한 후 , 변경사항을 github로 push
2. github는 변경 사항에 push 되면 webhook이 이벤트를 감지하고 해당 이벤트를 처리하기 위해서 HTTP 요청
3. webhook에서 HTTP요청을 하게 되면 JENKINS를 통해 Gradle을 사용하여 소스코드를 빌드하고 실행이 가능한 jar 파일로 생성
4. 빌드된 jar 파일은 dockerfile를 사용하여 Docker image로 pakaging.  
5. Docker는 image를 DockerHub로 push 
6. 쿠버네티스 클러스터는 Docker image를 가져와서 배포하고 백엔드와 프론트엔드는 각각의 파드로 배포됨
7. ubuntu 서버에서 MariaDb를 관리하고 backend와 연동하여 데이터를 저장하고 관리함
8. 사용자가 요청한 번역 작업은 DeepL API로 전송되어 처리되며, 번역된 결과가 반환됨

환경

◽ macOS Sonoma 14.2

도구	버전
JDK	17
Docker	25.0.3
Kubernetes	1.29.1
Jenkins	2.453

1. 빌드

[ Dockerfile ]

• Spring boot Dockerfile

FROM openjdk:17-alpine
COPY build/libs/*.jar app.jar

# ARG로 환경 변수 설정
ARG JASYPT_KEY
ENV JASYPT_KEY=$JASYPT_KEY

ENTRYPOINT ["java", "-jar", "app.jar", "--jasypt.encryptor.password=${JASYPT_KEY}"]

🔑 jasypt복호화 패스워드(JASYPT_KEY)는 Jenkins Credentials를 통해 관리하며, 실행 시 환경 변수로서 입력되어 실행됨.

• Vue Dockerfile

FROM node:lts-alpine

RUN apk add --no-cache curl

WORKDIR /app
COPY . ./
RUN npm install

CMD ["npm", "run", "dev", "--", "--host", "0.0.0.0"]

• Jenkins Dockerfile

FROM jenkins/jenkins:jdk17

USER root

RUN apt-get update && \
    apt-get install -y apt-transport-https ca-certificates curl software-properties-common && \
    curl -fsSL https://download.docker.com/linux/debian/gpg | gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg && \
    echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/debian $(lsb_release -cs) stable" | tee /etc/apt/sources.list.d/docker.list > /dev/null
 
 # docker-compose 설치
 RUN curl -L "https://github.com/docker/compose/releases/download/1.28.5/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose && \
    chmod +x /usr/local/bin/docker-compose && \
    ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

• Jenkins docker-compose.yml

version: '3.7'

services:
  jenkins:
    build:
      context: .
      dockerfile: Dockerfile
    container_name: 'jenkins_docker'
    
    # mac 실리콘 칩의 경우 설정
    platform: linux/arm64
    
    restart: always
    user: root
    ports:
      - '8080:8080'
      - '50000:50000'
      
    volumes:
      - './jenkins_home:/var/jenkins_home'
      - '/var/run/docker.sock:/var/run/docker.sock'

⚠️ 젠킨스 빌드 중 docker: not found 오류가 발생할 경우

docker exec -it jenkins_docker /bin/bash : container 접속
curl -fsSL https://get.docker.com -o get-docker.sh : docker 설치
sh get-docker.sh

---

Github Webhook & Jenkins를 이용한 Pipeline 구축

◽ Jenkins Credentials

1. 젠킨스 도커 컨테이너에 접속해 RSA Key 생성 -> Github 접속을 위해 private key 등록

2. Dockerhub 접속을 위한 dockerhub 계정 정보 등록

3. jasypt 복호화에 필요한 password 등록

- Github

Repository Settings에 접근하여 Deploy keys에 public key 등록

- ngrok으로 port를 개방하여 Webhook 연결

ngrok http 8080

- Jenkins Tools에서 Java(OpenJDK 17) , Gradle(8.7) 설정

- 새로운 Item -> Pipeline 생성 -> Build Triggers -> Github hook trigger for GITScm polling 체크

• Jenkins Pipeline Script

pipeline {
    agent any

    tools {
        gradle 'gradle'
        jdk 'openJDK17'
    }

    environment {
        DOCKERHUB_USERNAME = 'orlzll'
        GITHUB_URL = 'https://github.com/OmokNoonE/OnionHotSayYo-backend.git'
    }

    stages {
        stage('Preparation') {
            steps {
                script {
                    sh 'docker --version'
                }
            }
        }
        stage('Source Build') {
            steps {
                // 소스파일 체크아웃
                git branch: 'main', url: 'https://github.com/OmokNoonE/OnionHotSayYo-backend.git'

                // 소스 빌드
                // 755권한 필요 (윈도우에서 Git으로 소스 업로드시 권한은 644)
                // JASYPT_KEY Credentials
                sh "chmod +x ./gradlew"
                 withCredentials([string(credentialsId: 'JASYPT_KEY', variable: 'JASYPT_KEY')]) { //set SECRET with the credential content
                    sh "./gradlew clean build -P jasypt.encryptor.password=${JASYPT_KEY}"               
                 }
                
            }
        }
        stage('Container Build') {
            steps {	
    
                // jar 파일 복사
                sh "cp ./build/libs/*.jar ."
    
                // 컨테이너 빌드 및 업로드
                withCredentials([string(credentialsId: 'JASYPT_KEY', variable: 'JASYPT_KEY')]) { //set SECRET with the credential content
                    sh "docker build --build-arg JASYPT_KEY=${JASYPT_KEY} -t ${DOCKERHUB_USERNAME}/onion-back2:latest . --platform linux/x86_64"
                }
                
                
                // docker hub로 push
                withCredentials([usernamePassword(credentialsId: 'DOCKERHUB_PASSWORD', usernameVariable: 'DOCKERHUB_USER', passwordVariable: 'DOCKERHUB_PASS')]) {
                    sh "echo $DOCKERHUB_PASS | docker login --username $DOCKERHUB_USER --password-stdin"
                    sh "docker push ${DOCKERHUB_USERNAME}/onion-back2:latest"
                }
            }
        }
    }
}

🔨 최초로 pipeline 구축 후에는 ▶️지금 빌드 실행

2. 배포

Note

스크립트를 통해 실행하려면 아래 매니페스트 파일들을 하나의 폴더에서 관리

◽Spring boot deployments & services

• boot001dep.yml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: boot001dep
spec:
  selector:
    matchLabels:
      app: boot001kube
  replicas: 1
  template:
    metadata:
      labels:
        app: boot001kube
    spec:
      containers:
      - name: boot-container
        image: orlzll/onion-back2:latest
        imagePullPolicy: Always
        ports:
        - containerPort: 8888

• boot001ser.yml

apiVersion: v1
kind: Service
metadata:
  name: boot001ser
spec:
  type: NodePort
  ports:
  - port: 8888 #서비스포트
    targetPort: 8888
    protocol: TCP
    nodePort: 30001
  selector:
    app: boot001kube

◽ Vue deployments & Services

• vue001dep.yml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: vue001dep

spec:
  selector:
    matchLabels:
      app: vue001kube
  template:
    metadata:
      labels:
        app: vue001kube

    spec:
      containers:
      - name: vue-container
        image: orlzll/onion-front2:latest
        imagePullPolicy: Always
        ports:
        - containerPort: 5173

• vue001ser.yml

apiVersion: v1
kind: Service
metadata:
  name: vue001ser

spec:
  type: NodePort
  ports:
  - port: 5173
    targetPort: 5173
    protocol: TCP 
    
    nodePort: 30000
  selector:
    app: vue001kube

---

◽ 스크립트 파일 실행

• onion.sh

# 디렉토리 경로 설정
KUBE_DIR=../../infra
VUE_DIR=../frontend/OnionHotSayYo_frontend          # frontend 디렉토리 경로
PASSWORD='0000'                                                         # sudo password

# vue project build
cd $VUE_DIR
echo $PASSWORD | sudo -S docker build -t orlzll/onion-front2 .
echo $PASSWORD | sudo -S docker push orlzll/onion-front2

# manifest
cd $KUBE_DIR
kubectl apply -f vue001dep.yml && kubectl apply -f vue001ser.yml
kubectl apply -f boot001dep.yml && kubectl apply -f boot001ser.yml

Note

현재 frontend project는 Jenkins를 통한 build 자동화가 되어 있지 않으므로 이 과정에서 build 및 docker hub로 image push 하도록 설정함

[ 이미지 변경 시 디플로이먼트 업데이트 ]

• 백엔드

kubectl rollout restart deployments boot001dep

젠킨스를 통해 dockerhub image가 자동으로 업데이트 되므로 deployments restart

• vueupdate.sh

VUE_DIR=../frontend/OnionHotSayYo_frontend      # frontend 디렉토리 경로
PASSWORD='0000'                                 # sudo password

# vue project build
cd $VUE_DIR
echo $PASSWORD | sudo -S docker build -t orlzll/onion-front2 .
echo $PASSWORD | sudo -S docker push orlzll/onion-front2

# deployment restart
kubectl rollout restart deployments vue001dep

빌드 -> 도커 허브에 이미지 업로드 -> 재시작됨

Note

추후 해당 과정을 ArgoCD를 통해 도커 허브 이미지의 변경을 감지하고 Kubernetes 클러스터 내의 애플리케이션을 자동으로 업데이트하도록 고도화 예정

---

Redis Pods
Refresh Token 관리를 위해 Redies를 Kubernetes pods로서 배포함
redis-pod.yml
redis-svc.yml
redis-configmap.yml