Lake_Light

[Elasticsearch] Elasticsearch란?

lakelight — Fri, 3 Feb 2023 10:08:39 +0900

Elasticsearch

Apache Lucene 기반의 Java 오픈소스 분산형 Restful 검색 및 분석 엔진입니다.
방대한 양의 데이터에 대해 실시간으로 저장과 검색 및 분석 등의 작업을 수행할 수 있습니다.

Elasticsearch는 정형 데이터, 비정형 데이터, 지리 데이터 등 모든 타입의 데이터를 처리할 수 있는데,
이를 JSON문서로 데이터를 저장할 수 있습니다.

Elasticsearch와 RDB 비교

Relational Database	ElasticSearch
Database	Index
Table	Type
Row	Document
Column	Field
Index	Analyze
primary Key	_id
Schema	Mapping
Physical partition	Shard
Logical partition	Route
Relational	Parent/Child, Nested
SQL	Query DSL

Elasticsearch는 데이터를 행렬 데이터로 저장하는 것이 아니라, JSON 문서로 직렬화된 복잡한 자료 구조를 저장하는 방식을 채택하고 있습니다. 따라서 기존 RDB에서 사용하던 용어를 그대로 사용하지 않습니다. 위에 표에 정리하였습니다.

Elasticsearch는 특정 문장을 입력받으면, 파싱을 통해 문장을 단어 단위로 분리하여 저장합니다. 또한 대분자를 소문자로 치환하거나 유사어 체크 등의 추가 작업을 통해 텍스트를 저장합니다.

Elasticsearch는 '역 색인'이라고 하는 자료 구조를 사용하는데, 이는 전문 검색에 있어서 빠른 성능을 보장합니다. 책의 전반부에 위치한 일반적인 목차가 Index라면, 책 후반부에 키워드마다 내용을 찾아볼 수 있도록 돕는 목차가 Reverted Index입니다.

역 색인은 Document에 등장하는 모든 고유한 단어들을 리스트업하고, 해당 단어들이 등장하는 Document들을 식별합니다. 색인은 최적화된 Document컬렉션이며, 각 Document는 데이터를 포함하고 있는 Key-Value 쌍으로 이루어진 Field의 컬렉션입니다.

Elasticsearch는 모든 Field의 데이터를 인덱싱하는데, 인덱싱된 Field는 각각의 최적화된 자료구조를 사용합니다. 텍스트 형식의 Field는 Inverted Index에 저장되며, 숫자 혹은 지리 관련 Field는 BKD 트리에 저장됩니다.

역인덱스 데이터 저장 구조와 검색

RDB는 특정 단어 검색 할때 Row 개수 만큼 확인을 해야하지만, 단어 기반으로 데이터를 저장하는 Elasticsearch는 특정 단어가 어디에 저장되어 있는지 이미 알고 있어 모든 Document를 검색할 필요가 없습니다.

하지만 수정과 삭제 할 때는 내부적으로 많은 리소스가 소요되어, RDBMS가 더 좋습니다.

Elasticsearch 구조

이미지 출처: https://www.mitrais.com/news-updates/elasticsearch-101/

Cluster
- 하나 이상의 노드로 이루어진 노드들의 집합
- 클러스터는 각각 독립적인 시스템을 유지 (다른 클러스터의 데이터 접근 교환 불가)
- 여러 대의 서버가 하나의 클러스터를 구성하거나, 하나의 서버에 여러 개의 클러스터가 존재 가능
Node
- ElasticSearch를 구성하는 하나의 단위 프로세스
Shard
- 데이터를 분산해서 저장하는 방법
- Sacle-Out을 위해 RDB의 Database에 해당하는 Index를 여러 Sahrd로 나눔
- 기본적으로 1개가 존재하고, 검색 성능 향상을 위해 클러스터의 Shard 개수를 조정
Replica
- 다른 형태의 Shard로 노드를 손실 했을 경우, 데이터 신뢰성을 위해 Shard 복제
- 서로 다른 노드에 위치시킬 것을 권장ㄱ

노드 종류

대규모 클러스터에서 로드 밸런싱 역할
데이터 변환 등 사전 처리 파이프라인 역할
색인된 데이터 CRUD 역할
메타 데이터 등 전체 클러스터를 제어하는 역할

Elasticsearch 특징

Scale out - Shard를 통해 규모가 수평적으로 늘어날 수 있습니다.
고가용성 - Replica를 통해 데이터의 안정성을 보장하고, 단일 장애점을 극복합니다.
Schema Free - Json 문서를 통해 데이터를 검색하므로, 스키마의 개념이 없습니다.
RESTful - CRUD 작업은 RESTful API를 통해 수행되며, 각각이 HTTP의 PUT/GET/POST/DELETE 메서드에 대응됩니다.

마무리

이번 시간에는 Elasitcsearch에 대해서 알아보겠습니다.
언젠가는 대규모 처리를 할 수 있는 날을 대비해 공부를 하였습니다.

다음시간에는 Spring Data Elasticsearch를 구현해보겠습니다.
감사합니다.

[참고]

1. Spring Data Elasticsearch 설정 및 검색 기능 구현

[Docker] 도커란 무엇인가?

lakelight — Thu, 26 Jan 2023 13:38:50 +0900

Docker 도커

도커는 컨테이너를 관리한다. (이미지 출처: [참고]1)

'컨테이너 기반의 오픈소스 가상화 플랫폼'

서버에서 컨테이너란, 다양한 프로그램, 실행환경을 컨테이너로 추상화하고,동일한 인터페이스를 제공하여 프로그램의 배포 및 관리를 단순하게 해줍니다.
백엔드 프로그램, 데이터베이스 서버, 메시지 큐등 어떠한 프로그램도 컨테이너로 추상화 할 수 있고,어떠한 환경에서도 실행할 수 있습니다.

TMI) 구글은 모든 서비스를 컨테이너로 동작시키고, 매주 20억 개의 컨테이너를 구동한다고 합니다.

Container 컨테이너

도커의 컨테이너 (이미지 출처: [참고]1)

'격리된 공간에서 프로세스가 동작하는 기술'

기존의 VMware, VirtualBox같은 가상머신은 Host OS위에 Guest OS 전체를 가상화하여 사용하는 방식을 이용하였습니다. 이 방식은 여러가지 OS를 가상화할 수 있고 사용법이 간단하지만, 무겁고 느려서 운영환경에서는 사용할 수 없었습니다.
이러한 상황을 개선하기 위해 CPU의 가상화 기술을 이용한 KVM(Kernel-based Virtual Machine)과 반가상화 방식이 등장하였습니다. 이 방식은 Guest OS가 필요하긴 하지만 전체 OS를 가상화하는 방식이 아니였기 때문에 성능이 향상되었습니다.
이러한 기술들은 OpenStack이나 AWS같은 클라우드 서비스에서 가상 컴퓨팅 기술의 기반이 되었습니다.

기존 방식과 Docker 방식 (이미지 출처: [참고]1)

가상화 방식에 상관없이 추가적인 OS를 설치하여 가상화하는 방법은 성능 문제가 있습니다.
이를 개선하기 위해 '프로세스 격리' 하는 방식이 등장합니다.

이 방식을 리눅스에서는 리눅스 컨테이너라고 하고 단순히 프로세스를 격리시키기 때문에 가볍고 빠르게 동작합니다.
CPU나 메모리는 딱 프로세스가 필요한 만큼만 추가로 사용하고 성능적으로도 손실이 거의 없습니다.
도커의 컨테이너도 이와같이 작동하는 것입니다.

하나의 서버에 여러개의 컨테이너를 실행하면 서로 영향을 미치지 않고 독립적으로 실행되어 마치 가벼운 VM을 사용하는 느낌을 줍니다. 또한 새로운 컨테이너를 만드는데 걸리는 시간은 1-2초로 가상머신과 비교도 안될 만큼 빠릅니다.

Image 이미지

도커의 이미지 (이미지 출처: [참고]1)

'컨테이너 실행에 필요한 파일과 설정값을 포함하고 있는 것'

이미지는 상태값을 가지지 않고 변하지 않습니다. 컨테이너는 이미지를 실행한 상태라고 볼 수 있고, 같은 이미지에서 여러 개의 컨테이너를 생성할 수 있고, 컨테이너의 상태가 바뀌거나 컨테이너가 삭제되더라도 이미지는 변하지 않고 남아있습니다.

이미지는 컨테이너를 실행하기 위한 모든 정보를 가지고 있기 때문에 이미지를 통해 컨테이너를 생성할 수 있습니다.
이미지는 Docker hub이나 Docker Registry 저장소에서 관리할 수 있고, 누구나 쉽게 만들고 배포할 수 있습니다.

도커는 이미지를 만들기 위해 Dockerfile이라는 파일에 자체 DSL(Domain-specific language)언어를 이용하여 이미지 생성 과정을 적습니다.

마무리

항상 공부해야지 생각만했던 도커를 알아보기 시작하였습니다.
이번 시간에는 도커, 컨테이너, 이미지에 대한 전반적인 개념을 알아보았습니다.

오늘 공부한 내용을 까먹지 않기 위해 블로그에 적으면서 공부를 했습니다.
확실히 읽기만 했을 때보다 글로 적으면서 하니까 머리속에 더 잘 기억됩니다.

다음에는 직접 도커를 설치해서 컨테이너를 만들어보고 이미지도 만들어서 배포까지 진행해보겠습니다.
포스팅 읽어주셔서 감사합니다.

[참고]

1. 초보를 위한 도커 안내서 - 도커란 무엇인가?

[Spring] Email 인증 시스템 구현

lakelight — Thu, 22 Dec 2022 10:37:28 +0900

간단한 Email 인증 시스템을 만들어보겠습니다.

동작 순서

사용자가 이메일을 입력
랜덤 코드를 생성
Email 전송 라이브러리를 이용하여 코드를 사용자 Email에 전송
사용자가 인증 코드를 입력하면 인증 성공 (시스템 내부에서 맞는지 체크)

Dependencies 추가 [참고로 스프링 3.0 기준입니다.]

dependencies {
    // 이메일 인증 관련 의존성
    implementation group: 'org.springframework.boot', name: 'spring-boot-starter-mail', version: '2.6.3'
    implementation group: 'com.sun.mail', name: 'jakarta.mail', version: '2.0.1'
    implementation group: 'com.sun.activation', name: 'jakarta.activation', version: '2.0.1'
    
    // html 렌더링을 위한 템플릿
    implementation 'org.springframework.boot:spring-boot-starter-thymeleaf'

}

디렉터리 구조

공통으로 사용하는 global 패키지 내부에 email 패키지를 생성하여 구현하였습니다.

이메일 인증에 사용할 이메일 설정

저는 구글 이메일을 이용해서 인증 시스템을 구현해보겠습니다.

구글 계정 설정 → 보안 → 2단계 인증을 사용으로 변경합니다.

앱 선택은 '메일'로 해주시고, 기기 선택은 'Windows 컴퓨터'로 하고 생성을 클릭합니다.

다음과 같이 16자리 비밀번호가 생성되었다면 16자리 비밀번호를 메모장에 저장해둡니다.

다음은 Gmail 앱 설정 탭에서 다음과 같이 설정해줍니다.

구현

application.properties

#Email Auth Setting
spring.mail.host=smtp.gmail.com #네이버로 할 시 변경 smtp.naver.com
spring.mail.port=587
spring.mail.username={사용자 Email}
spring.mail.password={발급받은 비밀번호 16자리}
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.auth=true

EmailService.java

import hooyn.base.global.exception.CustomException;
import hooyn.base.global.exception.ErrorCode;
import jakarta.mail.MessagingException;
import jakarta.mail.internet.MimeMessage;
import lombok.RequiredArgsConstructor;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.mail.javamail.JavaMailSender;
import org.springframework.scheduling.annotation.Async;
import org.springframework.stereotype.Service;
import org.thymeleaf.TemplateEngine;
import org.thymeleaf.context.Context;

import java.util.Random;

@Service
@RequiredArgsConstructor
public class EmailService {

    private final JavaMailSender emailSender;
    private final TemplateEngine templateEngine;

    //application.properties에서 사용자 Email 정보 가져오기
    @Value("${spring.mail.username}")
    private String from;

    //이메일 전송이 오래걸려서 비동기로 처리하기 위해 @Async 키워드를 사용하여 처리하였습니다.
    //다음과 같이 사용하기 위해서는 Application.class 에 @EnableAsync 을 추가해주어야 합니다.
    @Async
    public void sendAuthEmail(String email, String authCode) {
        try {
            MimeMessage emailForm = makeEmailForm(email, authCode);
            emailSender.send(emailForm);
        } catch (Exception e) {
            throw new CustomException(ErrorCode.BAD_REQUEST, e.getMessage());
        }
    }

    //이메일 인증을 위해 사용자에게 보낼 이메일 폼을 생성합니다.
    private MimeMessage makeEmailForm(String email, String authCode) throws MessagingException {
        MimeMessage message = emailSender.createMimeMessage();

        message.addRecipients(MimeMessage.RecipientType.TO, email); //보낼 사람 설정
        message.setSubject("LakeLight 회원가입 이메일 인증"); //이메일 제목
        message.setFrom(from); //보내는 사람 설정
        message.setContent(setContext(authCode), "text/html;charset=euc-kr"); //setContext를 통해 html을 만들고 전송

        return message;
    }

    //HTML 제작하고 인증 코드도 HTML에서 보여줄 수 있도록 전달
    private String setContext(String authCode) {
        Context context = new Context();
        context.setVariable("code", authCode);
        return templateEngine.process("email", context);
    }

    //인증 코드 제작하는 코드
    //비동기 처리를 위해 public으로 하고 Controller 부분에서 파라미터로 전달
    public String makeAuthCode() {
        Random random = new Random();
        StringBuffer key = new StringBuffer();

        for (int i = 0; i < 8; i++) {
            int index = random.nextInt(3);

            switch (index) {
                case 0 -> key.append((char) (random.nextInt(26) + 97));
                case 1 -> key.append((char) (random.nextInt(26) + 65));
                case 2 -> key.append(random.nextInt(9));
            }
        }
        return key.toString();
    }
}

EmailContorller.java

import hooyn.base.global.response.ResponseWrapper;
import jakarta.servlet.http.HttpServletRequest;
import lombok.RequiredArgsConstructor;
import org.springframework.http.HttpStatus;
import org.springframework.http.ResponseEntity;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.List;

@RestController
@RequiredArgsConstructor
@RequestMapping("/api/email/auth")
public class EmailController {

    private final HttpServletRequest request;
    private final EmailService emailService;

    @PostMapping("")
    public ResponseEntity<?> confirmEmailAuth(@RequestBody ConfirmEmailAuthRequestDto dto) {

        //빠른 응답을 하고 로직은 비동기처리를 하기 위해 인증 코드를 생성하고,
        String authCode = emailService.makeAuthCode();
        //비동기로 처리하기 위해 인증 코드를 전달한다.
        emailService.sendAuthEmail(dto.getEmail(), authCode);

        return new ResponseEntity<>(new ResponseWrapper(request, HttpStatus.OK,
                true, "이메일이 성공적으로 전송되었습니다.", "AuthCode: [" + authCode + "]" ), HttpStatus.OK);
    }
}

ConfirmEmailAuthRequestDto.java

import lombok.Getter;

@Getter
public class ConfirmEmailAuthRequestDto {

    private String email;
}

index.html 위치와 코드

<!DOCTYPE html>
<html xmlns:th="http://www.thymeleaf.org">
<body>
<div style="margin:100px;">
  <h1> 안녕하세요.</h1>
  <h1> LakeLight Company 입니다.</h1>
  <br>
  <p> 아래 코드를 회원가입 창으로 돌아가 입력해주세요.</p>
  <br>

  <div style="font-family:verdana;">
    <h3 style="color:blue"> 회원가입 인증 코드 입니다. </h3>
    <div>
      <div th:text="${code}"></div>
    </div>
  </div>
  <br/>
</div>


</body>
</html>

Postman으로 API 호출 후 결과 화면

비동기로 처리하기 때문에 355ms 만 걸리는 것을 확인할 수 있습니다. 비동기로 처리하기 전에는 로컬 PC 기준 3초가 걸렸는데, 비동기로 처리하고 355ms 로 줄어들었습니다.

파라미터로 넘긴 email로 Email 온 화면

마무리

오늘은 늘 생각만으로 하던 이메일 인증에 대해서 구현해보았습니다.

라이브러리로 잘 구현되어 있어서
생각했던 것보다는 어려운 점이 없었던 것 같습니다.

다음 프로젝트를 할 때는 간단한게 적용해서 사용할 수 있을 것 같습니다.

또한 프로젝트에서 사용자에게 이메일을 보내야할 때 빠르게 구현할 수 있을 것 같습니다.

[참고]

1. Spring을 이용한 이메일 인증

2. [Spring] @Async 사용 방법

[Effective Java] null이 아닌, 빈 컬렉션이나 배열을 반환하라

lakelight — Thu, 22 Dec 2022 08:08:00 +0900

null을 반환하는 코드는 클라이언트가
null 상황을 처리하는 코드를 추가하도록 한다.

컬렉션이나 배열 같은 컨테이너가 비었을 때
null을 반환하는 메서드를 사용할 때면 방어 코드를 추가해야 한다.

빈 컬렉션을 반환하는 코드

public List<Object> getList() {
	return object.isEmpty() ? Collections.emptyList() : new ArrayList<>(object);
}

길이가 0일 수도 있는 배열을 반환하는 코드

private static final Object[] EMPTY_OBJECT_ARRAY = new Object[0];

public Object[] getObjects() {
	return object.toArray(EMPTY_OBJECT_ARRAY);
}

마무리

null을 반환하는 API는 사용하기 어렵고 오류 처리 코드도 증가합니다.
성능이 좋은 것도 아니기 때문에 null을 반환하지 않는 것이 좋은 방법 입니다.

[출처]

이펙티브 자바 Effective Java 3/E - 조슈아 블로크 저/ 개앞맵시 역

[Java] Lock - ReentrantLock

lakelight — Thu, 8 Dec 2022 17:52:31 +0900

Lock

멀티스레드, 동시성 프로그래밍에서 가장 중요한 개념은 Thread와 Lock입니다.

하나의 자원에 대해 여러 Thread가 동시에 접근하는 것을 도와주는 도구입니다.
Synchronized, 동기화하거나, 아니면 접근 자체를 직렬화한다고 표현합니다.
멀티스레드 환경에서 여러 Thread가 Heap 메모리에 있는 객체나 자원을 접근할 때 동기화를 통해 접근을 통제해야 합니다.
Lock을 통해서 공유 자원을 한 Thread만 접근할 수 있도록 통제할 수 있습니다.

Lock 기능

특정 조건에 다라 지정한 수의 Thread만 자원에 접근하게 할 수 있습니다.
접근을 못한 Thread들은 줄을 세워, 대기하게 하고 들어갈 수 있을 때 다시 동작하게 할 수 있습니다.
→ 대기 상태의 Thread는 Sleep 상태라고 하며, 다시 동작하게 하는 것은 notify() 를 통해서 합니다.

Lock 종류

암묵적 Lock : synchronized

블럭이나 메서드 단위로 synchronized로 감싸서 Lock을 겁니다.
어느 부분이 Lock 상태인지 명확하지 않아서 암묵적인 Lock이라고 합니다.

Thread 간의 Lock을 획득하는 순서를 보장해주지 않습니다. (unFair)
1개의 Thread만 공유 자원에 접근할 수 있습니다.

명시적 Lock : ReentrantLock

다중 스레드가 공유하는 주요 컬렉션 대신 완전히 독립적인 Lock을 채택하여 구현하는 Lock 입니다.

Thread 간의 Lock을 획득하는 순서를 보장할 수도 있고, 보장하지 않을 수도 있습니다. (Fair, unFair)
Lock을 획득하려는 스레드의 개수가 4개 이상일 때 사용하면 좋습니다.
여러개의 Thread가 공유 자원에 접근할 수 있습니다.

ReentrantLock Code

private ResponseWrapper Function(Command command){

    this.lock.lock();

    //Logic();
    
    try {
        //Logic();
    } catch (Exception e) {
        //Logic();
    } finally {
        this.lock.unlock();
    }
}

위에 코드와 같이 필요한 부분에 Lock을 걸어주어 공유자원에 대해 스레드 접근을 통제할 수 있습니다.

[참고]

1. Lock & ReentrantLock

[Architecture] MSA : MicroService Architecture

lakelight — Thu, 8 Dec 2022 14:30:15 +0900

요즘 개발하면서 MSA를 정말 많이 보고 듣게 되어,
개념에 대해 정리해보고자 글을 쓰게 되었습니다.

제가 현재 하고 있는 프로젝트는 규모가 크지않아서 MSA를 적용하는 것에 대해서
고민을 한 결과 적용을 안하는 것이 더 좋다고 판단하였습니다.

하지만 다음 기회에 규모가 큰 프로젝트를 할 때 MSA를 적용해보면 좋을 것 같습니다.

Monolithic Architecture VS MicroService Architecture

Monolithic Architecture

소프트웨어의 모든 구성요소가 한 프로젝트에 통합되어 있는 형태입니다. 웹 개발을 예로 들면 웹 프로그램을 개발하기 위해 모듈별로 개발을 하고, 개발이 완료된 웹 어플리케이션을 하나의 결과물로 패키징하여 배포하는 형태를 말합니다. 웹의 경우에는 WAR 파일로 빌드외어 WAS에 배포하는 형태를 말합니다. 주로 소규모 프로젝트에서 사용합니다.

부분적인 모듈의 장애가 전체 서비스의 장애로 확대될 수 있습니다.
각각 모듈의 서비스 변경이 어렵고, 수정 시 장애의 영향도 파악이 어렵습니다.
배포 시간이 오래 걸립니다.
한 Framework와 언어에 종속적입니다.

MSA : MicroService Architecture

API를 통해서 상호작용하며, 서비스의 접근점을 API 형태로 외부에 노출하고, 실질적인 세부 사항은 모두 추상화합니다. 내부의 구현 로직, 아키텍처와 프로그래밍 언어, 데이터베이스, 품질 유지 체계와 같은 기술적인 사항들은 서비스 API에 의해 철저하게 가려집니다.

하나의 비즈니스 범위에 맞춰 만들어지므로 하나의 기능만 수행합니다. 즉, 어플리케이션 출시처럼 하나의 목표를 향해 일하지만, 자기가 개발하는 서비스만 책임을 집니다. 추가로, 재활용이 가능하다는 장점이 있습니다.
어플리케이션은 항상 기술 중립적 프로토콜을 사용해 통신하므로 서비스 구현 기술과는 무관합니다. 따라서 마이크로서비스 기반의 어플리케이션을 다양한 언어와 기술로 구축할 수 있습니다.
마이크로서비스는 SOA에서 사용되는 집중화된 관리 체계를 사용하지 않습니다. 마이크로서비스 구현체의 공통적인 특징 중 하나는 ESB와 같은 무거운 제품에 의존하지 않는다는 점입니다. REST 등 가벼운 통신 아키텍처 또는 kafka 등을 이용한 message stream을 주로 사용합니다.

MSA의 장점

서비스는 각각 모듈화 되어 있어, 이러한 모듈끼리는 RPC 또는 message-driven API 등을 이용하여 통신합니다.
서비스 단위로 적절한 수준에서 기술 스택을 다르게 할 수 있습니다. 회사가 Java의 Spring 기반이라도 MSA를 적용하면 node.js를 이용한 모듈을 연동할 수 있습니다.
서비스 별로 독립적인 배포가 가능합니다. 따라서 CI&CD도 가볍게 할 수 있습니다.
각각의 서비스의 부하에 따라 개별적으로 Scale-Out이 가능합니다. 메모리, CPU 등 상당 부분 이득입니다.

MSA의 단점

구조가 복잡합니다. 서비스가 모두 분산되어 있기 때문에 개발자는 내부 시스템의 통신을 어떻게 가져가야 할지 정해야 합니다. 또한, 통신 장애와 서버 부하 등이 있을 경우 어떻게 transaction을 유지할지 결정하고 구현해야 합니다.
비즈니스에 대한 DB를 가지고 있는 서비스도 각기 다르고, 서비스 연결을 위해서는 통신이 포함되어야 하기 때문에 트랜잭션 유지에 대한 고민이 필요합니다.
→ 보상 트랜잭션 또는 부분적으로 composite 서비스로 병합을 고려해야 합니다.
통합 테스트가 어렵습니다. 개발 환경과 실제 운영환경을 동일하게 가져가는 것은 쉽지 않습니다.
→ 서비스 레지스트리, 모니터링, 개발/ 배포 자동화 기술을 고려해야 합니다.
서비스 1개를 재배포 한다고 할 때, 다른 서비스들과 연계가 정상적으로 이루어지는지 테스트 해야 합니다.
→ 관련 개발 조직 간 roll-out 계획을 마련하고, dependency의 관리 체계를 수립해야 합니다.

Microservice Architecture 구성도

이미지 출처: https://wonit.tistory.com/490

Service Mesh 구성도

이미지 출처: https://wonit.tistory.com/490

만약 다른 언어와 다른 프레임워크로 작동한다면 Sidecar Pattern을 이용하여, 다른 플랫폼 언어로 작성된 서버에 사용할 수 있습니다.

마무리

아직 모르는 부분이 많다는 것을 느꼈습니다.
MSA를 구축하고, Spring Cloud Gateway를 통해 연결하고,
kafka를 통해 sync를 맞춰주는 작업들

하나하나 배워나가겠습니다.

오늘도 포스팅 읽어주셔서 감사합니다.

[참고]

1. [MSA] MSA란 무엇인가? 개념 이해하기

2. [마이크로서비스] MSA의 핵심 구성 요소 - Service Mesh

3. 모놀리식 아키텍처 vs 마이크로서비스

[Connect Plc to Server] N + 1 Problem 해결 사례

lakelight — Wed, 7 Dec 2022 14:11:29 +0900

날짜 별 로그 작업을 하던 중 로그를 확인 해보니, 한번의 API에서 회원 수 만큼
Query가 발생하고 있었습니다. 흔히 알고 있는 N+1 문제로 인식하고 해결을 하였습니다.

Query Log

INFO  22-12-07 13:48:39[http-nio-8080-exec-3] [sqltiming:373] - select account0_.id as id1_0_, account0_.account_roles as account_5_0_, account0_.user_id as 
user_id2_0_, account0_.user_name as user_nam3_0_, account0_.user_pw as user_pw4_0_ from account 
account0_ 
 {executed in 1 msec}
INFO  22-12-07 13:48:39[http-nio-8080-exec-3] [sqltiming:373] - select accountrol0_.id as id1_1_0_, accountrol0_.authority as authorit2_1_0_, accountrol0_.normal 
as normal3_1_0_, accountrol0_.vip as vip4_1_0_ from account_roles accountrol0_ where accountrol0_.id=1 
 {executed in 1 msec}
INFO  22-12-07 13:48:39[http-nio-8080-exec-3] [sqltiming:373] - select accountrol0_.id as id1_1_0_, accountrol0_.authority as authorit2_1_0_, accountrol0_.normal 
as normal3_1_0_, accountrol0_.vip as vip4_1_0_ from account_roles accountrol0_ where accountrol0_.id=2 
 {executed in 1 msec}
INFO  22-12-07 13:48:39[http-nio-8080-exec-3] [sqltiming:373] - select accountrol0_.id as id1_1_0_, accountrol0_.authority as authorit2_1_0_, accountrol0_.normal 
as normal3_1_0_, accountrol0_.vip as vip4_1_0_ from account_roles accountrol0_ where accountrol0_.id=3 
 {executed in 0 msec}
INFO  22-12-07 13:48:39[http-nio-8080-exec-3] [sqltiming:373] - select accountrol0_.id as id1_1_0_, accountrol0_.authority as authorit2_1_0_, accountrol0_.normal 
as normal3_1_0_, accountrol0_.vip as vip4_1_0_ from account_roles accountrol0_ where accountrol0_.id=4 
 {executed in 1 msec}
INFO  22-12-07 13:48:39[http-nio-8080-exec-3] [LogUtil:70] - 
[REQUEST] GET - /api/account/list 200 - 0.016
ClientIP : 0:0:0:0:0:0:0:1
RequestBody :  [] 
Response : {
  "timestamp" : "2022-12-07 13:48",
  "path" : "/api/account/list [GET]",
  "status" : "OK",
  "code" : 200,
  "isSuccess" : true,
  "message" : "전체 회원 목록이 조회되었습니다.",
  "responseData" : [ {} ]
}

API는 전체 회원을 조회하는 기능으로, Response에서 Entity를 그대로 반환하고 있었습니다. 항상 이러한 문제가 발생할 수 있기 때문에 DTO를 통해 반환하는 것을 알고 있었으나, 무슨 이유에서인지 Entity를 그대로 반환하고 있었습니다. 그래서 빠르게 수정을 하였습니다.

오류 해결

Query가 발생하고 있던 accountRoles 부분에 LAZY 전략을 적용하였습니다.
LAZY: 지연 로딩으로 Proxy객체로 가지고 있다가, accountRoles에 접근을 했을 때 Query를 실행하여 데이터를 가져옵니다.

@OneToOne(optional = false, cascade = CascadeType.ALL, fetch = FetchType.LAZY)
@JoinColumn(name = "accountRoles")
private AccountRoles accountRoles;

그리고 다음과 같은 DTO를 생성하여 Return 해주는 코드로 변경하였습니다.

ListAccountResponseDto.class

@Getter
@NoArgsConstructor(access = AccessLevel.PROTECTED)
public static class ListAccountResponseDto {
    private Long id;
    private String userId;
    private String userName;

    @Builder
    public ListAccountResponseDto(Long id, String userId, String userName) {
        this.id = id;
        this.userId = userId;
        this.userName = userName;
    }
}

AccountService.class

@Slf4j
@Service
@RequiredArgsConstructor
public class AccountService {
    public List<ListAccountResponseDto> listAccount() {
        List<ListAccountResponseDto> response = new ArrayList<>();

        List<Account> accounts = accountRepository.findAll();
        for (Account account : accounts)
            response.add(buildListAccountResponseDto(account));

        return response;
    }

    private static ListAccountResponseDto buildListAccountResponseDto(Account account) {
        return ListAccountResponseDto.builder().id(account.getId()).userId(account.getUserId()).userName(account.getUserName()).build();
    }
}

결과 화면

INFO  22-12-07 13:56:33[http-nio-8080-exec-2] [sqltiming:373] - select account0_.id as id1_0_, account0_.account_roles as account_5_0_, account0_.user_id as 
user_id2_0_, account0_.user_name as user_nam3_0_, account0_.user_pw as user_pw4_0_ from account 
account0_ 
 {executed in 1 msec}

Query가 다음과 같이 수정되었습니다. 현재는 회원 수가 많지 않아서 괜찮지만 몇백만명이 됬었다면 성능 이슈가 발생했을 것입니다.

마무리

다음과 같은 실수는 다시는 없어야 할 것입니다.
지금은 배포전이라서 사용자가 없지만,
사용자가 있었다면 이는 바로 성능 문제로 이어졌을 것입니다.

다음에는 이런 실수를 하지 않도록 코딩을 할 것입니다.

[Miscellaneous] ngrok 이용한 Localj 개발 환경 접근

lakelight — Wed, 7 Dec 2022 08:55:59 +0900

카페 또는 집에서 업무 중 개발 중인 Spring 서버에 접근하도록 해줘야 할 때,
로컬에서 개발중인 웹서버, WAS서버를 외부에 있는 사람에게 접근하게 해줘야 할 때,

Ngrok를 이용해 외부에서 로컬 개발 환경 localhost로 접근할 수 있도록 할 수 있습니다.

Download ngrok

ngrok - download

Install ngrok via Homebrew $ brew install ngrok/ngrok/ngrok Download ZIP file Intel (AMD64) Apple Silicon (ARM64) Then unzip ngrok from the terminal $ Install ngrok via Chocolatey $ choco install ngrok Download ZIP file Windows (64-bit) Windows (32-bit) Do

ngrok.com

ngrok

ngrok는 NAT 및 방화벽 뒤에 있는 로컬 서버를 보안 터널을 통해 공용 인터넷에 접속하는 방법을 제공합니다. ngrok 사이트에는 Secure tunnels to localhost라고 명시되어 있고 간단하게 방화벽을 넘어, 외부에서 로컬에 접근할 수 있도록 하는 터널을 구성해주는 프로그램입니다.

만약 통신을 할 수 있는 API를 개발했을 때 API에 접근할 수 있는 서버가 필요합니다. 개발에 사용하는 PC는 외부에서 접속 가능한 상용 서버가 아니기 때문에 도메인을 구매하거나, AWS를 이용한 서버 호스팅을 이용해야 합니다.

하지만 ngrok를 이용하면 외부에서 로컬 PC로 접근을 가능하도록 하여, 외부에서 PC에 접근을 할 수 있도록 합니다.

ngrok 실행

다운로드 한 zip 압축해제 후 ngrok.exe 실행한 화면

ngrok http 8080 #nginx 실행

ngrok 실행된 화면

https://0da2-14-47-96-237.jp.ngrok.io를 통해 외부에서 로컬 환경으로 접근할 수 있습니다. 만약 집에서 개발을 하고 있는데, 서버를 열어야 할 때 이 방법을 사용하면 편리할 것 같습니다. 포트 포워딩은 카페 같은 곳에서는 할 수 없기 때문에 이 방법을 사용하면 어디서든 서버를 배포하는 효과를 볼 수 있을 것입니다.

Session Expires

ngrok는 무료 사용자에게 2시간의 세션 시간을 제공합니다. 2시간 후에는 Forwarding URL이 변경되기 때문에 불편한 점이 있을 수 있습니다. 이는 간단한 방법으로 해제할 수 있습니다.

ngrok - Online in One Line

Zero Trust Add SSO, Mutual TLS, IP Policy, and webhook signature verification.

ngrok.com

해당 ngrok 메인 홈페이지에 들어가서 로그인을 합니다.

왼쪽 메뉴에 Your Authtoken을 클릭하여 다음과 같은 화면이 나오도록 합니다. 그리고 Command Line에 있는 명령어를 ngrok.exe를 실행한 후 입력하면 설정파일에 authtoken이 등록되어 무제한으로 이용할 수 있습니다.

Authtoken이 저장된 위치가 나오며 등록이 된 것을 알 수 있습니다.

다시 ngrok http 8080을 입력하면 Session Expires가 사라진 것을 확인할 수 있습니다.

마무리

ngrok는 방화벽을 우회하여 로컬 PC로 접근을 해주는 만큼 보안에 취약할 것입니다.
때문에 기업에서 사용하기에는 무리가 있어 보이고, 개인적으로 테스트할 때 사용하면,
포트포워딩을 하는 방법 보다 더 편리하고 유연하게 사용할 수 있을 것입니다.

[Jenkins] Git Push 시 Jenkins 자동빌드

lakelight — Tue, 6 Dec 2022 16:00:55 +0900

[Jenkins] Jenkins - Git 연동

이번에는 Github와 Jenkins를 연동해보겠습니다. Github를 설치한 상황이라고 가정하고 시작하겠습니다. Dashboard > Jenkins 관리 > Global Tool Configuration 에 들어갑니다. Git 정보를 입력합니다. > 입력 후 맨

lakelight.tistory.com

이전 포스팅에 이어서 Git에서 Push 했을 때 자동으로 빌드파일을
만들도록 스크립트를 수정하였습니다.

Jenkins 자동 빌드 솔루션

원래 기존 Pipeline Script 코드입니다.

pipeline{
    agent any
    stages{
        stage('Checkout'){
            steps{
                git branch: 'master',
                credentialsId: 'github_access_token',
                url: 'https://github.com/hooyn/GraftingProj.git'
            }
        }
    }
}

자동으로 빌드하도록 아래와 같은 코드를 추가하였습니다.

pipeline{
    agent any
    stages{
        stage('Checkout'){
            steps{
                git branch: 'master',
                credentialsId: 'github_access_token',
                url: 'https://github.com/hooyn/GraftingProj.git'
            }
        }
        
        stage('Build') {
            steps {
                bat "./gradlew clean build"
            }
        }
    }
}

오류 해결

지속적으로 아래와 같은 오류가 발생하였습니다.

java.io.IOException: CreateProcess error=2, 지정된 파일을 찾을 수 없습니다

기존 코드는 아래와 같았습니다.

pipeline{
    agent any
    stages{
        stage('Checkout'){
            steps{
                git branch: 'master',
                credentialsId: 'github_access_token',
                url: 'https://github.com/hooyn/GraftingProj.git'
            }
        }
        
        stage('Build') {
            steps {
                sh "./gradlew clean build" #-> bat "./gradlew clean build"
            }
        }
    }
}

Build 부분에 sh를 통해서 명령을 입력했으나, sh를 bat으로 변경하였더니 오류를 해결할 수 있었습니다.

결과: Windows에서 sh를 사용할 수 없다고 합니다.

sh는 Windows에서 지원하지 않아 bat을 사용하거나 설치해야 합니다. [자세한 내용]

빌드 파일 생성 위치

Dashboard > Jenkins 관리 > Configure System(시스템 설정)에서 홈 디렉터리를 보시면 확인할 수 있습니다. (변경가능)

{홈 디렉터리}/workspace/jenkins-project-name/build/libs 에 보시면 .jar 파일이 생성된 것을 확인할 수 있습니다.

**Windows 탐색기를 통해서 확인하실 때는 보기 옵션에서 숨긴 항목 표시를 체크 해주시면 됩니다.**

이제는 자동으로 빌드 파일도 생성했으니, 자동 배포까지 해보겠습니다.
감사합니다.

[Jenkins] Jenkins - Git 연동

lakelight — Tue, 6 Dec 2022 11:47:28 +0900

[Jenkins] Jenkins 설치 - Windows

젠킨스 젠킨스는 소프트웨어 개발 시 지속적 통합 서비스를 제공하는 툴입니다. 다수의 개발자들이 하나의 프로그램을 개발할 때 버전 충돌을 방지하기 위해 각자 작업한 내용을 공유 영역에

lakelight.tistory.com

이번에는 Github와 Jenkins를 연동해보겠습니다.
Github를 설치한 상황이라고 가정하고 시작하겠습니다.

Dashboard > Jenkins 관리 > Global Tool Configuration 에 들어갑니다.

Git 정보를 입력합니다. > 입력 후 맨 아래 Save를 눌러서 저장합니다.

다음은 Github에 로그인을 합니다.

Setting > Developer settings(메뉴 맨 아래) > Personal access tokens > Tokens(classic) > Generate new token > New Personal access token (classic)

Select scopes는 모두 체크해주었고, 기한은 적당하게 설정하여 토큰을 생성하였습니다.

Github Webhook 등록

Settings > Webhooks > Add webhook

Payload URL은 아래 링크를 통해 ngrok URL을 받아서 뒤에 /github-webhook/을 붙입니다. 외부 IP에서 접속할 수 있어야 하기 때문에 포트포워딩 해주는 ngrok를 이용하였습니다.

테스트를 위한 ngrok URL 받기

이제 생성된 토큰을 Jenkins에 등록해보겠습니다.

Dashboard > Jenkins 관리 > Manage Credentials > (global) > Add Credentials > Create

Jenkins Pipeline 프로젝트 생성합니다.

New Item > Create a job

파이프라인을 생성합니다. Pipeline을 선택하고 OK

저장 후 빌드를 해보았습니다.

branch 이름이 main으로 되어있어서 처음 시도는 실패하였고, master로 수정하여 성공하였습니다.

[참고]

1. 젠킨스 Github Webhooks 연동