💡 How To? Terraform Locust로 부하 테스트 진행하기

Terraform을 더 잘 쓰는 방법보다는, 테스트 환경 구축의 불편함을 해결하려는 수단으로 사용했습니다~

Terraform 개발 환경 세팅

설치

brew tap hashicorp/tap
brew install hashicorp/tap/terraform

설치 확인

terraform version

autocomplete 세팅

terraform -install-autocomplete

간단 예제

main.tf

provider "aws" {
  region = "ap-northeast-2"  # 리전을 ap-northeast-2로 설정
}

resource "aws_instance" "terrafor-example-miiiinju" {
  ami                    = "ami-056a29f2eddc40520"  # 지정된 AMI ID
  instance_type          = "t3.micro"  # 지정된 인스턴스 타입
  key_name               = "team5_guys_pub"  # 지정된 키 페어 이름
  subnet_id              = "subnet-ac32f2f3"  # default subnet
  vpc_security_group_ids = ["sg-0946e533330930594"]  # 사용할 보안 그룹의 ID

  tags = {
    Name = "miiiinju-terraform"
  }

  root_block_device {
    delete_on_termination = true  # 인스턴스 종료 시 EBS 볼륨 삭제
  }

  credit_specification {
    cpu_credits = "standard"
  }

  enable_monitoring = false
}

디렉터리 초기화

terraform init

Terraform 실행 계획 확인

terraform plan

실행

terraform apply

---

Terraform + Locust로 부하 테스트 진행하기

Locust란?

분산 모드를 지원하는 Python 기반의 부하 테스트 오픈소스

Python 시나리오를 통해 간단하게 테스트를 수행할 수 있음

시나리오 예시

from locust import HttpUser, TaskSet, task, between

class UserBehavior(TaskSet):
    
    @task(1)
    def index(self):
        self.client.get("/")

    @task(2)
    def about(self):
        self.client.get("/about")

class WebsiteUser(HttpUser):
    tasks = [UserBehavior]
    wait_time = between(5, 15)

UserBehavior : 사용자가 수행할 작업을 정의

@task : 작업의 우선순위를 지정할 수 있습니다. 위의 예시에서는, about 메서드가 index 메서드보다 두 배 더 자주 실행되도록 설정됨

이를 바탕으로 부하테스트에서 사용할 스크립트를 만들었습니다.

import random
import string
from datetime import datetime, timedelta
from locust import HttpUser, task

class MyUser(HttpUser):

    @task
    def send_post_request(self):
        # HTTP 헤더 설정
        headers = {
            "App-Key": "f1607246-611e-4532-a08b-6023be328739",
            "Content-Type": "application/json"
        }

        # 로그 레벨 설정
        log_levels = ["info", "error", "debug", "warn", "trace"]

        # 랜덤 문자열 생성 함수
        def random_string(length=10):
            letters = string.ascii_letters + string.digits
            return ''.join(random.choice(letters) for _ in range(length))

        # 랜덤 타임스탬프 생성 함수
        def random_timestamp():
            start_time = datetime(2023, 1, 1)  # 임의의 시작 날짜
            end_time = datetime.now()
            random_time = start_time + (end_time - start_time) * random.random()
            return random_time.isoformat()

        # 전송할 데이터 설정 (100개의 로그 항목)
        payload = []
        for _ in range(100):
            log_entry = {
                "level": random.choice(log_levels),
                "data": random_string(100),  # 100자리 랜덤 문자열
                "timestamp": random_timestamp()
            }
            payload.append(log_entry)

        # POST 요청 보내기
        with self.client.post("/logs", json=payload, headers=headers, catch_response=True) as response:
            if response.status_code == 201:
                response.success()
            else:
                response.failure(f"Failed with status code {response.status_code}")

로그를 작성하는 API 포맷에 맞게 요청을 보내는 Python코드를 작성했으며, 로그레벨은 임의로 랜덤하게 고르도록 만들었습니다.

---

커스텀 AMI를 만들어야하는 이유

• 항상 EC2를 켜둔 상태로 사용하는 것이 아닌, 필요할 때 잠깐 terraform으로 인스턴스를 켜서 부하 테스트를 수행한 이후, 종료하는 기능이 필요합니다.
• 따라서 EC2를 매번 켜서 환경 설정을 수행하기에는 시간 부담이 크므로, 미리 세팅해서 커스텀 AMI를 만들어둔 뒤 이를 통해 EC2 인스턴스를 만들었습니다.

-> 갑자기 사용할 일이 생겼을 때에도 EC2 인스턴스를 새로 만들더라도 기존의 세팅 작업이 미리 다 돼있으므로 시간을 절약할 수 있습니다.

기본 세팅 완료하기

• EC2를 기본 ubuntu 이미지를 통해 직접 만든 후, Locust 구동에 필요한 python, locust 설치 등의 작업을 수행했습니다.

aws-cli로 ami만들기

aws ec2 create-image \
    --instance-id {인스턴스-ID} \
    --name "locust-ami" \
    --no-reboot

AMI를 사용하여 EC2 생성

resource "aws_instance" "locust_master" {
  ami = "ami-046fdc13144b0da31"  # 직접 만든 AMI
  instance_type = "t3.small"

Locust Master 생성하기

Locust EC2 인스턴스에서 사용할 Security Group 생성 코드

# Security Group for Locust Master and Workers
resource "aws_security_group" "locust_sg" {
  name        = "locust_cluster_sg"
  description = "Security group for Locust master and workers"
  vpc_id      = "vpc-3106975a"  # VPC ID

  ingress {
    description = "Allow HTTP Web UI"
    from_port   = 8089
    to_port     = 8089
    protocol    = "tcp"
    cidr_blocks = ["0.0.0.0/0"]
  }

  ingress {
    description = "Allow Locust Worker to Master communication"
    from_port   = 5557
    to_port     = 5558
    protocol    = "tcp"
    cidr_blocks = ["0.0.0.0/0"]
  }

  ingress {
    description = "Allow SSH"
    from_port   = 22
    to_port     = 22
    protocol    = "tcp"
    cidr_blocks = ["0.0.0.0/0"]
  }

  egress {
    from_port   = 0
    to_port     = 0
    protocol    = "-1"
    cidr_blocks = ["0.0.0.0/0"]
  }

  tags = {
    Name = "team5_locust_security_group"
  }
}

8089번 포트: Locust Web UI에 접근하기 위해 열려 있어야 함. 이 포트를 통해 테스트 결과를 실시간으로 모니터링할 수 있음.

5557-5558번 포트: Locust Worker와 Master 간의 통신을 위해 필요. 이 포트를 통해 워커가 마스터에게 테스트 데이터를 전송할 수 있음.

Security Group을 추가하여 EC2 생성하기

# Locust Master Instance
resource "aws_instance" "locust_master" {
  ami = "ami-046fdc13144b0da31"  # 직접 만든 AMI
  instance_type = "t3.small"
  key_name = "team5_guys_pub"
  subnet_id = "subnet-ac32f2f3"
  vpc_security_group_ids = [aws_security_group.locust_sg.id]


  tags = {
    Name = "team5_locust_master"
  }

위와 같이 vpc_security_group_ids를 통해 위에서 만든 security group을 직접 참조할 수 있음

EC2 생성 후, Locust 실행 스크립트 추가하기

  user_data = <<-EOF
              #!/bin/bash
              exec > >(tee /var/log/user-data.log|logger -t user-data -s 2>/dev/console) 2>&1
              echo "Starting Locust Master setup"

              # Decode and create locustfile.py
              echo "${local.locustfile_content}" | base64 --decode > /home/ubuntu/locustfile.py

              # Ensure locustfile.py is owned by ubuntu user
              chown ubuntu:ubuntu /home/ubuntu/locustfile.py
              chmod 644 /home/ubuntu/locustfile.py

              # Create log file for Locust master and ensure ownership
              touch /home/ubuntu/locust_master.log
              chown ubuntu:ubuntu /home/ubuntu/locust_master.log

              # Install Locust if not already installed
              if ! command -v locust &> /dev/null; then
                  apt update
                  apt install -y python3-pip
                  pip3 install locust
              fi

              # Start Locust Master as ubuntu user
              su - ubuntu -c "nohup locust -f /home/ubuntu/locustfile.py --master --master-bind-port=5557 --web-port=8089 > /home/ubuntu/locust_master.log 2>&1 &"
              EOF
}

User Data 스크립트는 인스턴스가 시작될 때 자동으로 실행되는 스크립트를 정의할 수 있는 스크립트입니다.

exec > >(tee /var/log/user-data.log|logger -t user-data -s 2>/dev/console) 2>&1)

User Data 스크립트의 출력을 /var/log/user-data.log에 기록하게 하는 스크립트

echo "${local.locustfile_content}" | base64 --decode > /home/ubuntu/locustfile.py

위는 locustfile 내용을 locustfile.py로 직접 쓰는 역할을 하는데, "가 사라지는 현상이 있어 base64로 인코딩 이후 decoding하여 저장하게 만들었습니다.

# Ensure locustfile.py is owned by ubuntu user
chown ubuntu:ubuntu /home/ubuntu/locustfile.py
chmod 644 /home/ubuntu/locustfile.py

# Create log file for Locust master and ensure ownership
touch /home/ubuntu/locust_master.log
chown ubuntu:ubuntu /home/ubuntu/locust_master.log

user_data가 root권한으로 실행되기 때문에 이를 사용자 권한으로도 실행할 수 있게 하기위해 chown을 수행해줬습니다.

su - ubuntu -c "nohup locust -f /home/ubuntu/locustfile.py --master --master-bind-port=5557 --web-port=8089 > /home/ubuntu/locust_master.log 2>&1 &"

현재 사용자를 ubuntu 사용자로 전환한 후, 따옴표 안에 있는 명령을 실행하게 만들었습니다. 기본적으로 User Data 스크립트는 root 권한으로 실행되지만, Locust는 일반 사용자 권한으로 실행하는 것이 일반적이므로 su를 사용해 ubuntu 사용자로 전환했습니다.

• nohup을 통해 해당 프로세스가 SIGHUP을 무시하도록 하여 쉘이 종료되더라도 systemd의 자식으로 실행될 수 있도록 만들었습니다.

---

Locust Worker 생성하기

다른 부분은 거의 동일하고, Worker에서는 Master가 준비될 때까지 기다리는 스크립트를 추가했습니다.

# Wait for Locust Master to be ready
MASTER_IP="${aws_instance.locust_master.private_ip}"
MAX_RETRIES=24
RETRY_COUNT=0
SLEEP_INTERVAL=5

while ! nc -z $MASTER_IP 5557; do
    RETRY_COUNT=$((RETRY_COUNT+1))
    if [ $RETRY_COUNT -ge $MAX_RETRIES ]; then
        echo "Failed to connect to Locust Master after $((RETRY_COUNT * SLEEP_INTERVAL)) seconds."
        exit 1
    fi
    echo "Waiting for Locust Master to be ready... ($RETRY_COUNT/$MAX_RETRIES)"
    sleep $SLEEP_INTERVAL
done

실행 후 IP 출력

# Output the Public IP of the Locust Master
output "locust_master_ip" {
  value = aws_instance.locust_master.public_ip
}

# Output the Public IPs of the Locust Workers
output "locust_worker_ips" {
  value = [for instance in aws_instance.locust_worker : instance.public_ip]
}

이후 terraform init, terraform apply를 진행하여 인스턴스를 시작한 이후

master의 IP:8089를 통해 테스트를 실행할 수 있습니다.