第一次尝试使用亚马逊ECS的基础设施专家
首先
这篇文章是JSL（日本系统技研）2022年圣诞日历的第21篇文章，发布在Qiita上。
（1）我們的目標是繼續在ECR上部署帶有Nginx + Gunicorn環境的Django。
我正在参考本次的文章继续进行。
目标是创建Django和Nginx容器，并将其注册到ECR。
创建容器
环境建立
在参考文献中，使用了Cloud9，但我决定在我本地的Mac上构建环境。
关于Django配置文件的说明将被省略。
Docker-Compose将使用以下版本。
$ docker-compose -v
docker-compose version 1.29.2, build 5becea4c
Django容器镜像
我将创建Django的容器镜像。
$ mkdir django nginx
$ cd django
$ touch Dockerfile requirements.txt uwsgi.ini setting.py
├── django
├── Dockerfile
├── requirements.txt
├── settings.py
└── uwsgi.ini
创建Dockerfile如下所示。
FROM python:3.9-buster as builder
ENV PYTHONUNBUFFERED=1
RUN mkdir app
WORKDIR /app
RUN mkdir -p tmp/sockets
COPY requirements.txt /app/
RUN pip install -r requirements.txt
RUN django-admin startproject mysite .
COPY ./uwsgi.ini .
COPY ./settings.py mysite/
FROM python:3.9-slim-buster as production
ENV PYTHONUNBUFFERED=1
RUN mkdir app
WORKDIR /app
RUN mkdir -p tmp/sockets
RUN apt update \
&& apt install -y libpq5 libxml2 \
&& apt-get clean \
&& rm -rf /var/lib/apt/lists/*
COPY --from=builder /usr/local/lib/python3.9/site-packages /usr/local/lib/python3.9/site-packages
COPY --from=builder /usr/local/bin/uwsgi /usr/local/bin/uwsgi
COPY --from=builder /app /app
CMD uwsgi --ini uwsgi.ini
您可以按照以下方式创建setting.py文件。通常情况下，您可以使用Django自动生成的setting.py文件，但是根据不同的环境，以下内容可能需要进行修改。
-
- ROOT_URLCONF（プロジェクト名に合わせる。今回はmysite）
-
- WSGI_APPLICATION（プロジェクト名に合わせる。今回はmysite）
-
- DATABASES
- STATIC_ROOT
"""
Django settings for mysite project.
Generated by 'django-admin startproject' using Django 3.2.2.
For more information on this file, see
https://docs.djangoproject.com/en/3.2/topics/settings/
For the full list of settings and their values, see
https://docs.djangoproject.com/en/3.2/ref/settings/
"""
from pathlib import Path
import os
# Build paths inside the project like this: BASE_DIR / 'subdir'.
BASE_DIR = Path(__file__).resolve().parent.parent
# Quick-start development settings - unsuitable for production
# See https://docs.djangoproject.com/en/3.2/howto/deployment/checklist/
# SECURITY WARNING: keep the secret key used in production secret!
SECRET_KEY = 'django-insecure-1uot&16wp3w**7^3g%6pvrfl_ufj!7k9lp!m@*f(jrdtm7*yn='
# SECURITY WARNING: don't run with debug turned on in production!
DEBUG = True
ALLOWED_HOSTS = ['*']
# Application definition
INSTALLED_APPS = [
'django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.messages',
'django.contrib.staticfiles',
]
MIDDLEWARE = [
'django.middleware.security.SecurityMiddleware',
'django.contrib.sessions.middleware.SessionMiddleware',
'django.middleware.common.CommonMiddleware',
'django.middleware.csrf.CsrfViewMiddleware',
'django.contrib.auth.middleware.AuthenticationMiddleware',
'django.contrib.messages.middleware.MessageMiddleware',
'django.middleware.clickjacking.XFrameOptionsMiddleware',
]
ROOT_URLCONF = 'mysite.urls'
TEMPLATES = [
{
'BACKEND': 'django.template.backends.django.DjangoTemplates',
'DIRS': [],
'APP_DIRS': True,
'OPTIONS': {
'context_processors': [
'django.template.context_processors.debug',
'django.template.context_processors.request',
'django.contrib.auth.context_processors.auth',
'django.contrib.messages.context_processors.messages',
],
},
},
]
WSGI_APPLICATION = 'mysite.wsgi.application'
# Database
# https://docs.djangoproject.com/en/3.2/ref/settings/#databases
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.postgresql_psycopg2',
'NAME': os.environ['POSTGRES_NAME'],
'USER': os.environ['POSTGRES_USER'],
'PASSWORD': os.environ['POSTGRES_PASSWORD'],
'HOST': os.environ['POSTGRES_HOST'],
'PORT': os.environ['POSTGRES_PORT'],
}
}
# Password validation
# https://docs.djangoproject.com/en/3.2/ref/settings/#auth-password-validators
AUTH_PASSWORD_VALIDATORS = [
{
'NAME': 'django.contrib.auth.password_validation.UserAttributeSimilarityValidator',
},
{
'NAME': 'django.contrib.auth.password_validation.MinimumLengthValidator',
},
{
'NAME': 'django.contrib.auth.password_validation.CommonPasswordValidator',
},
{
'NAME': 'django.contrib.auth.password_validation.NumericPasswordValidator',
},
]
# Internationalization
# https://docs.djangoproject.com/en/3.2/topics/i18n/
LANGUAGE_CODE = 'en-us'
TIME_ZONE = 'UTC'
USE_I18N = True
USE_L10N = True
USE_TZ = True
# Static files (CSS, JavaScript, Images)
# https://docs.djangoproject.com/en/3.2/howto/static-files/
STATIC_URL = '/static/'
STATIC_ROOT = os.path.join(BASE_DIR, "static/")
# Default primary key field type
# https://docs.djangoproject.com/en/3.2/ref/settings/#default-auto-field
DEFAULT_AUTO_FIELD = 'django.db.models.BigAutoField'
请按照以下方式创建 requirements.txt 文件。
Django>=3.0,<4.0
psycopg2-binary>=2.8
uwsgi
将uwsgi.ini文件按照以下方式创建。
[uwsgi]
chdir = .
wsgi-file =./mysite/wsgi.py
module = mysite.wsgi:application
socket = /app/tmp/sockets/app.sock
chmod-socket = 666
以下是一个中文的同义短语：
Nginx容器镜像
接下来，我们将创建Nginx的容器映像。
为了存储Django的静态文件，我们将创建一个名为static的文件夹。
$ cd nginx
$ mkdir static
$ touch Dockerfile nginx.conf
├── django
├── nginx
├── Dockerfile
├── nginx.conf
└── static
请按照以下方式创建Dockerfile。
FROM nginx:1.15.8
RUN rm -f /etc/nginx/conf.d/*
ADD nginx.conf /etc/nginx/conf.d/nginx.conf
COPY static/ /app/static/
CMD /usr/sbin/nginx -g 'daemon off;' -c /etc/nginx/nginx.conf
我将按以下方式创建nginx.conf。
upstream django {
server unix:/app/tmp/sockets/app.sock;
}
server {
listen 80 default_server;
listen [::]:80 default_server;
server_name _;
location / {
include uwsgi_params;
uwsgi_pass django;
}
location /static/ {
alias /app/static/;
}
}
构建容器镜像
创建用于PostgreSQL卷的文件夹。
$ mkdir -p volumes/data/db/
├── django
├── nginx
└── volumes
└── data
└── db
创建 docker-compose.yml 文件
请按照以下方式创建docker-compose.yml文件。
$ touch docker-compose.yml
├── django
├── docker-compose.yml
├── nginx
└── volumes
version: "3"
services:
db:
image: postgres
platform: linux/amd64
volumes:
- ./volumes/data/db:/var/lib/postgresql/data
environment:
- POSTGRES_DB=postgres
- POSTGRES_USER=postgres
- POSTGRES_PASSWORD=postgres
container_name: db_postgres
app:
build:
context: ./django/
platform: linux/amd64
volumes:
- tmp-data:/app/tmp
environment:
- POSTGRES_NAME=postgres
- POSTGRES_HOST=db_postgres
- POSTGRES_USER=postgres
- POSTGRES_PASSWORD=postgres
- POSTGRES_PORT=5432
depends_on:
- db
nginx:
build:
context: ./nginx/
platform: linux/amd64
volumes:
- tmp-data:/app/tmp
ports:
- "80:80"
depends_on:
- app
volumes:
tmp-data:
构建和运行
$ docker-compose up --build
Attaching to db_postgres, ecs_app_1, ecs_nginx_1
app_1 | [uWSGI] getting INI configuration from uwsgi.ini
app_1 | *** Starting uWSGI 2.0.21 (64bit) on [Wed Dec 21 11:01:23 2022] ***
app_1 | compiled with version: 8.3.0 on 21 December 2022 11:00:32
app_1 | os: Linux-5.10.76-linuxkit #1 SMP PREEMPT Mon Nov 8 11:22:26 UTC 2021
app_1 | nodename: 735de9007bf0
app_1 | machine: aarch64
app_1 | clock source: unix
app_1 | pcre jit disabled
app_1 | detected number of CPU cores: 2
配置和迁移静态文件
接下来，我们将对Djangono的静态文件进行配置和迁移。
在启动的终端的另一个标签中启动终端并执行以下操作。
$ docker-compose exec app python manage.py collectstatic
128 static files copied to '/app/static'.
# staticフォルダが作成されていることを確認
$ docker-compose exec app ls -l
total 24
-rwxr-xr-x 1 root root 662 Dec 21 11:00 manage.py
drwxr-xr-x 1 root root 4096 Dec 21 11:01 mysite
-rw-r--r-- 1 root root 44 Dec 21 05:04 requirements.txt
drwxr-xr-x 3 root root 4096 Dec 21 11:08 static
drwxr-xr-x 3 root root 4096 Dec 21 11:01 tmp
-rw-r--r-- 1 root root 133 Dec 21 05:04 uwsgi.ini
将生成的静态文件复制到本地nginx目录。由于获取了动态的容器ID（使用docker-compose ps -q app命令），因此可以直接执行。
$ docker cp `docker-compose ps -q app`:/app/static nginx/
$ ls nginx/static/admin/
css fonts img js
接下来进行迁移操作。
$ docker-compose exec app python manage.py migrate
Operations to perform:
Apply all migrations: admin, auth, contenttypes, sessions
Running migrations:
Applying contenttypes.0001_initial... OK
Applying auth.0001_initial... OK
Applying admin.0001_initial... OK
Applying admin.0002_logentry_remove_auto_add... OK
Applying admin.0003_logentry_add_action_flag_choices... OK
Applying contenttypes.0002_remove_content_type_name... OK
Applying auth.0002_alter_permission_name_max_length... OK
Applying auth.0003_alter_user_email_max_length... OK
Applying auth.0004_alter_user_username_opts... OK
Applying auth.0005_alter_user_last_login_null... OK
Applying auth.0006_require_contenttypes_0002... OK
Applying auth.0007_alter_validators_add_error_messages... OK
Applying auth.0008_alter_user_username_max_length... OK
Applying auth.0009_alter_user_last_name_max_length... OK
Applying auth.0010_alter_group_name_max_length... OK
Applying auth.0011_update_proxy_permissions... OK
Applying auth.0012_alter_user_first_name_max_length... OK
Applying sessions.0001_initial... OK
重塑
静态文件和已迁移的数据库已经完成，因此需要再次进行构建以创建镜像。
使用 docker-compose 启动的容器，可以通过在命令行中按下 “Ctrl+c” 来停止。
$ docker-compose up --build
在完成后，您可以通过使用“Ctrl+c”命令停止正在运行的容器。
在ECR中注册容器
在ECR上创建Django和Nginx的代码库。选择私有标签，然后点击”创建代码库”。
以下是对“Django用リポジトリ”进行汉语的描述：Django开发项目的存储库。
項目設定値可視性設定プライベートリポジトリ名test-ecs-djangoプッシュ時にスキャン有効その他の項目デフォルト
Nginx的仓库
項目設定値可視性設定プライベートリポジトリ名test-ecs-nginxプッシュ時にスキャン有効その他の項目デフォルト
如果启用了“推送时扫描”，它将告诉您图像的弱点。
设置完毕后，请点击“创建仓库”。
AWS命令行工具的安装
本次我们将使用AWS CLI v2。
$ aws --version
aws-cli/2.9.8 Python/3.9.11 Darwin/21.6.0 exe/x86_64 prompt/off
如果未安装，请从此处下载。
推广形象
# ログイン
$ aws ecr get-login-password | docker login --username AWS --password-stdin <AWSアカウントID>.dkr.ecr.ap-northeast-1.amazonaws.com
Login Succeeded1.amazonaws.com
# イメージの確認
% docker image ls
ecs_nginx latest f48d0c964ee6 21 hours ago 104MB
ecs_app latest eff60f1cb176 21 hours ago 201MB
# リポジトリをタグをECR向けにして作成
$ docker tag `docker image ls ecs_app -q` <AWSアカウントID>.dkr.ecr.ap-northeast-1.amazonaws.com/test-ecs-django:latest
$ docker tag `docker image ls ecs_nginx -q` <AWSアカウントID>.dkr.ecr.ap-northeast-1.amazonaws.com/test-ecs-nginx:latest
# 同じイメージIDのECR向けリポジトリがあることを確認
docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
xxxxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/test-ecs-nginx 0.1 f48d0c964ee6 21 hours ago 104MB
ecs_nginx latest f48d0c964ee6 21 hours ago 104MB
xxxxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/test-ecs-django 0.1 eff60f1cb176 21 hours ago 201MB
ecs_app latest eff60f1cb176 21 hours ago 201MB
# プッシュ
$ docker push xxxxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/test-ecs-django:latest
$ docker push xxxxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/test-ecs-nginx:latest
只要存储库按照以下方式推送，就算是成功的。
如果存储库按照下述方式被推送，那就是成功的。
只要仓库按照下列方式推送，就算是成功的。
如果在推送时出现重试〜终止并出现错误的情况。
在登录时，按照以下方式指定在profile中设置了正确策略的IAM用户即可解决此问题。本次我们设置了AmazonEC2ContainerRegistryFullAccess。
$ aws ecr get-login-password --profile test-ecs | docker login --username AWS --password-stdin 092960344365.dkr.ecr.ap-northeast-1.amazonaws.com
（2）的总结
-
- (2)はDjangoとNginxのコンテナをローカルで構築しECRにプッシュするところまでを行いました。プッシュがうまくいかずハマってしまいAWS CLI力の無さが露呈されてしまいました
(3)に続きます。
