뚠뚠

AWS EC2 인스턴스 볼륨추가

그래서그렇지 — Wed, 12 Oct 2022 13:51:41 +0900

서버를 구축하고 데이터를 저장해놓는 인스턴스의 하드디스크 용량을 추가하는 글을 작성해보려고 한다.

환경

EC2: t2.micro
volume: ext4 포맷 5GB

볼륨 생성

1. AWS console에 접속한다.
https://console.aws.amazon.com/ec2/

2. 사이드 메뉴에서 볼륨을 선택한다.

EC2 사이드 메뉴

3. 볼륨 생성 버튼을 누른다.

t2.micro 인스턴스의 기본 볼륨 크기는 8GB이다.

기존 서버 두 개를 돌리고 있으므로 8GB가 2개 있으며

16GB는 main서버에 전에 추가했던 볼륨이다.

EC2 볼륨 리스트

4. 볼륨 설정을 하고 생성한다.

해당 글을 작성하기 위해서 볼륨을 추가하므로 작은 크기의 볼륨을 생성했다.

볼륨 유형: 볼륨의 유형을 설정 가능
크게 성능을 요하지 않아 gp2로 설정
크기: 볼륨의 크기를 설정 가능
단위는 GB
IOPS: Input/Output Operations Per Second
해당 값을 변경하려면 gp2 대신 gp3을 사용하면 된다.
처리량: 볼륨이 지원할 수 있는 처리량 성능
특정 볼륨 유형만 설정 가능함
가용 영역: 해당 볼륨이 적용될 영역 설정 가능
연결할 EC2와 같은 영역을 설정해야 함
스냅샷 ID: 불러올 스냅샷 ID
빈 볼륨을 원한다면 없음 선택, 원하는 스냅샷 있다면 드롭다운에서 확인 가능

EC2 볼륨 설정

4. 볼륨 생성 확인

생성 버튼을 누르면 볼륨이 '생성 중' 단계로 넘어감

생성 중 화면

볼륨이 생성되면 '사용 가능'으로 상태가 변화되어 있음

생성 완료화면

볼륨 연결

1. 생성한 볼륨을 선택하여 연결하기 선택

생성한 5GB 볼륨을 선택하여 연결하기 작업 선택

특정 볼륨 연결

2. 연결할 인스턴스 지정

볼륨을 연결할 인스턴스를 선택하고, 볼륨의 디바이스 이름을 설정

인스턴스의 경우 드롭다운을 누르면 나오는 목록 중에서 선택하면 된다.

디바이스 이름의 경우 unix 계열의 특징으로 연결된 디바이스는 '/dev' 경로 아래에 나오는데

해당 경로에서 사용할 디바이스 이름을 설정한다.

보통의 경우 AWS console에서 자동적으로 작성해주며, 필요할 경우 아래 도움말을 참고하여 작성하면 된다.

EC2 - volume 연결 설정

2. 볼륨 연결 확인

볼륨을 연결한 인스턴스에 접속하여서 제대로 볼륨이 연결되어있는지 확인해 본다.

위 설정에서는 /dev/sdg로 설정하였는데, 설정 화면 아래에 나와있는 데로 내부적으로 변경되어있는 것을 확인 가능하다.

연결된 block 디바이스 출력

3. 볼륨 상태 확인

볼륨이 연결이 제대로 되었으니, 상태를 확인해본다.

file -s 명령어로 파일의 포맷을 확인한다.

# 파일 시스템 보기
sudo file -s /dev/xvdg

포맷이 있다면 다르게 나오지만, 포맷을 설정하지 않는 볼륨이므로 'data'가 나와주면 된다.

볼륨 포맷 확인

인스턴스에 붙어있는 디바이스에 대한 정보를 확인해준다.

sudo lsblk -f

기존에 추가되었던 xvdf 볼륨은 파일 시스템은 ext4으로 /volume1에 마운트 된 것을 확인 가능하고,

이번에 추가한 볼륨은 포맷도 없으며 마운트도 되지 않은 것을 확인이 가능하다.

block 디바이스들의 정보

3. 볼륨 파일 시스템 설정

폴더를 생성했으면 이제 볼륨의 파일 시스템을 설정한다.

파일 시스템을 설정하지 않고 바로 마운트를 하면 에러가 발생한다.

마운트 에러

볼륨의 파일 시스템을 정하기 위해서는 아래 명령어를 사용한다.

# 파일 시스템 설정
sudo mkfs -t ext4 /dev/xvdg

명령어를 입력하면 아래와 같은 출력문이 나온다.

(xfs파일 시스템으로 잘못 설정하여서 물어보는 질문이 추가되었다.)

볼륨 파일시스템 설정

4. 볼륨 마운트

우선 연결할 볼륨을 마운트를 할 경로를 설정한다.

나의 경우 /volume2에 볼륨을 추가할 생각이므로, /volume2폴더를 생성한다.

# root 권한으로 폴더 생성
sudo mkdir /volume2

이제 설정한 경로로 마운트만 하면 된다.

명령어 입력 시 아무것도 나오지 않는다면 잘 된 것이다.

# 마운트
sudo mount /dev/xvdg /volume2

mount 결과

4. 볼륨 확인 및 부팅 시 자동 마운트 설정

인스턴스가 재시작할 때마다 마운트를 하기는 번거로우니 부팅 시 자동적으로 마운트가 되게 설정하려고 한다.

우선 가장 중요한 설정 파일을 백업한다.

# 설정파일 백업
sudo cp /etc/fstab /etc/fstab.orig

볼륨을 자동적으로 마운트 하기 위해 아래의 명령을 사용해 볼륨의 UUID를 가져온다.

# block device id 가져오기
sudo blkid

디바이스들의 UUID

설정 파일에 부팅 시마다 자동적으로 마운트 할 디바이스를 등록한다.

방금 전 백업해 놓았던 설정 파일을 수정한다.

# 설정파일 수정
# vim
sudo vim /etc/fstab
# nano
sudo nano /etc/fstab

설정 파일 마지막 줄에 아래의 포맷처럼 추가한다.

# fstab 포맷
UUID=디바이스UUID /마운트지점 파일시스템 defaults,nofail 0 2
# 사용중인 설정
UUID=디바이스UUID /volume2 ext4 defaults,nofail 0 2

제대로 등록되어있는지 테스트를 진행한다.

먼저 새로 마운트 한 볼륨을 언마운트한다.

그 후 마운트가 자동적으로 되는지 테스트한다.

# umount
sudo umount /volume2

# mount all
sudo mount -a

위 단계를 진행하고 문제가 없다면 볼륨 추가는 끝이지만 만약 제대로 추가되지 않았다면

백업한 설정을 다시 롤백한다. ( /etc/fstab )

끝

예전에 진행했던 프로젝트 글을 전부 작성했다.

기록이 가장 좋은 암기란 말을 이번 글을 작성하면서 느끼게 되었다.

참고자료

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-attaching-volume.html

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-using-volumes.html

[ubuntu]Flask 서버 service 등록

그래서그렇지 — Fri, 7 Oct 2022 15:09:30 +0900

작성한 Flask 서버를 부팅 시 자동으로 실행하기 위하여 service에 등록하기로 하였다.

Service이란

linux에서 서비스란 백그라운드에서 실행되며, 시스템이 시작할 때 동작하는 것을 의미한다.

그래서 주로 시스템과 관련된 프로그램이 서비스에 등록되어있으며,

서드파티 서비스들(nginx, mysql)은 사용자가 시스템이 시작할 때 작동 여부를 선택할 수 있다.

부팅 시 자동적으로 실행되길 원해 Flask 서버도 service등록하려고 한다.

Service 파일 생성

서비스에 등록을 하기위해서 service 파일을 작성해야 한다.

이번 서버의 service 파일이다. root 권한으로 작성한다.

옵션 전체를 설명하기에는 너무 많아 사용한 옵션들만 작성하였다.

service 섹션만은 반드시 필요하여,
나머지 unit, install 섹션은 작성하지 않아도 된다.

(참고 링크: https://manpages.ubuntu.com/manpages/focal/man5/systemd.service.5.html)

Unit: 유닛 명세
- Description: service 설명,
- After: 특정 서비스가 실행된 후 실행되도록 설정
Service: 동작
- Type: simple로 ExecStart에서 호출한 프로세스를 main 프로세스라고 가정하고 실행된다.
  현재 실행시키는 프로그램이 메인이므로 simple으로 설정
- User: 서비스(프로세스)를 실행시키는 유저
  현재 EC2 유저로 설정
- WorkingDirectory: 서비스가 실행되는 경로
  flask 프로젝트 root 디렉토리
- ExecStart: 서비스 실행 명령어
  gunicorn실행을 위해 python 명령어로 설정
  사용하고 있는 python의 경로는 which 명령어로 확인 가능하다.
- Restart: 예기치 않게 종료되었을 때(에러) 다시 시작하는지 여부
  (no, always, on-success, on-failure, on-abnormal, on-abort, on-watchdog)
- RestartSec: 다시 시작 전 대기하는 시간
  기본 100ms
Install: enable시 사용됨
- wantedby: 예제를 보고 multi-user.target을 작성했는데 글을 보니 이해가 되었다.
  ubuntu에서는 runlevel이 있는데 보통 서버용도(cui, network, multi-user)로 사용되는 레벨이 3
  multi-user.target으로 설정하면 가장 실행환경이 runlevel3과 가깝기에 multi-user.target을 사용했다.
  참고 링크: https://unix.stackexchange.com/questions/506347/why-do-most-systemd-examples-contain-wantedby-multi-user-target

Service 등록 방법

service는 ubuntu 20.04 기준 /usr/lib/systemd/system/ 아래에 서비스 파일을 생성하여서 등록이 가능하다.

파일을 옮긴 후 system 데몬을 리로드 한다.
systemctl daemon-reload
리로딩 후 잘 적용되었는지 확인해 본다.
systemctl status yourservice.service
서비스를 실행시킨다.
systemctl start yourservice.service
부팅 시 자동적으로 실행되도록 설정한다.
systemctl enable yourservice.service

Service 삭제 방법

우선 서비스를 중단시킨다.
systemctl stop yourservice.service
부팅 시 시작되는 서비스에서 제외한다.
systemctl disable yourservice.service
파일들을 삭제한다.
rm /etc/systemd/system/yourservice.service
rm /usr/lib/systemd/system/yourservice.service
데몬을 리로드 한다.
systemctl daemon-reload

AWS EC2 인스턴스에 볼륨을 추가하는 글을 적으려고 한다.

[Flask] Flask 객체 생성시 name은 왜 넣을까

그래서그렇지 — Wed, 5 Oct 2022 16:44:10 +0900

Flask 객체를 생성할 때 생각 없이 __name__을 넣는다.
다른 글을 쓰다가 __name__을 왜 넣어야 하는지를 몰라서 이번 글을 적으며 조사했다.

name 이란

파이썬으로 코드를 작성하다 보면 __name__이란 bulit-in 변수를 사용할 때가 있다.
내 생각으로는 가장 많이 사용할 때는 처음 시작하는(entry point) 코드에서 사용을 할 때가 가장 많지 않나 싶다.

python으로 직접 실행 시
처음 실행되는 파일의 __name__ 값은 __main__이 되고 나머지 불러온 값들의 __name__ 값은 파일의 이름이 되는 원리를 이용하여서 주로 사용한다.

그 외에도 blueprint 객체를 생성할 때처럼 사용하는 경우를 많이 보았다.
blueprint의 경우 아래와 같이 설명해 놓았다.

blueprint에서 __name__이 들어가는 인자의 설명을 보면 보통 __name__을 넣으며
이 인자는 root_path를 찾는데 도움을 준다고 한다.

The name of the blueprint package, usually '__name__'.
This helps locate the ``root_path`` for the blueprint.

name 을 왜 사용할까

간단한 파일 2개로 테스트를 해보려고 한다.
폴더 구조는 아래와 같다.

name_test/
	main.py
        wrap1/
        	wrap1.py

각각의 코드는 아래와 같다.

스크립트로 실행 시 결과 값을 보면 아래와 같다.

main파일의 __name__은 자주 사용하는 if 문을 통해서 __main__이 나온다는 것을 알고 있었기에 넘어가고,

import 한 모듈(패키지)의 __name__ 의 경우는
python을 실행시킨 경로에서 해당 파일까지의 경로와 같고, import 구문에서의 경로를 나타내는 것과도 같다.
( ./wrap1/wrap1.py, from wrap1.wrap1 import wrap1fun )
__name__이란 것이 root 경로를 기준으로 패키지의 위치를 알려주는 변수 같다.

결론적으로 __name__을 사용하는 이유는 리소스, 모듈(패키지)등을 찾기 쉽게 하기 위해서 인 것 같다.
스크립트로 직접 실행 시 __name__ 값은 __main__을 받고,
__main__에서 import한 파일들(.py)들은 __main__파일에서의 상대 경로의 값을 가지는 것 같다.

Flask 객체 생성

이제 드디어 글의 목적인 Flask 객체 생성에 대해서 시작하려고 한다.
객체 생성하는 것에 앞서 Flask를 실행하는 두 가지 방법에 대해서 알아보려고 한다.

코드는 아래와 같이 작성했다.
실행은 'python3 app.py'으로 실행하였다.

실행 시 아래와 같이 출력된다.

출력문을 보게 되면 'app'이란 이름으로 서버가 실행이 되었다는 것을 알 수 있다.
이제 __name__값을 보기 위해 요청을 해보자.

요청의 결과 값을 보면 __name__값이 __main__으로 나와있다.
직접 app.py을 실행하였으므로 당연한 결과 같다.

약간 다른 시도를 해볼 생각이다.
app.py이란 파일 이름 대신 다른 이름을 주면 Serving Flask app 'app' 부분에서 app 대신 다른 이름이 나올 겉 같다.

예상대로 이름이 바뀌어서 출력이 되었다.
그런데 바뀌면 안 될 것 같은데 바뀌었다.

Flask객체를 생성할 때 우리는 __name__이란 변수를 넣어서 초기화했다.
그렇다면 애초에 'app'이나 'flask_server'로 이름이 되어있으면 않된다.

이유는 Flask 객체 생성(초기화) 코드를 보면 알 수 있다.
소스 링크 auto_find_instance_path: https://github.com/pallets/flask/blob/2.2.2/src/flask/app.py
소스 링크 find_package: https://github.com/pallets/flask/blob/main/src/flask/scaffold.py

Flask 객체가 생성될 때 import_name을 이용하여 auto_find_instance_path을 호출하고
해당 함수는 find_package함수를 호출하여 경로를 찾는데,
_find_package 함수에서 아래와 같은 코드를 찾을 수 있다.

코드에서 확인 가능한 것처럼 import_name이 __main__으로 넘어올 시 현재 경로를 반환하는 것을 확인 가능하고,
주석에서도 interactive 혹은 main모듈로 초기화 시 이 코드가 실행되는 것을 알려주고 있다.

결론

이것저것 조사해 보니 Flask 객체 생성 시 __name__을 이유를 알 것 같다.
애초에 Flask 코드 내부(flask GitHub코드 110번 줄부터 보면 된다.)
인자에 대하여 설명이 잘되어있다.

첫 번째 인자(import_name)의 리소스와 파일 시스템 때문에 사용된다고 한다.
root 경로부터 모듈(파일, 패키지)을 읽고 리소스, 템플릿들을 읽기 편하게 하기 위해서이다.

번외

flask run ( gunicorn )

Flask 튜토리얼(Quick start)에 나와있는 방법으로, 직접적으로 실행시키지 않는 방법이다.

테스트를 위해 아래와 같이 코드를 작성했다.
flask run으로 실행하면 5000번 포트로 열려있는 서버가 동작한다.

위 코드에서 주목해야 할 것은 app을 실행시키는 명령어(app.run())이 따로 없다는 것이다.
즉 해당 코드가 바로 실행이 되는 게 아니라 import 되어서 실행된다는 것이다.
직접 실행시키는 것과 달리 import 되어서 실행되었다면 __name__값은 해당 파일의 경로 값을 가지게 된다.

특이한 점은 flask run으로 실행하기 위해서는 파일 이름이 app.py 혹은 wsgi.py여야 한다는 것이다.
찾아보니 환경변수 FLASK_APP이 없다면 현재 디렉터리에서 app.py 와 wsgi.py를 찾는다고 한다.

export FLASK_APP && flask run

더욱 신기한 것은 FLASK_APP을 설정하고 실행할 때 발생한다.
FLASK_APP에 현재 경로('.')를 넣고 flask run을 사용 시 아래와 같이 에러가 발생한다.

보면 app 이름이 '.'으로 되어있다.
에러 문구를 보면 flask application 혹은 factory가 없다고 나와있다.
찾아보면 FLASK_APP에 입력한 경로에 __init__. py으로 파일 이름을 변경하면 잘 실행된다고 한다.

번외는 나중에 시간이 되면 따로 글을 쓸 예정이다.

# 2022-10-05 수정

주식 뉴스 프로젝트 Flask 서버

그래서그렇지 — Sun, 2 Oct 2022 17:01:52 +0900

주식 뉴스 분석 프로젝트 <Flask><1>

Flask 주제부터는 저장되어있는 분석 데이터와 해당 날짜의 실제 주식거래금액을 같이 출력하는 웹 서버를 제작할 예정이다.

개발환경

OS: ubuntu 20.04
언어: python 3.8.10
python 의존성
1. yfinance==0.1.74 # 실제 주식 가격을 가져오기 위한 모듈
2. Flask==2.2.2 # 웹 서버 프레임워크
3. gunicorn==20.1.0 # WSGI
4. python-dotenv==0.21.0 # .env 파일 읽기 위해
5. pytz==2022.2.1 # KST(대한민국 표준시) 시간대를 불러오기 위해
6. pymongo==4.2.0 # mongodb 연결을 위한 모듈
7. pyflakes==2.5.0 # 코드 검사용 모듈
8. PyJWT==2.4.0 # jwt 토큰을 위한 모듈(현재는 사용하지 않음)

프로젝트 구조

폴더

root(.): 프로젝트 설명에 관한 파일들이 존재
.gitignore, LICENSE, README.md 존재
stockserver: 프로젝트 폴더, 사실상 루트 폴더
main.py(실행 파일), .env(환경 변수 파일), requirements.txt(의존성 목록)이 존재
- stockserver/middleware: 미들웨어를 넣는 폴더
  현재는 cors를 헤더를 넣어주는 기능만 존재
- stockserver/my_module: 로직이 길어지는 기능들을 빼서 따로 작성한 모듈들
  logger, mongodb, yfin(주식 가격), 날짜 모듈이 존재
- stockserver/pages: blueprint 라우팅 페이지 폴더
  /stock/* 에 해당하는 라우팅 페이지만 존재
- stockserver/templates: 렌더링에 필요한 html 파일들
  현재는 dayStatistics.html와 stockIndex.html 두 개만 사용 중

프로젝트 폴더 구조

EndPoint

프록시 서버의 stock 경로 아래의 http 요청을 전달받는다.

현재 유효한 경로는 2개로, 인덱스 페이지와, 결과를 보여주는 페이지 2개이다.

/stock/index: 인덱스 페이지를 출력
GET
가져올 주식의 이름과 기간을 설정 가능함
현재 버전에서 기간 설정은 시작일을 설정하면 데이터를 POST로 전송
반환 값은 30일간의 데이터가 반환됨
/stock/day: 결과를 보여주는 페이지
POST
/stock/index 페이지에서 전달받은 데이터를 바탕으로
저장 결과 및 주식 정보를 html과 함께 반환함

작성한 flask서버를 service로 등록하는 글을 작성할 예정이다.

flask server GitHub 주소
https://github.com/mannamman/namthplaygroundStockFlask/tree/deploy

# 2022-10-05 수정

[mysql] mysql 삭제시 관련 파일 모두 삭제

그래서그렇지 — Fri, 30 Sep 2022 15:46:15 +0900

mysql을 삭제 후 다시 설치해서 실행하는데 삭제 전 데이터들이 남아있어서(root 암호)

해결하기 위해 찾아본 결과를 기록한다.

mysql service 정지

삭제 전 안전하게 서비스부터 정지시킨다.

# service 정지

sudo systemctl stop mysql.service

mysql 삭제

설정 파일까지 같이 삭제되도록 'purge' 옵션을 주어 삭제했다.

삭제 후 필요 없는 다른 의존성 패키지도 삭제한다.

# mysql-server 삭제

sudo apt remove --purge mysql-server

# 의존 패키지 삭제

sudo apt autoremove --purge

설정 파일 삭제

남아있던 두 개의 경로의 폴더를 삭제했다.

/etc/mysql : 설정 파일이 존재했음.

/var/lib/mysql : 데이터가 저장되어 있었음.

# 남은 폴더 정리

sudo rm -r /var/lib/mysql
sudo rm -r /etc/mysql

AWS EC2 Mysql, MongoDB 설치

그래서그렇지 — Fri, 30 Sep 2022 13:09:14 +0900

주식 뉴스 분석 프로젝트 <서버 구축><4>

프로젝트 개요 및 각 글들의 링크: https://namth.tistory.com/18

이번 글에서는 데이터베이스 설치에 대해서 쓰려고 한다.

설치할 데이터 베이스는 Mysql, MongoDB 두 개를 설치하려고 한다.

DB 버전

mysql: 8.0.30
mongo: 5.0.9

MySql

MySql 설치

패키지 매니저(apt)를 사용할 것이므로, 매니저를 업데이트해준다.

# 패키지 매니저 업데이트
sudo apt update

mysql 서버를 설치를 할 예정이므로, 'mysql-server'을 설치해준다.

특정 버전의 mysql 서버를 설치 시 아래의 명령어로 치면 된다.

# mysql-server 설치
sudo apt install mysql-server

# 특정 버전 mysql-server 설치
sudo apt install mysql-server=8.0.x

# 내가 서버에 설치한 mysql-server
sudo apt install mysql-server=8.0.30-0ubuntu0.20.04.2

MySql 인증정보 세팅

설치가 완료되었다면 이제 보안 세팅을 해야 한다.

아래의 명령어를 입력한다.

# 보안 세팅
sudo mysql_secure_installation

명령어를 입력하면 여러 가지 질문들이 나온다.

입력이 필요한 내용

암호 검증 컴포넌트를 추가할 것인가?
보안상 좋아 보이므로(y)
암호 강도는 얼마나 강하게 할 것인가?
보안상 강한 게 좋으므로(strong, 2)
새로운 root 계정 암호를 입력

secure_installation.1

진행 중 세 번째 입력에서 오류가 발생했다.

찾아보니 권한이 꼬여서 생긴 문제로 검색해보면 많은 답변들이 있다.

secure_installation에서 나가는 방법은 'y/n' 입력을 물어보는 단계에서 'ctrl^c'을 눌러주면 된다.

해결책은 mysql에 들어가 직접 root 계정의 암호를 변경하는 것이다.

root 권한으로 mysql 서버에 접속 후 ALTER 명령어로 root 계정의 비밀번호를 변경한다.

# mysql 서버 접속
sudo mysql

# root 계정 암호 변경
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password by '암호';

비밀번호가 변경되었다면(Query Ok) 이제 다시 secure_installation을 실행해 남은 보안설정을 진행한다.

입력이 필요한 내용

방금 설정한 root 계정의 암호를 입력한다.
root 계정의 암호를 변경하겠는가?
방금 설정하였으므로(y)
익명 유저를 제거하겠는가?
보안에 좋을 것이 없어 보여(y)
root 계정으로 외부 접속이 불가능하게 할 것인가?
보안상의 이유로 root 권한은 외부 접속이 안되도록 함(y)
test 데이터베이스를 삭제하겠는가?
필요 없어 보이므로 삭제(y)
권한 테이블을 reload 하겠는가?
최신 상태로 업데이트하는 것이므로 (y)

secure_installation.2

MySql 테스트

설정이 완료되었으므로 이제 잘 동작하는지 테스트해봐야 한다.

설정한 root 계정으로 로그인을 할 것인데, 전과는 달리 root 권한으로 실행하지 않으므로, 유저와 암호를 추가했다.

# mysql 접속, root 계정
mysql -u root -p

아래 사진처럼 추가로 암호를 입력하면 접속이 되는 것을 확인할 수 있다.

MySql 유저 추가

보안설정(secure_installation)에서 root 계정으로는 외부 접근이 되지 않도록 설정했다.

외부에서 DB에 접근하여서 데이터를 쓰기 위해서는 새로운 계정이 필요하므로 계정을 생성했다.

외부에서 접근하는 계정의 권한은 특정 테이블을 읽고 쓰는 권한만 줄 것이다.

우선 유저를 생성한다.

유저는 외부에서 접근이 가능하게 설정한다.

# create user
create user '유저'@'%' IDENTIFIED BY '암호';

그 후 특정 테이블에서만 읽고, 쓰기가 가능하게 권한을 부여한다.

# 권한 부여, grant
GRANT SELECT, INSERT ON 테이블 TO '유저'@'%';

MongoDB

MongoDB 설치

설치는 공식 문서를 참고했다.

https://www.mongodb.com/docs/manual/tutorial/install-mongodb-on-ubuntu/#install-mongodb-community-edition

패키지 매니저에 mongodb 퍼블릭 키를 추가한다.

'OK'가 나왔다면 제대로 추가가 된 것이고, 아니라면 공식 문서를 참고하면 된다.

# 버전 5.0.9를 사용중이므로 5.0.asc를 사용
wget -qO - https://www.mongodb.org/static/pgp/server-5.0.asc | sudo apt-key add -

mongodb 버전 리스트 파일을 생성한다.

# 5.0.9 버전을 사용중이므로 6.0을 5.0으로 변경했다.
echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu focal/mongodb-org/5.0 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-5.0.list

패키지 매니저를 업데이트한다.

# update
sudo apt-get update

패키지 매니저를 이용해 mongodb를 설치한다.

# 버전 지정없이
sudo apt-get install -y mongodb-org

# 버전 지정
sudo apt-get install -y mongodb-org=5.0.9 mongodb-org-database=5.0.9 mongodb-org-server=5.0.9 mongodb-mongosh=1.5.0 mongodb-org-mongos=5.0.9 mongodb-org-tools=5.0.9

MongoDB 설치확인

설치된 mongodb를 실행한다.

# mongodb 실행
sudo systemctl start mongod

# mongodb 상태확인
systemctl status mongod

접속 툴로 mongodb에 접속해본다.

# 인증 없이
mongosh

# 유저로 접속
mongosh -u 유저이름 -p 암호

MongoDB 유저 생성

Mysql과 마찬가지로 유저를 생성한다.

서버 내부에서 사용할 admin 유저와, 외부에서 접속하는 유저를 생성한다.

passwordPrompt의 경우 입력 문구가 나오며 직접 입력하면 된다.

# 일반 유저 생성
db.createUser(
  {
    user: "blogUser",
    pwd:  passwordPrompt(),
    roles: [ { role: "readWrite", db: "blogdb" }]
  }
)

# admin유저 생성
db.createUser(
  {
    user: "blogAdmin",
    pwd:  passwordPrompt(),
    roles: [ { role: 'root', db: 'admin' } ]
  }
)

EC2 인바운드 규칙 수정

mysql과 mongodb가 외부에서도 접근이 가능하도록 ec2 인스턴스의 인바운드 규칙을 수정해야 한다.

mysql의 기본 포트와 mongodb의 기본 포트를 인바운드 규칙에 추가하면 된다.

mysql: 3306
mongodb: 27017

aws console -> ec2 서비스 -> 수정할 인스턴스(인스턴스 ID) -> 보안 -> 보안 그룹 -> 인바운드 규칙 편집

1. 수정할 인스턴스(인스턴스 ID)

변경할 인스턴스 선택

2. 보안

보안 선택

3. 보안 그룹 선택

보안 그룹 선택

4. 인바운드 규칙 편집 선택

인바운드 규칙 편집 선택

5. 지정된 포트로 인바운드 규칙 편집

인바운드 규칙 편집

그래프 출력용 웹서버 작성에 대한 글을 쓰려고 한다.

# 2022.09.30 수정

AWS EC2 nginx + letsencrypt

그래서그렇지 — Thu, 29 Sep 2022 10:54:13 +0900

주식 뉴스 분석 프로젝트 <서버 구축><3>

프로젝트 개요 및 각 글들의 링크: https://namth.tistory.com/18

이번 글에는 고정된 IP와 도메인을 구매, 연결하였으니 이제 ssl을 설정하려고 한다.

서버는 nginx을 사용하였고, ssl 인증서 발급은 letsencrypt을 사용하였다.(nginx + letsencrypt)

NGINX

Nginx 설치

ssl인증서를 발급 전 nginx을 설치한다.

# 패키지 리스트 업데이트
sudo apt update

# nginx 설치
sudo apt install nginx

# nginx 상태 확인
systemctl status nginx

Nginx 리버스 프록시 설정

구입한 도메인의 특정 경로로 http 요청이 올 때, 미리 생성한 주식 뉴스 서버에게 요청을 전달하도록 Nginx을 설정한다.

1. 서버 블록 작성

주식 뉴스 서버로 요청을 전달할 서버 블록을 작성한다.

2. 서버 블록 생성

해당 파일을 /etc/nginx/sites-available 아래에 생성한다.

( /etc/nginx/sites-available/mysite.conf )

생성한 파일을 /etc/nginx/sites-enabled으로 심볼릭 링크를 생성한다.

( /etc/nginx/sites-enabled/mysite.conf )

# 심볼릭 링크 생성
sudo ln -s /etc/nginx/sites-available/mysite.conf /etc/nginx/sites-enabled/mysite.conf

3. 서버 블록 적용

/etc/nginx/nginx.conf 파일을 수정한다.

생성한 서버 블록 설정 파일을 nginx 설정에서 include를 사용해서 로드한다.

4. 테스트

잘 적용되었는지 확인을 위해 nginx를 종료 후 다시 동작시키기보다는 'nginx -t'을 사용해서 검증을 진행한다.

아래와 같이 문구가 나왔다면 문법에 문제없이 작성된 것이다.

이제 설정을 적용시키면 된다.

# 설정파일 load
sudo systemctl reload nginx.service

설정한 url로 접속을 하면 아래와 같이 나온다면 잘 설정이 된 것이다.

nginx index

SSL

1. letsencrypt 설치

letsencrypt설치를 위해 저장소를 추가한다.

# 저장소 추가
sudo apt-add-repository -r ppa:certbot/certbot

그 후 설치를 진행한다.

# letsencrypt 설치
sudo apt install python-certbot-nginx

2. letsencrypt 실행

letsencrypt를 nginx와 연동해서 실행시키기 위해서 아래와 같이 입력을 한다.

# --nginx: nginx와 같이 사용
# --email: 사용자 이메일
# -d: 적용시킬 도메인

sudo certbot --nginx --email example@example.com -d www.domain.com

이미 진행을 해버린 상태라 진행 사진이 없어는 관계로 설명만 적기로 했다.

약관 동의: 동의해야지 사용 가능하므로 y 선택
이메일 사용 여부: 개인에 따라서 선택
Http 요청 리다이렉트: 개인에 따라서 선택
http -> https: 리다이렉트 없음: 기존 서버 설정에 변화가 없으며, 해당 도메인으로 접근 시 Https로만 접근이 가능해진다.
http -> https: 리다이렉트 설정: 기존 서버 설정에 변화를 주며, http 요청을 https으로 리다이렉트 하게 된다.
인증 유효기간 확인: 아마도 90일로 유효기간을 알려줄 것이다.

설정 이미지 및 설명 링크

https://www.sunny-son.space/AWS/HTTPS%20%EC%84%A4%EC%A0%95%ED%95%98%EA%B8%B0/

3. 테스트

Nginx테스트처럼 해당 사이트에 접근을 해본다.

이전에는 http로 설정되어 있어서 경고가 있었다면

이제는 경고가 사라진것을 확인할 수 있다.

http

https

데이터 베이스들을 설치 및 설정하는 글을 작성할 예정이다.

# 2022.09.30 수정

AWS EC2 IP고정(탄력적IP) 및 도메인 등록 및 연결

그래서그렇지 — Wed, 28 Sep 2022 11:23:19 +0900

주식 뉴스 분석 프로젝트 <서버 구축><2>

프로젝트 개요 및 각 글들의 링크: https://namth.tistory.com/18

이번 글에서는 생성된 EC2 인스턴스에게 고정된 IP을 부여하고, 해당 IP를 통해 도메인을 등록하는 방법을 적으려고 한다.

생성된 2개의 인스턴스 중 프록시와 DB서버 역할을 하는 서버에게만 해당 내용을 적용할 예정이다.

IP와 DNS등록은 aws에서 진행했다.

IP: aws 탄력적 IP

DNS: aws Route53

IP 고정(탄력적 IP)

1. 탄력적 IP 할당

aws console -> EC2 서비스 -> 네트워크 및 보안 -> 탄력적 IP로 들어간다.

EC2 서비스 사이드메뉴

탄력적 IP화면에서 탄력적 IP 할당 버튼을 누른다.

탄력적 IP 리스트 화면

정보를 입력하고 할당을 누른다.

딱히 수정할 내용이 없어 바로 할당을 눌렀다.

탄럭적 IP 설정 화면

이전 화면으로 넘어오게 되며, 할당이 된 IP를 확인이 가능해진다.

(아래 할당된 IP는 작성 후 바로 할당이 해제되었습니다.)

할당된 탄력적 IP

2. 탄력적 IP와 인스턴스 연결

이제 할당받은 IP를 인스턴스에 연결해야 한다.

할당할 IP의 체크박스를 선택하고 우측 위 작업을 선택한다.

작업 목록에서 '탄력적 IP 주소 연결' 작업을 선택한다.

탄력적 IP 작업 목록

인스턴스와 IP사이에 연결을 설정하는 페이지가 나온다.

설정을 아래와 같이 설정한 후

리소스 유형: 인스턴스

인스턴스: 이미 생성한 인스턴스 목록 중에서 선택

연결을 눌러준다.

인스턴스-탄력적 IP 연결

이제 고정된 IP를 가진 인스턴스를 가지게 되었다.

DNS 등록(도메인)

배포할 사이트를 DNS를 등록하지 않는다면, 접근성이 떨어진다.

(도메인 o: www.example.com, 도메인 x: 123.456.789.123)

1. DNS 생성 페이지 진입

DNS를 등록하기 위해

aws console -> route53 서비스로 들어간다.

그리고 사이드 메뉴에서 '등록된 도메인'을 선택한다.

route53 사이드 메뉴

등록된 도메인이 출력되는 페이지에서 '도메인 등록' 버튼을 누른다.

도메인 등록버튼(도메인 리스트 화면)

2. 도메인 검색

도메인을 설정하는 페이지가 나온다.

원하는 도메인으로 설정하고 '계속'버튼을 눌러 진행한다.

원하는 도메인 검색

3. 도메인 구매자 연락처 설정 및 도메인 기간 설정

이제 도메인을 구매하는 사람의 연락처와 도메인 구매 기간을 설정하는 페이지가 나온다.

우선 연락처를 넣어보자.

위부터 설명을 하면

등록, 관리, 기술 연락처가 모두 같음: 개인 프로젝트이므로 당연히 같음(예)
연락처 유형: 개인(개인, 회사, 공공단체, 연결 4가지 선택지가 존재)
이름: 영문 이름(성 제외)
성: 영문 성
조직: 개인으로 되어있다면 해당 없음으로 처리됨
이메일: 도메인과 관련된 정보를 받을 이메일
전화번호: 핸드폰 번호 입력,
앞칸에는 국가코드 입력, 뒤에는 맨 앞 0을 뺀 번호 입력
한국의 경우: 010-1234-5678 -> (+82 1012345678)
주소: 영문 주소
변환 사이트(https://www.jusoen.com/)
주소 2: 보통 방 호수(101호)
국가: 설정할 국가
구/군/시: 본인이 살고 있는 행적구역의 영어 이름
우편번호: 주소의 우편번호 입력
찾는 사이트(https://www.epost.go.kr/search.RetrieveIntegrationNewZipCdList.comm)

도메인 연락처 정보

정보를 다 넣고 우측에 도메인을 사용할 기간을 설정한다.

1년 ~ 10년 설정 가능하다.

도메인 기간 설정

4. 도메인 옵션 확인 및 주문 확인

연락처와 사용기간을 설정하고 '계속' 버튼을 눌러 다음 페이지로 넘어가면

결제확인 페이지가 나온다.

이 페이지에서 확인해야 할 내용은 아래와 같다.

'도메인 자동갱신'으로 해당 옵션을 활성화하면 도메인 기간 만료 시 자동적으로 기간이 연장이 된다.(요금 지불)
'등록 연락처와 이메일 주소 확인'에 자신이 등록한 이메일을 확인한다.

이제 이용약관을 읽고 체크박스에 체크하면 우측 아래에 '주문 완료'버튼이 활성화되고 누르면 도메인을 구매하게 된다.

약관 및 자동갱신 옵션 설정

'주문 완료'를 눌렀다면 route53 서비스에서 확인이 가능해진다.

주문 완료가 되었다고 바로 도메인을 사용 가능해지는 게 아니라 조금 시간이 걸린다.

대기 중인 요청은 사이드 메뉴에서 확인이 가능하다.

대기중인 요청 확인

도메인 연결(탄력적 IP - 도메인)

1. 도메인 리스트 확인

마지막 단계로 구입한 도메인에 인스턴스에 연결한 탄력적 IP를 연결할 차례이다.

등록된 도메인의 리스트가 있는 화면으로 들어간다.

등록된 도메인 리스트 화면 진입

만약 도메인이 등록요청이 완료되었다면 아래 사진과 같이 등록된 도메인이 출력이 될 것이다.

2. 호스팅 영역 생성

도메인 등록이 확인되었다면 사이드 메뉴에서 '호스팅 영역'을 선택한다.

호스팅 영역 진입

호스팅 영역을 생성해야 하므로 '호스팅 영역 생성' 버튼을 눌러 생성 페이지로 이동한다.

호스팅 영역 리스트(생성 버튼)

생성 페이지에서 몇 가지 입력을 한 후 호스팅 영역을 생성한다.

도메인 이름: 구입한 도메인의 이름을 입력한다.(example.com)
설명: 호스팅 영역에 대한 설명
유형: 호스팅 한 서버를 퍼블릭으로 배포할 예정이므로 퍼블릭 호스팅으로 한다.

호스팅 영역 생성 화면

3. 호스팅 영역 설정

호스팅 영역을 선택하여 설정을 진행한다.

생성된 호스팅 영역

아래 사진에서 빨간색 테두리의 사각형 안쪽은 기본적으로 존재하는 레코드이다.

나의 경우 blog와 개인 웹페이지를 사용하고 있어 blog, www의 레코드를 등록되어 있다.

이 글은 주식 서버 관련된 글이므로 www레코드 생성에 대해서만 작성하려고 한다.

호스팅 영역의 레코드 리스트

4. 레코드 설정

개인 웹페이지에서 사용할 도메인을 위해서 www.도메인 형태의 도메인이 필요했다.

www.도메인 형태가 필요하다면 레코드를 생성하여서 등록하면 된다.

'레코드 생성' 버튼을 눌러준다.

지금 원하는 작업은 www.도메인으로 입력이 오면 나의 서버로 요청이 가도록 하고 싶으므로,

라우팅 정책은 '단순 라우팅'으로 설정한다.

라우팅 유형 설정

단순 라우팅 레코드를 정의해야 하므로 '단순 레코드 정의' 버튼을 눌러준다.

레코드 정의 버튼

단순 레코드 정의를 아래와 같이 설정하였다.

레코드 이름: 원하는 형식의 도메인은 www.도메인이므로, www을 입력한다.
레코드 유형은: 해당 도메인으로 요청 시 특정 IP로 전달하는 것이므로 A 유형을 선택한다.
값/트래픽 라우팅 대상: 레코드 유형이 A이고, IP로 요청을 전달하는 것이므로 '레코드 유형에 따른 IP 주소 또는 다른 값'을 선택한다.
값은 탄력적 IP를 입력하면 된다.
TTL의 경우: 원하는 값을 넣어주면 된다. 크게 상관할 필요가 없어 보여 기본 값으로 진행했다.

레코드 정의

설정을 완료했다면 '단순 레코드 정의' 버튼을 누르고 '레코드 생성'버튼을 눌러준다.

정의된 레코드 생성

다음 글은 ssl을 적용하여 https가 가능하도록 설정하는 글을 작성할 예정이다.

# 2022.09.30 수정

AWS EC2 인스턴스 생성 및 접속하기

그래서그렇지 — Mon, 26 Sep 2022 15:02:38 +0900

주식 뉴스 분석 프로젝트 <서버 구축><1>

프로젝트 개요 및 각 글들의 링크: https://namth.tistory.com/18

주식 분석 프로젝트에 사용할 서버 1개와, 프록시 서버 및 DB서버로 사용할 서버 1개.

총 2개의 서버를 구축하기로 하였다.

서버는 aws의 EC2를 사용하여서 구축을 하였다.

EC2 생성

1. 콘솔 로그인

해당 링크를 통하여 aws콘솔에 로그인을 진행한다.

https://aws.amazon.com/ko/console/

2. 콘솔 EC2 생성

콘솔에서 EC2 서비스를 선택한다.

왼쪽 사이드 바에서 인스턴스를 클릭해준다.

aws ec2 사이드 바 메뉴

인스턴스 화면에서 우측 위 인스턴트 시작 버튼을 눌러준다.

인스턴스 생성 메뉴

누르면 여러 가지 선택 및 입력화면이 나타나는데

크게 6부분을 입력하면 된다.

인스턴스 이름
프록시 서버의 경우 main, 주식 뉴스 서버의 경우 stock으로 설정
사용할 OS
ubuntu 20.04으로 설정
인스턴스 유형
t2.micro로 설정
키 선택(ssh)
이번 프로젝트를 위한 새로운 키 발급
방화벽 설정
프록시 서버 인바운드: DB, ssh, http, https, ping 요청을 받기 위해 여러 개의 포트를 오픈
주식 뉴스 서버 인바운드: stock서버 port와 ssh 포트 오픈, 외부와의 접근을 막기 위해 마스킹을 통해 VPC에서만 접속 가능하게 설정
스토리지 설정(볼륨 설정)
프록시 서버: 기본 8GB + 나중에 추가로 16GB
주식 뉴스 서버: 기본 8GB

이름 설정

os 설정

인스턴스 유형 설정

ssh 접속 키 설정

인스턴스의 보안 규칙(프록시 서버)

인스턴스 스토리지 구성

EC2 접속

생성한 EC2에 ssh로 접속을 하는 방법을 적으려고 한다.

우선 생성 시 사용한 pem(key) 파일을 다운로드한다.

그리고 ssh명령이 가능하도록 설정한다.

unix 계열이라면 따로 설치할 필요가 없겠지만,

window의 경우 설정을 해야 한다.

https://learn.microsoft.com/ko-kr/windows-server/administration/openssh/openssh_install_firstuse

ssh로 접속하기 위해 퍼블릭 ip가 필요하므로 콘솔에서 ip를 알아내면 된다.

ec2 서비스 -> 인스턴스 -> 생성한 인스턴스 -> 네트워킹 -> 퍼블릭 IPv4 주소

이제 key파일과 ip주소를 이용하여서 ssh로 접속을 하면 된다.

다운로드한 key파일의 경로를 keyfilePath에 넣고, ip주소를 yourip에 넣으면 접속이 된다.

ssh -i keyfilePath ubuntu@yourip

ec2 인스턴스 연결

다음 글에는 프록시 서버의 퍼블릭 ip 고정, DNS 등록을 작성할 예정이다.

# 2022.09.30 수정

[apt] apt upgrade시 특정 패키지만 업그레이드 하기

그래서그렇지 — Mon, 26 Sep 2022 14:04:37 +0900

서버 운영 중 특정 패키지만 업그레이드를 하고 싶어 찾아본 결과를 기록합니다.

서버 환경

ubuntu 20.04
aws ec2, t2 micro

특정 패키지 업그레이드 명령어

apt install의 --only-upgrade 옵션을 사용하여 특정 패키지만 업그레이드합니다.

패키지의 리스트는 띄어쓰기로 구분됩니다.

sudo apt install --only-upgrade pack1 pack2 ...

업그레이드 가능한 패키지 목록

apt list --upgradable

패키지 리스트 업데이트

sudo apt update

업그레이드 가능한 모든 패키지 업그레이드

sudo apt upgrade -y

필요 없는 패키지 삭제

sudo apt autoremove

뚠뚠

AWS EC2 인스턴스 볼륨추가

볼륨 생성

1. AWS console에 접속한다.https://console.aws.amazon.com/ec2/

2. 사이드 메뉴에서 볼륨을 선택한다.

3. 볼륨 생성 버튼을 누른다.

4. 볼륨 설정을 하고 생성한다.

4. 볼륨 생성 확인

볼륨 연결

1. 생성한 볼륨을 선택하여 연결하기 선택

2. 연결할 인스턴스 지정

2. 볼륨 연결 확인

3. 볼륨 상태 확인

3. 볼륨 파일 시스템 설정

4. 볼륨 마운트

4. 볼륨 확인 및 부팅 시 자동 마운트 설정

끝

참고자료

[ubuntu]Flask 서버 service 등록

Service이란

Service 파일 생성

Service 등록 방법

Service 삭제 방법

다음 글

[Flask] Flask 객체 생성시 __name__은 왜 넣을까

__name__ 이란

__name__ 을 왜 사용할까

Flask 객체 생성

결론

번외

flask run ( gunicorn )

export FLASK_APP && flask run

주식 뉴스 프로젝트 Flask 서버

주식 뉴스 분석 프로젝트 <Flask><1>

개발환경

프로젝트 구조

EndPoint

다음 글

[mysql] mysql 삭제시 관련 파일 모두 삭제

mysql service 정지

mysql 삭제

설정 파일 삭제

AWS EC2 Mysql, MongoDB 설치

주식 뉴스 분석 프로젝트 <서버 구축><4>

MySql

MySql 설치

MySql 인증정보 세팅

MySql 테스트

MySql 유저 추가

MongoDB

MongoDB 설치

MongoDB 설치확인

MongoDB 유저 생성

EC2 인바운드 규칙 수정

다음 글

AWS EC2 nginx + letsencrypt

주식 뉴스 분석 프로젝트 <서버 구축><3>

NGINX

Nginx 설치

Nginx 리버스 프록시 설정

1. 서버 블록 작성

2. 서버 블록 생성

3. 서버 블록 적용

4. 테스트

SSL

1. letsencrypt 설치

2. letsencrypt 실행

3. 테스트

다음 글

AWS EC2 IP고정(탄력적IP) 및 도메인 등록 및 연결

주식 뉴스 분석 프로젝트 <서버 구축><2>

IP 고정(탄력적 IP)

1. 탄력적 IP 할당

2. 탄력적 IP와 인스턴스 연결

DNS 등록(도메인)

1. DNS 생성 페이지 진입

2. 도메인 검색

3. 도메인 구매자 연락처 설정 및 도메인 기간 설정

4. 도메인 옵션 확인 및 주문 확인

도메인 연결(탄력적 IP - 도메인)

1. AWS console에 접속한다.
https://console.aws.amazon.com/ec2/

[Flask] Flask 객체 생성시 name은 왜 넣을까

name 이란

name 을 왜 사용할까