전체 글

AWS QuickSight DataSet Refresh 1. Architecture 2. Prerequired 2.1 QuickSight DataSet 생성 아무 데이터나 데이터 셋으로 생성 2.2 해당 데이터 셋 ID 확인 AWS CLI로 확인 가능 aws quicksight list-data-sets --aws-account-id xxxxxxx { "Arn": "arn:aws:quicksight:ap-northeast-2:xxxxxxx:dataset/6bfd9fef-3376-492b-9f75-91506a2f789b", "DataSetId": "6bfd9fef-3376-492b-9f75-91506a2f789b", "Name": "**refresh_data_test_set**", "CreatedTime"..

8. Monitoring 2(Grafana) 8.1 설치(Public EC2) Public EC2에 설치 sudo apt-get install -y apt-transport-https sudo apt-get install -y software-properties-common wget sudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.key ## repository 연결 echo "deb [signed-by=/usr/share/keyrings/grafana.key] https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list ..

7. Monitoring 1(Prometheus, PostgreSQL Exporter, Node Exporter) 7.1 Architecture 현재 사용하는 Database의 사용 관련한 지표를 수집하고 시각화해줄 수 있는 형태가 필요함 PostgreSQL → Prometheus → Grafana 형태로 진행되는것을 많이 사용함 여기서 Promethenus 를 InfluxDB를 사용하기도 한다고함. 여기서 PostgreSQL에서 Grafana로 바로 접근할 수 있지만 바로 접근한다면 이것 또한 DB 과부하의 영향을 줄 수 있는 형태로 Prometheus를 중간 매개체 역할을 수행한다. 참조 : https://badcandy.github.io/2018/12/25/prometheus-architecture..

6. Redis 설치 💡 Key, Value 구조의 비정형 데이터를 저장하고 관리하기 위한 오픈 소스 기반의 비관계형 데이터 베이스 관리 시스템 (DBMS)입니다. 데이터베이스, 캐시, 메세지 브로커로 사용되며 인메모리 데이터 구조를 가진 저장소 Redis 는 다양한 자료구조를 API로 제공하는 in memory database이다. (기본적으로 key- value이다) 참고 : https://redis.io/docs/getting-started/installation/install-redis-on-linux/ 6.1 설치 6.1.1 사전 설치 sudo apt install lsb-release 6.1.2 Add Repository & Make List curl -fsSL https://packages...

5. MongoDB 설치, SSH Tunneling 참조: https://www.mongodb.com/docs/manual/tutorial/install-mongodb-on-ubuntu/ 5.1 설치 ## import the MongoDB public GPG Key from [https://www.mongodb.org/static/pgp/server-6.0.asc](https://www.mongodb.org/static/pgp/server-6.0.asc) wget -qO - https://www.mongodb.org/static/pgp/server-6.0.asc | sudo apt-key add - ## ****Create a list file for MongoDB.**** echo "deb [ arch..

4. PostgreSQL 설치, SSH Tunneling 참고 : https://postgresql.kr/docs/13/ https://docs.3rdeyesys.com/database/ncloud-database-postgresql-install-connect-guide-ubuntu.html#방법1동일한-계정-생성 4.1 PostgreSQL 설치 4.1.1 레포지토리 설정 sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list' sudo wget --quiet -O - https://www.postgresql.org/media/ke..

💡 AWS를 사용하다보면 Managed 된 서비스들을 이용하는 비용이 지속적으로 증가하게 된다. EC2에 각 DB를 설치하고 관리하는 방법을 습득하고자 한다. Architecture Bastion Host를 통해 Private Subnet에 있는 DB Instance를 접근 Bastion host Grafana DB Instance PostgreSQL Redis MongoDB Prometheus 1. VPC(Network) 아래 그림과 달리 EC2 Instance Type을 가장 크기가 작은 Type으로 하기 위해서는 AZ a,c에서 생성해야되므로 가용영역을 A, C로 선택. 1.1 VPC 생성 각각 VPC, Subnet, Routing Table, NACL을 생성해도 됨. 하지만 AWS Console에..

프로젝트를 수행하다보면 공통 모듈을 생성하여 다른사람 또는 스스로 재활용해야할 경우가 자주 발생힙니다. 파이썬 공식 문서를 참고하여 패키지 만드는 방법을 정리하겠습니다. 참고 : Python 공식문서 6. Modules If you quit from the Python interpreter and enter it again, the definitions you have made (functions and variables) are lost. Therefore, if you want to write a somewhat longer program, you are bett... docs.python.org 파이썬 패키지는 dotted module names 를 사용하여 구조화 하고 있습니다. 즉, 패키지 내 ..

AWS Lakeformation Lab #2 ( QuickSight ) 1. 사전 준비 해당 Lab은 IAM 을 사용하는 것이 아니라 QuickSight 계정 및 그룹을 사용하는 Lab이므로 QuickSight 가입이 필수적으로 필요하다. 참고 아마존 QuickSight 서브스크립션 가입하기 - Amazon QuickSight 2. Glue Catalog Database 2.1 데이터 확인 2.2 Database 생성 AWS Management Console → Lakeformation → DataCatalog, Database → Create Database database : lk_db Use only IAM access control for new tables in this database : 비활..

AWS Lake formation Lab 1. IAM User 추가 lk_test1 : AdministratorAccess lk_test2 : AdministratorAccess 2. Glue Catalog Database 2.1 데이터 확인 2.2 Database 생성 AWS Management Console → Lakeformation → DataCatalog, Database → Create Database database : lk_db Use only IAM access control for new tables in this database : 비활성화 해당 옵션을 활성화 하게 된다면, IAM 정책을 통해 Glue 권한이 있을 경우 모든 데이터를 확인이 가능하기 때문에 데이터 권한 자체를 Lake..