AWS QuickSight DataSet Refresh 1. Architecture 2. Prerequired 2.1 QuickSight DataSet 생성 아무 데이터나 데이터 셋으로 생성 2.2 해당 데이터 셋 ID 확인 AWS CLI로 확인 가능 aws quicksight list-data-sets --aws-account-id xxxxxxx { "Arn": "arn:aws:quicksight:ap-northeast-2:xxxxxxx:dataset/6bfd9fef-3376-492b-9f75-91506a2f789b", "DataSetId": "6bfd9fef-3376-492b-9f75-91506a2f789b", "Name": "**refresh_data_test_set**", "CreatedTime"..
AWS
8. Monitoring 2(Grafana) 8.1 설치(Public EC2) Public EC2에 설치 sudo apt-get install -y apt-transport-https sudo apt-get install -y software-properties-common wget sudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.key ## repository 연결 echo "deb [signed-by=/usr/share/keyrings/grafana.key] https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list ..
7. Monitoring 1(Prometheus, PostgreSQL Exporter, Node Exporter) 7.1 Architecture 현재 사용하는 Database의 사용 관련한 지표를 수집하고 시각화해줄 수 있는 형태가 필요함 PostgreSQL → Prometheus → Grafana 형태로 진행되는것을 많이 사용함 여기서 Promethenus 를 InfluxDB를 사용하기도 한다고함. 여기서 PostgreSQL에서 Grafana로 바로 접근할 수 있지만 바로 접근한다면 이것 또한 DB 과부하의 영향을 줄 수 있는 형태로 Prometheus를 중간 매개체 역할을 수행한다. 참조 : https://badcandy.github.io/2018/12/25/prometheus-architecture..
6. Redis 설치 💡 Key, Value 구조의 비정형 데이터를 저장하고 관리하기 위한 오픈 소스 기반의 비관계형 데이터 베이스 관리 시스템 (DBMS)입니다. 데이터베이스, 캐시, 메세지 브로커로 사용되며 인메모리 데이터 구조를 가진 저장소 Redis 는 다양한 자료구조를 API로 제공하는 in memory database이다. (기본적으로 key- value이다) 참고 : https://redis.io/docs/getting-started/installation/install-redis-on-linux/ 6.1 설치 6.1.1 사전 설치 sudo apt install lsb-release 6.1.2 Add Repository & Make List curl -fsSL https://packages...
5. MongoDB 설치, SSH Tunneling 참조: https://www.mongodb.com/docs/manual/tutorial/install-mongodb-on-ubuntu/ 5.1 설치 ## import the MongoDB public GPG Key from [https://www.mongodb.org/static/pgp/server-6.0.asc](https://www.mongodb.org/static/pgp/server-6.0.asc) wget -qO - https://www.mongodb.org/static/pgp/server-6.0.asc | sudo apt-key add - ## ****Create a list file for MongoDB.**** echo "deb [ arch..
4. PostgreSQL 설치, SSH Tunneling 참고 : https://postgresql.kr/docs/13/ https://docs.3rdeyesys.com/database/ncloud-database-postgresql-install-connect-guide-ubuntu.html#방법1동일한-계정-생성 4.1 PostgreSQL 설치 4.1.1 레포지토리 설정 sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list' sudo wget --quiet -O - https://www.postgresql.org/media/ke..
💡 AWS를 사용하다보면 Managed 된 서비스들을 이용하는 비용이 지속적으로 증가하게 된다. EC2에 각 DB를 설치하고 관리하는 방법을 습득하고자 한다. Architecture Bastion Host를 통해 Private Subnet에 있는 DB Instance를 접근 Bastion host Grafana DB Instance PostgreSQL Redis MongoDB Prometheus 1. VPC(Network) 아래 그림과 달리 EC2 Instance Type을 가장 크기가 작은 Type으로 하기 위해서는 AZ a,c에서 생성해야되므로 가용영역을 A, C로 선택. 1.1 VPC 생성 각각 VPC, Subnet, Routing Table, NACL을 생성해도 됨. 하지만 AWS Console에..
EC2 생성 시 Key Pair 설정 후 해당 Key로 Windows Command SSH 로 접근하려고 하면 아래와 같은 메세지가 나오게 된다. Permissions for 'keyname.pem' are too open. It is required that your private key files are NOT accessible by others. This private key will be ignored. Load key "keyname.pem": bad permissions ubuntu@ec2ipordns: Permission denied (publickey). 위와 같은 에러가 발생한다. 해당 Key File의 권한 문제로 발생하는 문제인데 아래와 같이 권한 설정을 하게 되면 SSH 접속이 가..
클라우드 개발을 위한 가상화와 Docker 1 Credu (회사 내 이러닝) 을 통한 학습. 1. 클라우드의 개념 및 종류 SPI 모델 가장 일반적인 클라우드 구분법 IaaS (Infrastructure as a Service) 서버 자원 (CPU/메모리/디스크 등) - 순수 하드웨어만 가상화하여 제공 예) 아마존 AWS EC2 PaaS (Platform as a Service) OS + Runtime(Java) + Platform(Spring, Hadoop) 아마존 AWS EMR SaaS (Software as a Service) Google Drive, MSOffice.com 클라우드 구축하기 위한 요소기술 (Enabling Technology)에 가상화기술과 도커와 같은 컨테이너기반 기술이 있다. ..
