2DH

AWS QuickSight DataSet 갱신(Refresh using Lambda, API Gateway)

J_Today — Wed, 13 Sep 2023 11:06:59 +0900

AWS QuickSight DataSet Refresh

1. Architecture

2. Prerequired

2.1 QuickSight DataSet 생성

아무 데이터나 데이터 셋으로 생성

2.2 해당 데이터 셋 ID 확인

AWS CLI로 확인 가능

aws quicksight list-data-sets --aws-account-id xxxxxxx

{       "Arn": "arn:aws:quicksight:ap-northeast-2:xxxxxxx:dataset/6bfd9fef-3376-492b-9f75-91506a2f789b",       "DataSetId": "6bfd9fef-3376-492b-9f75-91506a2f789b",       "Name": "**refresh_data_test_set**",       "CreatedTime": 1683604683.724,       "LastUpdatedTime": 1683604839.899,       "ImportMode": "SPICE",       "RowLevelPermissionTagConfigurationApplied": false,       "ColumnLevelPermissionRulesApplied": false },

2.3 Lamba Role 생성

2.3.1 Lambda to Stepfunction

Name : lambda_to_stepfunction_role
AWS Policy
1. AWSStepFunctionsConsoleFullAccess

2.3.2 Lambda to Quicksight

Name : lambda_to_quickight_refresh_role

Policy

Name : hist_quicksight_dataset_refresh_policy

Json

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "QuickSightAccess",
            "Effect": "Allow",
            "Action": [
                "quicksight:DescribeDataSet",
                "quicksight:PassDataSet",
                "quicksight:RefreshDataSet",
                "quicksight:ListDataSets",
                "quicksight:CreateIngestion",
                                "quicksight:DescribeIngestion"
            ],
            "Resource": "*"
        }
    ]
}

AWS Policy
1. CloudWatchLogsFullAccess

3. Lambda Refresh Quicksight

3.1 Lambda Function

Name : lambda_quicksight_dataset_refresh
Role : lambda_to_quickight_refresh_role
Python

import boto3
import calendar
import time
import json 

# 주석 처리 된 부분은 데이터셋을 여러개 Refresh할때
# def refresh_dataset(is_wait):
# 	aws_account_id = "xxxxxxx"
# 	client = boto3.client('quicksight',  region_name="ap-northeast-2")
# 	res = client.list_data_sets(AwsAccountId=aws_account_id)
	    
# 	    # filter out your datasets using a prefix. All my datasets have chicago_crimes as their prefix
# 	datasets_ids = [summary["DataSetId"] for summary in res["DataSetSummaries"] if "refresh_data_test_set".upper() in summary["Name"].upper()]

# 	ingestion_ids = []
# 	for dataset_id in datasets_ids:
# 	    try:
# 	        ingestion_id = str(calendar.timegm(time.gmtime()))
# 	        client.create_ingestion(DataSetId=dataset_id, IngestionId=ingestion_id,
# 	                                            AwsAccountId=aws_account_id)
# 	        ingestion_ids.append(ingestion_id)
# 	    except Exception as e:
# 	        print(e)
# 	        pass

# 	for ingestion_id, dataset_id in zip(ingestion_ids, datasets_ids):
# 	    while True:
# 	        response = client.describe_ingestion(DataSetId=dataset_id,
# 	                                                IngestionId=ingestion_id,
# 	                                                AwsAccountId=aws_account_id)
# 	        if response['Ingestion']['IngestionStatus'] in ('INITIALIZED', 'QUEUED', 'RUNNING'):
# 	            time.sleep(5)     #change sleep time according to your dataset size
# 	        elif response['Ingestion']['IngestionStatus'] == 'COMPLETED':
# 	            print("refresh completed. RowsIngested {0}, RowsDropped {1}, IngestionTimeInSeconds {2}, IngestionSizeInBytes {3}".format(
# 	                response['Ingestion']['RowInfo']['RowsIngested'],
# 	                response['Ingestion']['RowInfo']['RowsDropped'],
# 	                response['Ingestion']['IngestionTimeInSeconds'],
# 	                response['Ingestion']['IngestionSizeInBytes']))
# 	            break
# 	        else:
# 	            print("refresh failed for {0}! - status {1}".format(dataset_id, response['Ingestion']['IngestionStatus']))
# 	            break

def refresh_single_dataset():
	# Initialize the QuickSight client
    quicksight = boto3.client('quicksight')
    
    # Set the dataset ID that needs to be refreshed
    dataset_id = '6bfd9fef-3376-492b-9f75-91506a2f789b' # Sample Dataset ID
    
    aws_account_id = "xxxxxxxx"
    # Refresh the dataset
    response = quicksight.create_ingestion(
    	DataSetId=dataset_id,
	    IngestionId='refresh_data_test_set',
	    AwsAccountId=aws_account_id,
	    IngestionType='FULL_REFRESH'
	    )
    return response
	        
def lambda_handler(event, context):
    
    response = refresh_single_dataset()
    print(response)
    return {
        'statusCode': 200,
        'body': json.dumps('Refresh Quicksight Dataset Done!')
    }

3.2 결과

4. Stepfunction

샘플 데이터는 Dimension 성 데이터 세트

4.1 State Mahcine Graph

4.2 Script

Lambda 호출할때 외부 Lambda인지 여부에 따라서 IAM Role ARN입력하는 부분이 있는데 해당 부분을 빼고 넣어야 된다. 아니면 Stepfunction Role 에 Lambda Role 권한을 추가 하여 사용할 수 있도록 해줘야됨.
Script

{
  "Comment": "A description of my state machine",
  "StartAt": "Glue StartJobRun - Dimension Data",
  "States": {
    "Glue StartJobRun - Dimension Data": {
      "Type": "Task",
      "Resource": "arn:aws:states:::glue:startJobRun.sync",
      "Parameters": {
        "JobName": "jb_hist_plan_ma_init_dimension_d2s"
      },
      "Next": "StartCrawler - Dimension"
    },
    "StartCrawler - Dimension": {
      "Type": "Task",
      "Parameters": {
        "Name": "cr_hist_plan_ma_dimension"
      },
      "Resource": "arn:aws:states:::aws-sdk:glue:startCrawler",
      "ResultPath": null,
      "Next": "GetCrawler - Dimension"
    },
    "GetCrawler - Dimension": {
      "Type": "Task",
      "Parameters": {
        "Name": "cr_hist_plan_ma_dimension"
      },
      "Resource": "arn:aws:states:::aws-sdk:glue:getCrawler",
      "ResultPath": "$.GetCrawler",
      "Next": "Choice - Dimension"
    },
    "Choice - Dimension": {
      "Type": "Choice",
      "Choices": [
        {
          "Variable": "$.GetCrawler.Crawler.State",
          "StringEquals": "RUNNING",
          "Next": "Wait - Bronze"
        }
      ],
      "Default": "Lambda Refresh Quicksight Dataset"
    },
    "Lambda Refresh Quicksight Dataset": {
      "Type": "Task",
      "Resource": "arn:aws:states:::lambda:invoke",
      "OutputPath": "$.Payload",
      "Parameters": {
        "FunctionName": "arn:aws:lambda:ap-northeast-2:xxxxxxx:function:lambda_quicksight_dataset_refresh:$LATEST"
      },
      "Retry": [
        {
          "ErrorEquals": [
            "Lambda.ServiceException",
            "Lambda.AWSLambdaException",
            "Lambda.SdkClientException",
            "Lambda.TooManyRequestsException"
          ],
          "IntervalSeconds": 2,
          "MaxAttempts": 6,
          "BackoffRate": 2
        }
      ],
      "End": true
    },
    "Wait - Bronze": {
      "Type": "Wait",
      "Seconds": 5,
      "Next": "GetCrawler - Dimension"
    }
  }
}

4.3 결과

5. Lambda to Stepfunction

Name : lambda_oracle_etl
Script

import json
import boto3

def lambda_handler(event, context):
    # TODO implement

    client = boto3.client('stepfunctions')
    
    response =client.start_execution(
        stateMachineArn='arn:aws:states:ap-northeast-2:xxxxxx:stateMachine:sf_refreshdata_test_machine'
    )
    
    try:
        statusCode = response["ResponseMetadata"]["HTTPStatusCode"]
    except:
        statusCode = 400
    
    return{
        'statusCode': statusCode
    }

6. API Gateway

6.1 REST API 생성

6.1.1 구축

6.1.2 프로토콜 선택

6.1.3 리소스 생성

)

6.1.4 매서드 생성

매서드 생성
POST 선택
Lambda 함수 선택
권한 부여
생성확인
테스트 수행

6.1.5 API 배포

)

6.2 결과확인

6.2.1 API 호출

curl -XPOST https://tgbroiufze.execute-api.ap-northeast-2.amazonaws.com/PROD/v1

6.2.2 결과

)

6.Install Database on Ec2(Grafana)

J_Today — Wed, 13 Sep 2023 10:37:55 +0900

8. Monitoring 2(`Grafana`)

8.1 설치(Public EC2)

Public EC2에 설치

sudo apt-get install -y apt-transport-https sudo apt-get install -y software-properties-common wget sudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.key  ## repository 연결 echo "deb [signed-by=/usr/share/keyrings/grafana.key] https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list  sudo apt-get update  ## Install the latest OSS release: sudo apt-get install grafana  ## reload daemon and start server, check server  sudo systemctl daemon-reload sudo systemctl start grafana-server sudo systemctl status grafana-server  ## Configure the Grafana server to start at boot: ## sudo systemctl enable grafana-server.service

8.2 Security Group

Public Security Group
- Port : 3000
- Source : My IP
초기 id 비번 admin/admin
- 변경 함

8.3 테스트

public ec2 ip:3000 접근

8.4 DataSource

8.4.1 PostgreSQL(Direct 연결)

Private EC2 IP
SSL 등록이 안되어있으니 SSL 은 Disable
Save & Test → Connection OK 또는 Data source is working
매번 Pull을 진행할때마다 DB에 요청하므로 중간 매개체가 있는 것이 좋다 → Prometheus

8.4.2 Prometheus

HTTP URL : http://privateec2ip:9090
Save & Test → Data source is working

8.5 Dashboard

8.5.1 Template

Dashboard Template을 보고 마음에 드는 항목을 선택하여 적용하면 됨.

PostgreSQL Database | Grafana Labs

Template ID 복사 해서 Import 에 Template ID를 입력.

Node Exporter Full | Grafana Labs

8.5.2 부하테스트

1차 PostgreSQL은 Data Import를 통해 테스트(스크린샷 X)

sudo apt-get install -y stress  stress --cpu 1 --timeout 600 # cpu test 100% 다 쓰도록  stress --vm 2 --vm-bytes 200m # ram test 2프로세스  메모리 200m 사용하도록\

9 . 기타(MongoDB, Redis Prometheus)

9.1 Mongo DB 참고

[Grafana]Grafana에 MongoDB 데이터 불러오기

How To Monitor MongoDB with Grafana and Prometheus on Ubuntu 20.04 | DigitalOcean

9.2 Redis 참고

[Prometheus] Redis 모니터링 구성

10. Monitoring 3(MongoDB)

해당 내용은 진행이 안될 수 도 있음을 참고하시기 바랍니다.

mkdir mongodb-exporter cd mongodb-exporter  wget https://github.com/percona/mongodb_exporter/releases/download/v0.7.1/mongodb_exporter-0.7.1.linux-amd64.tar.gz  tar xvzf mongodb_exporter-0.7.1.linux-amd64.tar.gz rm mongodb_exporter-0.7.1.linux-amd64.tar.gz  sudo mv mongodb_exporter /usr/local/bin/

10.2 Enabling MongoDB Authentication

mongosh  use admin  db.createUser({user: "test",pwd: "testing",roles: [{ role: "clusterMonitor", db: "admin" },{ role: "read", db: "local" }]})

10.3 MongoDB URI to Environment variable

vi ~/.profile  export MONGODB_URI=mongodb://test:testing@localhost:27017  env | grep mongodb ## outpout  PWD=/home/ubuntu/tmp_file/mongodb-exporter MONGODB_URI=mongodb://mongodb_exporter:password@localhost:27017

10.4 Creating a Service for the MongoDB exporter

cd /lib/systemd/system/ sudo vi mongodb_exporter.service  [Unit] Description=MongoDB Exporter User=ubuntu  [Service] Type=simple Restart=always ExecStart=/usr/local/bin/mongodb_exporter  [Install] WantedBy=multi-user.target

10.5 Reload Daemon and Start Service

sudo systemctl daemon-reload sudo systemctl start mongodb_exporter.service sudo systemctl status mongodb_exporter.service

10.6 Check Metrics (Port 9216)

Port : 9216 을 통해 Metrics 정보 확인

cd ~ sudo curl http://localhost:9216/metrics

10.7 Prometheus Configuration

MongoDB Exporter 추가

## sudo vi /etc/prometheus/prometheus.yml  vi prometheus.yml  - job_name: "mongodb"     static_configs:       - targets: ["localhost:9216"]         labels:           instance: mongodb

10.8 Grafana Dashboard 추가

MongoDB Overview | Grafana Labs

11. Monitoring 4(Redis)

11.0 Redis 설정 변경

redis-cli  CONFIG SET protected-mode no >OK

11.1 DOWNLOAD

wget https://github.com/oliver006/redis_exporter/releases/download/v1.24.0/redis_exporter-v1.24.0.linux-amd64.tar.gz  tar -zxvf redis_exporter-v1.24.0.linux-amd64.tar.gz  sudo mv redis_exporter /usr/local/bin/

11.2 Systemd 등록

sudo vi /etc/systemd/system/redis_exporter.service  [Unit] Description=Redis Exporter Wants=network-online.target After=network-online.target  [Service] User=ubuntu Group=ubuntu Type=simple ExecStart=/usr/local/bin/redis_exporter \     -web.listen-address ":9121" \     -redis.addr "redis://10.0.157.31:6379" \  [Install] WantedBy=multi-user.target

11.3 Systemd 실행

sudo systemctl daemon-reload sudo systemctl enable redis_exporter sudo systemctl start redis_exporter

11.4 테스트

curl http://localhost:9121/target curl http://localhost:9121/metrics

11.5 Prometheus 수정.

sudo vi /etc/prometheus/prometheus.yml  - job_name: "redis"     static_configs:       - targets: ["localhost:9121"]         labels:           instance: redis-db

11.6 서비스 수정

sudo systemctl restart prometheus

11.7 Dashboard 추가

ID : 11835 추가

5.Install Database on EC2(Monitoring, Prometheus, PostgreSQL Exporter, Node Exporter)

J_Today — Wed, 13 Sep 2023 10:36:04 +0900

7. Monitoring 1(Prometheus, PostgreSQL Exporter, Node Exporter)

7.1 Architecture

현재 사용하는 Database의 사용 관련한 지표를 수집하고 시각화해줄 수 있는 형태가 필요함
PostgreSQL → Prometheus → Grafana
형태로 진행되는것을 많이 사용함 여기서 Promethenus 를 InfluxDB를 사용하기도 한다고함.
여기서 PostgreSQL에서 Grafana로 바로 접근할 수 있지만 바로 접근한다면 이것 또한 DB 과부하의 영향을 줄 수 있는 형태로 Prometheus를 중간 매개체 역할을 수행한다.

참조 : https://badcandy.github.io/2018/12/25/prometheus-architecture/

7.2 PULL Metrics

7.2.1 Pull MEtrics

Prometheus는 Pull 방식을 통해 데이터를 수집 즉, 해당 데이터를 요청을 직접하여 데이터를 수집해서 감.

이 때 HTTP ENDPOINT를 통해 접근을 하는데, 예를 들어 /api/testservice/metric 과 같이 해당 포인트를 열어 놓는다면, Prometheus가 HTTP 요청을 통해 데이터를 수집할 수 있다.

7.2.2 Exporter

HTTP Endpoint를 각 시스템에 맞게 수집할 수 있게 만들어 놓은 것이 Exporter

공식 문서에는 다양한 Exporter가 존재하고 이번 실습에서 사용한 Exporter는 총 2개

Node Exporter
- 현재 사용하는 서버의 정보(Metrics)를 수집하여 서버의 사용량으 모니터링에 사용.
Postgresql Exporter
- PostgreSQL의 사용량을 관리하는 모니터링에 사용.

참조 : https://velog.io/@anrnyeondo/모니터링-환경-구축-prometheus

7.3 Node Exporter 설치

7.3.1 다운로드 및 폴더 이동

wget https://github.com/prometheus/node_exporter/releases/download/v1.0.1/node_exporter-1.0.1.linux-amd64.tar.gz  tar -xvzf node_exporter-1.0.1.linux-amd64.tar.gz  sudo mv node_exporter-1.0.1.linux-amd64/node_exporter /usr/sbin/

7.3.2 node_exporter 서비스 등록

sudo vi /etc/systemd/system/node_exporter.service  [Unit] Description=Node Exporter [Service] User=ubuntu EnvironmentFile=/etc/sysconfig/node_exporter ExecStart=/usr/sbin/node_exporter $OPTIONS [Install] WantedBy=multi-user.target

7.3.3 Config 파일 생성

sudo mkdir -p /etc/sysconfig sudo touch /etc/sysconfig/node_exporter # OPTIONS="--collector.textfile.directory /var/lib/node_exporter/textfile_collector"

7.3.4 Daemon Reload & Service Start

sudo systemctl daemon-reload sudo systemctl enable node_exporter.service sudo systemctl start node_exporter.service  sudo systemctl status node_exporter.service

7.3.5 테스트

curl http://localhost:9100/metrics curl http://localhost:9100/target

7.4 Postgres Exporter 설치

7.4.1 설치

wget https://github.com/wrouesnel/postgres_exporter/releases/download/v0.8.0/postgres_exporter_v0.8.0_linux-amd64.tar.gz  sudo tar -xvzf postgres_exporter_v0.8.0_linux-amd64.tar.gz  sudo mv postgres_exporter_v0.8.0_linux-amd64/postgres_exporter /usr/local/bin/  sudo chown -R postgres:postgres /usr/local/bin/postgres_exporter

7.4.2 Postgres_exporter 서비스 등록

sudo vi /etc/systemd/system/postgres_exporter.service  [Unit] Description=Prometheus PostgreSQL Exporter After=network.target  [Service] Type=simple Restart=always User=postgres Group=postgres #Environment=DATA_SOURCE_NAME="user=postgres host=/var/run/postgresql/ sslmode=disable" Environment=DATA_SOURCE_NAME=postgres://postgres:postgres@localhost:5432/postgres?sslmode=disable ExecStart=/usr/local/bin/postgres_exporter [Install] WantedBy=multi-user.target

7.4.3 Daemon 실행

sudo systemctl daemon-reload sudo systemctl enable postgres_exporter.service sudo systemctl start postgres_exporter.service  sudo systemctl status postgres_exporter.service

7.4.4 테스트

curl http://localhost:9187/metrics # postgresql-exporter

7.4.5 PostgreSQL와 연결 필요 프로그램 설치

sudo apt-get update sudo apt-get -y upgrade  sudo apt-get install golang-go  go env -w GO111MODULE=auto # 이걸 안하면 에러가 발생한다.  go get github.com/lib/pq  ## configure 설정 sudo su postgres ## cd /usr/local/pgsql/data/.  # 설치형으로 했을때 Path ## vi pg_hba.conf sudo vi /etc/postgresql/13/main/pg_hba.conf  -맨 하단부 내용 수정- (아래 내용이 기존 내용과 수정해서 추가가 되어야함) local   all             all                                     md5 host    all             all             127.0.0.1/32            trust ## host    replication     all             ::1/128                 trust host    all             all             0.0.0.0/0               md5

7.5 Prometheus 설치

참조 : https://prometheus.io/download/

참조 : https://www.digitalocean.com/community/tutorials/how-to-monitor-mongodb-with-grafana-and-prometheus-on-ubuntu-20-04

7.5.1 폴더 생성 및 다운로드

sudo apt update ## create prometheus configuration folder sudo mkdir -p /etc/prometheus  ## create prometheus data folder sudo mkdir -p /var/lib/prometheus  wget https://github.com/prometheus/prometheus/releases/download/v2.37.5/prometheus-2.37.5.linux-amd64.tar.gz  tar xzvf prometheus-2.37.5.linux-amd64.tar.gz  cd prometheus-2.37.5.linux-amd64

7.5.2 파일 이동

## move the prometheus and promtool binary files to the /usr/local/bin/ sudo mv prometheus promtool /usr/local/bin/  ## related files mv to /etc/prometheus sudo mv consoles/ console_libraries/ /etc/prometheus/  ## prometheus.yml to /etc/prometheus sudo mv prometheus.yml /etc/prometheus/prometheus.yml

7.5.3 Version Check

ubuntu@ip-10-0-157-31:~/download/prometheus-2.37.5.linux-amd64$ prometheus --version prometheus, version 2.37.5 (branch: HEAD, revision: 8d25a0867918173e501b417e7acd85861df8fb0e)   build user:       root@fa6380105630   build date:       20221209-12:46:41   go version:       go1.18.9   platform:         linux/amd64

7.5.4 사용자 추가 후 권한 부여

sudo groupadd --system prometheus  sudo useradd -s /sbin/nologin --system -g prometheus prometheus  sudo chown -R prometheus:prometheus /etc/prometheus/ /var/lib/prometheus/ sudo chmod -R 775 /etc/prometheus/ /var/lib/prometheus/

7.5.5 서비스 등록

sudo nano /etc/systemd/system/prometheus.service  [Unit] Description=Prometheus Wants=network-online.target After=network-online.target  [Service] User=prometheus Group=prometheus Restart=always Type=simple ExecStart=/usr/local/bin/prometheus \     --config.file=/etc/prometheus/prometheus.yml \     --storage.tsdb.path=/var/lib/prometheus/ \     --web.console.templates=/etc/prometheus/consoles \     --web.console.libraries=/etc/prometheus/console_libraries \     --web.listen-address=0.0.0.0:9090  [Install] WantedBy=multi-user.target

7.5.6 Prometheus 에 exporter 연결

yaml 파일 수정

sudo vi /etc/prometheus/prometheus.yml  scrape_configs:   # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.   - job_name: "prometheus"      # metrics_path defaults to '/metrics'     # scheme defaults to 'http'.      static_configs:       - targets: ["localhost:9090"]   - job_name: "postgresql"     static_configs:       - targets: ["localhost:9187"]         labels:           instance: postgres-bcheck     - job_name: "node"         static_config:           - targets: ["localhost:9100"]             labels:               instance: db-server

7.5.7 서비스 시작

sudo systemctl start prometheus  sudo systemctl enable prometheus # startup boot  sudo systemctl status prometheus

다음 편에 계속....

4.Install Database on EC2(Redis 설치)

J_Today — Wed, 13 Sep 2023 10:31:15 +0900

6. Redis 설치

Key, Value 구조의 비정형 데이터를 저장하고 관리하기 위한 오픈 소스 기반의 비관계형 데이터 베이스 관리 시스템 (DBMS)입니다. 데이터베이스, 캐시, 메세지 브로커로 사용되며 인메모리 데이터 구조를 가진 저장소 Redis 는 다양한 자료구조를 API로 제공하는 in memory database이다. (기본적으로 key- value이다)
참고 : https://redis.io/docs/getting-started/installation/install-redis-on-linux/

6.1 설치

6.1.1 사전 설치

sudo apt install lsb-release

6.1.2 Add Repository & Make List

curl -fsSL https://packages.redis.io/gpg | sudo gpg --dearmor -o /usr/share/keyrings/redis-archive-keyring.gpg  echo "deb [signed-by=/usr/share/keyrings/redis-archive-keyring.gpg] https://packages.redis.io/deb $(lsb_release -cs) main" | sudo tee /etc/apt/sources.list.d/redis.list

6.1.3 Install & Start Server

sudo apt-get update sudo apt-get install redis-server  ## 설치되면 바로 실행된다.  sudo systemctl status redis-server  ## 실행 ## sudo systemctl start redis-server

6.1.4 외부 연결 Config

sudo vim /etc/redis/redis.conf  ## 127.0.0.1 에서 0.0.0.0 으로 변경  bind 0.0.0.0 -::1  ## requirepass XXXXX , 주석 제거 후 pw 입력 ## requirepass hist1234  # 이걸 지정 안해야 exporter 를 실행할 수 있다.  port 6379 # 유지

6.1.5 Check Redis

## redis에 passwd가 설정되어있으면 에러가 발생한다 아래 내용ㅇ, ubuntu@ip-10-0-155-246:~$ redis-cli 127.0.0.1:6379> auth 'passwd' 127.0.0.1:6379> ping PONG 127.0.0.1:6379> set mykey somevalue OK 127.0.0.1:6379> get mykey "somevalue" 127.0.0.1:6379>

6.2 Port Open

이미 위에서 Open 했지만 리마인드.
Private Security Group : 6379, source : public sg

6.3 Public EC2(Bastion Host)에서 Connect to Private Redis

## on Bastion Host sudo apt-get update  sudo apt-get install redis-tools  redis-cli -h 10.0.155.246 -p 6379 -a hist1234 ## redis-cli -h <redis 서버 ip> -p <redis port> -a <password>  - 10.0.157.31:6379> get mykey "myvalue" 10.0.157.31:6379>

다음 편에 계속....

3.Install Database on EC2(MongoDB 설치)

J_Today — Wed, 13 Sep 2023 10:29:11 +0900

5. MongoDB 설치, SSH Tunneling

참조: https://www.mongodb.com/docs/manual/tutorial/install-mongodb-on-ubuntu/

5.1 설치

## import the MongoDB public GPG Key from [https://www.mongodb.org/static/pgp/server-6.0.asc](https://www.mongodb.org/static/pgp/server-6.0.asc)  wget -qO - https://www.mongodb.org/static/pgp/server-6.0.asc | sudo apt-key add -  ## ****Create a list file for MongoDB.**** echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu focal/mongodb-org/6.0 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-6.0.list  ## reload local package database & install package(libssl1.1) sudo apt-get update  sudo -i wget http://archive.ubuntu.com/ubuntu/pool/main/o/openssl/libssl1.1_1.1.1f-1ubuntu2_amd64.deb sudo dpkg -i libssl1.1_1.1.1f-1ubuntu2_amd64.deb  sudo apt-get install libssl1.1  ## install mongodb packages sudo apt-get install -y mongodb-org

5.2 Start MongoDB, Stop, Restart, Check Status

sudo systemctl start mongod  ## stop sudo systemctl stop mongod  ## restart sudo systemctl restart mongod  ## Check Status  sudo systemctl status mongod

[Option] Remove Mongo DB

## Stop MongoDB sudo service mongod stop ## Remove Packages. sudo apt-get purge mongodb-org* ## Remove Data Directories. sudo rm -r /var/log/mongodb sudo rm -r /var/lib/mongodb

5.3 외부 접근 ( Config 수정 )

5.3.1 Config

sudo vi /etc/mongod.conf  ## network interfaces net:   port: 27017   bindIp: 0.0.0.0 #127.0.0.1 -> 0.0.0.0

5.3.2 AWS Security Group

이미 Port 해놓았지만 한번 더 확인
Private Subnet
- 27017 ← public security group

5.4 DB 테스트 및 데이터 입력 테스트

5.4.1 접속

mongosh ## 계정과 PW가 있다면 mongosh --username <userid> --password <password>

5.4.2 DB 생성

use <databasename> # 있는거라면 사용, 없으면 생성 따로 Create 가 없다.  use histdb switched to db histdb  histdb>

5.4.3 Collection 생성

mongo db 데이터를 관리하는 묶음 → Collection
RDBMS에서는 Table과 동일한 컨셉
데이터 하나하나를 Document라고 한다.
- 어떤 내용이 와도된다.
- 스키마가 정의 되어있지 않다.
- 스키마가 같은 도큐먼트의 집합 → Collection

db.myFirstCollection.insertOne({x:1})  myFirstDatabase> db.myFirstCollection.insertOne({x:1}) {   acknowledged: true,   insertedId: ObjectId("6385b61abe4338a8f21eef17") }

5.4.4 데이터 입력

db.movies.insertOne(   {     title: "The Favourite",     genres: [ "Drama", "History" ],     runtime: 121,      rated: "R",     year: 2018,     directors: [ "Yorgos Lanthimos" ],     cast: [ "Olivia Colman", "Emma Stone", "Rachel Weisz" ],     type: "movie" } )  db.movies.insertMany([    {       title: "Jurassic World: Fallen Kingdom",       genres: [ "Action", "Sci-Fi" ],       runtime: 130,       rated: "PG-13",       year: 2018,       directors: [ "J. A. Bayona" ],       cast: [ "Chris Pratt", "Bryce Dallas Howard", "Rafe Spall" ],       type: "movie" }, {       title: "Tag",       genres: [ "Comedy", "Action" ],       runtime: 105,       rated: "R",       year: 2018,       directors: [ "Jeff Tomsic" ],       cast: [ "Annabelle Wallis", "Jeremy Renner", "Jon Hamm" ],       type: "movie" } ])

5.4.5 데이터 확인

db.movies.find()

5.5 DBMS Tool(Studio 3T) 연결

5.5.1 SSH Tunneling

New Connection
- Manually configure my connection settings
- Check use SSH tunnel to connect

5.5.2 DB Connection

host :
connection Test

5.5.3 Run Query

다음 편에 계속....

2.Install Database on EC2(PostgreSQL 설치)

J_Today — Wed, 13 Sep 2023 10:27:28 +0900

4. PostgreSQL 설치, SSH Tunneling

참고 : https://postgresql.kr/docs/13/
https://docs.3rdeyesys.com/database/ncloud-database-postgresql-install-connect-guide-ubuntu.html#방법1동일한-계정-생성

4.1 PostgreSQL 설치

4.1.1 레포지토리 설정

sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list' sudo wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -

4.1.2 PostgreSQL 설치

sudo apt-get update sudo apt-get -y install postgresql-13

4.1.3 PostgreSQL 시스템 설정 및 시작

## ubuntu pw 설정  sudo passwd ubuntu sudo passwd postgres  sudo systemctl enable postgresql sudo systemctl start postgresql sudo systemctl status postgresql

4.1.4 DB 접속

postgres로 접속

sudo -i -u postgres psql  ## 비밀번호 변경 alter user postgres with password 'hist1234'

4.1.5 유저 생성

create user blee password 'blee1234' superuser;  \du

4.1.6 DB 생성 및 소유자 지정

create database testdb owner blee;

4.1.7 접속 시도 인증 오류

postgres@ip-10-0-147-22:~$ psql -U blee -d testdb psql: error: connection to server on socket "/var/run/postgresql/.s.PGSQL.5432" failed: FATAL:  Peer authentication failed for user "blee"

4.1.8 인증 오류 해결

[PostgreSQL]에 접속하는 방법은 크게 2가지가 있는데 한가지씩 확인

동일한 계정 생성

처음에 DB 생성 후에 추가 했던 [PostgreSQL] 유저 계정과 동일한 계정을 OS 사용자에도 추가하는 방법

## root 로 들어가서 adduser  sudo su -  adduser blee

postgres@ip-10-0-147-22:~$ sudo -i -u blee blee@ip-10-0-147-22:~$ psql -U blee -d testdb

인증 설정 파일 수정 -> 안됨... 뭐지

pg_hba.conf 파일을 수정
DB 접근 설정 파일 중 local과 IPv4용 host method 항목이 각각 peer, md5로 되어있음
- peer ⇒ 운영체제에 클라이언트의 운영체제 사용자 이름과 DB 사용자 이름이 같아야됨.
- md5로 변경

## "local" is for Unix domain socket connections only local   all             all                                     md5

4.1.9 Config 환경 설정 파일 위치 찾기, 내용 수정

psql -U postgres -c 'show config_file'  ## /etc/postgresql/13/main/postgresql.conf sudo vi /etc/postgresql/13/main/postgresql.conf   listen_addresses = '0.0.0.0' # localhost 에서 0.0.0.0 으로 변경,

4.1.10 인증시스템 관련 설정

위와 동일 폴더

sudo vi /etc/postgresql/13/main/pg_hba.conf  ## local host -> 0.0.0.0/0 으로 변경 ## IPv4 local connections: host    all             all             0.0.0.0/0           trust

4.2 DataGrip 연결(SSH - Tunneling)

4.2.1 SSH Configuration

host : bastion host ip
port : 22(ssh)
username : ubuntu
Authentication type : key-pair
private key file : *.pem

4.2.2 연결

host : private ec2 ip
port : 5432
user : userid
pw : pw(쉘에서 미리 세팅해야됨, 처음에는 없음)

다음편에 계속....

1.Install Database on EC2(VPC, EC2 Instance(BastionHost, DB))

J_Today — Wed, 13 Sep 2023 10:24:35 +0900

AWS를 사용하다보면 Managed 된 서비스들을 이용하는 비용이 지속적으로 증가하게 된다.
EC2에 각 DB를 설치하고 관리하는 방법을 습득하고자 한다.

Architecture

Bastion Host를 통해 Private Subnet에 있는 DB Instance를 접근
Bastion host
- Grafana
DB Instance
- PostgreSQL
- Redis
- MongoDB
- Prometheus

1. VPC(Network)

아래 그림과 달리 EC2 Instance Type을 가장 크기가 작은 Type으로 하기 위해서는 AZ a,c에서 생성해야되므로 가용영역을 A, C로 선택.

1.1 VPC 생성

각각 VPC, Subnet, Routing Table, NACL을 생성해도 됨.

하지만 AWS Console에서 지원해주는 VPC + Subnet + Endpoint 생성해주는걸로 VPC 생성.

1.2 Security Group 생성

Bastion Host
- Public Subnet에서 Private Subnet으로 연결하기 위한 대리자 Instance
- Public Subnet에 EC2 생성
- 생성을 위한 Security Group 생성

1.2.1 Public Security Group

Bastion Host
Grafana : Monitoring Dashboard
두가지 항목을 위한 Security Group
Port
- Type
  - SSH(22)
    - Tunneling 을 위한 SSH 통신
  - 모든 ICMP - IPv4
    - 서버에서 Ping Test와 같은 서버 체크용도로 사용.
  - TCP(3000)
    - Grafana를 위한 Port
- 소스
  - My IP에만 Open

1.2.2 Private Security Group

PostgreSQL, Redis, MongoDB
- PostgreSQL : 5432
- MongoDB : 27017
- Redis : 6379
SSH
- 22
Prometheus
- 각 서버 또는 DB Metrics 수집을 위한 Open Source Monitoring Solution
Prometheus - Monitoring system & time series database
- 9090 : PostgreSQL Exporter
- 9100 : Node Exporter
모든 ICMP - IPv4
- 서버에서 Ping Test와 같은 서버 체크용도로 사용.
소스(Source)
- Public Security Group
- 모든 Port는 Bastion Host를 통해서만 통신할 수 있도록 처리.

2. EC2 Instance 생성

일반적으로 EC2를 생성하는 방법과 동일함.

Access Key

기존에 사용하고 있는 Access Key 또는 신규로 발급하여 사용.

2.1 Public EC2(Bastion Host)

Public Security Group을 Binding 한 EC2 Instance 생성

2.2 Private EC2

Private Security Group을 Binding 한 EC2 Instance 생성

2.3 How to Connect Private EC2 Through Bastion Host

2.3.1 방법 1

터미널 2개를 이용.
1번 터미널에서 SSH 터널링
2번 터미널에서 Private EC2 SSH 연결

## Terminal 1 ssh -i "accesskey.pem" -N -L {customport}:{target-private-ip}:22 {userid}@{bastion-host-public-ip}  ## Terminal 2 ssh -i "accesskey" -p 33322 {userid}@localhost  *ssh -i "ma-pipeline-key.pem" -N -L 33322:10.15.159.221:22 ubuntu@3.38.92.37* ssh -i ma-pipeline-key.pem -p 33322 ubuntu@localhost

2.3.2 방법 2

ssh config 파일에 host 정보를 입력하여 사용.

vi ~/.ssh/config  Host bastion-host HostName <Public IP address of Bastion Host> User <USERID> Port 22 IdentityFile ~/.ssh/<key pair> IdentitiesOnly yes  Host private-ec2 HostName <Private IP address of private EC2 instance> User <USERID> Port 22 IdentityFile ~/.ssh/<key pair> IdentitiesOnly yes ProxyJump bastion-host

ssh 접속

ssh private-ec2 # bastion-host를 접프하여 접근함.

2.4 Bastion-host Access Key 복사

scp -i ma-pipeline-key.pem ma-pipeline-key.pem ubuntu@13.124.178.153:/home/ubuntu/  scp -i [Bastion-EC2키페어경로] [업로드할파일] [user id]@[ec2 public IP]:[저장경로]

2.4.1 Bastion → Private EC2 접근

ssh -i /home/ubuntu/workspace/ma-pipeline-key.pem ubuntu@10.15.159.221 #복사된 Key 로 ssh 접근하면됨.

3. NAT Gateway

Private Subnet이 NAT Gateway를 통해 외부로 접근할 수 있도록 처리

3.1 생성

서브넷 : Public Subnet
탄력적 IP 할당

3.2 Route Table 수정

Route Table에서 허용이 되야된다.
Private Route Table 에서 NAT로 전달되야된다.
- 0.0.0.0/0 → NAT Gateway로 입력

)

다음 편에 계속....

Python 패키지 만들기

J_Today — Fri, 8 Sep 2023 16:17:54 +0900

프로젝트를 수행하다보면 공통 모듈을 생성하여 다른사람 또는 스스로 재활용해야할 경우가 자주 발생힙니다.
파이썬 공식 문서를 참고하여 패키지 만드는 방법을 정리하겠습니다.
참고 : Python 공식문서

6. Modules

If you quit from the Python interpreter and enter it again, the definitions you have made (functions and variables) are lost. Therefore, if you want to write a somewhat longer program, you are bett...

docs.python.org

파이썬 패키지는 dotted module names 를 사용하여 구조화 하고 있습니다.
즉, 패키지 내 Level down으로 여러 모듈을 이용한다면 A.B 와 같은 형태로 . 을 이용하여 패키지 서브 모듈을 지정하게 됩니다.

    sound/                          Top-level package
          __init__.py               Initialize the sound package
          formats/                  Subpackage for file format conversions
                  __init__.py
                  wavread.py
                  wavwrite.py
                  aiffread.py
                  aiffwrite.py
                  auread.py
                  auwrite.py
                  ...
          effects/                  Subpackage for sound effects
                  __init__.py
                  echo.py
                  surround.py
                  reverse.py
                  ...
          filters/                  Subpackage for filters
                  __init__.py
                  equalizer.py
                  vocoder.py
                  karaoke.py
                  ...

패키지를 임포트할 때, 파이썬은 sys.path 에 있는 디렉터리들을 검색하면서 패키지 서브 디렉터리를 찾습니다.
각 패키지 Level(폴더) 마다 __init__.py 을 필수로 만들어 줘야합니다.
Python이 파일을 포함하는 디렉터리를 패키지로 취급하도록 하는 데 필요한데, 간단하게 __init_.py는 빈 파일일 수 있지만 패키지에 대한 초기화 코드를 실행하거나 나중에 설명할 __all__ 변수를 설정할 수도 있습니다.

패키지에서 * 임포트 하기

패키지에서 * 를 이용하여 모든 모듈을 Import 할때 아래와 같이 수행하게 됩니다.

from package import *

여기서 __all__ 변수에 해당 모듈을 할당 해놓지 않는다면 패키지 내용을 읽을 수가 없어 Undefined 가 발생한다.

    sound/                          Top-level package
          __init__.py               Initialize the sound package
          effects/                  Subpackage for sound effects
                  __init__.py
                  echo.py
                  surround.py
                  reverse.py
    test.py

echo.py

def echo_function1():
    print("echo function1")

def echo_function2():
    print("echo function2")

Package 호출 테스트 1

호출하는 Python Script 에서 명시적으로 해당 모듈이름을 지정해줬을 경우.
아래와 같이 호출하게 되면 문제 없이 해당 모듈 내 function을 호출 할 수 있습니다.

test.py

from sound.effects import echo

def main():
    echo.echo_function1()

    echo.echo_function2()

if __name__ == "__main__":
    main()

python test.py 

echo function1
echo function2

Package 호출 테스트 2

__init__.py 파일 내 모듈을 명시적으로 표시하지 않고 현재와 같은 Blank 상태로 from package import * 로 호출 할 경우 아래와 같이 에러가 발생하게 됩니다.

from sound.effects import *

def main():
    echo.echo_function1()

    echo.echo_function2()

if __name__ == "__main__":
    main()

python test.py

NameError: name 'echo' is not defined

Package 호출 테스트 3

effects 폴더 내 __init__.py 파일에 __all__ 변수에 포함 시킬 모듈명을 명시적으로 할당하게 된다면 Python 에서도 해당 모듈의 Path를 인지하고 호출할 수 있게 됩니다.

sound/effect/init.py

__all__ = ["echo"]

test.py

from sound.effects import *

def main():
    echo.echo_function1()

    echo.echo_function2()

if __name__ == "__main__":
    main()

python test.py

echo function1
echo function2

AWS Lakeformation #2 ( QuickSight 사용자 )

J_Today — Mon, 28 Aug 2023 14:52:09 +0900

AWS Lakeformation Lab #2 ( QuickSight )

1. 사전 준비

해당 Lab은 IAM 을 사용하는 것이 아니라 QuickSight 계정 및 그룹을 사용하는 Lab이므로 QuickSight 가입이 필수적으로 필요하다.
참고
아마존 QuickSight 서브스크립션 가입하기 - Amazon QuickSight

2. Glue Catalog Database

2.1 데이터 확인

2.2 Database 생성

AWS Management Console → Lakeformation → DataCatalog, Database → Create Database

database : lk_db
Use only IAM access control for new tables in this database : 비활성화
- 해당 옵션을 활성화 하게 된다면, IAM 정책을 통해 Glue 권한이 있을 경우 모든 데이터를 확인이 가능하기 때문에 데이터 권한 자체를 Lakeformation으로 이관시킬려면 해당 권한을 비활성화 해야한다.

3. Glue Crawler

3.1 Crawler 생성

Glue Crawler 를 통해 데이터를 Crawling 하여 Data Catalog로 생성.

AWS Management Console → Glue → DataCatalog 내 Crawlers → Create crawler

crawler 이름 : cr_lk_init_price

3.2 Datasource 추가

S3 path : s3://blee-lab/lakeformation/data/
나머지 내용은 그대로

3.3 Security & Role

IAM Role : GlueSerivceRole 정책을 가지고있는 Role 이면 됨. (미리 생성해놓게 있어서 그대로 수행)
나머지 항목은 디폴트

3.4 Output Setting

Target database : lk_db
- 위에서 생성한 Database

3.5 Run Crawler

3.6 테이블 및 데이터 확인

테이블명은 S3 내 폴더 Key를 따라감.

4. QuickSight

QuickSight Account 는 사전에 만들어 놓아져있는 계정을 사용함.
새롭게 만들 경우 크게 어려움 없이 Next → Next 버튼으로 사용 가능함.

4.1 사용자 및 그룹 생성

4.1.1 그룹 생성

lk_group1

lk_group2

4.1.2 사용자 생성

lk_user1 → lk_group1
lk_user2 → lk_group2
독자 → 작성자로 변경 필요(데이터세트 확인 불가), 만들어진 Dashboard만 보려면 확인이 가능하나 작성까지 확인하기 위해서는 작성자로 변경

4.1.3 초대메일 및 암호 입력

4.1.4 생성된 사용자, 그룹 할당

QuickSight 관리 → 그룹관리 → 그룹 선택 → 사용자 추가

4.1.5 사용자 로그인 후 현재 상태 확인

https://quicksight.aws.amazon.com/sn/start?directory_alias=hist-dt-abc-quicksight
위 URL로 접근 후 로그인

현재 독자이므로 Dashboard만 사용이 가능하다 → 데이터 세트 까지 확인 하기 위해서 작성자로 변경

4.2 데이터셋 생성(lk_user1, lk_group1)

데이터에 대한 권한이 없기 때문에 테이블 목록에 나오지 않는다.

5. Lake formation 권한 부여

5.1 QuickSight

5.1.1 Group ARN

Group 내 ARN 값을 복사(메모장에 복사)

aws quicksight describe-group --aws-account-id xxxxxxxx --namespace default --group-name lk_group1  {     "Status": 200,     "Group": {         "Arn": "arn:aws:quicksight:ap-northeast-2:xxxxxxx:group/default/lk_group1",         "GroupName": "lk_group1",         "Description": "gold + All column\n",         "PrincipalId": "group/d-9b671572e9/fbdc3e89-560c-4294-a5bc-dd184ed8867a"     },     "RequestId": "1b87ebd3-da8f-4384-852c-34e062b063b6" }

5.1.2 User ARN

Group 으로 권한 부여하는 것이 아닐 경우 User 별로 권한 부여를 해야한다.
User ARN 은 아래와 같이 찾을 수 있다.

aws quicksight describe-user --aws-account-id xxxxx --namespace default --user-name lk_user1  {     "Status": 200,     "User": {         "Arn": "arn:aws:quicksight:ap-northeast-2:xxxxx:user/default/lk_user1",         "UserName": "lk_user1",         "Email": "bjlee0689@nate.com",         "Role": "AUTHOR",         "IdentityType": "QUICKSIGHT",         "Active": true,         "PrincipalId": "user/d-9b671572e9/4b12446b-2ef6-4145-9e0b-8c849c8e153d"     },     "RequestId": "78d30867-3c09-4d95-8f1d-46a00c92df12" }

5.2 Lake formation 권한 부여

테이블에 대한 권한을 전체 부여
대상 Group : lk_group1

5.3 데이터 권한 확인

4.2 데이터셋 생성(lk_user1, lk_group1) 과 동일한 방법으로 데이터 셋 생성

에러발생

해당 버킷에 대한 권한이 QuickSight 자체에 없기 때문에 관리자 계정에서 해당 버킷도 데이터 사용할 수 있도록 포함 시켜줘야함

위 사항이 적용 되려면 조금 걸리거나 새롭게 그냥 데이터세트를 만들면 됨.
데이터 확인 후 저장 및 게시

5.4 시각화

6. 심화 권한 관리

6.1 전제조건

lk_group1은 metal 이 Gold 인 데이터만 확인이 가능하고
lk_group2은 metal 이 Iron 인 데이터와 radius 컬럼을 제외한 나머지만 사용이 가능하다.

6.2 권한 말소

이전에 lk_group1 에 부여되었던 권한은 말소 시켜야함 → 아래 그림처럼(Revoke)

6.3 DataFilter

Row (행) 기반으로 데이터 Filter을 걸기 위해서는 Lakeformation에서 Data filters라는 메뉴에서 필터를 생성해야 한다.

AWS Management Console → Lakeformation 서비스 → Data catalog 내 Data filters

6.3.1 metal == Gold

Data Filter Name : MetalGold
Target database : lk_db
Target table : data
Column-level access : Access to all columns, 컬럼은 전체 보여줘야하기 때문에
Row filter expression : metal = ‘Gold’

6.3.2 metal == Iron

Data Filter Name : MetalIron
Target database : lk_db
Target table : data
Column-level access : Exclude Columns, radius 선택 (해당 컬럼은 제외 하기 위해서)
Row filter expression : metal = ‘Iron’

6.4 권한부여

5.2 Lake formation 권한 부여 와 동일하게 권한을 부여 하나 Row Filter 만 위에서 생성한 항목 추가

6.4.1 lk_group1

6.4.2 lk_group2

6.5 확인

DataSet 생성하는 형태로 확인, DataSet 생성은 4.2 데이터셋 생성(lk_user1, lk_group1) 과 동일한 방법으로 데이터 셋 생성

6.5.1 lk_group1

Gold 데이터만 조회됨을 확인 함.

6.5.2 lk_group2

radius 컬럼 제외 및 Iron 데이터만 조회 됨을 확인 함.

7. Clean

Lake Formation 에서 적용한 Permissions 삭제
QuickSight 사용자 삭제

QuickSight 그룹 삭제

Console로 삭제 되지 않기 때문에 CLI를 이용해야 함.

aws quicksight delete-group --aws-account-id xxxxxx --namespace default --group-name lk_group1  {     "Status": 200,     "RequestId": "57d822b4-00b6-463b-bfd9-308deb1c7d00" }

AWS Lakeformation #1(IAM 사용자)

J_Today — Mon, 28 Aug 2023 14:47:14 +0900

AWS Lake formation Lab

1. IAM User 추가

lk_test1 : AdministratorAccess
lk_test2 : AdministratorAccess

2. Glue Catalog Database

2.1 데이터 확인

2.2 Database 생성

AWS Management Console → Lakeformation → DataCatalog, Database → Create Database

database : lk_db
Use only IAM access control for new tables in this database : 비활성화
- 해당 옵션을 활성화 하게 된다면, IAM 정책을 통해 Glue 권한이 있을 경우 모든 데이터를 확인이 가능하기 때문에 데이터 권한 자체를 Lakeformation으로 이관시킬려면 해당 권한을 비활성화 해야한다.

3. Glue Crawler

3.1 Crawler 생성

Glue Crawler 를 통해 데이터를 Crawling 하여 Data Catalog로 생성.

AWS Management Console → Glue → DataCatalog 내 Crawlers → Create crawler

crawler 이름 : cr_lk_init_price

3.2 Datasource 추가

S3 path : s3://blee-lab/lakeformation/data/
나머지 내용은 그대로

3.3 Security

IAM Role : GlueSerivceRole 정책을 가지고있는 Role 이면 됨. (미리 생성해놓게 있어서 그대로 수행)
나머지 항목은 디폴트

3.4 Output Setting

Target database : lk_db
- 위에서 생성한 Database

3.5 Run Crawler

3.6 테이블 및 데이터 확인

테이블명은 S3 내 폴더 Key를 따라감.

4. 사용자별 확인

lk_test1 로 테스트 진행
현재 lk_test1과 lk_test2는 동일한 권한임

4.1 해당 테이블 여부 확인

Athena를 통해 확인 결과 테이블 목록이 보이지 않음 → Lakeformation으로 권한 부여가 안되어있음.

데이터 조회

권한이 없어서 조회가 안되다는 에러 메세지

Glue Database 정보 조회

Glue 관련하여 스키마같은 정보 또한 권한이 없기 때문에 확인 불가

4.2 권한 부여

Lakeformation을 사용할 수 있는 master 계정으로 lk_test1 계정에 권한 부여 수행

AWS Management Console → Lakeformation → Permissions → Data Lake permissions 메뉴로 이동

Principals
- IAM Users and roles : lk_test1
LF-Tags or catalog resources
- Named data catalog resources 선택
- Databases : lk_db
- Tables : data
Table permissions
- Table permissions : Select, Describe
Data Permissions : All Data access

4.3 데이터 확인

4.3.1 Glue DataCatalog

새롭게 테이블이 추가 된 것을 확인할 수 있다.

4.3.2 Athena 데이터 조회

5. 심화 권한 관리

5.1 전제조건

lk_test1 사용자는 metal 이 Gold 인 데이터만 확인이 가능하고
lk_test2 사용자는 metal 이 Iron 인 데이터와 radius 컬럼을 제외한 나머지만 사용이 가능하다.

5.2 권한 말소

이전에 lk_test1 에 부여되었던 권한은 말소 시켜야함

5.3 DataFilter

Row (행) 기반으로 데이터 Filter을 걸기 위해서는 Lakeformation에서 Data filters라는 메뉴에서 필터를 생성해야 한다.

AWS Management Console → Lakeformation 서비스 → Data catalog 내 Data filters

5.3.1 metal == Gold

Data Filter Name : MetalGold
Target database : lk_db
Target table : data
Column-level access : Access to all columns, 컬럼은 전체 보여줘야하기 때문에
Row filter expression : metal = ‘Gold’

5.3.2 metal == Iron

Data Filter Name : MetalIron
Target database : lk_db
Target table : data
Column-level access : Exclude Columns, radius 선택 (해당 컬럼은 제외 하기 위해서)
Row filter expression : metal = ‘Iron’

5.4 권한 부여

4.2 권한 부여 와 동일 방법으로 부여 하나 Row Filter만 추가 하면 됨.

2DH

AWS QuickSight DataSet 갱신(Refresh using Lambda, API Gateway)

AWS QuickSight DataSet Refresh

1. Architecture

2. Prerequired

2.1 QuickSight DataSet 생성

2.2 해당 데이터 셋 ID 확인

2.3 Lamba Role 생성

2.3.1 Lambda to Stepfunction

2.3.2 Lambda to Quicksight

3. Lambda Refresh Quicksight

3.1 Lambda Function

3.2 결과

4. Stepfunction

4.1 State Mahcine Graph

4.2 Script

4.3 결과

5. Lambda to Stepfunction

6. API Gateway

6.1 REST API 생성

6.1.1 구축

6.1.2 프로토콜 선택

6.1.3 리소스 생성

6.1.4 매서드 생성

6.1.5 API 배포

6.2 결과확인

6.2.1 API 호출

6.2.2 결과

6.Install Database on Ec2(Grafana)

8. Monitoring 2(Grafana)

8.1 설치(Public EC2)

8.2 Security Group

8.3 테스트

8.4 DataSource

8.4.1 PostgreSQL(Direct 연결)

8.4.2 Prometheus

8.5 Dashboard

8.5.1 Template

8.5.2 부하테스트

9 . 기타(MongoDB, Redis Prometheus)

9.1 Mongo DB 참고

9.2 Redis 참고

10. Monitoring 3(MongoDB)

10.2 Enabling MongoDB Authentication

10.3 MongoDB URI to Environment variable

10.4 Creating a Service for the MongoDB exporter

10.5 Reload Daemon and Start Service

10.6 Check Metrics (Port 9216)

10.7 Prometheus Configuration

10.8 Grafana Dashboard 추가

11. Monitoring 4(Redis)

11.0 Redis 설정 변경

11.1 DOWNLOAD

11.2 Systemd 등록

11.3 Systemd 실행

11.4 테스트

11.5 Prometheus 수정.

11.6 서비스 수정

11.7 Dashboard 추가

5.Install Database on EC2(Monitoring, Prometheus, PostgreSQL Exporter, Node Exporter)

7. Monitoring 1(Prometheus, PostgreSQL Exporter, Node Exporter)

7.1 Architecture

7.2 PULL Metrics

7.2.1 Pull MEtrics

7.2.2 Exporter

7.3 Node Exporter 설치

7.3.1 다운로드 및 폴더 이동

7.3.2 node_exporter 서비스 등록

7.3.3 Config 파일 생성

7.3.4 Daemon Reload & Service Start

7.3.5 테스트

7.4 Postgres Exporter 설치

7.4.1 설치

7.4.2 Postgres_exporter 서비스 등록

7.4.3 Daemon 실행

7.4.4 테스트

7.4.5 PostgreSQL와 연결 필요 프로그램 설치

7.5 Prometheus 설치

7.5.1 폴더 생성 및 다운로드

7.5.2 파일 이동

8. Monitoring 2(`Grafana`)