전체 글

becoming the data engineer
· Book
월스트리트저널 인포그래픽 가이드 - 데이터 사실 수치를 표현할 때 지켜야 할 기본 원칙교보문고 시각화에 있어서 이쁘고 화려한 그래프를 찾고 조금 더 움직이있으며 설명을 달고자 하는 그런 그 래프를 찾고 시각화를 해왔었다. 하지만 Simple is the Best와 함께 보는 사람들에게 간결하고 즉각적으로 인지 할 수 있도록 하는 시각화가 더욱 중요하다는 것을 알여준 책이다.기준선과 기준점을 어떻게 잡고 절대적인 수치와 상대적인 수치의 선택이 얼마나 중요하고 그것을 통해 나오는 결과물과 이해도의 차이를 알 수 있었다. 그저 코드로 표현하는 시각화 기법이 중요한게 아니라 그 결과물 그것이 코드가 아니어도 상관없고 엑셀이던 손으로 그렸던 수단은 중요치 않고 보는 독자가 중요하다는 것을 다시 한 번 알 수 있었..
· STUDY/ETC
Secure_Coding_kisa_2.md 시큐어 코딩(KISA) Day - 21. Injection1. SQL Injection철저한 외부 입력값에 대한 검증 작업이 수행되지 않다면 다양한 방법으로 공격이 올 수 있다. 안정성을 검증하는 작업을 수행한 뒤 응답하는 프로그램 작성을 요구 한다.강사님 사이트 접속 ```xml select idx, userId, userPw, userName, joinDate from board_member where userId = #userId# select idx, userId, userPw, userName, joinDate from board_member where userId = '$userId$' and userPw = '$userPw$' where userId..
· STUDY/ETC
시큐어코딩 (KISA) Day - 1 해킹방어를 위한 시큐어코딩 교육 ( 9/6 ~ 9/9 ) 김영숙 강사 (오픈이지 대표) 실습 위주의 과정 개발자를 위한 과정, 코드 수정을 위한 과정, 개선하는 과정이라고 볼 수 있다. JAVA 기반으로 진행. Part 1. 안전한 소프트웨어 개발 방법론 1. 소프트웨어 개발보안의 중요성 웹이 대중화되면서 많은 기업들이 웹을 통해 서비스를 하면서 기업의 자산을 노리는 사이버 공격 또한 웹을 주요 타겟으로 삼게 되었다. 방화벽이나 다른 보안 도구를 통해 보안을 강화하고 있기 떄문에 시스템의 취약적인 부분을 찾기가 힘들어졌다. 즉, 웹을 이용하는 80번 포트를 주요 타겟으로 삼게 됨. 공격 유형 1차 해킹 : 외부망을 통한 공격 2차 해킹 : 내부망을 통한 공격 Laye..
· STUDY/ETC
컨테이너 기반 가상화 : 도커의 설치 및 활용 설치와 사용법을 학습 1. 도커 설치 http://docker.com 요구사항 윈도우 64비트 버전이상 도커 툴박스(윈도우 8.1 이하) / 도커 머신(윈도우 10 이상) Boot2Docker vs Docker Machine 의 차이 도커 이미지는 OS의 파일시스템에 저장되는 것이 아니라 AUFS 자체 파일 시스템에 저장된다. Docker Tool box vs Docker Machine Boot2docker (deprecated) Tiny Core linux 기반의 경량 리눅스 배포판 사용 내부적으로 버추얼박스 지원 Docker Machine(new) 가상호스트에 도커엔진을 설치하는 툴 버추얼박스, VMware 지원 도커기반 우분투 설치 도커 이미지 검색(기..
RNN (Recurrent Neural Networks) 순환 신경망. 참고 Brunch Chris 송호연 유재명 교수님. PPT 우리가 문맥을 이해하거나 책을 읽을 때 바로 전의 문맥에 맞게 단어를 이해하고 내용을 생각한다. 모든 내용을 한번에 이해하는 것이 아니라 흐름(Flow)를 가지고 이해를 한다. 예전의 Neural Network에서는 ㅅ구현할 수 없었다. 이러한 것이 중요한 단서가 된 알고리즘이다. Sequence Data 하나의 단어를 가지고 이해한다고 해서 전체를 이해할 수 있는 것이 아니다. 이전의 단어들과 + 지금의 단어를 가지고 이해할 수 있다. (Time Series) NN / CNN 은 할 수 없다. 1. RNN의 구조 $X_t->A->h_t$ 순으로 값이 출력된다 그리고 $h_t..
CNN(Convolutional Neural Networks) - 자료는 모두의 머신러닝의 SungKim 교수님의 사진을 인용하였습니다. 첫 시작은 고양이 실험에서 시작되었다. 각각 그림의 부분에 반응하는 뉴런이 있었다 라는 부분에서 착안되었다. 자동차 그림 인식 아래의 자동차를 인식하기 위해서 자동차 그림을 아래와 같이 짤라 각각의 데이터로 입력하게 된다. ' 이러한 Layer 층을 Convolution Layer라고 한다. 그래서 이 Network이름이 Convolution Neural Networks라고한다. 중간에 ReLU층을 넣고 다시 Convolution layer + POOLing + 마지막으로 Fully Connected Neural Network을 연결하여 결과를 출력하는 Networks..
6.Breadth_first_search.md 너비 우선 탐색 (breadth-first-search)너비 우선 탐색을 사용하여 두 항목 간의 최단 경로를 찾을 수 있다.체커 게임에서 가장 적은 수로 승리할 수 있는 방법을 계산하는 인공지능맞춤법 검사기(실제 단어에서 가장 적은 개수의 글자를 고쳐서 올바른 단어를 만드는 방법을 찾는다.)네트워크에서 가장 가까운 의사 선생님을 찾기그래프란?연견의 집합을 모형화한 것.정점(node)과 간선(edge)으로 이루어져 있다.정점은 여러 개의 다른 정점과 바로 이어질 수 있고, 이러한 정점들을 이웃(neighbor) 이라고 한다.너비우선 탐색너비 우선 탐색은 그래프를 대상으로 하는 다른 종류의 알고리즘이다. 질문 유형 1 : 정점 A에서 정점 B로 가는 경로가 존재..
5.Hash_table.md 해시테이블 (hash table)유용한 자료 구조의 하나인 해시 테이블에 대해서 알아봄.1. 해시 함수의 소개식료품 가게에서 일을 하고 있다고 생각해보자. 손님이 물건을 사러 왔을 때 물건의 가격이 적혀져있는 장부를 찾아서 가격을 봐야 한다. 만약 장부가 정렬이 정렬이 되어 있지 않다면 만큼의 시간이 걸릴 것이다.정렬이 되어있다면 이진 탐색을 통해 만큼의 시간이 소요될 것이다. 두 차이는 크다.정렬이 되어있더라도 지속적으로 장부를 보고 찾는 일은 힘들 것이다. 이때 가장 필요한 것이 가격을 외우고 있는 동료가 옆에 있는 것.이를 자료 구조 관점으로배열과 리스트 2개의 자료구조를 학습하였다.장부 구조 시간에 찾아내고 싶어하는데 이를 가능하게 하는 것이 이다.2. 해시 함수해시 ..
· STUDY/ETC
경량 컨테이너 기반 가상화 : 도커의 개념 하이퍼 바이저 기반 기술과의 비교 컨테이너 기반 가상화 LXC(Linux Container) LXD 1. 하이퍼바이저 기반 기술과의 비교 가상화의 단점 불필요한 기능의 중복 호스트 OS와 게스트OS 간의 기능 중복 프로세스 스케줄링 상대적으로 무겁다 오버헤드(15~20%) 정도 일반적으로 리눅스설치와 하이퍼바이저를 통해 설치 한 것이 15%정도 차이난다. 배치(Deployment)의 어려움 동시에 수십개를 설치하는 것이 어렵다. 컨테이너 기반 가상화 기존의 가상화와 다른 개념 하이퍼 바이저 와 OS가 분리 된 것은 Type 2 : 별도로 구분되어서 수행한다. 중복과 무거워짐이 나타난다. Docker 의 경우 Guest OS 개념이 없다. 일반 가상화 개념이 아니..
· STUDY/ETC
가상화기술 및 자동화(Automation) 기술 : Vagrant 1. 자동화 기술 Vagrant http://vagrantup.com by HashiCorp 자동화된 VM 관리툴 스크립트를 이용한 박스를 설치 우분투 서버(14.04) 박스 다운로드 다양한 하이퍼바이저/도커 지원 버추얼박스버전은 무료 VMWare/Hyper-V 버전은 유로. Vagrant를 이용한 우분투서버 설치 Vagrant install 박스 검색 https://atlas.hasicorp.com/boxes/search 박스이름 확인 ubuntu/trusty64 커맨드 프롬프트(cmd) 실행 vagrant init ubuntu/trusty64 Vagrantfile 생성확인 vagrant up 다운로드 완료 후 버추얼박스에 vm생성 확인..
J_Today
2DH