전체 글

becoming the data engineer
Basic_Deep_Learning 우리가 이미 알고 있는 것. Regression : $ y = ax + b $ Minimize Cost $H(x) = Wx$ 간단하게 표현 $Cost(W) = \sum_{1}^{m}({Wx}^{i}-{y}^{i})^2$ W 값을 변경해 가면서 Cost값이 가장 낮은 곳을 찾는다. Gradient Descent (경사하강법) 위의 Cost값을 최소한으로 하는 W를 찾아내는 방법을 Gradient Descent라 한다. 신경망의 특징 신경망의 경우 활성화 되고 안되고 즉, 결과값이 0 또는 1값을 가지게 된다. 최종 Output의 경우 적용 되는 부분 X라는 값으로 Y로 출력 X라는 값이 입력될 때 가중치 W가 적용되고 각 값에 대해서 Bias (B)가 가해 진다. 즉, ..
CT(Iamages using Contrast Classification CNN with Keras(tensorflow))¶ RI / CT 를 찍게 되면 조영제(Contrast)를 사용하게 되는데 사용한 그림인지 아닌지 구분하는 코드. In [66]: import dicom # dicom file handling library import numpy as np # matrix tools import matplotlib.pyplot as plt # for basic plots import seaborn as sns # for nicer plots import pandas as pd import re from skimage.io import imread import os import keras Using T..
QVC Analysis (E-Commerce 판매 데이터 분석)¶ 전처리 과정은 Jupyter 메모리상 중간에 되지를 않게 되어 .R 내용을 확인 Data_Handling Making OrderData Clustering Recommand System 발표 자료¶ PPT 필요한 파일.¶ Customer master2.csv order_data.csv product.csv timezone.csv zipcode.csv Product airtime.csv pre_order_data.csv *.txt 파일 In [46]: library(stringr) library(arules) library(dplyr) library(maps) library(ggplot2) library(ggmap) library(gridE..
NASA Astronauts, 1959-PresentWhich American Astronaut has spent the most time in space? 1. Prepare Data Alma Mater : 모교 (졸업학교인듯) Undergraduate Major : 학부 전공 Graduate Major : 대학원 전공 Military Rank : 군 계급 Military Branch : 군 분류 Space Flights : 우주 비행 횟수 Space Flight (hr) : 우주 비행 총 시간 Space Walks : 비행선 밖에서의 임무 수행 횟수 인듯 Space Walks (hr) : 비행선 밖에서의 임무 수행 시간 In [78]: import numpy as np import pandas as ..
StudentAlcohol 결론 : 당연한 결과가 나온 것 같음. 집과 학교가 거리가 멀고, 친구들과 밖으로 자주 놀러 나가는 남자 아이가 술을 먹을 확률이 높다. 주중에 먹는애가 주말에 먹고, 주말에 먹는 아이가 주중에 먹을 확률 또한 높다. (당연한 소리) 결석을 자주하는 아이 또한 가능성은 있지만 높은 편은 아니다. Attributes for both student-mat.csv (Math course) and student-por.csv (Portuguese language course) datasets:¶ school - student's school (binary: 'GP' - Gabriel Pereira or 'MS' - Mousinho da Silveira) sex - student's s..
IMDB 5000 Movies BackgroundHow can we tell the greatness of a movie before it is released in cinema?This question puzzled me for a long time since there is no universal way to claim the goodness of movies. Many people rely on critics to gauge the quality of a film, while others use their instincts. But it takes the time to obtain a reasonable amount of critics review after a movie is released. A..
노무현 대통령 vs 이명박 대통령 - 노무현 대통령과 이명박 대통령 연설문을 텍스트 마이닝을 통해 분석해봤습니다. - 자세한 설명은 아래 코드와 함께 같이 설명 하겠습니다. - 언어 : Python - 자료 : 대통령 연설문 사이트 - 해당 자료 Github 를 통해 자세한 전처리 및 크롤링 크드를 확인 하실 수 있습니다. 필요 Library In [95]: import president # Analytics Module for presidents import pandas as pd import re import wordhandle # Handling TDM & WordCount import numpy as np import matplotlib.pyplot as plt # for basic plots i..
· STUDY/ETC
가상화기술사례(VMWare ESXi, Oracle Virtualbox) 하이퍼바이저 사용법 1 (VMWard ESXi) 하이퍼바이저 사용법 2 (Oracle Virtualbox) 1. 하이퍼바이저 사용법 1 (VMware ESXi) VMWare 사의 대표적인 타입1 하이퍼바이저 vSphere 제품군 중 하나 cf. Dell-EMC-VMWare-SpringSource 리눅스 커널기반의 하이퍼바이저(리눅스커널 + 하이퍼바이저) 네이티브로 인스톨해야함 별도의 관리툴(vCenter)을 가지고 있음. 2. 하이퍼바이저 사용법 2 (Virtualbox) 오라클에서 만듦 GPL 기반의 타입2 기반 오픈소스 하이퍼바이저 윈도우 / 맥 / 리눅스버전 제공 우분투 설치(install) 우분투 서버 다운로드 16.04 (L..
· STUDY/ETC
가상화기술의 개념(하이퍼바이저, 전/반가상화) 하이퍼바이저 기반 가상화의 특징 전가상화와 반가상화 하이퍼바이저의 종류 1. 하이퍼바이저 기반 가상화 기본개념 하이퍼바이저 호스트시스템에서 다수의 게스트OS를 돌리기 위한 플랫폼 (윈도우에 리눅스를 설치하기 위해 VM, Virtualbox 등) 호스트 OS 물리시스템에 설치된 OS 게스트 OS 가상머신 / 컨테이너 위에 설치된 OS 하이퍼바이저 유형 타입 1 : OS와 하이퍼바이저가 통합 됐다고 생각하면 된다. 하이퍼바이저 기반 가상화의 특징 시스템 가상화로 인해 다양한 게스트 OS를 실행할 수 있음. 물리시스템과 게스트 OS간의 가상화 기능으로 인한 성능 저하 약 10~15% 정도의 오버헤드 호스트 OS와 게스트 OS 간의 기능 중복(스케줄링 등) OS가 ..
J_Today
2DH