전체 글

becoming the data engineer
· BIGDATA/R
데이터 다루기 [알까기 2의 내용 정리] * 실습 데이터는 알까기2에서 제공된 데이터 입니다. DF
· BIGDATA/R
R에서 외부데이터 호출할때. CSVresd.csv해당 파일에 변수열이 있다면 read.csv(FILE, header=T) 없다면 또는 가지고 오고 싶지 않다면 read.csv(FILE,header=F) 사용.디폴트 속성은 header=T이다.TXTread.tableCSV와 마찬가지고 Header 설정에 따라 T/F 지정하면 된다.디폴트 속성은 header=F이다.기분하는 구분자가 있다면 read.table(FILE,hearder, sep="기분기호") 로 표현하면 된다EXCELinstall.packages("readxl") #패키지read_excel(path="File", sheet="", col_names="T/F")XMLinstall.packages("XML")DocFromXML
· BIGDATA/R
R 설치 및 기초 [ 작성 중 ] R은 오픈소스 기반의 사용자 라이브러리들로 구성된 통계 전용 언어이다. 1. R 설치 - https://www.r-project.org/ 에서 설치 2. R-Studio 설치R을 그냥 사용하여도 되지만 코드가 긴 것을 사용하거나 스크립트 형태로 사용하는데 어려움이 있어 R-Studio라는 R전용프로그램을 사용하는 것이 더욱 편하다. - https://www.rstudio.com/products/rstudio/#Desktop 3. 기초 R의 최소 단위는 벡터라고 한다. - 벡터는 정수(10), 실수(1.34), 문자('A'), 문자열('Hello') 와 같은 단위를 스칼라 라고하는데 이러한 것들을 여러개 묶은 것을 벡터라고 한다. 다시 말해 스칼라 또한 벡터인데 1개라는 ..
1. USER 생성 및 수정. CREATE USER scott IDENTIFIED BY TEST; ALTER USER scott IDENTIFIED BY lion; DROP USER scott [CASECADE] -- CASECADE를 사용할 경우 사용자 이름과 관련된 모든 데이터베이스 스키마가 삭제된다. 2. 데이터 타입.CHAR 타입 고정길이 문자형, 최대 길이 : 2000 바이트, 변수값이 길이가 s보다 작을 경우에는 그 차이 길이 만큼 공간으로 채워진다. VARCHAR2 타입 가변길이 문자형 데이터 타입최대 길이 : 2000 바이트(반드시 길이 지정)다른 타입에 비해 제한이 적다일부만 입력시 뒷부분은 NULL입력한 값의 뒷부분에 있는 BLANK도 같이 입력전혀 값을 주지 않으면 NULL 상태 입력..
Database동시에 여러사람들이 정보를 공유하고 사용할 목적으로 만든 집합체파일을 조직적으로 통합하여 자료 항목의 중복을 없애고 구조화 한 것.과거프로그램 1개당 데이터 파일 1개 형태로 존재.데이터가 갱신될 때마다 프로그램을 변경하거나 갱신해야하는 단점 발생.데이터 파일 형태로 존재하여 데이터를 관리하는데 불편함이 많음.현재 다수의 프로그램이 하나의 데이터 베이스를 사용하여 데이터의 변화에도 프로그램을 수정할 필요가 없음.다수의 유저가 사용하더라도 동일한 데이터를 가지고 사용할 수 있어 동시성이 좋음.데이터 관리가 용이함.RDB(Relational Database Management System ) = RDBMS관계형 데이터 베이스.관계를 기반으로 한 DB 개체의 내부 관계가 아닌 외부의 관계를 적용..
1. Oracle 11g를 설치 후 Scott 계정만 존재하고 데이터가 없을 경우나 Scott 계정이 존재하지 않을 경우가 있다. -- Scott 계정 생성 및 DBA 권한 부여.CREATE USER scott IDENTIFIED BY tiger; GRANT DBA TO scott; 2. 앞으로 진행 될 실습과 정리에 사용 될 데이터이다. DROP TABLE EMP;DROP TABLE DEPT;DROP TABLE BONUS;DROP TABLE SALGRADE;DROP TABLE DUMMY; CREATE TABLE EMP (EMPNO NUMBER(4) NOT NULL, ENAME VARCHAR2(10), JOB VARCHAR2(9), MGR NUMBER(4), HIREDATE DATE, SAL NUMBER..
· Book
스탠퍼드 출신의 무기 판매상 이태민 수재라는 소리만 들어왔던 그는 500억을 벌어 캐나다 또는 미국에서 정착하여 사는게 꿈인 무기 판매상이다. 물리학을 전공했던 그가 무기 판매상이 되기 위해 정치외교? 정확히는 기억이 나지 않는다. 무튼 국제적인 무기 판매상이 되기 위해 진학하여 무기 판매 회사에 취업을 하게 된다. 직장 생활 중 그의 통찰력은 미국 CIA를 비롯한 전 세계가 감탄할 정도의 추리력과 판단력, 설득력을 지닌 무기 로비스트가 된다. 그러곤 개인 회사를 설립하여 한국의 이 회장과 손을 잡고 ( 1:1 ) 무기 판매를 시작한다. 50억을 번 시점에서 검찰이 들이 닥친다. 최현지 검사. 그녀에게 몰아세우는 문책을 당한 후 중국으로 도망간다. 그녀에게 복수를 하기 위해 북한 사람들이 자주 찾는 국밥..
데이터의 통계적 기술 중심성향의 측도 데이터의 대적인 값을 나타내는 수치. ex) 산술평균, 가중평균, 중앙값, 최빈값 등이 있다. 산포의 측도 데이터가 퍼져있는 정도를 나타내는 수치. ex) 범위, 분위수, 평균절대편차(MAD), 분산과 표준편차 등이 있다. 모집단의 특성 => 모수, 파라미터 표본의 특성 => 통계량 산술평균 데이터의 합을 데이터의 수로 나누는 것. ∑ Xi ÷ N - 모집단의 평균 : µ (뮤) , 표본의 평균 : X bar ( X 바 ) 가중평균 어떤 값이 다른 값보다 중요할때 각 수치에 따른 가중치를 다르게 두어 평균을 구하는 방법. X w = ∑(wi * Xi) / ∑wi * wi : 가중치 중앙값 값과 상관없이 데이터 개수가 같아지게 되는 값 ( 양분 하는 곳에 있는 데이터 ..
· Book
스티브 잡스의 일대기를 간략하게 소개와 간략한 인물 정보를 제공하는 책이다. 과거 스티브 잡스의 다양한 성격과 함께 기업을 어떻게 운영하였고, 자신의 철학을 유지하며 지내왔는지를 알 수 있는 책이 었다. 자신이 설립한 회사에서 쫓겨나기도하고 자신의 직원들에게 외면 받기도 하였으며, 외면했던 직원들이 자신의 업적으로 인해 다시금 찬양하게 되는 부분까지 누구도 느낄 수 없는 스티브 잡스 만의 삶의 굴곡을 느낄 수 있었던 책이었다. 아이디어보다 아이디어를 관철하고 지켜나가며, 자신의 철학과 함께 아이디어를 어떻게 결과물로 이끌어 내는지 얼마나 그것이 중요한 것인지 알 수 있었으며, 자신이 췌장암으로 죽기 직전까지 애플 키노트에 섰으며, 죽는 그날까지 애플을 걱정하며 자신의 후계자인 팀쿡을 인도하는 모습까지 인..
· Book
군대 시절 이미 이 책을 읽은 경험이 있다. 하지만 다시 이 책을 들게 된 이유는 꿈을 향에 앞으로 걸어나아가는 아버지의 모습과 함께 나약한 마음을 지내게된 나의 모습을 반성하기 위해 책을 다시 읽게 되었다. 20대 후반 터닝 포인트가 될 2016년. 대학원 시작과 함께 많은 변화가 있을 거라고 생각 된다. 이 책은 파블로라는 어촌 지역의 소년이 성장하며 겪는 모습을 에피소드와 함께 진행해 나가는 책이다. 각 챕터는 해당 에피소드의 가장 중요한 주제로 표현 된다. 꿈, 인내, 목표의식, 도전, 열정, 용기, 희망, 신념 200페이지 밖에 안되는 단편 소설이지만 많은 깨우침을 얻게 되는 책인 것 같다. 어린아이부터 어른까지 모두 읽고 공감할 수 있는 책이다. 낚시배를 타고 있는 파블로는 부모님의 결혼 제안..
J_Today
2DH