전체 글

becoming the data engineer
Anaconda 에서 가상 환경을 Activate 시킨 후 Jupyter notebook 을 시작할 때 Import Error : DLL load failed while importing _ssl : 지정된 모듈을 찾을 수 없습니다. 라는 에러가 발생 해결 방법 slproweb.com/products/Win32OpenSSL.html Win32/Win64 OpenSSL Installer for Windows - Shining Light Productions Minimum system requirements: Windows XP or later 32MB RAM 200MHz CPU 30MB hard drive space Recommended system requirements: Windows XP or lat..
가상 환경 bit별로 생성 방법 및 오류 해결 인터넷 검색하면 아래와 같은 설명이 많았다. set CONDA_FORCE_32BIT=1 conda create -n py38_32 python=3.8 이렇게 하더라도 실제적으로 확인 결과 아래와 같이 64비트로 유지되었다. 참조 : https://baessi.tistory.com/134?category=1083198 를 통해 다른 방법으로 가상 환경을 만들 수 있었다. 가상환경 생성 1. 기존 방식으로 가상환경 생성. conda create -n py38_32 python=3.8 2. 설치 이후 활성화 conda activate py38_32 3. 버전 확인 python 실행 import platform print(platform.architecture())..
· STUDY/Git
협업, Pull Request 오픈소스 프로젝트는 물론 많은 사람들과 협업을 하는 경우 아래와 같은 형태로 많이 운영 된다. 정해진 사용자만 Main Repository에 Merge가 가능하다. ( 관리자 ) 일반 개발자는 자신이 Fork한 Repository에서만 Push가 가능하다. 각 개발자는 자신의 개인 Repository에서 개발 후 Pull Request를 통해 Merge를 관리자에게 요청한다. 기초 작업 Fork Repository Origin Remote와 내 Repository에 있는 저장소 Remote 2개를 설정. Main Repository를 Upstream 내 Resository는 자신 마음대로, myrepos라고 지정. 작업 브랜치 생성 및 개발 작업 브랜치 생성 전 upstre..
· STUDY/Git
Remote Remote의 경우 On_Promise로 Server를 구성할 수도 있고, Github와 같이 Cloud와 같은 공간을 활용 할 수도 있다. 아래의 설명의 경우 같은 PC지만 다른 폴더를 지정하여 수행할 예정 현재 위치 : /d/gittest2 Remote : /d/gittest3 // --bard라는 옵션은 현재 폴더는 Remote 역할만 한다는 명령어. $ git init --bare Initialized empty Git repository in D:/gittest3/ 작업장소 연결 (Remote Add) MCR007@MCR007 MINGW64 /d/gittest2 (exp) $ git remote add origin /d/gittest3 //원격Directory를 연결한다 그 별명은 ..
· STUDY/Git
Stash 감추다 숨겨두다라는 의미. branch를 가지고 작업 중 해당 branch에서 작업이 끝나지 않을때 다른 branch로 Checkout하여 작업을 하려고하는데 commit을 하지 않고 옮겨갈 수가 없다. 이때 stash를 이용하여 branch를 숨겨 놓고 작업이 가능하다. 현재 코드를 Commit을 하고 가는게 가장 심플하고 안전한 방법이지만 불완전한 코드를 Commit하여 log가 쌓이고, 하나의 이슈에 하나의 commit log를 보통 쌓는다. git stash를 이용하여 현재 코드를 안전하게 임시 저장. stash가 branch별로 저장되기 떄문에 임시 저장 기능이라고 한다. branch를 활발하게 이용하지 않는다면 의미가 없는 기능이다. 사례 새로운 작업을 위해 exp branch를 생..
· STUDY/Git
Branch report.xls 라는 파일을 수정하게 되고 버젼관리를 하게 된다면 report1.xls, report2.xls 처럼 만들게 된다. 순차적으로 수정하기도하지만 수정하다 고객에게 일부만 수정하여 제공해야 된다면 report2_client.xls로 수정해야 제공할 것이다. 이러한 파일을 또 수정이 필요하게 된다면 report3.xls라고 수정하고 다음번 수정은 report4.xls형태로 수정해갈 것이다. 여기서 client 문서에서 이 문서 내용이 수정된 내용 report2_client2.xls 파일이 현재 파일과 합본이 되야 한다면 report4.xls + report2_client2.xls => report5.xls가 될 것이다. 이러한 사항과 같이 작업이 분기가 되는 것을 Branch라고..
· STUDY/Git
Git 아래 내용은 생활코딩의 이고잉님의 강의를 정리 한 내용입니다. 자세한 내용은 https://opentutorials.org/course/2708 에서 확인 하시기 바랍니다. Git 이란? 파일의 이력관리를 쉽게하여 새로운 내용을 수정 후 복원하거나 사람들과의 협업한 내용을 쉽게 관리하기 위한 형상관리 도구의 일종입니다. 더 자세한 사항은 위키피디아를 참고하시면 자세하게 설명되어 있습니다. Git WikiPedia Git 설치 Download : Git 에서 본인의 OS에 맞는 Git을 설치 하면 됩니다. Git 초기설정 현재 Git을 사용하는 사용자가 누구인지 > git config --global user.name 네임 > git config --global user.email 유저 Email ..
A/B 테스팅과 '여러 팔 강도' 문제 1. A/B 테스팅 최근 인터넷을 이용한 상거래가 활발해지면서 'A/B 테스팅'이라는 아이디어가 인기를 얻게 되었다. A/B 테스팅은 메뉴, 문구, 광고 등을 고객마다 A안과 B안으로 다르게 보여주고 가장 반응이 좋은 안을 선택하는 방법이다. 꼭 2가지 안만이 아니라 다양한 안을 보여주는 경우도 포함한다. A/B 테스팅은 과학계에서 사용하는 무작위 대조군 시험(randomized controlled trial: RCT)과 동일한 것이다. 예를 들어 의학에서 약의 효과를 검증할 때는 환자들을 무작위로 나누고 일부 환자들에게는 진짜 약을 주고, 다른 환자들에게는 가짜 약을 준다. 기초 통계학에서 배우는 t-검정, 카이제곱 검정 등은 이런 문..
· BIGDATA/R
Machine Learning의 종류 지도 학습(Supervised Learning): X와 Y의 관계를 학습시켜 X로 Y를 예측하게 하려는 경우 회귀(Regression): 연속적인 값(예: 가격)을 예측 분류(Classification): 이산적인 값(예: 성별)을 예측 비지도 학습(Unsupervised Learning): 데이터의 패턴을 나타내는 새로운 변수를 만드는 경우 군집(Clustering): 데이터를 비슷한 것끼리 무리(군집)으로 나눔 차원 축소(Dimensionality Reduction): 데이터를 적은 수의 변수로 나타냄 강화학습(Reinforcement Learning): 보상과 처벌이 존재하는 상황에서 최적의 정책을 찾으려는 경우 데이터 전처리caret Classification..
· BIGDATA/R
데이터 시각화를 통한 탐색적 데이터 분석탐색적 데이터 분석이란? 데이터에 대한 질문을 찾는다. 데이터에 대한 시각화, 변환, 모델링으로 답을 찾는다. 답을 통해 질문을 심화하고 새로운 질문을 찾는다. ggplot2R에서 가장 널리 쓰이는 시각화 패키지 library(ggplot2) 기본 데이터 ( Diamonds ) data(diamonds) head(diamonds) caratcutcolorclaritydepthtablepricexyz 0.23 Ideal E SI2 61.5 55 326 3.95 3.98 2.43 0.21 Premium E SI1 59.8 61 326 3.89 3.84 2.31 0.23 Good E VS1 56.9 65 327 4.05 4.07 2.31 0.29 Premium I VS2..
J_Today
2DH