[DataMining] 2. 시각화를 통한 탐색적 데이터 분석(EDA)

데이터 시각화를 통한 탐색적 데이터 분석

탐색적 데이터 분석이란?

1. 데이터에 대한 질문을 찾는다.
2. 데이터에 대한 시각화, 변환, 모델링으로 답을 찾는다.
3. 답을 통해 질문을 심화하고 새로운 질문을 찾는다.

ggplot2

R에서 가장 널리 쓰이는 시각화 패키지

library(ggplot2)

기본 데이터 ( Diamonds )

data(diamonds)

head(diamonds)

carat	cut	color	clarity	depth	table	price	x	y	z
0.23	Ideal	E	SI2	61.5	55	326	3.95	3.98	2.43
0.21	Premium	E	SI1	59.8	61	326	3.89	3.84	2.31
0.23	Good	E	VS1	56.9	65	327	4.05	4.07	2.31
0.29	Premium	I	VS2	62.4	58	334	4.20	4.23	2.63
0.31	Good	J	SI2	63.3	58	335	4.34	4.35	2.75
0.24	Very Good	J	VVS2	62.8	57	336	3.94	3.96	2.48

ggplot의 기초

• 공통요소들은 ggplot() 안에 넣고 각 그래프 (geom_이름)에는 개별 속성 적용

1. 히스토그램 (Histogram)

options(repr.plot.width=7,repr.plot.height=4) # Jupyter notebook 에서 ggplot 크기를 조절

ggplot(data=diamonds) +
    geom_bar(mapping = aes(x=cut)) # 데이터를 diamonds로 하고 x축에는 cut필드를 기준으로 하여 barplot을 생성

library(dplyr)

Attaching package: ‘dplyr’

The following objects are masked from ‘package:stats’:

    filter, lag

The following objects are masked from ‘package:base’:

    intersect, setdiff, setequal, union

diamonds %>% 
    count(cut)

cut	n
Fair	1610
Good	4906
Very Good	12082
Premium	13791
Ideal	21551

연속 변수의 경우 일정 간격으로 끊어서 히스토그램을 그린다. 아래는 0.5 간격으로 끊어 그림

ggplot(data = diamonds) +
  geom_histogram(mapping = aes(x = carat), binwidth = 0.5)

diamonds %>%
    count(cut_width(carat, .5))

cut_width(carat, 0.5)	n
[-0.25,0.25]	785
(0.25,0.75]	29498
(0.75,1.25]	15977
(1.25,1.75]	5313
(1.75,2.25]	2002
(2.25,2.75]	322
(2.75,3.25]	32
(3.25,3.75]	5
(3.75,4.25]	4
(4.25,4.75]	1
(4.75,5.25]	1

smaller <- diamonds %>% filter(carat < 3)
head(smaller)

carat	cut	color	clarity	depth	table	price	x	y	z
0.23	Ideal	E	SI2	61.5	55	326	3.95	3.98	2.43
0.21	Premium	E	SI1	59.8	61	326	3.89	3.84	2.31
0.23	Good	E	VS1	56.9	65	327	4.05	4.07	2.31
0.29	Premium	I	VS2	62.4	58	334	4.20	4.23	2.63
0.31	Good	J	SI2	63.3	58	335	4.34	4.35	2.75
0.24	Very Good	J	VVS2	62.8	57	336	3.94	3.96	2.48

이전과 달리 mapping 내용이 ggplot안에 들어가는 이유는 공통적인 요소라고 생각되어 ggplot 안으로 넣었다.

ggplot(data = smaller, mapping = aes(x = carat)) +
     geom_histogram(binwidth = .1)

2. Freqploy

여러개의 Histogram 이 겹치면 잘 보이지 않으므로 freqploy를 쓰는 것이 용이

ggplot(data = smaller, mapping = aes(x = carat, colour = cut)) +
    geom_freqpoly(binwidth = .1)

ggplot(data = smaller, mapping = aes(x = carat, colour = cut)) +
    geom_histogram(binwidth = .1, position = )

다른 변수들에서 분포의 특성을 찾아보기

ggplot(data = diamonds, mapping = aes(x = carat)) +
     geom_histogram(binwidth = .01)

faithful data

• Waiting time between eruptions and the duration of the eruption for the Old Faithful geyser in Yellowstone National Park, Wyoming, USA.

data(faithful)

ggplot(data = faithful, mapping = aes(x = eruptions)) +
    geom_histogram(binwidth = .25)

3. Outlier(이상점)

ggplot(data = diamonds) +
    geom_histogram(mapping = aes(x = y), binwidth = .5)

세로축을 제한하여 그리기

ggplot(diamonds) + 
  geom_histogram(mapping = aes(x = y), binwidth = .5) +
  coord_cartesian(ylim = c(0, 50))

unusual <- diamonds %>%
        filter(y < 3 | y > 20) %>%
        select(price, x,y,z) %>%
        arrange(y)

head(unusual,10)

price	x	y	z
5139	0.00	0.0	0.00
6381	0.00	0.0	0.00
12800	0.00	0.0	0.00
15686	0.00	0.0	0.00
18034	0.00	0.0	0.00
2130	0.00	0.0	0.00
2130	0.00	0.0	0.00
2075	5.15	31.8	5.12
12210	8.09	58.9	8.06

4. Missing Value(결측치)

diamonds2 <- diamonds %>%
    mutate(y = ifelse(y<3 | y>20,NA,y))

head(diamonds2)

carat	cut	color	clarity	depth	table	price	x	y	z
0.23	Ideal	E	SI2	61.5	55	326	3.95	3.98	2.43
0.21	Premium	E	SI1	59.8	61	326	3.89	3.84	2.31
0.23	Good	E	VS1	56.9	65	327	4.05	4.07	2.31
0.29	Premium	I	VS2	62.4	58	334	4.20	4.23	2.63
0.31	Good	J	SI2	63.3	58	335	4.34	4.35	2.75
0.24	Very Good	J	VVS2	62.8	57	336	3.94	3.96	2.48

ggplot(data = diamonds2, mapping = aes(x = x, y = y)) + 
  geom_point()

Warning message:
“Removed 9 rows containing missing values (geom_point).”

ggplot(data = diamonds2, mapping = aes(x = x, y = y)) + 
  geom_point(na.rm = TRUE) # 결측치 제거

5. Count vs Density

ggplot(data = diamonds, mapping = aes(x = price)) + 
  geom_freqpoly(mapping = aes(colour = cut), binwidth = 500)

ggplot(data = diamonds, mapping = aes(x = price, y = ..density..)) + 
  geom_freqpoly(mapping = aes(colour = cut), binwidth = 500)

6. Box plot

ggplot(data = diamonds, mapping = aes(x = cut, y=price)) +
    geom_boxplot()

ggplot(data = diamonds, mapping = aes(x = cut, y = price)) +
  geom_boxplot() + 
  coord_flip()

7. 두 개의 이산 변수

ggplot(data = diamonds) + 
    geom_count(mapping = aes(x = cut, y = color))

diamonds %>% 
  count(color, cut) %>%  
  ggplot(mapping = aes(x = color, y = cut)) +
    geom_tile(mapping = aes(fill = n))

7. 두개의 연속 변수

• 점이 겹쳐보기 떄문에 몇개의 점이 있는지 정확히 알 수 없다.

ggplot(data = diamonds) +
  geom_point(mapping = aes(x = carat, y = price))

• 점의 투명도를 통해 많이 있는 부분에는 색이 찐하게 나올 수 있도록 투명도 조절

ggplot(data = diamonds) + 
  geom_point(mapping = aes(x = carat, y = price), alpha = 1 / 100)

ggplot(data = smaller) +
  geom_bin2d(mapping = aes(x = carat, y = price))