[코드잇 : 기초 통계와 데이터 시각화] 통계와 데이터 시각화 완벽 가이드 : 통계 기본 상식 | seaborn | seaborn으로 그래프 커스터마이징

 

통계란?

- 어떤 상황을 쉽게 이해할 수 있도록 숫자로 정리하는 것

- 기술통계(descriptive statisics)와 추론통계(Inferential statistics)로 나뉨

  ✔️ 기술통계 : 주어진 데이터셋을 잘 요약하고 핵심적인 특징을 파악하는 분야

  ✔️ 추론통계 : 표본을 기반으로 모집단이 어떨 것인가에 대한 추론을 하는 분야

- seaborn 라이브러리를 쓰면 matplotlib 보다 근사한 그래프를 그릴 수 있게 됨

 

 

박스 플롯과 이상점

1. IQR과 이상점의 개념

 

- Interquartile Range(IQR) : 박스의 가장 아래 부분은 25%인 1사분위수이고 위 부분은 75%인 3사분위수로, 둘 사이의 거리를 의미

- 이상점(Outlier) : 유독 튀는 값들

- 이상점의 정의 : Q1 - 1.5 * IQR ~ Q3 + 1.5 * IQR

 

 

2. Jupyter 실습

[ 코드 ]

import pandas as pd
import matplotlib.pyplot as plt

df = pd.read_csv('data/test_school.csv')
df

 

[ 출력물 ]

 

[ 코드(이어서) ]

df['english_score']

 

[ 출력물 ]

[ 코드(이어서) ]

df['english_score'].describe()

 

[ 출력물 ]

 

 

[ 코드(이어서) ]

df['english_score'].plot(kind='box')
plt.show()

 

 

[ 코드(이어서) ]

# 1사분위수
q1 = df['english_score'].quantile(0.25)

# 3사분위수
q3 = df['english_score'].quantile(0.75)

# Interquartile Range
iqr = q3 - q1


q1 - 1.5 * iqr
q3 + 1.5 * iqr

[ 출력물 ]

38.75
88.75

 

[ 코드(이어서) ]

df.plot(kind='box')
plt.show()

 

[ 출력물 ]

 

[ 코드(이어서) ]

# 만약 수학과 과학의 데이터만 보고 싶은 경우
df[['math_score', 'science_score']].plot(kind='box')
plt.show()

 

[ 출력물 ]

 

 

히스토그램

1. 데이터의 범주

(1) 수치형 데이터

- 이산형 데이터

- 연속형 데이터 -> 히스토그램 사용

 

(2) 범주형 데이터

- 명목형 데이터

- 순서형 데이터

 

[ 코드 ]

import pandas as pd
import matplotlib.pyplot as plt

df = pd.read_csv('data/body.csv')
df

 

[ 출력물 ]

 

[ 코드(이어서) ]

df['height']

 

[ 출력물 ]

 

[ 코드(이어서) ]

# 따로 설정을 하지 않으면 pandas는 자동으로 구간을 10개로 나눠줌
# 원하는 구간의 개수가 있으면 bins를 이용

df['height'].plot(kind='hist', bins=7)
plt.show()

 

[ 출력물 ]

 

 

 

확률 밀도 함수와 KDE plot

1. 확률 밀도 함수

- 히스토그램이 대략적인 데이터 분포를 쉽게 파악하는 데에는 장점이 있지만 연속형 데이터를 디테일하게 싶을 때에는 연속형 데이터를 좀 더 세밀하게 표현할 수 있는 확률밀도함수가 필요

- 확률밀도함수는 각 구간이 전체에서 차지하는 비중을 의미

 

2. KDE plot(Kernel Density Estimation Plot)

- 주어진 정보만 가지고 전체 데이터 분포, 즉 PDF에 대한 추정을 해서 하나의 부드러운 곡선 모양을 만들 수 있음

 

[ 코드 ]

import pandas as pd
import matplotlib.pyplot as plt

# 파라미터로 bw_method를 사용하면 얼마나 세부적으로 표현할 정할 수 있음 / 숫자가 클 수록 단순화
df['height'].plot(kind='kde', bw_method=0.1)
plt.show()

 

[ 출력물 ]

 

 

데이터 분포의 모양

 

- Right-skewed = Positively-skewed / Left-skewed = Negatively-skewed

- 왜도의 절댓값이 클수록 데이터가 더 많이 삐뚤어짐

 

 

 

분산과 표준편차

- 분산(Variance)

- 표준편차(Standard Deviation)

 

 

seaborn

- seaborn은 통계 정보 시각화 라이브러리로, 간결한 코드로 그래프 생성이 가능

- 간편하게 근사한 그래프를 생성하고 싶으면 seaborn, 원하는 대로 커스텀하게 그래프를 생성하고 싶으면 matplotlib

 

1. seaborn 설치하기

!conda install --yes seaborn

 

2. seaborn으로 그래프 그리기

[ 코드 ]

import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt

df = pd.read_csv('data/bike.csv')
df

 

[ 출력물 ]

 

[ 코드(이어서) ]

# 그래프의 테마를 설정
# rc={'figure.figsize': (8, 4)} : 그래프의 크기 설정
# style='white' : 배경색 설정

sns.set_theme(rc={'figure.figsize': (8, 4)}, style='white')
sns.barplot(data=df, x='month', y='total', errorbar=None)
plt.show()

 

[ 출력물 ]

 

[ 코드(이어서) ]

# 막대를 월별로 보는 방법(0: 영업일이 아닌 날 / 1: 영업일인 날)

sns.set_theme(rc={'figure.figsize': (8, 4)}, style='white')
sns.barplot(data=df, x='month', y='total', errorbar=None, hue='workingday')
plt.show()

 

[ 출력물 ]

 

[ 코드(이어서) ]

# registered는 정기권을 결제한 사람들로, 영업일에 이용하는 사람들이 많다는 것을 확인할 수 있음

sns.set_theme(rc={'figure.figsize': (8, 4)}, style='white')
sns.barplot(data=df, x='month', y='registered', errorbar=None, hue='workingday')
plt.show()

 

[ 출력물 ]

 

[ 코드 ]

# 정기권 없이 자전거를 빌리는 사람은 휴일에 대여한다는 사실을 알 수 있음

sns.set_theme(rc={'figure.figsize': (8, 4)}, style='white')
sns.barplot(data=df, x='month', y='casual', errorbar=None, hue='workingday')
plt.show()

 

[ 출력물 ]

 

[ 코드(이어서) ]

# 선그래프

sns.set_theme(rc={'figure.figsize': (8, 4)}, style='white')
sns.lineplot(data=df, x='month', y='total', errorbar=None, hue='workingday')
plt.show()

 

[ 출력물 ]

 

 

3. set_theme() 함수로 그래프 커스터마이징하기

(1) font 파라미터로 폰트 설정하기

# Windows
set_theme(style='white', font='Malgun Gothic')

# Mac
set_theme(style='white', font='AppleGothic')

- 기본 폰트에는 한글을 표현할 수 있는 글자가 없기 때문에 한글 폰트를 설정해주지 않으면 글자가 깨져서 나옴

- font_scale로 폰트의 크기도 바꿀 수 있음(기본값 : 1)

 

(2) 팔레트 설정

# 팔레트의 종류에는 pastel, muted, bright, dark, colorblind 등이 있음

sns.set_theme(palette='pastel')

 

 

4. 데이터 분포 시각화

(1) stripplot

[ 코드(이어서) ]

sns.stripplot(data=df, x='month', y='total')

 

[ 출력물 ]

- 월별로 데이터가 어떻게 분포되어 있는지 경향성을 파악할 수 있음

- 영업일을 기준으로 구분해서 보기 위해서는 hue 파라미터 사용

 

(2) swarmplot

[ 코드(이어서) ]

sns.swarmplot(data=df, x='month', y='total', hue='workingday')
plt.show()

 

[ 출력물 ]

 

(3) boxplot

[ 코드(이어서) ]

# order이라는 파라미터로 x축의 순서를 정할 수 있음
sns.boxplot(data=df, x='day_of_week', y='registered', order={'MON', 'TUE', 'WED', 'THU', 'FRI', 'SAT'})
plt.show()

 

[ 출력물 ] 

 

(4) violinplot

[ 코드(이어서) ]

sns.boxplot(data=df, x='day_of_week', y='registered', order={'MON', 'TUE', 'WED', 'THU', 'FRI', 'SAT', 'SUN'})
plt.show()

 

[ 출력물 ]

- 흰 점이 중간 값, 굵은 선이 IQR(양 끝은 1사분위수와 3사분위수)

- KDE plot을 양 옆으로 붙여놓은 듯한 모양임

 

 

(5) 히스토그램

[ 코드(이어서) ]

sns.histplot(data=df, x='registered')

 

[ 출력물 ]

- 히스토그램은 한 가지 값에 대해 분포를 살펴보는 것

- x가 아닌 y = 'registered'로 입력하면 가로로 나오게 됨

- 히스토그램에서도 hue 파라미터를 사용할 수 있음

 

 

(6) KDE plot

[ 코드(이어서) ]

sns.kdeplot(data=df, x='registered')

 

[ 출력물 ]

 

5. 상관관계 시각화

(1) 상관계수(correlation coefficient)

- 가장 많이 쓰이는 것이 피어슨 상관계수(Pearson Correlation Coefficient)

- -1부터 1 사이의 값을 가짐

  ✔️ 상관계수 = 0 : 두 값 사이에 상관 관계가 없다

  ✔️ 상관계수 > 0 : 어떤 값이 커질 때 다른 값도 함께 커짐 (양의 상관관계)

  ✔️ 상관계수 > 0 : 어떤 값이 커질 때 다른 값은 작아짐 (음의 상관관계)

- 상관관계의 강도 : 상관계수가 얼마나 크거나 작은 값인지? -> 값이 0에 가까워질수록 연관성이 떨어지고 1, -1에 가까울 수록 강해짐

 

 

(2) scatterplot

[ 코드 ]

sns.set_theme(rc={'figure.figsize': (6,6)}, style='white')

sns.scatterplot(data=df, x='temperature', y='total')
plt.show()

 

[ 출력물 ]

 

(3) regplot

[ 코드(이어서) ]

sns.regplot(data=df, x='temperature', y='total')
plt.show()

 

[ 출력물 ]

- 회귀선(regression line) : 두 선의 상관관계를 하나의 선으로 표현

 

 

(4) corr : 각 컬럼들 사이의 어떤 관계가 있는지, 즉 칼럼들 간의 상관관계를 계산하는 방법

- 보다 더 시각적으로 표현하는 법 : heatmap

- annot=True 파라미터로 상관계수를 표기할 수도 있음