Pandas 기초 4편

1. drop df.drop((index_number))로 index_number에 해당하는 행 제거 인덱스 리스트를 넣어 지정하는 행 제거(fancy index) axis 연산도 가능 axis=1로 해서 city와 state에 해당하는 column을 제거함 --------------------------------------------------------------------------------------------------------------------------- 2. dataframe operation index를 기준으로 연산을 수행함 겹치는 index가 없는 경우에는 NaN을 집어넣음 dataframe은 column index도 고려함 fill_value= 으로 겹치는 부분이 없는 곳이..

• format_list_bulleted Pandas
• · 2021. 11. 24.
• textsms

Pandas 기초 3편

1. delete column 1-1) del del df[‘debt’] 로 ‘debt’ 열을 삭제함 del은 열의 메모리 주소를 삭제함 1-2) df.drop() df.drop((열이름),axis=)으로도 삭제가 가능하다 그러나 얘는 원본을 변화시키진 않음 새로 할당시켜야함 2. column selection 1개 열을 선택할 때는 df[‘account’]로 문자열만 들어가지만 2개 이상의 열을 선택할때는 반드시 리스트가 들어가야한다 예를 들어 df[ [‘account’,’street’,’state’] ] 위 그림을 보면 1개 열을 선택하더라도 df['account']와 df[['account']] 차이가 있다 전자는 series로 가져오지만 후자는 dataframe으로 가져온다 ------------..

• format_list_bulleted Pandas
• · 2021. 11. 24.
• textsms

Pandas 기초 1편

1. pandas 개요 구조화된 데이터 처리를 지원하는 파이썬계의 엑셀 numpy와 통합하여 통계분석, 인덱싱, 연산, 전처리 등 지원 import pandas as pd로 호출 2. 데이터 프레임 기본 용어 데이터의 전체 집합이 data table, sample 변수는 feature, column, attribute, field 각 행, 개별 데이터들은 instance, row, tuple 3. read_csv pd.read_csv(‘파일위치’,sep=,header=(첫줄을 데이터로 보면 False 변수로 보면 True) df.head(n=) n행만큼 데이터 출력, 기본값은 n=5 sep=’\s+’에서 \s는 single space로 빈칸을 뜻하고 +로 빈칸수가 무작위로 나올때를 뜻함. 데이터가 나눠진..

• format_list_bulleted Pandas
• · 2021. 11. 23.
• textsms

가장 좋은 loss function은?

1. Huber loss MSE와 MAE가 모두 바람직하지 않은 경우도 많다. 만약 90%의 데이터가 매우 큰 값 예를 들어 200, 10% 데이터가 0~10정도 값을 가진다고 하면 MSE는 10%의 작은 값을 가지는 0~10에 맞출려고 하고 MAE는 90%의 데이터가 있는 200에 맞출려고 한다. MSE는 식 자체가 평균을 구하는 것에 목적이 있고 MAE는 중앙값을 구하는 것에 목적이 있다. 수학적으로 MSE를 가장 최소화하는 하나의 예측치는 평균이고, MAE를 가장 최소화하는 하나의 예측치는 중앙값이다. 이런 경우 적합한 loss function은 huber loss라고 있다. huber loss는 MSE와 MAE를 적절하게 합친 것이다. 그래서 MSE에 비해 outlier에 덜 민감하고 MAE에 비..

• format_list_bulleted 딥러닝 기초
• · 2021. 11. 22.
• textsms

MSE loss 와 MAE loss의 비교

1. MSE loss(mean square error) regression 문제에서 사용하는 가장 대표적인 loss function L2 norm을 사용한다고 해서 L2 loss라고도 부른다. true value와 predicted value의 제곱합의 평균이다. $$MSE= {\sum _{i=1} ^{n} \frac{(y _{i} -y _{i}^{p} ) ^{2}}{n}}$$ root를 씌운 RMSE(Root Mean squared error)를 종종 쓰기도 한다. $$RMSE= \sqrt [2]{\sum _{i=1} ^{n} \frac{(y _{i} -y _{i}^{p} ) ^{2}}{n}}$$ 풀기 쉽다는 이유에서 가장 많이 쓰인다. 미분을 하기 쉬워서, 최적화하기가 쉬워서 자주 쓰인다. 그러나 o..

• format_list_bulleted 딥러닝 기초
• · 2021. 11. 22.
• textsms

cross entropy loss(=log loss)에 대한 고찰

classification에서 가장 자주쓰는 cross entropy loss에 대해 생각해보면 binary classification의 경우 $$L(y) = -ylog(p)-(1-y)log(1-p)$$ $y$는 true value이고 $p$는 모델이 $y=1$로 예측할 확률이다. 이 cross entropy loss가 자주 쓰이지만 항상 좋은 선택일까?? 예측하고자 하는 데이터가 실제 정답이 y=1인 경우 loss를 계산하면 $$L(y=1)=-ylog(p)=-log(p)$$ 실제 정답이 y=0인 경우는 $$L(y=0)=-(1-y)log(1-p)=-log(1-p)$$ loss가 오직 true value를 예측할 확률에만 의존한다는 것이다. true value가 1일 때 loss의 그래프를 그림으로 나타냈..

• format_list_bulleted 딥러닝 기초
• · 2021. 11. 20.
• textsms