feature scaling을 위한 정규화(normalization) 기법들

1. 왜 해야하는가? 원본 데이터의 값 범위가 크게 다를 경우, 일부 머신러닝 알고리즘에서는 정규화를 하지 않으면 목적 함수가 제대로 작동하지 않을 수 있습니다.  예를 들어, 많은 분류기(classifier)들은 두 지점 간의 유클리드 거리(Euclidean distance)를 계산합니다.  만약 어떤 특성(feature)이 매우 넓은 값의 범위를 가진다면, 이 거리 계산은 해당 특성에 의해 지배될 수 있습니다.  따라서 모든 특성의 값 범위를 정규화하여, 각 특성이 최종 거리 계산에 거의 비슷한 비중으로 기여하도록 하는 것이 중요합니다. 또한, 정규화를 적용하는 또 다른 이유는 경사 하강법(gradient descent)이 정규화를 통해 훨씬 더 빠르게 수렴하기 때문입니다. 정규화는 손실 함수에 정규..

• format_list_bulleted 다시보는 통계학
• · 2025. 4. 12.
• textsms

python에서 logging 간단하게

프로그램이 실행되는 동안 일어나는 (유저의 접근, 갑작스러운 에러) 여러가지 일을 기록하는 것  콘솔 화면에 출력하거나 파일이나 데이터베이스에 남기거나 기록된 로그를 분석하여 의미있는 결과를 도출할 수 있음 레벨별(개발시점,운영시점 등)로 로그 기록을 남길 수 있음    debug,info,warning,error,critical 등이 있음 기본은 warning여서 여기서부터 출력됨   setLevel로 기본 레벨을 변경할 수 있음    스트림핸들러에 로그 기록을 저장할 수도 있음    위 코드를 수행하면 my.log에 로그 기록을 남겼음       log format을 정할 수도 있다 asctime은 날짜와 시간  levelname은 debug,info,waning,error,critical proce..

• format_list_bulleted 프로그래밍/Python
• · 2024. 4. 30.
• textsms

ABC349 D번 복기 - log를 구하는 가장 정확한 방법 - math.log를 기피해야하는 이유

https://atcoder.jp/contests/abc349/tasks/abc349_d D - Divide IntervalAtCoder is a programming contest site for anyone from beginners to experts. We hold weekly programming contests online.atcoder.jp  L부터 R-1까지 연속된 정수 수열이 주어질때, 이 수열을 최소 개수의 구간으로 나눌려고 한다 L  $li = 2^{k}(j), ri = 2^{k}(j+1)$을 만족해야한다. 접근은 상당히 잘 했다 현재 시점 L을 기준으로 $L = 2^{k}j$를 만족하는 모든 k를 먼저 찾는다. 이거는 L이 2로 나누어 떨어지면,..

• format_list_bulleted 프로그래밍/Python
• · 2024. 4. 14.
• textsms

의외로 알아내기 어려운 2의 거듭제곱을 더하면 나타나는 특징

1. 문제 27514번: 1차원 2048 (acmicpc.net) 27514번: 1차원 2048 첫 줄에 흐즈로가 정의한 연산을 $0$번 이상 수행해 만들 수 있는 가장 큰 최댓값을 출력하세요. 문제의 답은 $2^{62}$보다 크지 않음이 보장됩니다. www.acmicpc.net 2. 풀이 0이나 2의 거듭제곱으로 이루어진 수열이 있는데, 서로 같은 두 수를 찾으면 하나를 2배 해주고 다른 수는 0으로 바꿔준다 이 과정을 반복했을때, 남아있는 수열의 수 중 최댓값을 찾는 문제 처음에는 걍 수의 위치가 중요한 문제는 아니니.. 수열의 값 a와 그 개수를 value로 해서 dict[a] = value로 만들고 dict를 순회해서 value가 2개 이상 있으면 2배한 dict[2a] += 1 해주고, dict..

• format_list_bulleted 알고리즘/애드 혹 알고리즘
• · 2023. 10. 9.
• textsms

머신러닝 관점에서 entropy 개념 알아보기

1. entropy를 줄이는 방법 무질서도를 측정하는 측도로 무작위할수록 높은 값을 갖는다. 색이 맞은 완전한 큐브는 단 1가지의 경우의 수(state)를 가지지만 색이 흐트러져 뒤섞인 큐브는 무수히 많은 경우의 수(state)를 가진다. 열역학 제 2법칙은 닫힌 공간에서 엔트로피는 항상 증가하는 방향으로 흐른다는 것이다. 시간이 과거에서 미래로 흐르는 것도 미래가 과거보다 무작위하다는 것을 생각하면 자연스럽다 그러나 공간에 에너지를 투입하는 경우 global하게 닫힌 공간으로 확장하면 엔트로피는 증가하지만 에너지를 투입한 local한 부분에서는 엔트로피를 감소시킬 수 있다 멋진 말로는 부분 공간에서는 시간을 잠깐 거슬러 올라갈 수 있다는것? 색이 흐트러져 뒤섞인 큐브는 무작위로 뒤섞여 엔트로피가 높은 ..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 11. 1.
• textsms