머신러닝 연구

https://tigris-data-science.tistory.com/entry/%EC%B0%A8%EA%B7%BC%EC%B0%A8%EA%B7%BC-%EC%9D%B4%ED%95%B4%ED%95%98%EB%8A%94-Transformer1-Scaled-Dot-Product-Attention?category=1005740

마지막이 없는 것이 아쉽지만 트랜스포머 모델을 설명한 매우 좋은 글 https://www.blossominkyung.com/deeplearning/transfomer-positional-encodinghttps://www.blossominkyung.com/deeplearning/transformer-mha

def objective(trial):    param= {'objective': 'multi:softprob',            'tree_method': 'hist',            'num_class': 3     ,            'max_depth': trial.suggest_int('max_depth', 3, 10),            'learning_rate': trial.suggest_uniform('learning_rate', 0.01, 0.05),            'n_estimators': 1748,            'gamma': 0.5631817186746637,            'min_child_weight': trial.suggest_int('mi..

1. 일변량 통계 p-value를 이용한 특성선택from sklearn.feature_selection import SelectPercentile, f_classif 2.모델기반 선택target값과 특성의 중요도에 따라 선택from sklearn .feature_selection import SelectFromModel 3.반복적 선택특성을 한개씩 더하거나, 모든 특성을 선택 후 하나씩 빼는 방식으로 중요도를 평가하여 특성선택from sklearn .feature_selection import RFE

시간이 지남에 따라 시계열의 규칙(결합확률분포), 평균과 분산이 바뀌지 않는것을 말한다.

knn과 유사하나 knn은 지도학습인 반면 k-mean은 비지도학습이며, 군집 알고리즘이다. knn은 타겟값, label을 기준으로 유클리디안 거리로 이웃을 찾는 반면, k-mean은 비지도학습이므로  데이터 중에서 centroids(중심값)을 찾아 중심값을 기준으로 군집시킨다.  https://velog.io/@jhlee508/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-K-%ED%8F%89%EA%B7%A0K-Means-%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98 [머신러닝] K-평균(K-Means) 알고리즘머신러닝 비지도학습에 속하는 K-means 알고리즘은 K개의 군집(Cluster)로 묶는(Clusting) 알고리즘이다.velog.io  https://b..

t-distributed Stochastic Neighbor Embedding-t검정을 이용한 비지도학습 https://velog.io/@stella_y/%EC%B0%A8%EC%9B%90-%EC%B6%95%EC%86%8C-%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98%EC%9D%84-%EB%B9%84%EA%B5%90%ED%95%B4%EB%B3%B4%EC%9E%90-PCA-T-sne-UMAP 차원 축소 알고리즘을 비교해보자 (PCA, T-sne, UMAP)차원 축소 알고리즘들은 축소하는 방법에 의해 두 가지로 나눌 수 있음matrix factorization 계열 - pcaneighbour graphs - t-sne, umapmatrix factorization 을 base 로 함 (공..

PCA(Principal Component Analysis) 란?주성분분석은 특성들을 압축할 수 있는 비지도 학습이다. target값은 사용되지 않으며 특성데이터만으로 주성분을 찾는다. F 를 특성백터라고 하면 F에 대해  transpose 한 행렬을 곱해주는 간단한 연산을 통해, 공분산행렬 A을 만들 수 있다. 공분산행렬 A에 대해 Ax = lamda(상수)*x을 만족시켜주는 고유백터 x를  det(A- lamda * I) =0 (특성 방정식/characteristic equation)을 통해 찾는다. 역행렬이 존재하면 x=0 이 되므로 det = 0 이어야 한다. PCA의 의미의미적으로 공분산행렬의 고유백터를 찾는 과정은 선형변환이 이루어질 때, 여전히 그 방향을 유지하는 벡터들을 찾는 것이다. 고유..

random forest, gbm 등이 모두 가지고 있는 문제점. https://blog.deeplink.kr/?p=278 Random Forest(랜덤 포레스트) 취약점 - Extrapolation(외삽법) - DEEPLINK CORE Lab_ 랜덤 포레스트(Random Forest)는 별다른 Hyper-Parameter Tuning을 하지 않아도 Tree개수만 충분하면 성능이 잘 나오는 장점이 있다. 반면에 몇가지 단점이 있는 데 그 중 하나가 바로 외삽법(Extrapolation)에 blog.deeplink.kr

베이즈 정리 P(A|B) *P(B) = P(B|A) * P(A) 그러므로, P(A|B) = (P(B|A) * P(A)) / P(B) 베이즈정리의 의미 P(B|A), P(A), P(B) 이렇게 알고 있으면 P(A|B)도 알 수 있다는 것. 알고 있는 정보를 이용해서 '역확률'을 구할 수 있다는 의미다. 예를 들어 보자. 하늘에 적층운이 생겼을 때 비가 올 확률 P(비|적층운)가 궁금하다면? 사전에 P(적층운|비)와 P(적층운), P(비) 에 대한 과거데이터를 축적하고 있다고 해보자. 이는 '사전확률' 데이터를 축적하고 있는 것이다. P(B|A), P(A), P(B)를 이용해서, 새로운 정보 P(A|B) '사후확률'을 계산할 수 있다. 베이즈 정리는 우리가 가진 데이터로 새로운 정보, 적충운이 생겼을 때 비..