머신러닝 연구

https://tigris-data-science.tistory.com/entry/%EC%B0%A8%EA%B7%BC%EC%B0%A8%EA%B7%BC-%EC%9D%B4%ED%95%B4%ED%95%98%EB%8A%94-Transformer1-Scaled-Dot-Product-Attention?category=1005740

d_model / 2와 d_model // 2의 차이는 나누기 연산의 결과 형태에 있습니다:d_model / 2: **부동소수점 나누기(floating-point division)**입니다. 결과는 항상 소수 형태로 반환되며, 정수로 나눌 때도 소수점이 포함됩니다. 예를 들어 d_model이 512라면, d_model / 2는 256.0이라는 **실수(float)**로 반환됩니다.d_model // 2: **정수 나누기(integer division)**입니다. 결과가 항상 정수 형태로 반환되며, 나눗셈의 결과가 소수일 경우 소수점 이하를 버립니다. d_model이 513이라면 d_model // 2는 256으로 반환되며, 이는 정수(int) 형태입니다.

1. 세로로 긴 2차원 행렬 positions_list = torch.arange(0, max_len, dtype=torch.float).view(-1, 1) # 0, 1, 2, 3, 4, 5 tensor([[0.],            [1.],            [2.],            [3.],            [4.],            [5.]]) 2. step 간격의 배열import torchdim_model = 6positions_list =  torch.arange(0, dim_model, 2)print(positions_list) resulttensor([0, 2, 4])

마지막이 없는 것이 아쉽지만 트랜스포머 모델을 설명한 매우 좋은 글 https://www.blossominkyung.com/deeplearning/transfomer-positional-encodinghttps://www.blossominkyung.com/deeplearning/transformer-mha

https://dukeyang.tistory.com/14

import torchx = torch.rand(1, 1, 2, 3)x = x.squeeze() # [1, 1, 2, 3] -> [2, 3]print(x) tensor([[0.7293, 0.5819, 0.9878],         [0.6379, 0.6204, 0.8290]]) y = torch.rand(1, 1, 4)z = y.squeeze()[2] # [1, 1, 4] -> [4]print(z)tensor(0.9240)

def objective(trial):    param= {'objective': 'multi:softprob',            'tree_method': 'hist',            'num_class': 3     ,            'max_depth': trial.suggest_int('max_depth', 3, 10),            'learning_rate': trial.suggest_uniform('learning_rate', 0.01, 0.05),            'n_estimators': 1748,            'gamma': 0.5631817186746637,            'min_child_weight': trial.suggest_int('mi..

https://junyoru.tistory.com/166 [Python] Pandas보다 빠른 Polars일봉, 1시간봉 정도의 큰 timeframe을 다룰 땐 데이터 사이즈가 그렇게 크지 않습니다. 한 종목의 일봉은 10년동안 2500개만 생길테니까요. 이정도 데이터면 pandas도 충분합니다. 하지만, 수천 종목의junyoru.tistory.com

R^2는 설명력 SST = SSE + SSRR^2 = SSE/SST = 1 - SSR/SST https://m.blog.naver.com/tlrror9496/222055889079 [R] 결정계수(R-Squared)의 의미와 계산 방법#통계학 #회귀분석 #결정계수 결정계수(R-Squared)에 대해서 알아보겠습니다. 흔히 R 제곱이라고 불리는...blog.naver.com

이항분포에서E(x) = np, V(x) = npq만약에 이게 비율이라면,E(x) = p, V(x) = pq/n 따라서 비율의 표준오차는SE(Standard Error) = sqrt(pq/n) https://blog.naver.com/sbssbi69/90158224560 (확률통계) 모비율의 추정자..이제 마지막으로 모비율의 추정입니다.  끝입니다. 어려웠나요? 어렵지 않은데..ㅠㅠ  어려...blog.naver.com