차원의 저주 란?

→ 머신러닝 문제에서 훈련 샘플이 매우 많은 특성을 가질 때, 훈련을 느리게 하고 좋은 솔루션을 찾기 어렵다.

❗특성 수를 줄이자!

ex.

검정색 픽셀들은 분류 문제에 크게 중요x

💡 차원 축소의 장점

1. 훈련속도 증가
2. 데이터 시각화에 유용

8.1 차원의 저주

• 고차원 공간

1. 경계에 매우 몰리게 된다
   1. 단위 면적(1 x 1 사각형) 에 있는 점 하나를 무작위로 선택하면, 경계선에서 0.001 이내에 위치할 가능성은 0.4%
   2. 10000차원 초입방체 : 99.999999% 가 경계 근처에 있다
2. 두 점 사이의 거리 증가
   1. 단위 면적에서 임의의 두 점의 거리는 평균적으로 대략 0.52
   2. 3차원 큐브 : 대략 0.66
   3. 1,000,000 차원 : 약 408.25

→ 고차원일수록 훈련 데이터가 서로 멀리 떨어지고, 새로운 데이터도 훈련 샘플과 멀리 있을 가능성이 증가한다.

💡모델이 예측할 때 더 많은 외삽 → 예측 불안정 + 과대적합 위험 증가