NOTE: Robust Continual Test-time Adaptation Against Temporal...
This paper present a test-time adaptation algorithm for non-i.i.d. test data streams.
openreview.net
(1) 배경
- TTA는 Labeled data 없이 Test time에 Training data와 Test data의 distribution gap을 완화하기 위해 제안됨
- 기존 TTA는 sample이 independent and identically distributed(i.i.d.) 라고 가정함
- 하지만 많은 데이터가 temporally correlated (non-i.i.d.) 형태를 가짐
- 기존 TTA는 위와 같은 환경에서 매우 낮은 성능을 보임
(2) 방법
1) Instance-Aware Batch Normal- ization (IABN)
- 사전학습 단계 BN에서 추정한 Mean, Var을 기준으로 각 Instance의 Mean, Var이 크게 벗어난 경우 BN의 Mean, Var 에 수정을 가함
1. 우선 각 Instance의 Mean, Var을 구함, Instance Norm과 유사하게 작동
2. 사전학습 단계에서 추정한 Mean, Var을 통해 Sample mean, Var의 Var을 추정
3. 추정한 Mean, Var - instance Mean, Var이 Sample mean, Var 의 Var보다 높게 나온다면 Mean, Var 수정
2) Prediction-balanced Reservoir Sampling (PBRS)
- Temporally correlated distributions에 의해 p(y)에 편향이 생길 수 있음
--> Class 입력이 11111111 22222222222222 인데 일정 시간동안 동일한 Class 만을 예측하게 되기 때문에
- Memory에 예측된 label을 저장하고 majority class(es)를 확인할 수 있음
- majority class를 가지는 Random instance를 새로운 sample로 교체함
