마음으로 이해하고 적었습니다 마음으로 이해하고 적었습니다

DNN model 크기가 커지는 것을 연산기 성능 향상이 따라가지 못하고 있습니다. 이렇게 빠르게 model이 커짐에 따라 inference, training cost가 너무 커지고 있어 이를 해결하기 위해 모델 경량화 기법들을 사용하고 있습니다. 모델 경량화 기법은 크게는 4가지로 볼 수 있습니다 pruning 0에 가까운 애들 다 지워버리자. fine grained pruning할 떄는 unstructural pruning하면 연산에서 이득이 적음.. 그래서 structural pruning을 많이 사용함 ( good for SIMD ) quantization symmetrics vs assymetric quantization ( symmetrics 이 연산이 간단 ) 극단적으로가면 BNN quant..