model compression에서 고려되는 특이한 제약조건들

1. CO2 emission

 

model을 줄일 때 고려할 cost로 재밌는 것이 CO2 emission

 

NAS 1번 train할 때 626155파운드(약 284톤)의 CO2 발생

 

그냥 생각없이 자원 많으니까 performance 올리겠다고 모델 돌리다가 엄청난 양의 CO2 발생

 

별거 아닌 양이면 무시하겠지만 284톤이면 무시할만한 양은 아니니 고려해야할 중요한 constraint

 

model train할때 배출하는 CO2 추정량

 

transformer도 CO2 엄청 나온다고 했던것 같은데 아닌가???

 

 

2. model size

 

모델 크기를 줄이려는 compression에서 size는 당연히 고려해야할 중요한 사항이다.

 

compression으로 줄였다고 생각했지만 output으로 나온 model의 size가 생각보다 커버리면 문제가 있음

 

앱스토어에 150mb이상은 사전승인부터 까다롭고

 

다운로드도 와이파이 connection에서만 받을 수 있는 등 여러가지 제약조건이 붙음

 

 

3. inference time

 

model compression의 또 하나 중요한 고려 사항은 inference time이다.

 

모델이 작아져도 사용하는데 버벅거리면 사용성이 떨어져 쓰고싶지 않음

 

그 외 budget, security, connectivity, stability, adaptability, training time, power consumption 이지만

 

고려해야할 constraint는 적용해야할 domain마다 다르다