현실에서 고려해야하는 모델 성능평가 지표

1. 처리시간

 

하나의 입력이 처리되어 출력이 나올때까지 걸리는 시간

 

수식인식기의 경우 offline test는 ‘이미지 입력 후 수식 영역 정보가 출력될 때까지의 시간’

 

online test는 ‘이미지 촬영 후 이미지에서 수식 영역 정보가 화면 상에 표현되기까지의 시간’

 

무슨 차이지? 무슨 차이인지 생각한다는게 좀 그런가?

 

online tests는 사용자 체감 시간이 중요하다는 뜻인것 같다

 

시간차이의 경우에도 앱으로 사진을 포팅할때 offline과 online의 시간차이도 분명 있는 것 같다

 

 

2. 목표 정확도

 

해당 기술 모듈의 정량적인 정확도

 

신용카드 인식의 경우 offline test는 입력된 이미지 내 카드번호와 실제 정답의 distance

 

online test는 사용자가 AI 모델에 인식하였을 때 인식한 결과가 틀렸다고 생각하여 직접 수정할 확률

 

 

3. 목표 QPS(Queries per second)

 

초당 처리 가능한 요청 수, 데이터 수

 

앞에서 1대1 대전 AI를 만들때 초당 100건의 이미지가 들어와도 버벅거리지 않아야할정도로 적절한 QPS를 가지게 만들어야함

 

장비 늘리기(n대를 늘리면 QPS가 n배 늘어남)

 

처리 시간 줄이기(AI모델의 처리 속도가 n배 늘어나면 QPS도 n배 늘어남)

 

모델 크기 줄이기(한 GPU에 올라가는 모델 수가 n배가 되면 QPS도 n배가 된다)

 

모델 크기를 줄이는 것에서 주의할 점은 GPU 메모리가 10GB일때 모델 크기가 8GB이면 1개만 올라가는데

 

모델 크기를 줄여서 7GB나 6GB까지 줄여도 1개만 올라가서 QPS는 동일한데 5GB까지 줄여야 2개가 올라가서 QPS가 2배가 된다는 점이다.

 

 

4. serving 방식

 

원하는 AI 모델이 어디에서 동작해야하는가?

 

mobile에서 동작해야하는지

 

local GPU나 CPU에서 동작해야하는지

 

cloud GPU나 CPU에서 동작해야하는지

 

 

5. 장비사양

 

장비가 없어서 serving 장비까지 요구하는 경우도 있다.

 

주어진 예산에 맞춰 성능부터 serving 장비도 고려해야하는 경우도 많다.