on device AI를 활용하는 사례

1. on-device AI

 

model의 size는 점점 커지면서 그동안 model과는 비교할 수 없을 정도의 압도적인 괴물 model GPT-3가 등장했다

 

model size 비교 그래프

 

2021년 등장한 switch transformer은 이 GPT-3보다 9.14배나 더 큰 모델

 

GPT-3는 1번 training하는 것에만 한국 돈으로 약 50억

 

정확도를 80% > 90% > 99%로 10%정도 올리고 싶다고 50억을 쓰는게 물론 정확도를 높이는 것은 중요하지만

 

정말 맞는 일인가?

 

 

2. lightweight AI의 필요성

 

TinyML, on-device AI, Edge AI, Embedded AI, Edge intelligence 등으로 불림

 

소비자가 반응하는거에 빠르게 제공해줬으면(real time customer engagement)

 

신뢰성(reliability), 프라이버시에 안전함(privacy and security),

 

센서에서 데이터를 수집하고 처리(sensor data analysis and IoT)

 

사용자가 기다리지 않아도 되는 highly responsive,

 

그래서 소비자에게 직접적인 경험을 주는 greater customer experience

 

다양한 영역에 쉽게 적용할 수 있는 확장성(scalability)

 

accuracy도 물론 중요하지만 accuracy only one이 아닌 여러가지 다른 점도 고려하는 것이 on-device AI의 특징이다.

 

 

cloud AI가 비용이 많이 들고 network connectivity가 보장되어야하면서 데이터가 랜선타면서 privacy 문제가 생기고 latency로 인한 지연시간 문제가 있는데

 

compression을 통한 on-device AI는 비용이 적고 network connectivity가 굳이 필요없으면서 privacy가 보호되고 혼자서도 사용할 수 있음

 

 

2020년 7월 가장 주목받고 있는 기술 중 하나가 Embedded AI(=on-device AI)

 

 

3. on-device AI example

 

 

1) 모바일 키보드

 

모바일 device가 사람이 오타 내는 정도를 학습하여 사람 습관에 맞게 오타를 안내도록 적절하게 바꿔줌

 

 

사람의 습관에 따라 왼쪽에서 오른쪽으로 모바일 키보드가 바뀐 모습

 

 

2) 매장 재고 파악

 

edge device가 재고가 얼마나 남았는지 자동으로 파악하여 효율적으로 물건을 관리할 수 있게 함

 

 

edge device가 재고를 자동으로 파악하는 모습

 

 

3) 공사장 안전모 검사

 

공사장에서 edge device를 설치하여 안전모나 안전복을 잘 입었는지 검사함

 

공사장 환경은 매일 달라지며 인프라도 열악하고 어수선한 환경이므로

 

adaptive한 관리가 중요한데 edge device를 사용하면 효율적이다.

 

 

edge device가 안전모를 잘 착용했는지 검사해줌

 

 

4) intelligent transportation system

 

신호등 위에 설치한 edge device가 신호등에서 전력을 공급받으면서 도로의 차량에 대한 object detection을 수행

 

차량이 많으면 자동으로 신호를 길게하고 적게 다니면 신호를 짧게 만드는 ‘상황에 따라 다르게 반응하는 신호등’

 

 

차량에 대한 object detection을 현장에서 수행하여 신호등의 길이를 다르게 만든다

 

 

5) 열화상 카메라

 

edge device가 사람의 온도를 체크

 

 

edge device가 사람 온도를 탐지하여 체크하는 모습

 

edge device 예시로 들었던 Jetson Nano를 쓴다는 것이 눈에 띔