edge intelligence 완전 파헤치기

1. cloud intelligence vs. edge intelligence

 

cloud intelligence는 기기들의 데이터를 base station에서 모아 cloud라는 중앙서버에서 처리하여 domain으로 보내

 

기기들이 수천만대에 이르는데 서버의 가중이 너무 심해지고 데이터도 너무 많아 처리하기 힘들다

 

edge intelligence는 base station까지 갈수도 있지만

 

많은 기기들이 edge 서버에서 직접 처리하여 정보를 주고 받아 work load들이 분산됨

 

cloud intelligence와 edge intelligence 비교

 

2. edge training

 

edge device 자체가 전력도 적고 메모리도 적어서 on-device에서 training하기는 쉽지 않다

 

inference 과정에서 메모리 크기는 많이 들지는 않으나 training 과정에서 필요한 메모리 크기는 엄청나다

 

 

memory footprint는 task 수행중 사용하는 주요 메모리 양

 

inference 메모리 크기는 edge device들이 보통 커버할 수 있는데 training 메모리 크기를 커버하기는 거의 불가능할 정도

 

 

왜 그렇게 메모리가 많이 드냐 봤더니 parameter는 문제가 안되는데 activation size를 줄이기가 어렵다는 것

 

메모리 용량 자체도 그렇지만 privacy 문제를 고려해서 데이터가 device를 쉽게 떠나게 할 수 없는 것도 하나의 training 장애사항

 

 

3. federated learning

 

cloud server의 모든 데이터를 사용하는 것이 아닌 각각의 edge device가 가지는 local data로 각각 training

 

train하여 update된 정보를 각각 edge device가 central server의 shared model에 보내줌

 

받아온 update 정보들의 평균된 결과를 바탕으로 shared model이 update

 

각 device는 이렇게 update된 shared model을 다운 받아 이를 바탕으로 다시 training하여

 

shared model에 정보를 보내는 과정을 반복

 

data는 edge device내에 남아있으니까 privacy를 효과적으로 보호할 수 있다는 것이 논문의 설명

 

federated learning를 그림으로 나타낸 것

 

device내에서 train한다는게 지금까지 이야기를 생각하면 쉬운 일은 아닐텐데

 

데이터를 아주 조금씩 사용해서 아주 조금씩 업데이트하는건가?

 

 

4. edge caching

 

cache는 자주 사용하는 데이터를 미리 복사해놓은 장소

 

저장공간이 작고 비용이 비싼 대신 빠른 성능

 

원하는 데이터가 cache에 존재할 경우 해당 데이터를 반환하는 상황이 cache hit

 

원하는 데이터가 cache에 존재하지 않아 dbms나 서버에 따로 직접 요청해야하는 경우 cache miss

 

cache는 저장공간이 작아 데이터를 적절하게 잘 배치해야 cache miss를 줄일 수 있다

 

edge device의 cache deploy 그림

 

macro base station, micro base station, end device에서 cache가 이루어진다고 함

 

 

5. edge offloading

 

어느정도 전력은 있는데 cloud까지는 아닌 server에 대량으로 데이터를 두고 필요하다면 처리

 

inference나 training, caching에서 offloading한 데이터를 사용

 

cache에서 miss나면 offloading한 서버에서 데이터를 찾아와

 

 

offloading은 cloud가 아닌 중간 서버에 데이터를 대량으로 적재하여

 

caching, training, inference에 필요할 때 데이터를 불러와 사용

 

 

6. edge inference

 

edge device 사용하면 데이터 금방 처리하는 것 같지만 그 과정까지 생각보다 많은 일이 일어남

 

데이터를 받아 컴퓨터용 framework 사용해서 모델 돌려서 작업하지만

 

컴파일 과정에서 edge device용으로 변환해야하고 칩을 부착해서 LCD 패널이나 카메라같은 device 달고...

 

 

edge inference 과정… 생각보다 많은 일이 일어나는구나 느낌