query와 passage의 similarity search를 근사(approximation)시키는 법
1. scalar quantization 벡터를 압축하여 하나의 벡터가 원래보다 더 적은 용량을 차지하도록 compression하는 기술 당연하지만 압축량이 커질수록 요구되는 메모리공간은 작아지지만 그만큼 정보손실도 커진다 일반적으로 벡터 내 수치는 float32로 저장함 SQ8은 4byte float32를 1byte int8이나 float8???로 저장하는 방식(quantization이면 int8이 더 어울리긴해) 그러면서 한 값의 저장용량을 1/4로 줄인다 강의에서는 4byte float32를 1byte unsigned int8로 압축한다고 나와있네 각 수치가 4byte에서 1byte로 줄어들면서 크기가 줄어든것을 볼수 있음 보통 inner product에서 float32까지 필요한 경우는 많지 않아..
