비전공자도 이해할 수 있는 AI지식23 - 사람들이 진짜로 검색 결과를 좋아하는지 아는 방법-

1. 유사도 점수만으로 검색 결과를 내놓을까

 

지금까지 랭킹을 이해하기 위해 꽤 기나긴 과정을 거쳤습니다. 점수를 구하려 계산하다 보니 수학을 많이 사용했습니다.

 

좋은 랭킹 공식을 만들기 위해 좋은 알고리즘을 사용하는 것과 함께 수학 실력도 매우 중요합니다.

 

랭킹의 결과는 최종적으로 사용자에게 노출된다는 점에서 검색엔진 기술의 꽃이라고 할 수 있습니다.

 

그렇다면 검색엔진은 최종 순위를 어떻게 정할까요?

 

직전에 살펴본 유사도 점수가 순위를 결정하는 중요한 요인이긴 하지만 유사도 점수만 높다고 항상 1등이 되진 않습니다

 

철인 3종 경기에서 마라톤이 가장 중요하다 해도 결국은 수영, 사이클, 마라톤 세 종목의 모든 시간을 합산하여 1등을 정하는 것과 유사하죠

 

마찬가지로 지금까지 살펴본 최신, 품질, 유사도에 더해 다른 여러 조건에 해당하는 점수를 적절한 비율로 합산하여 최종 점수를 계산합니다

 

이 과정을 거쳐 최종 점수 순으로 나열한 것이 비로소 검색엔진이 판단하는 최종 결과인 것이죠

 

그렇다면 이 결과가 과연 적합한지, 적절한 비율로 점수를 산정했는지, 그러니까 많은 사람이 실제로 좋아할 만한 결과인지는 어떻게 알 수 있을까요?

 

 

2. A/B 테스트 -사람들이 정말 좋아할만한 결과인가-

 

A/B테스트는 랭킹을 정말 제대로 개선했는지 가장 확실하게 알 수 있는 방법입니다

 

A/B테스트의 시초는 과학 분야에서 사용했던 무작위 대조(randomized controlled trial)입니다.

 

무작위 대조 시험은 말 그대로 피실험자를 2개 이상의 그룹에 무작위로 할당하여

 

한 그룹(실험 그룹)은 개선된 조건으로 실험을 수행하고, 다른 그룹(대조 그룹)은 기존 조건으로 실험하여 그 결과를 비교하는 방식입니다.

 

실험 그룹의 결과만으로는 개선한 조건에 따른 결과인지, 아니면 다른 요인에 의해 우연히 도출된 결과인지 알아내기가 어렵기 때문에 이를 검증하기 위해 대조 그룹과의 차이를 비교하는 것입니다

 

A/B테스트는 이 무작위 대조 시험을 온라인에서 구현한 것을 말합니다

 

https://growthacking.kr/a-b-%ED%85%8C%EC%8A%A4%ED%8A%B8%EB%A1%9C-%EC%84%9C%EB%B9%84%EC%8A%A4-%EC%84%B1%EC%9E%A5%EC%8B%9C%ED%82%A4%EA%B8%B0/

 

첫 A/B테스트는 2000년대 초반 구글이 사용자를 무작위로 나눈 두 집단에게 서로 다른 검색 결과를 보여준 실험이었습니다.

 

실험 그룹에게는 검색 결과 페이지에 링크 20개를 노출했고, 대조 그룹에는 기존처럼 링크를 10개만 보여주고 클릭과 재방문율을 비교했습니다.

 

결과는 매우 성공적이었습니다. 이후 A/B테스트는 지속적으로 확대되었고, 지금은 구글뿐만이 아니라 거의 모든 온라인 서비스가 A/B테스트를 당연한 절차로 수행하고 있습니다.

 

데이터 분석 분야에서 인과관계를 밝히는 것이 무척 어려운데 A/B테스트가 해결책을 제시한 겁니다.

 

인과관계를 밝히는 가장 좋은 방법은 직접 시험해보는 것이거든요. 예전에는 이런 시험을 오프라인에서는 단 한번만 진행하기도 상당히 힘들었습니다.

 

그룹을 통제하는 것부터가 쉽지 않았고, 실험 진행은 물론 결과를 정리하는 것도 보통 일이 아니었기 때문이죠

 

시간과 비용 모두 많이 드는 작업이었습니다.

 

하지만 A/B테스트는 이런 무작위 대조 시험을 온라인에서 간편하게 진행할 수 있도록 구현해냈고, 그 결과는 매우 성공적이었습니다.

 

이후 A/B테스트는 데이터를 근거로 서비스를 개선하는 좋은 수단이 되었습니다.

 

흔히 '데이터 기반 의사결정'이라는 얘기를 많이 하는데, A/B테스트는 바로 데이터 기반 의사결정을 하는 데 가장 핵심적인 역할을 한다고 볼 수 있죠

 

특히 최근에는 페이스북이 A/B테스트를 적극 활용하는 것으로 알려져 있습니다.

 

페이스북을 자주 이용하는 분은 자신의 페이스북 화면이 다른 친구의 화면과 다를 때가 많다는 걸 발견한 적이 있을지도 모르겠네요

 

어느 날 페이스북에 접속했더니 처음 보는 버튼이 있거나, 친구들 화면에는 보이지 않는 희한한 게시물이 내 화면에서만 뜬다면 전부 A/B테스트의 결과입니다.

 

이처럼 페이스북은 과도할 정도로 A/B테스트를 진행하고 있고, 실제로 여러분은 알게 모르게 여러 서비스의 A/B테스트에 노출되어 있습니다.

 

2000년대 초반 A/B테스트를 처음 도입했던 구글은 2011년 한 해에만 A/B테스트를 무려 7000건이나 진행했다고 밝힌 바 있습니다.

 

A/B테스트는 말 그대로 사용자에게 2가지(또는 여러가지)다른 결과를 보여주고 반응을 살핍니다.

 

앞서 여러 랭킹 조건을 활용해 최고의 랭킹 알고리즘을 만들었다면 전체 서비스에 적용하기 전에 사용자들이, 정말 이에 반응하는지 미리 일부에 적용해보고 사용자 반응이 개선되는지 점검하는 거죠

 

아무리 수학적으로 우아해 보이는 모델이라도 실제로 사용자들은 좋아하지 않을 수 있습니다.

 

그렇기 때문에 사용자의 반응을 미리 실험해보는 A/B테스트가 반드시 필요한 거죠

 

A/B테스트로 어떤 결과에 사용자들이 더 만족하고 클릭을 많이 하는지 봅니다.

 

새롭게 만든 랭킹 알고리즘이 훨씬 더 좋다면 당연히 기존 대비 더 많은 클릭이 뒤따라야겠죠. 이처럼 말 그대로 A안과 B안을 비교한다고 하여 A/B 테스트입니다.

 

A안을 노출하면 17%가 클릭하는 데 반해 B안을 보고는 25%가 클릭한다면 B안이 훨씬 더 좋다고 판단할 수 있습니다.

 

이제 B안으로 전체 서비스를 교체하고 새로운 A/B테스트를 진행합니다.

 

물론 개선안의 결과가 더 좋지 않다면 그 안은 폐기해야겠죠.

 

이 과정은 끊임없이 반복됩니다.

 

이처럼 데이터를 기반으로 사용자들이 더 좋아할 때까지 끊임없이 성능을 개선해나갑니다. 

 

이것이 A/B테스트의 원리이고, 랭킹 알고리즘이 개선되었는지 그 효과를 효율적으로 측정하는 방식이기도 합니다.