urlopen을 할 때 HTTP Error 403: Forbidden error가 난다면

데이터 수집을 하기 위해 크롤링을 수행하는데 from bs4 import BeautifulSoup from urllib.request import urlopen url = 'https://www.chicagomag.com/Chicago-Magazine/November-2012/Best-Sandwiches-Chicago/' html = urlopen(url) soup = BeautifulSoup(html, 'html.parser') soup 다음과 같이 에러가 난다면 이런 경우 다음과 같이 headers를 다음과 같이 추가해서 크롤링 중이라는 것을 숨겨서 크롤링을 할 수 있다고 한다 from bs4 import BeautifulSoup from urllib.request import urlopen, Req..