쇼핑몰 크롤링 하기 - 1탄

쇼핑몰 크롤링은 왜 할까요 ?  

저는 여러 곳에서 쇼핑몰을 본다고 했을 때 시간이 많이 걸리고 100개의 질과 제품을 각 사이트마다 들어가서 보기에는 큰 어려움이 있다고 생각합니다. 그래서 쇼핑몰 크롤링이 필요한 것 같습니다 . 

 

만약 쇼핑몰 크롤링 뿐만아니라 모든 페이지에 있는 데이터를 수집하고 싶을 때가 있을 것입니다. 그 때 사용하면 됩니다.

 

1. 데이터 수집할 웹사이트에 접속합니다.

 

http://jolse.com/

전 이 사이트를 이용해 크롤링하겠습니다. 

JOLSE

메뉴에서 [SKINCARE -> Moisturizes -> Toners & Mists]에 있는 모든 화장품의 데이터를

수집해 보겠습니다.

 

 

 

이때의 사이트는 http://jolse.com/category/toners-mists/1019/

저 사이트(URL)를 기억해주기 바랍니다.

이제 1,2,3,4,5개의 페이중 1번페이지에 있는 모든 화장품의 이름과 가격을 수집해보겠습니다.

 

 

2. 페이지 불러오기 

사이트에 들어가 ctrl + shift + i를 눌른시면 관리자도구가 보입니다. 저기서 형광색을 클릭합니다. 

그런다음 상품갖다 되면 저런 형식으로 저기서 잘 안보이시지만 span태그와 오른쪽은 span style의 내용이 보이실 것입니다. 

 

 

전체적으로 커서를 놨을 때 왼쪽에 ul.prdList.grid4 보이고 오른쪽에도 <ul class = "prdList grid4"가 보입니다.

그런 다음 파이썬 코드로 갑시다 gogogo

 

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent': 'Mozilla/5.0'}

url = "http://jolse.com/category/toners-mists/1019"
result = requests.get(url, headers=headers)


bs_obj = BeautifulSoup(result.content, "html.parser")

ul = bs_obj.find("ul", {"class":"prdList grid4"})

print(ul)

나왔을 것 입니다. 궁금한 게 있으면 댓글 달아주시길 바랍니다~ 

 2탄에서 글 올리도록 하겠습니다. 

https://best-mother-seonnyeo.tistory.com/29

불러오는 중입니다...

이상포스터를 마치겠습니다.