3구 개발 및 보안

BeautifulSoup은 뭘까요?

뷰티풀솝은 데이터를 추출하는 데 필요한 기능이 들어 잇는 라이브러리입니다. 
그러면 라이브러리? 저건 뭔데 ? 

라이브러리(Library)

이미 만들어져 있는 것을 가져다 사용한다라고 보시면 됩니다. 예를 들어서 마우스를 조립한다는 가정하에 마우스를 처음부터 조립하고 만들어서 사용하는 게 아니라 누가 만들어놓은 것을 판매한다고 생각하시면 좋을 것 같습니다.

BeautifulSoup 설치

처음에 윈도우(모양) + R 을 눌릅니다. 눌른후 cmd를 입력합니다.

pip install beautifulsoup4 를 합니다. 저는 이미 설치해놔서 설치할 것이 없습니다. 

#오류 만약 오류가 뜨게 된다면 파이썬을 설치를 안 했다던가, 환경변수를 설정 안 하셨거나 둘 중에 하나입니다.

이상으로 beautifulsoup설치에 대해 마치겠습니다. 

써 보면서 공부하는 걸 추천드립니다. 

이 장에서는 네이버 첫 페이지의 데이터를 받아오는 크롤링을 한 번 보여드리겠습니다. 

파이썬을 실행해 봅시다. 파이썬을 설치 안 하신 분들은 파이썬 3.x 버전을 설치하시고 오시길 바랍니다. 파이참도 가능합니다. 

크롤링을 하는 프로그램을 '크롤러'라고 합니다. 

결과는 다음과 같습니다. 

이 텍스트를 웹 브라우저에서 해석해서 초록색으로 배치가 잘 된 네이버의 화면을 우리에게 보여주는데요 웹은 대부분 HTML형태로 되어 있씁니다. HTML 텍스트를 받아온 다음에 여기에서 우리가 필요한 정보들을 파싱할 수 있습니다. 

다음 내용은 뷰티풀솝 사용 해서 파싱하는 것을 보여드리겠습니다. 

1. 크롬을 설치합니다. 

-> 크롬을 설치하는 이유는 크롬에 있는 개발자 도구가 크롤러를 만들 때 필요한 도구이기 때문입니다. 만약 다른 브라우저를 사용하신다고 하셔도 무관합니다. 

2. Urllib 설치합니다. 

->> urllib는 기본적으로 설치 되어 있습니다. 그래서 파이썬이 설치 되어 있다면 바로 import를 할 수 있습니다. 

3. 네이버 첫 페이지 받아오기 

naver.com에 접속을 합니다. 오른쪽 마우스 -> 페이지 소스 보기를 합니다. 그러면 밑에 사진 처럼 나옵니다.

이런 게 HTML형식 입니다. 웹 브라우저는 텍스트 형태로 되어 있는 HTML문서를 읽어서 우리가 보기 좋게 그려 주는 렌더링 (rendering)기능을 하는 프로그램입니다.

크롤링을 한다는 것은 HTML형태의 데이터를 받아오는 것을 말합니다. 받아온 데이터에서 내가 필요한 것을 뽑아내는 것을 '파싱'이라고 합니다. 

즉, 크롤링, 파싱, 스크래핑이 '인터넷에서 무언가 데이터를 받아서 필요한 정보만 뽑아 내는 것'이라고 생각하시면 됩니다. 

그러면 무슨 말을 쓰라는거야? 라는 생각을 하실 수 있습니다.

-> 저는 데이터를 받아오는 것을 '크롤링' 

-> 받아온 데이터에서 필요한 정보를 뽑아내는 것을 '파싱' 

이라고 결론 짓겠습니다.