파이썬 - 루리웹 로그인 처리 후 스크랩핑하기

먼저 소스코드부터 보여드리겠습니다.

from bs4 import BeautifulSoup
import requests


#로그인 유저정보
LOGIN_INFO = {
    'user_id' : '', #루리웹의  자신의 아이디랑 비번을 넣어줘야합니다 일단. 
    'user_pw': ''
    }

#Session 생성, with 구문안에서 유지
with requests.Session() as s:
    login_req = s.post('https://user.ruliweb.com/member/login_proc', data=LOGIN_INFO)
    #송신확인 HTML 소스확인
    # print('login_req', login_req.text)
    #Header 확인
    # print('headers', login_req.headers)
    # ---- 송신 확인 과 헤더를 확인합니다. 
    
    if login_req.status_code == 200 and login_req.ok: 
    	# 만약 송신이 되었다면 밑에 프로그램을 실행
        # 보고 있는 게시판 URL 저장 
        post_one = s.get('https://bbs.ruliweb.com/market/board/320103/read/124780?')
        post_one.raise_for_status() # 에러가 발생한다면 예외처리
        soup = BeautifulSoup(post_one.text, 'html.parser') # 뷰티풀솝을 이용해 파싱
        #print(soup.prettify()) 
        article = soup.select_one(" div.board_main_view").find_all('p')# div.board의 p태그를 찾습니다. 
        #print(article) # <p> 출력하고요 
        
        for i in article :
            print(i.string)#  <p> 없이 출력
            
        
        

 

음 여기서 article = soup.select_one("div.board_main_view").find_all('p')을 찾는 법을 알려드리겠습니다.

 

결과는 다음과 같습니다.

 

 

만약

 for i in article :
                print(i.string)

을 좀 더 활용한다면

 

 for i in article :
            if i .string is not None:
                print(i.string) 

이렇게 되겠네요