웹 스크래핑 및 머신러닝 딥러닝 개념

웹 스크래핑(Web Scraping)

1. 실시간 개념이 존재 가능
2. 필요로 하는 특정 정보를 추출
3. 가공 및 저장해서 비교 분석 자료로 활용
4. 주로 CMS 어플리케이션의 원천 기술
5. 프로토콜(Protocol), 브라우저 방식 존재

 

머신러닝
(인간의 학습을 통해 컴퓨터 또는 기계 구현)

1. 알고리즘을 통해 데이터를 분석 및 학습 -> 컴퓨터로 학습 내용을 기반으로 판단, 추세, 예측
2. 대량의 데이터와 알고리즘을 통해 학습시키는 것에 목표
3. 문자, 음성, 얼굴, 지문, 게임, 의료, 로봇 등 다양한 분야에서 사용된다.
ex) 아마존 기존 상품에 있는 상품평(리뷰)가 있는데 판매자는 리뷰에 예민하다. 왜냐하면 판매량 때문에 그렇다. 

아마존은 돈을 받고 올린 듯한 리뷰(조작) 의미없는 리뷰, 그 밖에 규정에 어긋나는 리뷰 이런 것들을 자동삭제하거나 관리자에게 통보 

머신러닝

학습을 하면 인간이 개입해야 된다.

딥러닝

학습을 하면 인간이 개입하지 않는다.
시스템 서능 GPU가 좋아야 한다.
ex) 알파고는 CPU 1202, GPU 176, 서버급 300대가 필요하다.

 

머신러닝의 프로세스

1. 데이터 수집 2. 데이터 가공 3. 데이터 학습 4. 학습 방법 선택 5 매개변수 조정 6. 모델학습 7. 정확도 평가 -> 성공 

이상포스터를 마치겠습니다.