12. 웹 크롤링

## 웹 크롤링
# URL 기준으로 원하는 데이터를 긁어오는데 사용
# 네이버 웹툰 , 날씨 정보

###### 1. 네이버 날씨 정보를 문자열로 받아오기
import errno

from bs4 import BeautifulSoup as bs
from pprint import pprint
import requests

html = requests.get('https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=1&ie=utf8&query=%EB%82%A0%EC%94%A8')
#pprint(html.text)
# 날씨를 네이버에서 검색 => html 문서 조회 => html 변수에 저장

soup = bs(html.text, 'html.parser')
# html.parser : 데이터 추출

data1 = soup.find('ul',{'class':'today_chart_list'})
#pprint(data1)
# 같은 형식을 가진 데이터의 상위 레이어 내용 파싱
# 같은 형식 : 미세먼지, 초미세먼지, ... > 같은 태그로 묶여있음을 코드로 확인

data2 = data1.findAll('li')
#pprint(data2)
# 미세먼지, 초미세 먼지 ... 4개의 객체 내용 파싱

fine_dust= data2[0].find('span',{'class':'txt'}).text
print(fine_dust)
# 객체 중 첫번째인 미세먼지 정보 파싱
# .text : 파싱한 내용 중 태그나 html 문법 제외한 문자열만 추출

# Quiz) 초미세먼지, 자외선, 일몰 : 텍스트 정보 추출
# print("오늘의 초미세먼지 농도는 %s입니다 " %())
from bs4 import BeautifulSoup as bs
from pprint import pprint
import requests

html = requests.get('https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=1&ie=utf8&query=%EB%82%A0%EC%94%A8')
#pprint(html.text)
# 날씨를 네이버에서 검색 => html 문서 조회 => html 변수에 저장

soup = bs(html.text, 'html.parser')
# html.parser : 데이터 추출

data1 = soup.find('ul',{'class':'today_chart_list'})
pprint(data1)
# 같은 형식을 가진 데이터의 상위 레이어 내용 파싱
# 같은 형식 : 미세먼지, 초미세먼지, ... > 같은 태그로 묶여있음을 코드로 확인

data2 = data1.findAll('li')
pprint(data2)
# 미세먼지, 초미세 먼지 ... 4개의 객체 내용 파싱

fine_sodust=data2[1].find('span',{'class':'txt'}).text
fine_sun=data2[2].find('span',{'class':'txt'}).text
fine_sunrise=data2[3].find('span',{'class':'txt'}).text
print("오늘의 초미세먼지 농도는 [%s] 입니다" %fine_sodust)
print("오늘의 자외선 지수는 [%s] 입니다" %fine_sun)
print("오늘의 일몰 시간은 [%s] 입니다" %fine_sunrise)

###### 2. 네이버 웹툰 제목 가져오기
from bs4 import BeautifulSoup
from pprint import pprint
import requests

html = requests.get("https://comic.naver.com/webtoon/weekday")  # 크롤링할 url 받아오기
soup = bs(html.text, 'html.parser')
html.close()    # get으로 연 후에는 close로 닫아야함
#pprint(html.text)

# 월요일 웹툰 영역 추출하기
data1 = soup.find('div',{'class':'col_inner'})
#pprint(data1)

# 제목 포함 영역 추출하기
data2 = data1.findAll('a',{'class':'title'})    # a에 포함되어있는 class로 title 추출
pprint(data2)

# 제목 텍스트만 추출
title_list=[]
#for i in data2 :
#    title_list.append(i.text)

title_list = [i.text for i in data2]    # 위의 for 문과 동일한 문법

pprint(title_list)



# 모든 요일 웹툰 제목 가져오기
from bs4 import BeautifulSoup as bs
from pprint import pprint
import requests

html = requests.get("https://comic.naver.com/webtoon/weekday")  # 크롤링할 url 받아오기
soup = bs(html.text, 'html.parser')
html.close()    # get으로 연 후에는 close로 닫아야함
pprint(html.text)

# 모든 요일 웹툰 영역 추출하기 => 리스트
data1_list=soup.findAll('div',{'class':'col_inner'})
#pprint(data1_list)

week_title_list = []
for data1 in data1_list:
    # 제목 영역 포함해서 추출하기
    data2 = data1.findAll('a',{'class':'title'})
    #pprint(data2)

    title_list=[i.text for i in data2]
    #pprint(title_list)
    # 요일별 리스트 만들기

    week_title_list.extend(title_list)
    # 요일별 리스트 하나로 합치기

pprint(week_title_list)

### 애초부터 하나로 합치기
data1 = soup.findAll('a',{'class':'title'})
week_title_list = [i.text for i in data1]

## Quiz) 완결 웹툰 => 인기순 => 1위 ~ 50위 까지 리스트 만들기

from bs4 import BeautifulSoup as bs
from pprint import pprint
import requests

html = requests.get("https://comic.naver.com/webtoon/finish?order=User&view=list")  # 크롤링할 url 받아오기
soup = bs(html.text, 'html.parser')
html.close()    # get으로 연 후에는 close로 닫아야함
#pprint(html.text)

data1_list=soup.findAll('div',{'class':'list_area table_list_area'})
#pprint(data1_list)

for data1 in data1_list:
    data2 = data1.findAll('td',{'class':'subject'})
    #pprint(data2)

title_list=[]

for i in data2 :
    title_list.append(i.text)

print([l.strip() for l in title_list[0:51]])


###### 3. 네이버 웹툰 썸네일 불러오기
from bs4 import BeautifulSoup
from pprint import pprint
import requests, re, os
from urllib.request import urlretrieve #추가

#저장 폴더를 생성
try:
    if not (os.path.isdir('image')):
        os.makedirs(os.path.join('image'))
except OSError as e:
    if e.errno != errno.EEXIST:
        print("폴더 생성 실패!")
        exit()

#웹 페이지를 열고 소스코드를 읽어오는 작업
html = requests.get("http://comic.naver.com/webtoon/weekday.nhn")
soup = BeautifulSoup(html.text, 'html.parser')
html.close()

#요일별 웹툰영역 추출하기
data1_list=soup.findAll('div',{'class':'col_inner'})
# pprint(data1_list)

#전체 웹툰 리스트
li_list = []
for data1 in data1_list:
    #제목+썸네일 영역 추출
    li_list.extend(data1.findAll('li')) #해당 부분을 찾아 li_list와 병합
# pprint(li_list)

#각각 썸네일과 제목 추출하기
for li in li_list:
    img = li.find('img')
    title = img['title']
    img_src = img['src']
    # print(title,img_src)
    title = re.sub('[^0-9a-zA-Zㄱ-힗]', '', title) #해당 영역의 글자가 아닌 것은 ''로 치환시킨다.
    urlretrieve( img_src , './image/'+title+'.jpg') #주소, 파일경로+파일명+확장자


# Quiz) 네이버 쇼핑 > KF94 마스크 검색
# 페이지에 공개된 썸네일 image2 폴더에 다운로드
from bs4 import BeautifulSoup
from pprint import pprint
import requests, re, os
from urllib.request import urlretrieve #추가

#저장 폴더를 생성
try:
    if not (os.path.isdir('image')):
        os.makedirs(os.path.join('image'))
except OSError as e:
    if e.errno != errno.EEXIST:
        print("폴더 생성 실패!")
        exit()

#웹 페이지를 열고 소스코드를 읽어오는 작업
html = requests.get("https://search.shopping.naver.com/search/all?query=kf94&cat_id=&frm=NVSHATC")
soup = BeautifulSoup(html.text, 'html.parser')
html.close()

data1_list=soup.findAll('ul',{'class':'list_basis'})
#pprint(data1_list)

div_list=[]
for data1 in data1_list:
    div_list.extend(data1.findAll('a',{'class':'thumbnail_thumb__3Agq6'}))
#pprint(div_list)

for div in div_list:
    img = div.find('img')
    title = img['title']
    img_src = img['src']
    print(title,img_src)
    title = re.sub('[^0-9a-zA-Zㄱ-힗]', '', title) #해당 영역의 글자가 아닌 것은 ''로 치환시킨다.
    urlretrieve( img_src , './image/'+title+'.jpg') #주소, 파일경로+파일명+확장자