[URL] URL 분해 및 URL Encoding

URL 분해

In [1]:

from urllib.parse import parse_qs, urlparse

• GET 방식의 URL 요청을 분해하여 자동화하는데 손쉽게 이용이 가능하다.

In [2]:

result = urlparse('http://blog.naver.com/civilize?Redirect=Log&logNo=220976431562&from=section') 
result

Out[2]:

ParseResult(scheme='http', netloc='blog.naver.com', path='/civilize', params='', query='Redirect=Log&logNo=220976431562&from=section', fragment='')

In [3]:

result.netloc # Request를 보내는 main url 

Out[3]:

'blog.naver.com'

In [5]:

result.path # Request를 보내는 최종 목적지 

Out[5]:

'/civilize'

In [6]:

result.query # Parameters

Out[6]:

'Redirect=Log&logNo=220976431562&from=section'

In [7]:

qs = parse_qs(result.query)
qs

Out[7]:

{'Redirect': ['Log'], 'from': ['section'], 'logNo': ['220976431562']}

In [14]:

qs.keys()

Out[14]:

dict_keys(['from', 'Redirect', 'logNo'])

In [15]:

qs.values()

Out[15]:

dict_values([['section'], ['Log'], ['220976431562']])

In [16]:

qs['logNo'][0]

Out[16]:

'220976431562'

URL 조합

In [17]:

post_url = 'http://blog.naver.com/PostView.nhn?blogId={}&logNo={}'.format(result.path[1:], qs['logNo'][0])
post_url

Out[17]:

'http://blog.naver.com/PostView.nhn?blogId=civilize&logNo=220976431562'

내용 가지고오기

In [20]:

from bs4 import BeautifulSoup
import requests

In [21]:

post_res = requests.get(post_url)
bs = BeautifulSoup(post_res.text, 'html.parser')

In [32]:

bs.find_all('div',{"id": "postViewArea"})[0].text.replace("\n","")

Out[32]:

'밑바닥부터 시작하는 딥러닝 작가사이토 고키출판한빛미디어발매2017.01.03.평점리뷰보기 이런 책이 진작 나왔다면 내가 머신러닝 공부하는데 장벽을 좀 덜 느꼈을텐데 말이다.왜 2017년에서야 나온거냐.일단 책 내용은 요즘 굉장히 핫한 뉴럴넷, 딥러닝을 파이썬으로 구현해 보면서 익히는 것이고,책 제목대로 초짜들도 따라하면서 뉴럴넷의 원리와 필요한 지식들을 배울 수 있게 구성되어 있다.뭐 그래도 calculus, linear algebra 정도는 머릿속에 배경지식을 깔고 들어가야 하고,애초에 머신러닝 분야가 통계나 수학적인 백그라운드 없으면 쉽게 할 수 없으니까그정도는 공부하고 읽는것을 추천한다.근데 난 이 내용 석사때 분명 배우긴 배웠고, matlab으로 구현까지 했던 기억이 있는데하도 손을 놔서 그런지 다 까묵어서 리마인드하는 용도로 보고 있기는 하다.그런 용도로도 괜찮은 책인것도 같고.'