python_analysis

Internet Explorer(IE), Firefox, Chrome 등 여러가지 인터넷 브라우저(browser)가 존재합니다.

저는 이 가운데서 구글 크롬(Chrome)을 주로 사용하는 유저입니다.

예전에는 잘 느끼지 못했지만 최근에 들어 크롬 브라우저가 느려졌다는 느낌을 자주 받습니다.

특히 유투브(youtube)에 들어갈 때와 영상을 시청할 때 말이죠.

그래서 해당 원인을 찾아 보았습니다.

최근 찾아본 결과 QUIC Protocol 문제일 가능성이 매우 높다고 느꼈습니다.

QUIC는 Quick UDP Internet Connections의 약자로 사용자가 서버 접속 반응속도를 향상하고자 개발된 프로토콜입니다.

접속 속도를 향상하고자 개발되었지만 아직 완성품은 아닌가 봅니다.

그럼 이 프로토콜을 해지하는 설정법에 대해 알아 보겠습니다.

1. 우선 크롬 브라우저 주소창에서 chrome://flags 를 입력합니다.

2. 검색창에 experimental quic protocol 를 입력합니다. 그리고 "Default"를 "Disabled"로 설정해줍니다.

3. "Relaunch" 해줍니다.

4. 유투브에 접속해 보시면 빠르게 동작하는 것을 알 수 있습니다.

오늘 시간에는 가장 보편적으로 사용되는 리스트(list) 자료구조에 대해 설명을 드리겠습니다.

리스트는 간단하게 항목들의 모음집이라고 생각하시면 됩니다.

1. 리스트 생성

파이썬에서 리스트는 아래 소스코드와 같이 생성할 수 있습니다. 빈 리스트를 생성할 때 []에 아무값도 넣지 않으시면 됩니다. 그리고 리스트에 들어가는 값들을 각각의 요소(element)라고 부릅니다.

리스트의 각 요소는 서로 다른 자료형(int, string 등)으로 이루어질 수 있습니다.

a = [] # 빈 리스트

b = [1,2,3,4] 

c = ["a", "b", "c"]

d = [1, 2, "a", "b"]

2. 리스트의 요소 출력

리스트를 생성하였다면 그 안의 값을 출력해 볼 수도 있습니다. 아래 코드처럼 리스트 자료구조인 변수 b를 출려하면 b에 포함된 모든 요소를 출력합니다.

여기서 조심해야 할 것은 순서를 가리키는 인덱스(index) 번호입니다. 우리는 일반적으로 시작을 1로 합니다. 하지만 컴퓨터에서의 시작은 언제나 0으로부터 시작합니다.

b = [1,2,3,4] 
print(b) # 리스트의 모든 요소를 출력

print(b[0]) # 첫번째 요소를 출력

print(b[3]) # 네번째 요소를 출력

print(b[-1]) # 마지막 요소를 출력

###출력 결과###
[1, 2, 3, 4]
1
4
4

또 리스트에서의 요소는 순서가 정해져 있기 때문에 문자열처럼 슬라이싱(slicing)이 가능합니다. 아래 예시 결과를 보시면 슬라이싱할 때 다음과 같은 규칙을 가지고 있습니다.

예를 들어, [0:5]라고 한다면 0 즉 첫번째 값부터 (5-1)번째 까지의 값을 출력합니다.  

그리고 [5 : ]에서 끝 인덱스가 없을 경우에는 모든 값을 출력한다는 의미입니다.

b = [1,2,3,4,5,6,7,8,9,10] 

print(b[0:5]) # 0~4번째까지의 값을 출력

print(b[5:]) # 5번째부터 이후의 값을 출력

print(b[2:-2]) # 2번째부터 마지막 3번째 값을 출력

###출력 결과###
[1, 2, 3, 4, 5]
[6, 7, 8, 9, 10]
[3, 4, 5, 6, 7, 8]

리스트의 값을 변경할 수 있습니다. 

b = [1,2,3,4,5,6,7,8,9,10]
b[2] = 100
print(b)

###출력 결과###
[1, 2, 100, 4, 5, 6, 7, 8, 9, 10]

3. 리스트 메소드(method)

리스트 자료구조에서 자주 사용하는 메소드를 설명하겠습니다.

append()

b = [1,2,3,4]
b.append(5)

print(b)

###출력 결과###
[1, 2, 3, 4, 5]

insert()

b = [1,2,3,4]
b.insert(0,100) # 첫번째 인자는 인덱스 번호, 두번째 인자는 삽입할 값

print(b)
###출력 결과###
[100, 1, 2, 3, 4]

remove()

b = [1,2,3,4]
b.remove(4) # 삭제할 값을 입력

print(b)
###출력 결과###
[1, 2, 3]

pop()

b = [1,2,3,4]
b.pop()

print(b)
###출력 결과###
[1, 2, 3]

index()

b = [1,2,3,4]
print(b.index(4)) # 요소의 값을 입력

print(b.index(5)) # 리스트에 5라는 요소가 없기 때문에 에러

###출력 결과###
3
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-26-fd31e41e0b25> in <module>
      2 print(b.index(4))
      3 
----> 4 print(b.index(5))

ValueError: 5 is not in list

count()

b = [1,2,3,4,1,2,1,3,1,2]

print(b.count(1)) # 요소의 값을 입력
###출력 결과###
4

sort()

b = [1,2,3,4,1,2,1,3,1,2]
b.sort() # 오름차순으로 정렬, 인자가 없을 때 초기값은 오름차순
b
###출력 결과###
[1, 1, 1, 1, 2, 2, 2, 3, 3, 4]

b = [1,2,3,4,1,2,1,3,1,2]
b.sort(reverse = True) # 내림차순으로 정렬
b
###출력 결과###
[4, 3, 3, 2, 2, 2, 1, 1, 1, 1]

여기까지 파이썬 리스트 자료구조에 대해 알아보았습니다. 다음 시간에는 튜플(tuple) 자료구조에 대해 알아보겠습니다.

오늘 시간에는 변수(variable)에 대해 말씀을 드리겠습니다.

프로그래밍 언어에서 변수는 아주 기본적인 내용입니다.

변수란?

간단하게 변수란 어떠한 값(문자, 숫자 등)을 담는 창고라고 보시면 됩니다.

변수는 일반적으로 좌측에 변수 명, 우측에 값을 표시합니다. 'a'라는 창고에 10이라는 숫자를 저장한다. 'b'라는 창고에 "파이썬" 이라는 값을 저장한다. 이것을 다른 말로 변수 a에 10을 할당한다고 말합니다.

변수에 값을 할당하면 컴퓨터 내부적으로는 메모리(memory)에 변수 값을 저장하고 변수 명은 메모리의 주소를 가리킵니다.

변수 명 = 저장할 값

a = 10 # integer
b = "파이썬" # string
c = [1,2,3] # list

C언어, JAVA 같은 프로그램 언어에서는 변수를 선언할 때 변수의 자료형도 미리 지정해 주어야 합니다. 따라서 int형 a에 숫자가 아닌 다른 자료형의 값을 저장할 수 없습니다.

하지만 python에서는 자료형을 알라서 지정해주기 때문에 따로 설정할 필요가 없습니다.

int a = 10
char abc = "abcdef"

파이썬에서는 아래 소스코드와 같이 여러 변수를 한번에 지정할 수 있습니다. 하지만 변수의 개수와 값의 개수는 같아야 합니다. 아니면 오류가 생깁니다.

a, b = 10, 1000

이번 시간의 내용은 여기까지 입니다. 다음 포스터에서는 리스트(list), 튜플(tuple), 사전(dictionary) 자료형에 대해 알아보겠습니다.

안녕하세요. 지난 시간에 이어 두번째 실습을 가지고 왔습니다.

지난 실습에서는 도서 이름을 가지고 왔었는데요. 이번 시간에는 도서 이미지를 가져오도록 하겠습니다.

실습-01을 아직 보지않으셨다면 보고오시는 것을 추천 드립니다.

앞 부분은 지난 시간에 보셨던 소스코드와 동일합니다.

from bs4 import BeautifulSoup 
import urllib

# 검색할 사이트
root_url = "http://www.yes24.com/24/category/bestseller?CategoryNumber=117&sumgb=06"

# HTML 헤더
head = {'User-Agent' : "Magic Browser"}

# 요청보내기
request = urllib.request.Request(root_url, headers = head) 

# 응답 받기
response = urllib.request.urlopen(request)

# 응답을 Beautifulsoup 패키징화하기
soup = BeautifulSoup(response.read().decode('euc-kr','replace'))

그리고 디렉토리(directory)를 만들어 줍니다. 이걸 만드는 목적은 우리가 다운로드할 이미지를 저장하기 위해서 입니다.

import os # 시스템 함수

# 이미지를 저장할 디렉토리
directory_path = "book_image"

# 디렉토리가 존재하지 않을 시 자동 생성
if not os.path.exists(directory_path):
    os.makedirs(directory_path)

아래 소스코드는 도서 이미지를 다운로드하는 소스코드입니다.

# 도서 이미지를 포함하고 있는 태그
contents = soup.find_all('div', {'class':'goodsImgW'})

for content in contents:
    
    # 각 도서를 의미하는 <a> 태그
    book_image = content.find_all('a')

    # 태그안에 있는 모든 이미지
    for i in range(0, len(book_image)):
        if i % 2 ==0:
            # 이미지 URL
            image_url = book_image[i].find_all('img')[0].get("src")
            print(image_url)

            # 이미지 이름
            image_name = book_image[i].find_all('img')[0].get("alt")
            print(image_name)

            urllib.request.urlretrieve(image_url, directory_path+"/"+image_name+".jpg")

아래는 결과입니다.

이번 실습은 여기까지입니다. 하시다가 이해가 되지 않는 부분이 있으시면 질문을 올려주십시오.

from bs4 import BeautifulSoup 
import urllib

이번 시간에는 지난 블로그에 이어 도서의 제목을 가지고 오는 실습을 진행하도록 하겠습니다.

이번 예시에서는 BeautifulSoup과 urllib 두 가지 라이패키지가 필요합니다. urllib는 내장 함수로 별도로 설치할 필요가 없고 BeautifulSoup만 설치해 주시면 됩니다.

pip install bs4

패키지 import

from bs4 import BeautifulSoup 
import urllib

사용자처럼 서버에 요청을 보내고 서버에서는 보낸 응답을 받는 소스코드입니다.

# 검색할 사이트
root_url = "http://www.yes24.com/24/category/bestseller?CategoryNumber=117&sumgb=06"

# HTML 헤더
# 브라우저로 흉내내기, 아닐 경우에는 block 당할 확률이 높음
head = {'User-Agent' : "Magic Browser"}

# 요청보내기
request = urllib.request.Request(root_url, headers = head) 

# 응답 받기
response = urllib.request.urlopen(request)

# 응답을 Beautifulsoup 패키징화하기
# 한글로 디코딩해 주기, 아니면 한글이 깨짐
soup = BeautifulSoup(response.read().decode('euc-kr','replace'))

다음은 Beautifulsoup 패키지의 기능을 알아보겠습니다. 

Beautifulsoup 패키지를 사용한 응답

결과를 보시면 beautifulsoup 패키지를 사용하면 깔끔하게 출력이 되는 것을 알 수 있습니다.

soup = BeautifulSoup(response.read().decode('euc-kr','replace'))

print(soup)

이로써 전체 HTML 페이지를 갖고 왔습니다. 이젠 우리가 원하는 데이터가 있는 부분을 찾도록 하겠습니다.

일반적으로 웹 사이트는 아주 많은 layout으로 구성이 되어있고 각 layout은 자신의 "id" 혹은 "class"를 갖고 있어 구분이 가능하게 합니다.

content = soup.find_all('table', {'id':'category_layout'})

아래 그림을 보시면 각 도서 정보는 <tr>...</tr> 태그에 감싸있는 것을 확인할 수 있습니다. 그리고 이러한 태그가 아주 많이 반복이 됩니다. 우리는 프로그램을 통해 순차적으로 탐색하면서 도서의 정보를 갖고 올 것입니다.

# 도서 정보를 포함하고 있는 html table
content = soup.find_all('table', {'id':'category_layout'})

#각 도서를 의미하는 tr 태그
book_list = content[0].find_all('tr')

# <tr> 태그 개수
print(len(book_list))

태그 개수는 최종적으로 33이 될 것입니다. 그 이유는 아래 그림처럼 다른 글도 <tr> 태그를 사용하기 때문입니다. 즉 도서 정보, 기타 글, 도서 정보, 기타 글... 이런 형식으로 되어 있습니다. 도서의 정보만 추출하기 위해 조건문을 두어 기타 글은 스킵하겠습니다.

# 첫번째 도서의 제목 갖고오기
for i in range(0, 1):   
    print(book_list[i].findAll("p")[0].text)

이번에는 전체 도서 정보를 갖고 오도록 하겠습니다. HTML 코드를 탐색하면 아시겠지만 제목은 <p>...</p>에 쌓여 있습니다.

# 전체 <tr> 태그에 있는 데이터를 반복문을 통해 추출 
for i in range(0, len(book_list)):
    
    # 도서 정보만 갖고 오기 위한 규칙
    if i % 2 ==0:
        # 도서 제목만 갖고 오기
        print((book_list[i].find_all("p")[0].text).strip())

이로써 도서 제목을 가져오는 크롤링 실습을 마치겠습니다.

다음 시간에는 크롤러를 이용해 도서 이미지를 다운로드 받는 실습을 진행하겠습니다.

하시다가 잘 안되거나 이해가 되지 않는 부분이 있으시면 질문을 남겨 주세요~

안녕하세요. 지난 시간에 이어 python을 이용한 웹 크롤러를 만드는 시간을 갖도록 하겠습니다. 웹 크롤러 개념은 아래 링크에서 확인하시면 감사하겠습니다.

프로그래밍을 이용한 데이터 수집은 크게 API(Application Programming Interface)를 통한 수집과 래퍼(wrapper) 기반 수집기를 이용한 데이터 수집이 있습니다. 

API를 이용한 수집: 네이버, 구글 등 여러 서비스에서는 자체적으로 API 제공하므로 공개된 문서를 참고해 쉽게 데이터를 수집할 수 있습니다.

래퍼 기반 수집기: API를 제공하지 않아 특정 웹 사이트의 구조에 맞춘 수집 프로그램

서비스에서 API를 제공하지 않을 경우에 래퍼 기반 수집기를 만들어야 합니다.

오늘 실습에서는 예쓰24(YES24)에서 검색된 결과에서 도서목록을 갖고 오도록 하겠습니다.

1. 웹 사이트의 페이지 소스코드 보기

앞선 시간에 웹 사이트는 HTML이라는 구조화된 언어로 구성되었다고 설명을 드렸습니다. 여기서 페이지 소스코드 보기는 HTML 소스코드를 보는 것입니다. 페이지 소스코드 보기는 키보드에서 "F12" 입니다.

2. 원하는 데이터의 위치 확인하기

페이지 소스코드 보기를 하셨다면 이젠 우리가 원하는 데이터가 HTML에서 어디에 위치하였는지를 확인해야 합니다.

아래 그림에서와 같이 icon을 클릭합니다. 이 기능은 해당 데이터가 있는 곳을 찾아줍니다.

해당 icon을 클릭한 후 좌측 이미지가 있는 부분에 마우스 커서(cursor)를 갖다 대시면 선택된 영역은 파랑색으로 변하는 것을 확인할 수 있습니다.

물론 한개의 데이터만 수집할 수 있습니다만 모든 데이터를 수집하기 위해 화면에 있는 모든 데이터가 포함 될 수 있는 위치를 찾고 마우스 좌클릭을 합니다.

좌클릭을 하시면 아래 그림처럼 우리가 원하는 데이터가 파랑색 소스코드에 포함되어 있다는 것을 확인할 수 있습니다.

그리고 삼각형 icon을 클릭해 숨겨져 있는 소스코드를 계속 확인합니다. HTML은 사이트의 layout을 일일이 정해주어야 하기 때문에 우리도 점진적으로 구조를 탐색할 필요가 있습니다. 이러한 과정을 거쳐 최종적으로 노이즈가 가장 적은 "알맹이" 부분을 찾는 것을 목표로 합니다.

드디어 "알맹이" 부분을 찾았습니다. 아래 두 그림을 보시면 첫번째 코드에 전체 데이터가 포함이 되어 있는 것을 알 수 있습니다. 두번째 그림에서는 1개의 데이터만 선택이 된것을 알 수 있습니다. 우리는 첫번째 그림의 소스코드 부분의 데이터를 프로그래밍을 통해 갖고 오면 됩니다.

각 이미지의 HTML 소스코드를 순차적으로 확인해 보시면 구조는 똑같고 데이터만 다른 것을 확인하실 수 있습니다. 즉 데이터 개수만큼 소스코드가 반복됩니다. 

다음 시간에 도서의 제목과 URL 주소를 갖고 오는 실습을 진행하도록 하겠습니다.

감사합니다.

안녕하세요. 이번 시간에는 웹 크롤러(Web crawler)에 대해 간단히 설명을 하겠습니다.

웹 크롤러는 자동으로 웹 사이트의 내용을 수집하는 로봇(robot)입니다.

우리가 익히 알고 있는 구글(google), 네이버(naver), 빙(bing) 등과 같은 검색 엔진(search engine)은 사용자에게 최대한 많은 양의 정보를 제공하기 위해 주기적으로 크롤러를 사용해 전세계의 모든 웹 페이지를 방문합니다.

그리고 방문한 웹사이트의 주소, 주제, 내용 등을 수집하고 빠르게 검색되도록 색인(indexing) 작업을 진행합니다.

우리가 알고있는 웹 사이트(web site)는 HTML(HyperText Markup Language)라는 구조화된 언어로 작성되었습니다. 아래 그림에서 <>으로된 부분을 태그(tag)라고 부르고 실제 내용은 태그로부터 쌓여있는 것을 확인할 수 있습니다.

이처럼 사이트는 구조화 즉 규칙성이 있기 때문에 우리는 해당 사이트의 구조만 파악하면 원하는 데이터를 쉽게 갖고 올 수 있습니다. 간략한 로직은 다음과 같습니다.

• 파이썬을 사용해 원하는 웹 사이트를 요청(request)합니다.
• 그리고 사이트의 내용을 다운로드 받습니다.
• 우리가 원하는 데이터가 있는 위치를 찾습니다.
• 그리고 데이터를 포함하고 있는 태그 구조를 분석합니다.
• 구조를 파악하셨다면 파이썬 프로그래밍을 사용해 자동으로 데이터를 수집합니다.

다음 시간에는 파이썬 라이브러리인 beautifulsoup을 사용해 구글에서 이미지 URL을 갖고오는 실습을 진행하겠습니다.

오늘 시간에는 지난 시간에 이어 생성한 가상환경을 jupyter notebook에서 사용할 수 있도록 하는 것입니다.

지난 시간 강의를 먼저 참고하시는 것을 추천 드립니다.

가상환경 생성

https://python-an.tistory.com/3

Jupyter notebook 사용법

https://python-an.tistory.com/4

1. 가상환경 체크하기

conda env list

지난 시간에 생성한 virtual_env 라는 가상환경이 있습니다.

2. 가상환경 활성화

activate 가상환경 이름

3. ipykernel 라이브러리 설치하기

pip install ipykernel

4. jupyter notebook에 가상환경 kernel 설치하기

여기서 가상환경 이름은 우리가 만든 가상환경 이름이고 커널 이름은 jupyter에서 출력되는 이름입니다.

python -m ipykernel install --user --name 가상환경 이름 --display-name 커널 이름

5. jupyter notebook에 가상환경 kernel 삭제하기

jupyter kernelspec uninstall 커널 이름

커널 삭제 명령어를 통해 jupyter notebook에서는 커널이 삭제된 것을 확인할 수 있으나 가상환경은 그대로 존재합니다.

6. 가상환경 삭제

conda remove --name 가상환경 이름 --all

7. 여기까지 jupyter notebook에 가상환경 커널 추가 및 삭제였습니다. 아래는 카페 주소이니 이해가 되지 않는 부분이나 문제점을 말씀해 주시면 같이 해결해 나가도록 하겠습니다.