레이블이 Python인 게시물을 표시합니다. 모든 게시물 표시
레이블이 Python인 게시물을 표시합니다. 모든 게시물 표시

웹 크롤링 기초-BeautifulSoup을 이용한 정보 찾기

 


안녕하세요 저번 글에 이어서 이번 글에서는 BeautifulSoup을 이용한 HTML정보 찾기를 공부해보려고 합니다. 

저는 이래저래 이 부분을 총 3번 공부했는데요, 두번째 공부할때에도 이해가 잘 안되더라구요.. 그래서 이해가 어느정도 될 때까지 책에 나온 예제들을 공부하면서 실습하고 다시 공부해보았습니다. (오늘 잘 설명을 할 수 있을지..걱정이..ㅠ 책도 이해가 좀 힘들게 나와있더라구요..) 

즉 바로 이해가 안될 수 있지만!! 하다보면 익숙해지면서 언젠가 이해가 될 수 있어요..!



(1) BeautifulSoup 라이브러리 불러오기


저번 글에서 했던 "html 다운로드"에 이어서 작성해주면 됩니다.
from bs4 import BeautifulSoup 을 해주면 되는데요
만약 설치가 안되어 있어 오류가 뜬다면 bs4 패키지를 설치해주시면 됩니다.

앞서 내려받은 html은 여러 문자들이 연결된 문자열 데이터입니다.
이를 BeautifulSoup이라는 라이브러리를 통해 html 변수에 있는 정보를 HTML 형식에 맞게
해석해서 원하는 정보를 찾을 수 있습니다.

! 여기서 B 와 S를 반드시 대문자로 써주세요 !




(2) HTML 정보 찾기 - 태그 속성 활용

BeautifulSoup 명령어 select('조건')을 이용하면 HTML내에서 입력한 조건을 만족하는 태그를 모두 선택할 수 있습니다.

저는 직접 이 글을 보는 분들이 바로 실습을 할 수 있도록 저번 글에서도 사용했던
네이버 홈페이지를 이용해 실습 해보겠습니다.
(책에서는 실제 html이 아닌 저자가 직접 만든 html 글을 가지고 예제를 만들었는데요, 직접 돌려볼 수 없어서 이해가 더 힘들더라구요. 그래서 이번 글에서는 실제 네이버 홈페이지 html 을 이용해보겠습니다.)

이번 장에서 이론?을 위주로 보시고 다음 글에서 멜론 웹페이지로 실습을 해보다보면 더 적용이 잘 될거예요.




예제2-1. 태그명으로 태그찾기


select('조건')을 이용한 예제들인데요 조건에 태그명을 입력한 경우입니다.
첫번째로는 soup에 담긴 HTML페이지에서 태그명이 'span'인 태그를 모두 찾아 tags_span변수에 저장했고, 두번째로는 태그명이 'p'인 태그를 모두 찾아 tags_p 변수에 저장했습니다.

저는 tags_span을 출력해보았는데요, 실제로 네이버 홈페이지에서 태그명이 'span'인 정보들이 출력된것을 확인할 수 있습니다. 



예제2-2. id와 class로 태그 찾기


이번에는 아이디값을 이용해 태그 정보를 찾아보려고합니다.
위의 경우 id 값이 "header" 인 태그를 모두 찾아 ids_header에 저장한 뒤 ids_header을 출력한 모습입니다. (제가 네이버 홈페이지 html을 보고 임의로 정한 값입니다. 큰의미x)

id값을 select()안 조건으로 사용할때에는 '#'을 사용해주면 됩니다.








이번에는 class명을 사용해 태그 정보를 뽑는 방법입니다. id값 앞에 '#'를 붙혔다면 class의 경우에는 '.'을 붙혀주면 됩니다. 

위의 경우 '.opt_item'을 이용해보았는데요, 이 경우 class 명이 'opt_item'인 태그들을 찾을 수 있습니다. ('opt_item' 또한 제가 네이버 웹페이지 html을 보고 임의로 선택한 class정보입니다.)

그리고 class명 조건을 태그명과 함께 지정할 수도 있습니다. 'span.opt_item'의 형식으로 사용하면 되는데요, 이는 태그명이 'span'이면서 class 명이 'opt_item'인 태그를 조건으로 지정하는 것입니다. 




(3) HTML 정보 찾기 - 상위 구조 활용

앞서 (2)에서는 태그 속성을 활용하여 정보를 찾았다면 (3)에서는 구조를 활용한 정보찾기를 해 볼 예정입니다.


예제 3-1. 태그 구조로 위치 찾기 1



(2)의 예제2-2는 네이버 홈페이지 html에서 span.opt_item 태그를 찾아보았는데요, 이번엔 그 태그의 상위구조를 이용해 특정 정보만을 찾아보는 것을 연습해보려고합니다.

(2)의 예제 2-2에서 찾은 span.opt_item 태그는 총 5개인데요, 'span.side_opt_area' 라는 상위태그를 이용하면 3개의 태그만을 골라낼 수 있습니다. 출력이 안된 나머지 2개의 태그는 span이라는 태그명과 opt_item이라는 class명을 가지고 있지만 상위태그가 span.side_opt_area 가 아니기 때문에 출력이 되지 않은 것입니다.

이렇게 바로 위의 상위 태그를 입력할때는 '>' 를 사용합니다.

상위구조를 보는 방법은 실제 html 에서 ctrl +F 를 이용해 찾을 수도 있고, [검사]기능을 이용해 찾을수도 있으며 'copy selector'을 통해서도 찾을 수 있습니다. 이 부분은 오늘 글 아래에서 추가해놓겠습니다.*

(위 사진에서 selector 코드는 span.opt_item 태그 중 첫번째 태그의 셀렉터 코드입니다.)



예제 3-2. 태그 구조로 위치 찾기 2



예제 3-1처럼 바로 위의 상위태그를 이용하는 것이 아닌 몇 단계 위의 상위태그를 이용하는 방법도 있습니다.

바로 위의 상위태그를 이용할 때는 주로 '>' 를 사용하지만 몇 단계 위의 상위태그를 이용할 때에는 띄어쓰기를 사용합니다. '>'를 쓰게 되면 실행 완료가 되지 않더라구요. (파이썬 툴마다 차이가 있을 수 있습니다.)



Numpy - Code Score 01

Source: https://github.com/drtagkim/Lab/blob/master/Education/ScoreNumpy/ScoreNumpy01.ipynb

Numpy Code Score 01

파이썬이 데이터 과학 도구가 될 수 있었던 이유? 바로 Numpy가 있기 때문이다. Numerical Python, 줄여서 np는 강력한 벡터 연산 도구이다.

여러분을 위해 33개의 코드 스코어를 준비했다. 코딩의 최고 연습법은 악보를 연주하듯 코드를 암기하여 반복적으로 적어보는 것이다. 노트 프로그램이면 뭐든 괜찮다. 손으로 해도 된다. 이제부터 33개 numpy 코드 악보를 익혀보자. 오늘은 첫 시간이다.

import numpy as np
# 배열 만들기, 입력값을 list로 주는 경우
a=np.array([1,2,3])
print("What type? ",type(a))
print("What shape? ",a.shape)
print("Values of 1st and 2nd? ",a[0],a[1])
a[0]=5
print("New value of 1st?", a)

  • import numpy as np #numpy를 np라는 이름으로 불러온다.
  • np.array() #벡터 배열 혹은 텐서(tensor)를 만든다.
  • type(a) #객체의 타입을 반환한다.
  • a.shape #텐서의 차원 형태를 반환한다.
  • a[0], a[1] #차원 값을 읽어온다.
  • a[0]=5 #대입한다.
직접 입력해서 결과를 확인하자. Google Colab에 들어가서 코드를 실행하며 결과를 관찰하기를 바란다. 

자, 위의 코드를 모두 외워서 메모장에 재현해보자. 할 수 있을 때까지 암기하고 반복하면 된다.

텐서?

자료를 차원(dimension)으로 묶어 정리하면 텐서가 된다. 예를 들어, 1반의 학생이 3명, 2반의 학생이 3명이 있다고 하자. 그리고 우리는 각 학생의 점수를 알고 있다. 이제 점수를 차원으로 묶어 텐서로 표현하자.

반의 구분이 없는 경우(점수=1차원), 텐서는 [100,90,80,40,50,60] 이렇게 6개의 점수로 된 1차원의 배열(array)이다. N차원의 배열을 ndarray 라고 한다. 

반의 구분이 있는 경우(반=1차원, 점수=2차원), 2차원 텐서가 되어 [1반=[100,90,80],2반=[40,50,60]], 줄여서 [[100,90,80],[40,50,60]]이 된다. 텐서는 차원을 더하면 더 늘어난다. 또한 차원을 제거하면 줄어든다.

텐서를 늘여보자. 남자/여자 차원을 추가한다. 이제 텐서는 (반=1차원, 성별=2차원, 점수=3차원)의 3차원 텐서가 된다. 즉, [[[100,90],[80]],[[40],[50,60]]] 이 된다. 앞쪽이 여자, 뒷쪽이 남자다.

여러분은 텐서플로(Tensorflow)를 들어봤을 것이다. 이때의 텐서가 바로 차원을 가진 자료의 뜻이다. 텐서는 물리학에도 나온다. 크게 보면 같은 개념이다. 텐서의 특징은 차원의 변화가 관점에 따라 자유롭다는 것이다. 위의 예에서 우리는 얼마든지 텐서를 3차원에서 1차원까지 자유롭게 바꿀 수 있다. 이러한 자료의 변화되는 흐름(flow)에 따라 딥러닝을 해나가는 패키지가 바로 구글의 텐서플로다.

Numpy는 텐서를 다룰 수 있도록 하는 파이썬의 패키지다. 텐서는 딥러닝을 위한 텐서플로나 케라스, PyTorch의 기본이다. 따라서 Numpy를 다룰 수 있어야 딥러닝도 잘 할 수 있는 법이다.

File rename 프로그램 제작

 목적

특정 폴더의 파일 이름을 일괄적으로 변경하기.
확장자를 입력하면 해당 확장자 파일을 모두 일련번호나 날짜가 붙은 파일로 변경함.
예를 들어,

dfsafdfa.png --> 0001.png
dagh2113.png --> 0002.png
kdkdkkdk.png ---> 0003.png

혹은

dfsafdfa.png --> 2021-01-23_0001.png
dagh2113.png --> 2021-01-23_0002.png
kdkdkkdk.png ---> 2021-01-23_0003.png

개발 노트

argparse 모듈을 써서 CLI(command line interpreter) 프로그램으로 작성함
progressbar 추가
pathlib으로 확장자 처리
glob으로 현재 경로에서 파일 리스트 추출
타입힌트 기능 사용


설치 및 사용

파이썬의 site-packages에 설치해 python -m 으로 사용합니다.
여러분은 아마 Anaconda를 설치했을 것입니다.
Anaconda Console을 실행하거나 맥 혹은 리눅스 사용자의 경우 터미널을 열어 봅니다.

다음과 같이 실행하여 jupyter console을 실행합니다.

jupyter console



파이썬의 모듈 경로를 확인합니다.

import sys
sys.path


맨 뒤가 site-packages로 끝나는 경로에 주목합니다. 해당 경로에 파이썬 모듈(즉 py로 끝나는 파일)을 넣어 두면 손쉽게 python -m 옵션으로 이를 실행하는 CLI 프로그램이 됩니다.

위 깃 허브 링크에서 다운로드 받은 pyrename.py 파일을 site-packages 폴더에 넣습니다.

이제 특정 경로에 저장된 이미지 파일의 이름을 임의로 변경합시다. 콘솔이나 터미널을 열어서 작업합니다.
콘솔에서 디렉토리를 바꾸려면 cd 경로이름 이렇게 합니다.

팁: 윈도의 사용자는 우선 파일 익스플로러 상단의 주소를 ctrl+c로 복사하고 터미널에서 cd 뒤에 커서를 위치시킨 뒤 마우스 우클릭을 합니다. 경로가 바로 붙습니다.

팁: 맥 사용자는 Finder에서 "편집"으로 간 다음 옵션키를 누르면 경로 복사하기가 보입니다.

Dowloads 폴더의 enw 파일 이름을 한 번에 변경해보겠습니다. 터미널을 열어



cd /Users/tagg/Downloads
python -m pyrename --help


--help를 보니 -e 와 -dt 옵션에 관한 설명이 있습니다.

이제 실행 합시다.

python -m pyrename -e enw -dt

enw로 끝나는 확장자를 모두 바꾸고, 날짜 옵션(dt)를 켰습니다.



이상 파이썬 모듈을 설치하여 사용하는 방법을 살펴봤습니다.
CLI 프로그램에 관심이 있는 사람은 깃허브 소스코드를 다운로드 받아 살펴보시면 좋겠네요.


웹 크롤링 기초-셀레니움selenium, 크롬웹드라이버 설치, HTML


 안녕하세요 오늘은 판다스 기초에 이어서 웹 크롤링 기초를 공부해보려고 합니다.

이번 글에서는 셀레니움 설치, 크롬웹드라이버 설치와 HTML 에 대해 간략하게 배워볼 예정이고

다음 글에서는 BeautifulSoup 라이브러리를 활용한 HTML 정보 찾기에 대해 다뤄보려고 합니다.




저번에 판다스를 다룰 때에는 파이참에서 interpreter 로 아나콘다를 사용했었는데요

지금도 미숙하지만 당시에는 더 많은 것을 몰라서 판다스를 사용하기 위해서는 아나콘다를 필수적으로 사용해야한다고 생각해 아나콘다를 사용했습니다만

이런 저런 예제를 다루면서 기존 파이참 파이썬 interpreter 로도 판다스 사용이 가능하다는 것을 알게되었습니다. 

그래서 오늘은 아나콘다가 아닌 파이참 파이썬을 사용할 예정입니다. 나중에 아나콘다에 대해 더 공부해서 정리해보는 시간을 가져야 할 것 같습니다...ㅠㅠ 


파일, 디렉토리를 복사하고 삭제하는 방법

 파이썬에서 파일을 복사하거나 삭제하려면 os와 shutil 모듈을 사용합니다.


import os

import shutil


파일을 복사할 때는 


shutil.copfyfile("원본 파일","대상 파일")


이렇게 하면 됩니다.

폴더를 복사하려면


shutil.copytree("원본 폴더명","대상 폴더명")


간단하죠?


파일을 삭제하려면


os.remove("파일 이름")


폴더를 삭제하려면


shutil.rmtree("폴더 이름")


참고로 os.remove()와 shutil.rmtree()의 결과는 되돌릴 수 없습니다. 신중하길!

파이썬을 공부하는 꿀팁

컴퓨터에 익숙해지려면 컴퓨터를 많이 써야 합니다. 맨날 하는 미니언 잡기를 생각해보세요. 연습만이 살길.

하지만 어디서 무엇을 얼마나 해야할까?

컴퓨터 책을 펴서 공부를 해도 어떻게 실력을 키울까 궁금하죠?

여러분에게 필요한 것은 "메모장"입니다(프로그램).

책을 보다가 코드나 키워드가 나오면 메모장을 열어서 50번씩 써보세요. 

컴퓨터 프로그래밍을 공부하는 일이나 영어 단어를 외우는 일이나 별로 다르지 않습니다. 인문계열 중 코딩 고수가 많은 이유도 비슷하지 않나 싶습니다. 암기왕.

모듈 os

 파이썬에 기본으로 포함된 모듈인 os 는 자동화된 프로그램 스크립트를 제작할 때 필요하다. 예를 들어 디렉토리를 바꾸고, 새로 폴더를 만들고, 파일을 복사하거나 삭제하는 일을 하는 작은 프로그램을 제작할 때 사용한다.


몇 가지 것들을 알아보자.

우선 os 모듈을 사용하기 위해 import 해야 한다.

import os

먼저 현재 실행 중인 파이썬의 작업 경로를 바꿔보자. chdir()을 사용한다.

현재 작업 중인 경로를 Document라고 하자. 그 상위 폴더로 올라가려면 ".."을 하면 된다. "."은 현재 폴더, ".."은 상위 폴더를 뜻 한다.

os.chdir('..')

이제 다시 Documents로 돌아가려면?

os.chdir('Documents')

현재 작업 중인 폴더의 정보를 가져오려면 getcwd()를 쓴다. "get current working directory"의 줄임말이다.

os.getcwd()
[1] '/Users/tagg/Documents'

환경 변수를 사용해보자. 운영체제가 실행되면 환경변수를 시스템에 등록한다. 이 변수는 모든 프로그램이 다 함께 공유할 수 있다. 환경변수를 통해 서로 다른 프로그램 간의 정보를 교환할 수 있다. 환경 변수 중 대표적인 것이 PATH다. 실행파일의 경로를 저장한 환경변수다. 이 변수를 파이썬에서 참조하려면 getenv() 를 사용하면 된다.

os.getenv('PATH')

결과는 다음과 같다:

'/Users/tagg/Downloads/google-cloud-sdk/bin:/Users/tagg/opt/anaconda3/bin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/opt/X11/bin:/Library/Apple/usr/bin'

디렉토리의 자원을 보기 위해 os.listdir()을 사용한다. 물론 glob과 같은 상위 차원의 모듈을 사용해서 같은 결과를 얻을 수도 있다.


디렉토리를 만들고 싶다면 os.mkdir() 을 사용하자.

os.mkdir("test_pyr")

현재 디렉토리를 보면 test_pyr이라는 이름의 폴더가 생성된 것을 확인할 수 있다. 폴더가 있는데도 os.mkdir()을 실행하면 에러가 발생한다. 이때의 예외처리자의 이름은 FileExistsError이다. 

파일을 삭제하려면 os.remove()를 사용한다. 되돌릴 수 없기 때문에 신중하게 써야 한다. 폴더를 지우려면 os.rmdir()을 사용한다. 다만, 폴더 안의 내용이 모두 비워져야 한다. 폴더 안의 파일까지 다 지우려면 shutil의 rmtree()를 사용하자. 다른 포스트를 통해 shutil을 소개하겠다.

이외, 파일의 이름을 바꾸는 os.rename()도 유용하다. os.rename('oldfile.txt','newfile.txt')와 같이 사용한다.

지금까지 언급된 os의 함수, 매쏘드, 클래스 등은 다음과 같다.

os.chdir()
os.getcwd()
os.getenv()
os.listdir()
os.mkdir()
os.remove()
os.rmdir()
os.rename()

파일을 정리하기 위해 os를 사용하는 빈도는 대단히 높다. 

이외에도 os는 고급 프로그래밍을 위한 파일 처리기가 포함되어 있다. 





판다스 기초-데이터 통합하기, 저장하기, 집계하기

 저번 판다스pandas 를 이용한 데이터 선택하기에 이어서 이번 포스팅에서는 데이터 통합하기, 저장하기, 집계하기를 공부해보려고 합니다. 

"판다스 기초-데이터 선택하기" 포스팅을 보실 분들은 아래 링크로 이동해주세요 ▼

https://pyrstudy.blogspot.com/2021/01/blog-post_13.html


저번 포스팅에 이어서 이번에도 sample_1 엑셀 자료를 사용할 예정이고

sample_codemaster.xlsx 과 sample_2.xlsx 도 사용 예정입니다.

다운 하실 분들은 아래 링크를 클릭하시면 됩니다.

(sample_1, sample_2, code_master 순)

https://drive.google.com/file/d/1AWo8p8CUnu5VOcNqNdAkiZFni2s66K_y/view?usp=sharing

https://drive.google.com/file/d/1zpSa2UYorx9E0ge5hNfM27tmbahX7heb/view?usp=sharing

https://drive.google.com/file/d/1qZM5vhui7HUCYvZAWiTfTPLJ0GHxNYqW/view?usp=sharing



데이터 통합하기에는 크게 두 가지 경우로 구분할 수 있습니다.
위 사진과 같이 하나는 옆으로 통합하기이며 나머지 하나는 아래로 통합하기입니다.


판다스 기초-데이터 선택하기



저번 판다스pandas 를 이용한 데이터 불러오기에 이어서 이번 포스팅에서는 데이터 선택하기를 공부해보려고 합니다. 

"판다스 기초-데이터 불러오기" 포스팅을 보실 분들은 아래 링크로 이동해주세요 ▼

https://pyrstudy.blogspot.com/2021/01/with.html


 

저번 포스팅에 이어서 이번 포스팅에서도 아래의 데이터를 사용할 예정입니다.

새로 다운 받으실 분들은 아래 링크를 클릭해주세요 ▼

https://drive.google.com/file/d/1AWo8p8CUnu5VOcNqNdAkiZFni2s66K_y/view?usp=sharing




(3) 데이터 선택하기 – 1. 칼럼기준

 -예제 3-1: 한 개의 칼럼 선택하기, 여러 칼럼 선택하기



입국객수 라는 칼럼만 보고 싶을 경우, sample_1[‘입국객수’] 를 사용합니다.

여러 개의 칼럼을 선택하기 위해서는 예제와 같이 여러 개의 칼럼을 리스트로 묶어서 입력하면 됩니다. sample_1[[‘국적코드’,’입국객수’]]

(리스트로 묶어서 입력하는 것이기 때문에 [] 괄호가 두 개씩 사용됩니다.)


-예제 3-2: 칼럼 생성하기



기존 데이터에서 존재하지 않던 “기준년월”이라는 칼럼에 ‘2019-11’ 이라는 값을 부여한 결과

‘기준년월’ 이라는 신규 칼럼이 만들어졌습니다.

이 예제와 같이 데이터에 존재하지 않던 칼럼에 값을 부여하면 새로운 칼럼이 생성됩니다.



(4) 데이터 선택하기 – 2. 로우 기준

-예제4-1: 필터링 실습1 (남성 데이터만 출력하기)


 

condition은 ()안의 조건문에 따라 값을 변환합니다.

예제에서는 ()의 내용이 성별이 남성이면 True를 여성이면 False 로 변환되게 했습니다.

이에 따라 성별이 남성인 0, 2, 4가 True 값을 가지게 되었습니다.

sample_1[condition] 을 출력하면 true 값을 가지고 있는 0, 2, 4 번만이 출력됩니다.


-예제 4-2: 필터링 실습2 (150000명 이상만 출력하기)



예제 4-1과 같이 condition을 사용하여 입국객수가 150,000명 이상인 경우를 찾아봤습니다.
condition =(sample_1[‘입력객수’]>=150000) 


-예제 4-3: 두 개의 칼럼에 대해 필터링 하기 ( &. | , isin) + 역슬래시-줄 바꿈 표시




예제 4-3의 경우 "&"의 기호를 사용해 두 가지 조건물을 동시에 충족하는 케이스만을 추출했습니다. "&"기호는 and 를 의미합니다. 이 예제의 경우 성별이 남성이면서 동시에 입국객수가 150,000명 이상인 데이터를 선택해보았습니다.

위 두 사진 모두 같은 추출값을 갖는 코드인데요, 차이점이라면 역슬래시를 사용한다는 점입니다. 역슬래시는 두 줄을 한 줄로 인식하라는 의미입니다. 줄이 너무 길 때 사용해주는 기호입니다.




이 두번째 경우는 위 경우와 달리 & and 기호가 아닌 | or 기호를 사용해
여러 조건 중 한 가지 이상만 만족해도 되는 경우로 설정해 데이터를 선택해보았습니다.



여러 가지 조건 중 한 가지 이상만 만족해도 되는 경우를 출력하는 방법에는
| or 기호를 사용하는 방법 외에도 isin() 함수를 사용하는 방법도 있습니다.



isin() 함수 안에 찾고 싶은 값들을 리스트 형태 ['A01','A18']로 설정하면
국적코드에서 리스트 안의 값에 해당할 경우 True 값을 변환합니다.
이를 sample_1 에 적용해 출력하게 되면 국적코드가 'A01','A18' 에 해당하는 값들이 출력됩니다.





isin()함수를 이용해 설정한 조건이 아닌 그 반대의 경우를 찾고 싶을 때
condition == False 라는 조건을 부여하면 isin()함수 내 조건에 해당하지 않는 값들이 선택되어 출력됩니다.



오늘은 판다스를 이용한 데이터의 칼럼과 로우를 선택하는 방법을 공부해보았는데요
다음 글에서는 여러 데이터를 하나의 데이터로 통합하는 방법을 알아보도록 하겠습니다.
(저번에 작성 중이였는데 갑자기 글이 올라갔더라구요.. 아직 미숙하네요 ^^;;
그럼 저는 여기서 글을 마칩니다)










판다스 기초 -데이터 불러오기 (데이터분석 실무 with 파이썬)

 


안녕하세요 저는 경영학과 17학번 이지윤입니다.

방학을 맞아 PyR활동과 함께 파이썬 공부를 계획했는데요


저는 파이썬을 기본 of 기본만 알고 있는 상태라

앞으로 글은 저와 같은 초보자분들도

잘 따라오실 수 있도록 작성하도록 하겠습니다 :)





제가 사용한 책은

"직장인을 위한 데이터 분석 실무 with 파이썬"

 입니다.

(모든 데이터의 출처는 위 책입니다.)


2단원인 데이터 분석 기초부터 포스팅하려고합니다.

(1단원은 준비 단원이기 때문에..)


2단원의 주 내용은

판다스 기초와 웹크롤링 기초입니다.





클래스와 매쏘드

 Method, 매쏘드는 객체의 행동을 말한다. 아래 명제를 생각해보자.

"계산기는 계산을 한다."

너무 단순하지 않은가? 계산기는 계산을 하는 물건이다. 이때 계산기는 '객체', 계산을 하다는 '매쏘드'다. 계산을 하는 주체가 계산기고 계산은 계산기의 '행동'이다. 이외에도 무슨 행동을 할까?

1. 더한다.

2. 뺀다.

3. 곱한다.

4. 나눈다.

5. =로 계산을 끝낸다.

이들 행동은 개별 객체가 모두 독립적으로 수행한다. 즉, 어떤 계산기의 행동이 다른 계산기의 행동과는 무관하다. 이제 파이썬으로 매쏘드를 '설계'하자. 프로그래밍을 잘 못해도, 알고리즘을 몰라도 매쏘드는 설계할 수 있다. 

class Calculator:

    def equal(self):

        pass

    def add(self):

        pass

    def subtract(self):

        pass

    def times(self):

        pass

    def divide(self):

        pass

        

아직 알고리즘을 정하지 않았으니 전부 pass로 처리했다. 오브젝트를 생성해서 매쏘드를 불러보자. 아직 아무런 결과가 안나올 것이다.

> cal = Calculator() #object

> cal.add()

> cal.times()

> cal.calculate()

보통 계산기를 쓸 때 어떻게 하더라? 숫자를 누르고 계산 마지막에 "="을 눌러서 끝낸다. 그럼 다음 계산은 어떻게 되어야 할까?

(10+20-5)*2=?

아마 이렇지 않을까?

> cal = Calculator()

> cal.add(10) #10 누르고 +

> cal.subtract(20) #20 누르고 -

> cal.times(5) #5 누르고 *

> cal.equal(2) #2 누르고 =

뭔가 복잡하다. 행동을 보다 단순하게 디자인을 해보자. 매쏘드를 새로 생각해서 다음과 같이 되었다고 하자.

1. 숫자 버튼의 값을 기억한다.

2. 연산 버튼의 내용을 처리한다.

3. =을 누르면 이전 결과를 모두 정리한다.

새로 디자인한 클래스는 다음과 같다.


class Calculator:

    def start(self):

        pass

    def exec(self):

        pass

    def end(self):

        pass


행동이라서 매쏘드는 거의 동사로 시작한다: start, exec, end, ... 이제 작동 시나리오를 보자.

> cal=Calculator()

> cal.start(10)

> cal.exec("+",20)

> cal.exec('-',5)

> cal.exec('*',2)

> cal.end()

이렇게 (10+20-5)*2= 을 처리한다. 보다 실제 행동에 가까운 것 같다. 이제 코드를 짜보자. 이번에는 타입 힌트를 쓰지 않고 간단하게 작성하도록 한다.

 

class Calculator:
    def __init__(self):
        self.memory=0.0 #memroy in calculator
    def start(self,num):
        self.memory=num
    def exec(self,op,screen):
        if op=='+':
            self.memory+=screen
        elif op=='-':
            self.memory-=screen
        elif op=='*':
            self.memory*=screen
        elif op=='/':
            self.memory/=screen
        else:
            pass
    def end(self):
        print("Result: ",self.memory)

cal=Calculator()
cal.start(10)
cal.exec('+',20)
cal.exec('-',5)
cal.exec('*',2)
cal.end()

파일 이름을 test.py로 저장하고 실행하면 다음 화면과 같다.


이번 시간에는 클래스의 매쏘드를 다루었다. 매쏘드를 먼저 설계하고 구체적인 행동을 정의하도록 하자. 이때 중요한 것은 작동 상태를 점검해보면서 점진적으로 접근하는 일이다. 여러분이 Unified Modeling Language를 알고 있다면 이런 작업을 할 때 큰 도움이 된다. 시간이 되면 UML도 찾아보자.




파이썬 공식 문서 한글 번역본

 파이썬 공식 문서의 한글 번역판 사이트입니다.

출처: https://python.flowdas.com/index.html

파이썬의 가장 좋은 교과서는 공식 문서입니다. 한번 둘러들 보시기를.

Introduction to Python [DataCamp]

 DataCamp에서 제공하는 무료 파이썬 코스입니다.

빠르게 파이썬을 배우고 싶다면 DataCamp에서 포인트도 쌓고 무료 강의도 들어보세요.

바로가기: https://www.datacamp.com/courses/intro-to-python-for-data-science

Google Python Class

 구글에서 제공하는 무료 온라인 파이썬 강좌 사이트입니다.

쉬운 영어로 혼자서도 파이썬을 배울 수 있습니다.

바로가기: https://developers.google.com/edu/python/

Python을 써서 파일을 관리해보자

 파이썬은 스크립트 언어다. 즉, 편리하게 빨리 필요한 컴퓨터 도구를 만들 수 있도록 도와준다. 오늘은 파일을 다루는 일을 해보자. 


아래와 같은 폴더가 있다고 하자. JPG로 끝나는 사진 파일을 카카오부터 받았다. 이제 이 파일의 이름을 한번에 바꾸는 스크립트를 짜보려 한다.



파일 이름을 정리하는 일은 참으로 번거롭다. 하지만 파이썬을 쓰면 일도 아니다.


우선 배워야 할 것들이 있으니 살펴보자.


from os.path import isfile

from os import listdir

모듈 os.path로부터 isfile과 listdir 함수를 가져온다.

isfile()은 파일인지 체크하고, listdir은 폴더 내에 있는 여러 오브젝트의 이름을 list로 돌려준다.


어떻게 작동되냐면..



이렇게 보인다. 현재 작업 폴더가 사진/sample_pic인데 그 안에 들어 있는 파일과 폴더를 모두 보여준다. 우리가 관심이 있는 것은 .jpg로 끝나는 것들이다.

fromFile=[i for i in listdir() if isfile(i) and i.endswith('.jpg')]

파일인지 확인하고 jpg로 끝나면 그 이름을 저장하자. 결과는?


깔끔하게 우리가 원하는 파일만 저장했다.

이제 파일 이름을 바꿀 차례다. 필요한 함수는 os 모듈의 rename()이다. 가져오자.


from os import rename


새로 만들 이름을 정의한다.


newFile=["pic{:03d}.jpg".format(i) for i in range(len(fromFile))]


이제 반복문으로 처리하면 된다.

for i in range(len(fromFile)):

     rename(fromFile[i],newFile[i])



파일 이름이 pic000.jpg부터 pic003.jpg까지 바뀌었다.


이제 어떻게 작동되는지 알게되었으니,

실행 코드를 rename.py 파일로 만들어서 한번에 처리하도록 하자.

다음은 rename.py의 내용이다.


from os.path import isfile

from os import rename,listdir


class ReName:

    def __init__(self):

        self.target=[]

    def get_file_only(self,ext):

        self.target=[i for i in listdir() if isfile(i) and i.endswith(ext)]

    def run(self,code='pic'):

        for i in range(len(self.target)):

            rename(self.target[i],"{}{:03d}.jpg".format(code,i))

#PROGRAM START

if __name__=="__main__":

    tool=ReName()

    tool.get_file_only(".jpg")

    tool.run('pic')

    #

    tool.get_file_only(".jpg")

    tool.run('mypic')

    


이제 Aanaconda 콘솔에서 실행해보자.


같은 경로에 rename.py 파일이 포함되어 있다.


파일 이름이 pic000.jpg로 바뀌었다가 다시 mypic000.jpg로 바뀌었다.


    tool=ReName()

    tool.get_file_only(".jpg")

    tool.run('pic')

이 세줄의 코드로 파일 이름을 제어한다. 여러분도 각자에게 적합한 코드를 작성해서 그림 파일을 한번에 바꾸는 도구를 제작해보자.

문자열 뒤집기

 입력 받은 문자열을 뒤집어 출력하는 알고리즘을 생각하자.

예를 들어 ABCD라고 입력하면 DCBA라고 출력한다.

코드는 다음과 같다.


def reverseString(s):
  left=0
  right=len(s)-1
  letters=[c for c in s]
  while left < right:
    letters[left],letters[right]=letters[right],letters[left]
    left+=1
    right-=1
  return "".join(letters)


결과를 보자.


보다 객체 지향적인 스타일은 다음과 같다.


class Tool:
  def __init__(self,string_data):
    self.string_data=string_data
  def reverseString(self):
    s=self.string_data
    left=0
    right=len(s)-1
    letters=[c for c in s]
    while left < right:
      letters[left],letters[right]=letters[right],letters[left]
      left+=1
      right-=1
    self.string_data="".join(letters)



결과는











파이썬 클래스 정의와 활용

 클래스를 이전에 설명했다.


이전 글 참고


이번에는 클래스를 만드는 방법을 설명한다.

실습을 위해 Google Colab을 사용하기 바란다.

클래스 이름 Student를 만들어보자.


class Student:
  pass


클래스가 다 만들어졌다. 실로 간단하다. 키워드 class에 클래스의 이름을 붙이고 코드블록을 만들기 위해 콜론을 썼다. 그리고 아무일도 안할 것이라서 pass를 썼다.

이제 클래스로 오브젝트를 생성하자. 


kim01=Student()
lee01=Student()
kim02=Student()


학생 세 명을 만들었다. 오브젝트 kim01, lee01, kim02이다. 주의할 점. 파이썬 프로그램에서 여러분이 다루는 것은 '클래스'가 아닌 '오브젝트'다. 일을 시키거나 데이터를 저장하거나 다 오브젝트를 통한다. 클래스는 오브젝트를 만들기 위한 도구에 불과하다.

한편, 클래스를 오브젝트처럼 사용할 수도 있다. 이 부분은 나중에 따로 설명한다. 원칙은 오브젝트(객체)를 사용한다는 것이다.

속성(혹은 멤버) 사용하기

이제 클래스를 확장해보자. 이미 Student라는 클래스가 있다고 가정하고 이를 확장하여 KWUStudent라고 하는 클래스를 만든다. 그리고 학교 이름으로 '광운대'라고 하자. 멤버에 이름과 학번, 그리고 전화번호를 할당한다.


class KWUStudent(Student):
  def __init__(self):
    self.school='광운대학교'
    self.name=""
    self.student_id=""
    self.phone=""


KWUStudent의 괄호 안에 Student가 있다. 즉, Student를 입력 받아 KWUStudent를 만들었다. 이렇게 입력받는 행위를 '상속'이라고 부른다. KWUStudent는 Student를 상속한다. 그리고 __init__(self)는 매쏘드다. 클래스의 매쏘드는 일반적으로 '매쏘드이름(self)'로 구성된다. 키워드 self 오브젝트 자신을 가리킨다. 즉, self.school은 자신이 가진 school이라는 변수, 즉 속성 혹은 멤버다. 이때 멤버의 이름이 school이다. name이나 student_id, phone 모두 멤버에 해당한다. 특히 __init__(self)를 constructor라고 한다. 객체를 생성할 때 자동으로 실행되는 매쏘드다. 우리는 클래스가 객체를 만들 때 __init__(self) 즉 초기화(initialization)하여 4개의 속성을 만든다.

이제 오브젝트를 찍어보자.


kim03=KWUStudent()
lee03=KWUStudent()


다음 그림은 Colab의 결과다.


클래스에서 어떤 오브젝트가 나올 지 몰라서 self.school이라고 했는데 구체적인 오브젝트가 만들어졌으니 이제 kim03.school 등으로 부를 수 있다. kim03.name="Gildong"이라고 하자. 그러면 kim03의 이름이 바뀌지만 lee03.name은 아무런 영향을 받지 않는다. 서로 다른 오브젝트라서 데이터가 독립적이다.





이름으로 Gildong만 출력되고 lee03.name은 "" 즉 공백으로 출력된다. 위에서 KWUStudent를 만들었던 방식을 생각해보자.

데이터 클래스로 멤버 결정하기

새로운 파이썬은 타입 힌트 기능을 사용한다. 그리고 데이터 클래스를 정의하여 멤버를 정해줄 수도 있다. 다음 코드를 보자.


from dataclasses import dataclass

@dataclass
class Business(KWUStudent):
  subject:str="Data Science"
  grade:float=4.3
  year:int=3


모듈 dataclasses에서 dataclass 클래스를 가져왔다. 이 클래스는 @기호를 써서 사용한다. 이렇게 다른 클래스 앞에 기능을 덧붙여주는 특수한 클래스를 장식자(decorator)라고 부른다. 우리는 Business 클래스를 KWUStudent를 상속하여 만들고 장식자로 dataclass를 붙였다.

이제 클래스를 선언하자마자 멤버를 지정할 수 있다. 타입 힌트로 subject에 str을, grade에 float을 year에 int를 주었다. 타입 힌트를 주는 방법은 이름:타입 형태를 취하면 된다.

이제 오브젝트를 찍어보자.



결과를 보면 AttributeError가 떴다. 뭐가 잘못되었나? 메시지를 읽어보면 school이 없다고 한다. 상속을 했는데도 왜 school이 없을까? 원래 school은 KWUStudent에 포함되어 있고 상속을 했으므로 Business 클래스로 찍은 park01에서도 보여야 한다.

장식자를 Business에 썼는데 KWUStudent에는 사용하지 않아서 생기는 문제다. 이를 고치려면 다음과 같이 KWUStudent를 수정하여 다시 실행한다.


@dataclass
class KWUStudent(Student):
  school:str='광운대학교'
  name:str=""
  student_id:str=""
  phone:str=""


이제 실행결과를 다시 보자.



오브젝트를 만들 때 디폴트 값을 수정했다. dataclass 장식자와 타입 힌트를 사용하지 않는 경우를 아래에 적어두었다. 


class KWUStudent(Student):
  def __init__(self,school='광운대학교',name='',student_id='',phone=''):
    self.school=school
    self.name=name
    self.student_id=student_id
    self.phone=phone
class Business(KWUStudent):
  def __init__(self,subject='Data Science',grade=4.3,year=3):
    super().__init__()
    self.subject=subject
    self.grade=grade
    self.year=year
park01=Business()
print(park01.school)
print(park01.subject)
print(park01.year)
park01.name="Yooshin"
print(park01.name)


새롭게 super().__init__()가 보인다. KWUStudent의 속성을 생성하기 위해서 사용한다. park01=Business()는 Business에서만 생성하기 때문에 일일이 Business 생성 시에 KWUStudent도 생성하라고 알려줘야 한다. super()를 사용하지 않는 또 다른 방법은 다음과 같다.


class KWUStudent(Student):
  def __init__(self,school='광운대학교',name='',student_id='',phone=''):
    self.school=school
    self.name=name
    self.student_id=student_id
    self.phone=phone
class Business(KWUStudent):
  def __init__(self,subject='Data Science',grade=4.3,year=3):
    KWUStudent.__init__(self)
    self.subject=subject
    self.grade=grade
    self.year=year
park01=Business()
print(park01.school)
print(park01.subject)
print(park01.year)
park01.name="Yooshin"
print(park01.name)


결과를 보자.



이번 시간에는 클래스의 기초적인 사용법, 멤버에 대해 살펴봤다. 다음 시간에는 매쏘드와 다른 주제들을 알아보자.

PyR Intro - 신입생OT학기제