(3) HTML 정보 찾기 - 상위 구조 활용
Source: https://github.com/drtagkim/Lab/blob/master/Education/ScoreNumpy/ScoreNumpy01.ipynb
파이썬이 데이터 과학 도구가 될 수 있었던 이유? 바로 Numpy가 있기 때문이다. Numerical Python, 줄여서 np는 강력한 벡터 연산 도구이다.
여러분을 위해 33개의 코드 스코어를 준비했다. 코딩의 최고 연습법은 악보를 연주하듯 코드를 암기하여 반복적으로 적어보는 것이다. 노트 프로그램이면 뭐든 괜찮다. 손으로 해도 된다. 이제부터 33개 numpy 코드 악보를 익혀보자. 오늘은 첫 시간이다.
import numpy as np
# 배열 만들기, 입력값을 list로 주는 경우
a=np.array([1,2,3])
print("What type? ",type(a))
print("What shape? ",a.shape)
print("Values of 1st and 2nd? ",a[0],a[1])
a[0]=5
print("New value of 1st?", a)안녕하세요 오늘은 판다스 기초에 이어서 웹 크롤링 기초를 공부해보려고 합니다.
이번 글에서는 셀레니움 설치, 크롬웹드라이버 설치와 HTML 에 대해 간략하게 배워볼 예정이고
다음 글에서는 BeautifulSoup 라이브러리를 활용한 HTML 정보 찾기에 대해 다뤄보려고 합니다.
저번에 판다스를 다룰 때에는 파이참에서 interpreter 로 아나콘다를 사용했었는데요
지금도 미숙하지만 당시에는 더 많은 것을 몰라서 판다스를 사용하기 위해서는 아나콘다를 필수적으로 사용해야한다고 생각해 아나콘다를 사용했습니다만
이런 저런 예제를 다루면서 기존 파이참 파이썬 interpreter 로도 판다스 사용이 가능하다는 것을 알게되었습니다.
그래서 오늘은 아나콘다가 아닌 파이참 파이썬을 사용할 예정입니다. 나중에 아나콘다에 대해 더 공부해서 정리해보는 시간을 가져야 할 것 같습니다...ㅠㅠ
파이썬에서 파일을 복사하거나 삭제하려면 os와 shutil 모듈을 사용합니다.
import os
import shutil
파일을 복사할 때는
shutil.copfyfile("원본 파일","대상 파일")
이렇게 하면 됩니다.
폴더를 복사하려면
shutil.copytree("원본 폴더명","대상 폴더명")
간단하죠?
파일을 삭제하려면
os.remove("파일 이름")
폴더를 삭제하려면
shutil.rmtree("폴더 이름")
참고로 os.remove()와 shutil.rmtree()의 결과는 되돌릴 수 없습니다. 신중하길!
컴퓨터에 익숙해지려면 컴퓨터를 많이 써야 합니다. 맨날 하는 미니언 잡기를 생각해보세요. 연습만이 살길.
하지만 어디서 무엇을 얼마나 해야할까?
컴퓨터 책을 펴서 공부를 해도 어떻게 실력을 키울까 궁금하죠?
여러분에게 필요한 것은 "메모장"입니다(프로그램).
책을 보다가 코드나 키워드가 나오면 메모장을 열어서 50번씩 써보세요.
컴퓨터 프로그래밍을 공부하는 일이나 영어 단어를 외우는 일이나 별로 다르지 않습니다. 인문계열 중 코딩 고수가 많은 이유도 비슷하지 않나 싶습니다. 암기왕.
파이썬에 기본으로 포함된 모듈인 os 는 자동화된 프로그램 스크립트를 제작할 때 필요하다. 예를 들어 디렉토리를 바꾸고, 새로 폴더를 만들고, 파일을 복사하거나 삭제하는 일을 하는 작은 프로그램을 제작할 때 사용한다.
몇 가지 것들을 알아보자.
우선 os 모듈을 사용하기 위해 import 해야 한다.
import os
먼저 현재 실행 중인 파이썬의 작업 경로를 바꿔보자. chdir()을 사용한다.
현재 작업 중인 경로를 Document라고 하자. 그 상위 폴더로 올라가려면 ".."을 하면 된다. "."은 현재 폴더, ".."은 상위 폴더를 뜻 한다.
os.chdir('..')
이제 다시 Documents로 돌아가려면?
os.chdir('Documents')
현재 작업 중인 폴더의 정보를 가져오려면 getcwd()를 쓴다. "get current working directory"의 줄임말이다.
os.getcwd()
[1] '/Users/tagg/Documents'
환경 변수를 사용해보자. 운영체제가 실행되면 환경변수를 시스템에 등록한다. 이 변수는 모든 프로그램이 다 함께 공유할 수 있다. 환경변수를 통해 서로 다른 프로그램 간의 정보를 교환할 수 있다. 환경 변수 중 대표적인 것이 PATH다. 실행파일의 경로를 저장한 환경변수다. 이 변수를 파이썬에서 참조하려면 getenv() 를 사용하면 된다.
os.getenv('PATH')
결과는 다음과 같다:
'/Users/tagg/Downloads/google-cloud-sdk/bin:/Users/tagg/opt/anaconda3/bin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/opt/X11/bin:/Library/Apple/usr/bin'
디렉토리의 자원을 보기 위해 os.listdir()을 사용한다. 물론 glob과 같은 상위 차원의 모듈을 사용해서 같은 결과를 얻을 수도 있다.
디렉토리를 만들고 싶다면 os.mkdir() 을 사용하자.
os.mkdir("test_pyr")
현재 디렉토리를 보면 test_pyr이라는 이름의 폴더가 생성된 것을 확인할 수 있다. 폴더가 있는데도 os.mkdir()을 실행하면 에러가 발생한다. 이때의 예외처리자의 이름은 FileExistsError이다.
파일을 삭제하려면 os.remove()를 사용한다. 되돌릴 수 없기 때문에 신중하게 써야 한다. 폴더를 지우려면 os.rmdir()을 사용한다. 다만, 폴더 안의 내용이 모두 비워져야 한다. 폴더 안의 파일까지 다 지우려면 shutil의 rmtree()를 사용하자. 다른 포스트를 통해 shutil을 소개하겠다.저번 판다스pandas 를 이용한 데이터 선택하기에 이어서 이번 포스팅에서는 데이터 통합하기, 저장하기, 집계하기를 공부해보려고 합니다.
"판다스 기초-데이터 선택하기" 포스팅을 보실 분들은 아래 링크로 이동해주세요 ▼
https://pyrstudy.blogspot.com/2021/01/blog-post_13.html
저번 포스팅에 이어서 이번에도 sample_1 엑셀 자료를 사용할 예정이고
sample_codemaster.xlsx 과 sample_2.xlsx 도 사용 예정입니다.
다운 하실 분들은 아래 링크를 클릭하시면 됩니다.
(sample_1, sample_2, code_master 순)
https://drive.google.com/file/d/1AWo8p8CUnu5VOcNqNdAkiZFni2s66K_y/view?usp=sharing
https://drive.google.com/file/d/1zpSa2UYorx9E0ge5hNfM27tmbahX7heb/view?usp=sharing
https://drive.google.com/file/d/1qZM5vhui7HUCYvZAWiTfTPLJ0GHxNYqW/view?usp=sharing
저번 판다스pandas 를 이용한 데이터 불러오기에 이어서 이번 포스팅에서는 데이터 선택하기를 공부해보려고 합니다.
"판다스 기초-데이터 불러오기" 포스팅을 보실 분들은 아래 링크로 이동해주세요 ▼
https://pyrstudy.blogspot.com/2021/01/with.html
저번 포스팅에 이어서
이번 포스팅에서도 아래의 데이터를 사용할 예정입니다.
새로 다운 받으실 분들은
아래 링크를 클릭해주세요 ▼
https://drive.google.com/file/d/1AWo8p8CUnu5VOcNqNdAkiZFni2s66K_y/view?usp=sharing
(3) 데이터 선택하기 –
1. 칼럼기준
-예제 3-1: 한 개의 칼럼 선택하기, 여러 칼럼 선택하기
입국객수 라는 칼럼만 보고 싶을 경우, sample_1[‘입국객수’] 를 사용합니다.
여러 개의 칼럼을 선택하기
위해서는 예제와 같이 여러 개의 칼럼을 리스트로 묶어서 입력하면 됩니다. sample_1[[‘국적코드’,’입국객수’]]
(리스트로 묶어서 입력하는 것이기 때문에 [] 괄호가
두 개씩 사용됩니다.)
-예제 3-2: 칼럼 생성하기
기존 데이터에서 존재하지
않던 “기준년월”이라는 칼럼에 ‘2019-11’ 이라는 값을 부여한 결과
‘기준년월’ 이라는 신규 칼럼이 만들어졌습니다.
이 예제와 같이 데이터에
존재하지 않던 칼럼에 값을 부여하면 새로운 칼럼이 생성됩니다.
(4) 데이터 선택하기 –
2. 로우 기준
-예제4-1: 필터링 실습1 (남성 데이터만 출력하기)
condition은 ()안의
조건문에 따라 값을 변환합니다.
예제에서는 ()의 내용이 성별이 남성이면 True를 여성이면 False 로 변환되게 했습니다.
이에 따라 성별이 남성인 0, 2, 4가 True 값을 가지게 되었습니다.
sample_1[condition] 을 출력하면 true 값을 가지고 있는 0,
2, 4 번만이 출력됩니다.
-예제 4-2: 필터링 실습2 (150000명 이상만 출력하기)
-예제 4-3: 두 개의 칼럼에 대해 필터링 하기 ( &. | , isin) + 역슬래시-줄 바꿈 표시
안녕하세요 저는 경영학과 17학번 이지윤입니다.방학을 맞아 PyR활동과 함께 파이썬 공부를 계획했는데요저는 파이썬을 기본 of 기본만 알고 있는 상태라앞으로 글은 저와 같은 초보자분들도잘 따라오실 수 있도록 작성하도록 하겠습니다 :)제가 사용한 책은"직장인을 위한 데이터 분석 실무 with 파이썬"
입니다.
(모든 데이터의 출처는 위 책입니다.)
2단원인 데이터 분석 기초부터 포스팅하려고합니다.(1단원은 준비 단원이기 때문에..)2단원의 주 내용은판다스 기초와 웹크롤링 기초입니다.
Method, 매쏘드는 객체의 행동을 말한다. 아래 명제를 생각해보자.
"계산기는 계산을 한다."
너무 단순하지 않은가? 계산기는 계산을 하는 물건이다. 이때 계산기는 '객체', 계산을 하다는 '매쏘드'다. 계산을 하는 주체가 계산기고 계산은 계산기의 '행동'이다. 이외에도 무슨 행동을 할까?
1. 더한다.
2. 뺀다.
3. 곱한다.
4. 나눈다.
5. =로 계산을 끝낸다.
이들 행동은 개별 객체가 모두 독립적으로 수행한다. 즉, 어떤 계산기의 행동이 다른 계산기의 행동과는 무관하다. 이제 파이썬으로 매쏘드를 '설계'하자. 프로그래밍을 잘 못해도, 알고리즘을 몰라도 매쏘드는 설계할 수 있다.
class Calculator:
def equal(self):
pass
def add(self):
pass
def subtract(self):
pass
def times(self):
pass
def divide(self):
pass
아직 알고리즘을 정하지 않았으니 전부 pass로 처리했다. 오브젝트를 생성해서 매쏘드를 불러보자. 아직 아무런 결과가 안나올 것이다.
> cal = Calculator() #object
> cal.add()
> cal.times()
> cal.calculate()
보통 계산기를 쓸 때 어떻게 하더라? 숫자를 누르고 계산 마지막에 "="을 눌러서 끝낸다. 그럼 다음 계산은 어떻게 되어야 할까?
(10+20-5)*2=?
아마 이렇지 않을까?
> cal = Calculator()
> cal.add(10) #10 누르고 +
> cal.subtract(20) #20 누르고 -
> cal.times(5) #5 누르고 *
> cal.equal(2) #2 누르고 =
뭔가 복잡하다. 행동을 보다 단순하게 디자인을 해보자. 매쏘드를 새로 생각해서 다음과 같이 되었다고 하자.
1. 숫자 버튼의 값을 기억한다.
2. 연산 버튼의 내용을 처리한다.
3. =을 누르면 이전 결과를 모두 정리한다.
새로 디자인한 클래스는 다음과 같다.
class Calculator:
def start(self):
pass
def exec(self):
pass
def end(self):
pass
행동이라서 매쏘드는 거의 동사로 시작한다: start, exec, end, ... 이제 작동 시나리오를 보자.
> cal=Calculator()
> cal.start(10)
> cal.exec("+",20)
> cal.exec('-',5)
> cal.exec('*',2)
> cal.end()
이렇게 (10+20-5)*2= 을 처리한다. 보다 실제 행동에 가까운 것 같다. 이제 코드를 짜보자. 이번에는 타입 힌트를 쓰지 않고 간단하게 작성하도록 한다.
파이썬 공식 문서의 한글 번역판 사이트입니다.
출처: https://python.flowdas.com/index.html
파이썬의 가장 좋은 교과서는 공식 문서입니다. 한번 둘러들 보시기를.
DataCamp에서 제공하는 무료 파이썬 코스입니다.
빠르게 파이썬을 배우고 싶다면 DataCamp에서 포인트도 쌓고 무료 강의도 들어보세요.
바로가기: https://www.datacamp.com/courses/intro-to-python-for-data-science
파이썬은 스크립트 언어다. 즉, 편리하게 빨리 필요한 컴퓨터 도구를 만들 수 있도록 도와준다. 오늘은 파일을 다루는 일을 해보자.
아래와 같은 폴더가 있다고 하자. JPG로 끝나는 사진 파일을 카카오부터 받았다. 이제 이 파일의 이름을 한번에 바꾸는 스크립트를 짜보려 한다.
파일 이름을 정리하는 일은 참으로 번거롭다. 하지만 파이썬을 쓰면 일도 아니다.
우선 배워야 할 것들이 있으니 살펴보자.
from os.path import isfile
from os import listdir
모듈 os.path로부터 isfile과 listdir 함수를 가져온다.
isfile()은 파일인지 체크하고, listdir은 폴더 내에 있는 여러 오브젝트의 이름을 list로 돌려준다.
어떻게 작동되냐면..
fromFile=[i for i in listdir() if isfile(i) and i.endswith('.jpg')]
파일인지 확인하고 jpg로 끝나면 그 이름을 저장하자. 결과는?
깔끔하게 우리가 원하는 파일만 저장했다.
이제 파일 이름을 바꿀 차례다. 필요한 함수는 os 모듈의 rename()이다. 가져오자.
from os import rename
새로 만들 이름을 정의한다.
newFile=["pic{:03d}.jpg".format(i) for i in range(len(fromFile))]
이제 반복문으로 처리하면 된다.
for i in range(len(fromFile)):
rename(fromFile[i],newFile[i])
파일 이름이 pic000.jpg부터 pic003.jpg까지 바뀌었다.
이제 어떻게 작동되는지 알게되었으니,
실행 코드를 rename.py 파일로 만들어서 한번에 처리하도록 하자.
다음은 rename.py의 내용이다.
from os.path import isfile
from os import rename,listdir
class ReName:
def __init__(self):
self.target=[]
def get_file_only(self,ext):
self.target=[i for i in listdir() if isfile(i) and i.endswith(ext)]
def run(self,code='pic'):
for i in range(len(self.target)):
rename(self.target[i],"{}{:03d}.jpg".format(code,i))
#PROGRAM START
if __name__=="__main__":
tool=ReName()
tool.get_file_only(".jpg")
tool.run('pic')
#
tool.get_file_only(".jpg")
tool.run('mypic')
이제 Aanaconda 콘솔에서 실행해보자.
tool=ReName()
tool.get_file_only(".jpg")
tool.run('pic')
이 세줄의 코드로 파일 이름을 제어한다. 여러분도 각자에게 적합한 코드를 작성해서 그림 파일을 한번에 바꾸는 도구를 제작해보자.
입력 받은 문자열을 뒤집어 출력하는 알고리즘을 생각하자.
예를 들어 ABCD라고 입력하면 DCBA라고 출력한다.
코드는 다음과 같다.
결과를 보자.
보다 객체 지향적인 스타일은 다음과 같다.
결과는
클래스를 이전에 설명했다.
이번에는 클래스를 만드는 방법을 설명한다.
실습을 위해 Google Colab을 사용하기 바란다.
클래스 이름 Student를 만들어보자.
클래스가 다 만들어졌다. 실로 간단하다. 키워드 class에 클래스의 이름을 붙이고 코드블록을 만들기 위해 콜론을 썼다. 그리고 아무일도 안할 것이라서 pass를 썼다.
이제 클래스로 오브젝트를 생성하자.
학생 세 명을 만들었다. 오브젝트 kim01, lee01, kim02이다. 주의할 점. 파이썬 프로그램에서 여러분이 다루는 것은 '클래스'가 아닌 '오브젝트'다. 일을 시키거나 데이터를 저장하거나 다 오브젝트를 통한다. 클래스는 오브젝트를 만들기 위한 도구에 불과하다.
한편, 클래스를 오브젝트처럼 사용할 수도 있다. 이 부분은 나중에 따로 설명한다. 원칙은 오브젝트(객체)를 사용한다는 것이다.
이제 클래스를 확장해보자. 이미 Student라는 클래스가 있다고 가정하고 이를 확장하여 KWUStudent라고 하는 클래스를 만든다. 그리고 학교 이름으로 '광운대'라고 하자. 멤버에 이름과 학번, 그리고 전화번호를 할당한다.
KWUStudent의 괄호 안에 Student가 있다. 즉, Student를 입력 받아 KWUStudent를 만들었다. 이렇게 입력받는 행위를 '상속'이라고 부른다. KWUStudent는 Student를 상속한다. 그리고 __init__(self)는 매쏘드다. 클래스의 매쏘드는 일반적으로 '매쏘드이름(self)'로 구성된다. 키워드 self 오브젝트 자신을 가리킨다. 즉, self.school은 자신이 가진 school이라는 변수, 즉 속성 혹은 멤버다. 이때 멤버의 이름이 school이다. name이나 student_id, phone 모두 멤버에 해당한다. 특히 __init__(self)를 constructor라고 한다. 객체를 생성할 때 자동으로 실행되는 매쏘드다. 우리는 클래스가 객체를 만들 때 __init__(self) 즉 초기화(initialization)하여 4개의 속성을 만든다.
이제 오브젝트를 찍어보자.
다음 그림은 Colab의 결과다.