들어가며 실습환경은 PyCharm Community Edition 2020.1 에 최적화되어 있습니다. Python을 이용하여 간단한 웹 크롤러를 만들고, 윈도우 작업스케줄러 기능을 활용하여 주기적으로 크롤링을 수행할 수 있도록 만들어보려고 합니다. 먼저 크롤링을 수행할 코드를 작성합니다. 저는 요새 기계식 키보드 하나에 관심이 있어서, 주기적으로 크롤링을 수행하여 원하는 키보드에 대한 최저가 가격을 수집하려고 합니다. 수집 대상 사이트는 네이버 쇼핑이고, 제품명을 파라미터(parameter)로 주어 제품명과 최저가 가격, 링크를 출력할 수 있도록 만들었습니다. #-*- coding: utf-8 -*- # moduel import import requests from bs4 import Beautiful..

들어가며 PyCharm Version : PyCharm Community Edition 2020.1 x64 bit 가상환경 : Anaconda Python 3.7 OS : Window 10 Local 설치 날짜 : 2020-04-27 PyCharm은 JAVA의 Eclipse와 같은 IDE(Integrated Development Environment, 통합 개발 환경) 입니다. Professional 버전과 Community 버전이 존재하며, Community Version은 무료로 배포되어 있습니다. 저는 Community Version을 설치해보도록 하겠습니다. 먼저 PyCharm 홈페이지에서 파일을 다운로드 받고 실행합니다. 다운로드 링크는 아래와 같습니다. https://www.jetbrains...

읽기전에 실습환경은 Jupyter notebook에 최적화 되어 있습니다. Python 크롤링에 자주 사용하는 requests 모듈과 bs4 패키지 내 BeautifulSoup을 활용하여 크롤링을 해보겠습니다. 저는 디시인사이드(DC) 사이트를 크롤링 해볼 것입니다. # moduel import import requests from bs4 import BeautifulSoup 먼저 수집할 갤러리를 결정하고, 사이트를 들어가 봅시다. 코드를 작성하지 전에 먼저 수집할 대상을 정해봅시다. 보통 수집할 대상은 목적을 위해 어떤 데이터들이 필요한지를 고려하여 결정합니다. 저는 글 번호, 글 제목, 글쓴이, 본문, 작성일, 조회 수, 추천 수를 수집하기로 결정했습니다. 크롤링의 기초는 URL을 파악하는 것에서부터..

읽기전에 코드 결과는 맨 아래 # 으로 표시하였습니다. 기본 환경은 Jupyter이며, 따라서 만약 코드 실행을 원하신다면 위에서부터 차례대로 실행시키면 됩니다. 코드블록 하나만을 실행시키면 올바른 결과가 나오지 않을 수 있습니다. 변수(Variable) python에서 사용하는 여러 변수의 형태와 사용하는 여러 함수에 대해 다뤄보겠습니다. python에서 사용하는 변수는 기본적으로 변수명 = 변수로 선언하며, 이때 변수명은 소문자와 대문자를 구분합니다. 또한, 연산자(+,-,*,/)나 python에서 사용하는 내장 함수를 의미하는 문자들(for, if...)은 사용할 수 없습니다. 띄어쓰기(스페이스바) 역시 마찬가지로 사용할 수 없습니. 일반적으로 띄어쓰기를 표기하기 위해서는 _ 를 사용합니다. 숫자의..