Untitled

스크래핑이란?

스크래핑(Scraping)과 크롤링(Crawling)의 차이: - 스크래핑: 특정 웹페이지에서 원하는 데이터를 추출하는 작업 - 크롤링: 여러 웹페이지를 자동으로 탐색하며 링크를 따라다니는 작업 쉽게 말해, 크롤링은 웹을 '돌아다니는' 것이고, 스크래핑은 원하는 정보를 '가져오는' 것입니다.

스크래핑 방법 2가지

스크래핑 방법은 브라우저 원래의 역할인 url요청방식을 추상화하여 프로그램적으로 다루는 requests방식과 크롬이나 safari같은 브라우저 자체를 자동화하는 방식 두가지가 있습니다.

requests

Requests는 Python에서 가장 널리 사용되는 HTTP 라이브러리입니다. 웹 브라우저처럼 작동하여 웹 페이지에 요청을 보내고 응답을 받아올 수 있습니다.

주요 특징:

•

간단한 문법으로 GET, POST 등의 HTTP 요청을 보낼 수 있음

•

헤더, 쿠키, 세션 등의 HTTP 요소를 쉽게 다룰 수 있음

•

JSON, XML 등 다양한 형식의 데이터를 처리할 수 있음

스크래핑의 기술

학습목표

본 페이지에서는 주가 데이터를 가져와서 저장하고 활용하는 방법을 알아보겠습니다. 주가 데이터는 널리 알려져 있고 쉽게 구할 수 있어 라이브러리를 통해 간단히 이용할 수 있습니다. 데이터를 저장하고 관리하는 방법부터 전체 상장사의 종가를 한 번에 비교하는 방법까지 다룰 예정입니다. 이번 학습 노트를 마치면 주가 데이터를 장기적으로 관리할 수 있으며, 같은 방법으로 다양한 데이터도 관리할 수 있게 됩니다.

편집기 설치

기초문법과 스크래핑의 기술 페이지에서는 Google Colab을 활용했습니다. 그러나 Google Colab은 대여 컴퓨터의 유효 시간이 24시간으로 제한되어 데이터를 장기 저장하기에 적합하지 않습니다. Google Colab이 드라이브 연동 기능을 제공하긴 하지만, 장기적인 데이터 관리를 위해서는 로컬 PC와 같이 데이터 저장이 안정적인 환경에서 시작하는 것이 더 효과적입니다. 이를 위해 Anaconda의 Jupyter Notebook이나 VSCode를 설치하겠습니다. 본 페이지에서는 Jupyter Notebook을 기준으로 설명하겠습니다.

학습시작

학습내용을 조금 나누어서 자세하게 설명 하도록 하겠습니다.

주가 데이터 관리

부가가치세 검증이란?

부가가치세 신고 전, 홈택스에 발행된 매입·매출 세금계산서와 장부에 관리 중인 매입·매출 세금계산서를 대조하는 작업입니다. 작게는 수백 건에서 많게는 수천 건의 데이터를 검증해야 하는 매우 지루한 작업입니다. ERP와 홈택스 데이터가 일치하지 않을 경우, 거래처와 발행 관련 내용을 정정해야 합니다. 5년 정기세무조사에서 해당 사항을 점검하기 때문에 절대 소홀히 할 수 없는 작업입니다.

어떤분에게 적합한가요?

어떤방식으로 진행하나요?

먼저 데이터가 준비되어 있다고 가정하겠습니다. 파이썬 자동화를 통해 홈택스와 ERP의 데이터를 처리하는 방법을 알려드리겠습니다. 그 다음은 아래의 순서대로 진행합니다.

1.

홈택스, ERP세금계산서 내역준비(홈택스와 ERP에서 데이터를 엑셀로 다운로드 받아주세요)

2.

세금계산서 읽기

3.

각각 전처리(회사마다 다름)

4.

비교, 불부합결과 정리

5.

정리결과 엑셀로 저장

6.

불부합 결과 정정(이건 어쩔수없는 수작업, 홈택스 계산서 취소, 수정 등)

위의 순서에서 준비 할 수 없는 부분은 저와 별도로 상의 합니다.

부가가치세 검증

엑셀! 많이들 사용하시죠?엑셀을 사용하지 않는 회사를 찾기가 힘들 정도입니다. 최근에는1인 기업,스타트업,IT 계열 회사에서엑셀대신 협업 툴인gspread를 많이 사용한다고 합니다. 이처럼 업무에서는엑셀과 같은 형식의 도구가 필수적입니다. 이 글에서는엑셀,gspread와 같은스프레드시트를 자동화하거나 반자동화하고, 이들을 조합해 더 나은 도구를 만드는 방법을 모두 다룰 예정입니다.

먼저 알아둘 것

엑셀이나 gspread를 자동화하는 방식은 두 가지로 구분할 수 있습니다. 첫째는 엑셀 외부에서 파이썬으로 엑셀을 조작하는 것이고, 둘째는 엑셀 내부에서 파이썬을 사용해 엑셀을 조작하는 것입니다. 이 두 방식에는 큰 차이가 있습니다.

1.엑셀 내부에서 파이썬 사용

엑셀 내부에서 파이썬을 사용하면 엑셀의 모든 기능과 함께 파이썬을 활용할 수 있습니다. 예를 들어, 엑셀을 실행한 상태에서 SUM() 함수로 계산하고, 그 결과값을 파이썬으로 추가 처리할 수 있습니다. 이때 엑셀은 GUI(그래픽 사용자 인터페이스)로 동작하는데, 이 GUI는 이미 뛰어난 기능들을 갖추고 있습니다. 게다가 익숙하지 않거나 복잡한 엑셀 기능들도 파이썬을 활용해 원하는 대로 다룰 수 있다는 장점이 있습니다.

2.파이썬에서 엑셀을 사용

외부에서 파이썬으로 엑셀을 다루는 방식은 프로그램을 실행하지 않고도 코드만으로 엑셀 파일을 자동 생성할 수 있습니다. 특히 조건에 따라 다양한 양식과 계산식이 포함된 엑셀 파일을 찍어내듯이 생성할 수 있어, 웹서버에서 사용자의 선택이나 입력값에 따라 맞춤형 엑셀 결과물을 즉시 제공하는 서비스를 구현하기에 매우 효과적입니다. 단, GUI 환경에서 직접 보면서 작업하는 것이 아니기 때문에, 모든 서식과 계산식을 코드로 정의해야 합니다.

데이터 호출용 엑셀

엑셀자동화의 모든것

간단한 프로젝트를 시작해보겠습니다. 정말 쉽습니다. 아시죠? 파이썬 기초 지식이 없어도 괜찮아요. 실제로 사용할 수 있는 함수를 만들어볼 건데, 이 과정에서 흥미를 느끼시면 자연스럽게 지식을 넓혀갈 수 있습니다. 필요한 모든 정보는 제가 연결해드리고, 최대한 쉽게 설명해드릴 거예요. 혹시 어려운 부분이 있다면 제 설명이 부족했던 거니까, 말씀해 주시면 바로 정말 눈에 쏙 들어가게 다시 쉽게 설명합니다.

처음 시작하는 분들은 파이썬과 편집기 설치부터 진행하겠습니다.

데이터 준비

부동산 데이터가 필요합니다. 데이터 센터에서 제공하는 부동산 매물 정보를 사용할 예정입니다. 지금 다운로드해 주세요.

데이터 폴더

데이터는 한곳에 모아주고 해당위치에 주피터노트북을 위치시켜 주겠습니다.

부동산 매물이 많은 동네 상위10위 찾기

노션 API

노션 API는 노션의 강력한 기능을 더욱 확장시켜주는 편리한 개발 도구입니다. 이 도구는 프로그래밍 언어를 사용하여 노션의 모든 기능을 자유자재로 다룰 수 있게 해줍니다.

예를 들어, 자동화된 작업 처리가 가능합니다. 반복 업무를 자동으로 처리하거나, 중요 정보를 자동으로 업데이트할 수 있죠.

더 나아가, 외부 서비스 연동도 가능합니다. 예를 들어 구글 캘린더의 일정을 노션에 자동으로 가져오거나, 슬랙으로 노션의 업데이트 알림을 받을 수 있습니다. 이러한 기능들은 업무 효율을 크게 높여주며, 노션을 더욱 강력한 업무 도구로 만들어 줍니다.

노션API 맛보기

노션 API를 통해 노션페이지를 연결하고 자동화 하면 키보드와 마우스로 페이지를 작성하지 않고도 미리 정의해둔 페이지를 자동으로 작성합니다. 아래의 스레드는 부동산 매물정보를 공유하고 있는 페이지입니다. 데이터는 계속해서 업데이트 되어있고 한땀한땀 업데이트 되는걸 링크로 연결하고 과거꺼는 지우고 하기 힘들겠죠??? 그래서 API로 연결해서 서버에서 직접 조작하는겁니다. 데이터 업데이트가 끝나면 csv파일을 만들고 동시에 노션페이지를 업데이트 하는거죠

학습시작

노션 API 세팅

노션 페이지 블럭 확인

노션 자동화