eddmpython의 대략적인 설명
스레드를 통해 대략적인 흐름을 파악하세요
외부데이터 호출 : 엑셀 WEBSERVICE와 판다스 read_json에서 설명했듯이, Python in Excel은 외부 데이터를 파이썬으로 가져오는 것이 제한되어 있습니다. webservice 함수에 많은 제약이 있기 때문에, 대안으로 엑셀의 파워쿼리를 활용해보도록 하겠습니다.파워쿼리(Power Query)란?
파워쿼리는 마이크로소프트 엑셀과 파워BI에서 사용되는 강력한 데이터 변환 및 로드 도구입니다. 이는 데이터를 가져오고, 변환하고, 결합하는 과정을 자동화할 수 있게 해주는 ETL(Extract, Transform, Load) 도구입니다.
파워쿼리의 주요 특징
•
데이터 연결: 다양한 소스(엑셀, CSV, 데이터베이스, 웹 등)에서 데이터를 쉽게 가져올 수 있습니다.
•
데이터 변환: 열 분할, 피벗, 병합, 필터링 등 복잡한 데이터 변환 작업을 수행할 수 있습니다.
•
자동화: 한번 설정한 데이터 처리 과정을 저장하여 반복적으로 사용할 수 있습니다.
•
새로고침: 원본 데이터가 변경될 때 쉽게 업데이트할 수 있습니다.
파워쿼리의 장점
파워쿼리를 사용하면 복잡한 데이터 처리 작업을 자동화하고 시간을 절약할 수 있습니다. 특히 대용량 데이터를 다룰 때나 여러 소스의 데이터를 통합해야 할 때 매우 유용합니다.
파워쿼리는 프로그래밍 지식이 없어도 사용할 수 있는 직관적인 인터페이스를 제공하면서도, 고급 사용자를 위한 M 언어를 통해 더 복잡한 데이터 변환도 가능하게 합니다.
파워쿼리로 웹 데이터 가져오기
파워쿼리를 사용하면 웹에서 데이터를 쉽게 가져올 수 있습니다. 특히 URL을 통한 데이터 호출이 매우 간단합니다.
제가 제공하는 URL을 통해 파워쿼리의 웹 데이터 가져오기 기능을 사용해보세요. M 언어를 걱정하실 필요 없습니다. 웹에서 데이터를 가져오는 것은 클릭 몇 번으로 가능합니다!
파워쿼리의 웹 데이터 가져오기 기능을 활용하면, 복잡한 코딩 없이도 원하는 데이터를 쉽게 엑셀로 가져올 수 있습니다.
파워쿼리로 웹URL에서 데이터 가져오기 실습
국내 주식시장에 상장된 기업들의 정보를 파워쿼리를 통해 가져와보겠습니다. 이 예제를 통해 XML 데이터를 파워쿼리로 처리하는 방법을 배워볼 수 있습니다.
데이터 소스 정보
제공되는 XML API는 다음과 같은 정보를 포함하고 있습니다
•
상장사 기본 정보
•
주요 생산 및 서비스 제품 데이터
•
XML 형식으로 제공되어 파워쿼리에서 즉시 사용 가능
파워쿼리로 XML 데이터 가져오기 단계
1.
데이터 탭 열기: 엑셀의 '데이터' 탭으로 이동합니다.
2.
데이터 가져오기: '데이터 가져오기' > '웹에서' 선택
3.
URL 입력: 제공된 URL을 입력합니다.
해당 URL은 브라우저에 입력하면 직관적으로 바로 확인이 가능합니다.
4.
데이터 로드: 파워쿼리 편집기에서 XML 데이터가 자동으로 테이블 형식으로 변환됩니다.
파워쿼리는 XML 구조를 자동으로 인식하여 테이블 형태로 변환해주므로, 추가적인 데이터 변환 작업 없이도 바로 사용할 수 있습니다!
데이터 활용 방안
이렇게 가져온 데이터는 다음과 같은 분석에 활용할 수 있습니다
•
산업별 기업 분포 분석
•
주요 제품/서비스 카테고리화
•
기업 규모별 분류
•
섹터별 기업 현황 파악
우리는 당장 이 데이터로 뭘 할것은 아니고 상장사 전체의 종목코드를 이용해 다음 작업을 준비 할 것입니다.
