728x90 728x90 Data Science15 파이썬을 이용한 동적 크롤링 오늘은 동적 크롤링에 대해서 작성해보겠습니다. 먼저 크롤링에 대해 얼마나 알고 계시나요? 크롤링은 웹 페이지를 그대로 가져와서, 데이터를 그대로 추출해내는 행위 . . 보통 크롤링을 할 때는 BeautifulSoup 사용한다고 알고 계실겁니다. 하지만 BeautifulSoup 라이브러리로는 동적 크롤링을 할 수 없습니다! "그렇다면 무슨 라이브러리를 사용해야 할까요?" . . . 이번에 동적 데이터 크롤링을 위해 사용할 라이브러리는 바로 Selenium 입니다. Selenium은 원하는 웹 브라우저로 자유롭게 조작함으로서 자동화까지 가능하게 해주는 라이브러리입니다. 지금부터 Selenium을 통해 태양 관측 사이트에서 태양 위치에 대한 데이터를 가져와보도록(크롤링) 하겠습니다. 1. Selenium 라이.. 2022. 6. 2. 파이썬을 이용한 엑셀 파일 합치기 안녕하세요, 여러분! 오늘은 제가 일하면서 불편했던 점을 파이썬으로 해결할 수 있는 방법에 대해서 가져왔답니다ㅎㅎㅎ 바로바로, 여러 엑셀파일 합치기 엑셀이 행의 수가 많으면 열기도 힘들고 이걸 일일이 합치려면....고생을 엄청 해야했다. 하지만, 내가 누군가. 이런건 바로바로 손쉽게 할 수 있는 방법을 찾는다. 간단하게 공유해드릴게요!!! import pandas as pd import numpy as np import xlrd 합치기 path = 'C:/Users/ASUS/Desktop/최종/새 폴더/' # csv파일들이 있는 디렉토리 위치 merge_path = f"C:/Users/ASUS/Desktop/최종/새 폴더/result.csv" # 병합하고 저장하려는 파일명 file_list = glob... 2022. 6. 2. 파이썬을 이용한 SQL engine 사용법 Python을 이용해서 MYSQL, MSSQL을 연결하는 간편한 방법이다. # 내 DB에서 데이터 불러오고 저장하기. # engine은 sql데이터와 연결하는데 있어 가장 간편한 방법인 것 같다. MYSQL # 로컬 import pandas as pd from sqlalchemy import create_engine import pymysql host = 'localhost' iid ='아이디' pw = '비번' db_name = 'db명' engine = create_engine(f"mysql+pymysql://{iid}:{pw}@{host}/{db_name}", encoding='utf-8') df = pd.read_sql(sql="select * from 테이블명", con = engine) #--.. 2022. 6. 2. 이전 1 2 3 4 다음 728x90 728x90
