기타4 크롤링한 데이터 Pandas로 관리 크롤링하기 위해 필요한 라이브러리from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.common.by import Byfrom webdriver_manager.chrome import ChromeDriverManagerfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as EC안양 청년 정책 웹 사이트 url을 얻어온다.driver.get("https://www.anyang.go.kr/youth/contents.do.. 2024. 4. 21. [Crowling] 크롤링한 데이터 엑셀 파일로 저장 크롤링한 데이터(정책) > 엑셀 > 데이터베이스 > 스프링 > 프론트에 띄우기 ==> 일단 이렇게 생각하고 작업 중이다. 데이터 양이 많아서 스프링 애플리케이션 내에서 메모리에 모두 유지하는 것보다는 데이터베이스에 저장하여 관리하는 것이 좋을 것 같아서 저러한 과정을 거치기로 한 것. 크롤링한 데이터를 엑셀 파일로 저장하는 과정은 생각보다 어렵지 않았다1. 먼저 필요한 라이브러리 설치pip install openpyxl 2. 엑셀파일 만들고 저장# 엑셀 만들기import openpyxlwb = openpyxl.Workbook()ws = wb.create_sheet('주거정책')ws['A1'] = 'number'ws['B1'] = 'name'ws['A2'] = 1ws['B2'] = '홍길동'wb.save(.. 2024. 3. 18. [Crowling] python 웹 크롤링 전 포스팅에서 공공데이터 API를 활용하여 정책들을 받아왔었다.그거 하는 것도 꽤나 애먹었는데 내가 필요한 정보들이 아니었다.그래서 여러 사이트를 검색해보던 중 청년 정책들을 잘 소개해주는 사이트를 발견했다.카테고리 주거분야로 들어가면 주거 관련 정책들만 쫙 모아주니 여기서 데이터를 받아오면 좋겠다 생각했다.그래서 이번에는 웹 크롤링을 시도해봤다. 이것저것 정말 많이 해보는 ... (vsCode 사용했습니다.) 내가 할 것은 1. 위의 사이트에서 정책 제목들을 가져오는 것2. 해당 정책의 상세보기에 접근할 수 있는 '사업 안내' 버튼 URL을 가져오는 것1. 필요한 라이브러리 설치크롤링에 기본이 되는 라이브러리들이다.pip install requestspip install beautifulsoup파이.. 2024. 3. 17. [Spring] 스프링 공공데이터 API 활용하기(1) - 데이터 받아오기 방학에 열심히 했어야했는데 발등에 불떨어진 ... 이제 졸업작품 열심히 준비해야겠다.일단 내가 해야되는 부분은 공공데이터포털에서 청년 주거 정책을 가져오는 것이다. https://www.data.go.kr/ 공공데이터 포털국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datasewww.data.go.kr여기 들어가서 끌어오고 싶은 공공데이터 신청하기활용신청에 웹서비스개발 , 활용목적 간단하게 쓰면 바로 승인해준다.새벽에 신청했는데 바로 승인됨.승인되면 개발계정 상세보기에 있는 값들 활용하면 된다.여기서 겁나 헤맸는데 ... 생각보다 간단하게 해결 ㅠ1. 일반 인증키(디.. 2024. 3. 16. 이전 1 다음
