반응형
selenium driver setting
-
[Java] 자바 selenium 크롤링 - 브라우저 제어하기Java/Java Library 2021. 3. 8. 18:04
자바로 크롤링을 하려면 SSR - 서버사이드 렌더링 인 경우 url 에 로 http 리퀘스트 해서 받아온 응답을 element 를 찾아 파싱만 하면 된다. 하지만 문제가 CSR - 클라이언트사이드 렌더링 의 경우 크롤링을 하기 어렵다. 뿐만 아니라 로그인 및 기타 인증이 필요한 사이트일 수록 크롤링을 하기 어렵다. 그래서 브라우져를 프로그래밍으로 조작해서 필요한 데이터만 추출하는 라이브러리를 사용해야 한다. 라이브러리는 Selenium 라이브러리다. Selenium? : Selenium은 주로 웹앱을 테스트하는데 이용하는 프레임워크이다. ebdriver라는 API를 통해 운영체제에 설치된 Chrome등의 브라우저를 제어하게 된다. spring boot 를 활용해서 maven 으로 pom.xml 에 다음과..