Java - [ Selenium으로 크롤링 ]

설치

1. Web Driver 설치 (셀레니움 설치)

 https://www.seleniumhq.org/  

접속 후 Downloads ->  Java 버전으로 다운로드

 

---

2. 브라우저 드라이버 파일 설치

크롬에서 도움말 -> Chrome 정보 

크롬 버전 확인

 

 

http://chromedriver.chromium.org/downloads 이동

내 크롬과 맞는 버전 선택 후 win32.zip으로 설치

 

 

---

3. 이클립스에서 라이브러리 import

프로젝트 우클릭 -> Properties -> Java Build Path -> Libraries -> Add External JARs ...

설치했던 셀레니움 jar파일 추가해주기

 

 

 

---

네이버 크롤링이 되는지 테스트

package selenium;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
 
public class SeleniumTest {
 
    public static void main(String[] args) {
 
        SeleniumTest selTest = new SeleniumTest();
        selTest.crawl();
        
    }
 
    
    //WebDriver
    private WebDriver driver;
    
    //Properties
    public static final String WEB_DRIVER_ID = "webdriver.chrome.driver";
    public static final String WEB_DRIVER_PATH = "C:/selenium/chromedriver.exe";
    
    //크롤링 할 URL
    private String base_url;
    
    public SeleniumTest() {
        super();
 
        //System Property SetUp
        System.setProperty(WEB_DRIVER_ID, WEB_DRIVER_PATH);
        
        //Driver SetUp
        ChromeOptions options = new ChromeOptions();
        options.setCapability("ignoreProtectedModeSettings", true);
        driver = new ChromeDriver(options);
        base_url = "https://www.naver.com//";
    }
 
    public void crawl() {
 
        try {
            //get page (= 브라우저에서 url을 주소창에 넣은 후 request 한 것과 같다)
            driver.get(base_url);
            System.out.println(driver.getPageSource());
    
        } catch (Exception e) {
            
            e.printStackTrace();
        
        } finally {
 
            driver.close();
        }
 
    }
 
}

 

---

참조

https://gdtbgl93.tistory.com/154

[JAVA] 자바와 셀레니움(Selenium)으로 웹 페이지 가지고 놀기

https://blog.naver.com/PostView.naver?blogId=ghfkddlrrhfl&logNo=222456171867&parentCategoryNo=&categoryNo=33&viewDate=&isShowPopularPosts=true&from=search 

매크로 프로그램 만들기 위한 크롬 웹드라이버, 셀레니움 설치 (java)