개발자의 끄적끄적

[java] [Selenium] GeckoDriver로 Firefox 실행하기 [펌] Selenium은 웹브라우저 자동화 도구입니다. 여기에서는 Selenium 3.0을 통해 Firefox 브라우저를 실행하는 방법에 대해 소개할 예정입니다. 이 포스트의 실행환경은 다음과 같습니다. Selenium - Version 3.4 Firefox - Version 55.0 GeckoDriver - Version 0.18.0 Gecko란 무엇인가? Gecko는 모잘리 재단에 의해 개발된 웹브라우저 엔진입니다. 수많은 어플리케이션에서 Gecko 엔진을 사용하고 있으며 대표적으로는 Firefox, Thunderbird 등이 있습니다. GeckoDriver란 무엇인가? Selenium이 3.0으로 업데이트되면서 Gecko..

[JAVA] 자바와 셀레니움(Selenium)으로 웹 페이지 가지고 놀기 [펌] What is Selenium? 셀레니움은 웹 어플리케이션을 간편하게 테스트 하기 위해 만들어진 툴입니다. 웹 어플리케이션은 어떤 방향을 가지고 동작이 이루어집니다. 예를 들면 게시판에 글을 쓰기 위해서는 메인 페이지를 조회하고, 메뉴바에서 로그인 버튼을 클릭한 후에 ID와 PW를 입력하여 로그인 한 후에, 게시판 페이지를 조회한 후에 게시판 글쓰기 버튼을 클릭합니다. 만약 이런 중간에 거쳐야 할 동작들이 40, 50개 정도 있다면 일일이 사람이 클릭하면서 확인하기는 무리가 있을 것입니다. 예를 들면 설문조사 페이지를 만들어서 잘 동작하는지 확인하기 위해 입력 버튼을 100개를 클릭해야 한다면, 어떤 기능을 확인하기 위해 수..

[javascript] Crawling (크롤링) Crawling (Web Scraping) - 특정 페이지에 있는 정보들을 내가 원하는 포맷으로 가져오는 것 - 컴퓨터 소프트웨어 기술로 웹 사이트들에서 원하는 정보를 추출하는 것을 의미 - 웹 사이트를 자동으로 돌아다니며 분석 및 저장 등을 하는 행위 정도로 저장할 수 있음 - 사람들이 웹페이지에 직접 접속해서 정보를 읽어들이는 것과 유사 - 인터넷상에 흩어져 있는 자료들을 사람 대신에 프로그램을 통하여 서핑하며 수집과 가공을 하는 것 - 이때 프로그램의 구성에 따라 서핑 능력 차이가 발생하게 되는데 대표적으로 자바스크립트의 처리를 하는지 못하는지에 여부가 있음 크롤링 매커니즘 1. 크롤링 대상선정 (API 또는 웹 문서) 웹 상의 데이터는 고유한 ID..