개발자의 끄적끄적

[java] [Selenium] GeckoDriver로 Firefox 실행하기 [펌] Selenium은 웹브라우저 자동화 도구입니다. 여기에서는 Selenium 3.0을 통해 Firefox 브라우저를 실행하는 방법에 대해 소개할 예정입니다. 이 포스트의 실행환경은 다음과 같습니다. Selenium - Version 3.4 Firefox - Version 55.0 GeckoDriver - Version 0.18.0 Gecko란 무엇인가? Gecko는 모잘리 재단에 의해 개발된 웹브라우저 엔진입니다. 수많은 어플리케이션에서 Gecko 엔진을 사용하고 있으며 대표적으로는 Firefox, Thunderbird 등이 있습니다. GeckoDriver란 무엇인가? Selenium이 3.0으로 업데이트되면서 Gecko..

[javascript] Crawling (크롤링) Crawling (Web Scraping) - 특정 페이지에 있는 정보들을 내가 원하는 포맷으로 가져오는 것 - 컴퓨터 소프트웨어 기술로 웹 사이트들에서 원하는 정보를 추출하는 것을 의미 - 웹 사이트를 자동으로 돌아다니며 분석 및 저장 등을 하는 행위 정도로 저장할 수 있음 - 사람들이 웹페이지에 직접 접속해서 정보를 읽어들이는 것과 유사 - 인터넷상에 흩어져 있는 자료들을 사람 대신에 프로그램을 통하여 서핑하며 수집과 가공을 하는 것 - 이때 프로그램의 구성에 따라 서핑 능력 차이가 발생하게 되는데 대표적으로 자바스크립트의 처리를 하는지 못하는지에 여부가 있음 크롤링 매커니즘 1. 크롤링 대상선정 (API 또는 웹 문서) 웹 상의 데이터는 고유한 ID..