puppeteer, cheerio 를 이용한 웹 크롤링

puppeteer, cheerio 를 이용해 네이버 쇼핑의 특정 카테고리 상품명 가격을 크롤링하여 콘솔에 표시하는 것을 테스트했다. nodejs 와 puppeteer, cheerio 는 미리 설치되어 있어야 한다. cheerio 는 jQuery 문법을 그대로 사용할 수 있어 상당히 편하다. 네이버 쇼핑의 상품정보를 크롤링하는 경우에는 puppeteer 모듈을 사용하지 않고도 가능하다. 하지만 최근의 vue.js 등을 사용한 웹페이지는 크롤링이 가능하지 않을 수 있기 […]

Read More

[nodejs] puppeteer 를 이용한 네이버 회원 로그인

puppeteer 는 nodejs기반 헤드리스 브라우저 컨트롤 API 이다. puppeteer 를 이용하여 네이버 회원 로그인 후 네이버 메인 스크린샷을 출력하는 코드이다. puppeteer 설치 npm install –save puppeteer Ubuntu 16.04 환경에서 아래 스크립트 실행 때 error while loading shared libraries: libXss.so.1  또는 error while loading shared libraries: libgconf-2.so.4 오류가 발생하면 아래 패키지를 설치해준다. sudo apt-get install libxss1 […]

Read More