headless-chrome-crawler 사용해보기

수집, 크롤링에 관심이 생겨서 자료를 찾다 발견한 headless-chrome-crawler(이하 HCC)를 사용해보기 위해 가상머신을 세팅하고 테스트 환경을 구성했다. 머신은 Ubuntu 18.04 로 설정하는데 관리 편의를 위해 vagrant 를 사용한다. 1. 가상머신 접속 2. nodejs 설치 3. yarn 설치 4. headless-chrome-crawler 설치 5. 실행 테스트 node examples/priority-queue.js 실행 결과는 아래와 같다. Requested https://example.com/.Requested https://example.net/. 만약 libX11-xcb.so.1 관련 오류가 […]

Read More

chrome headless 모드를 이용하여 랜더링된 html 소스 가져오기 #2

혼란하다. 혼란해!! 지난 번 포스트를 바탕으로 좀 더 기능 개선을 거친 버전이라고 할 수 있을 것 같다. 실제 서비스로 사용하기에는 어떨지 모르겠지만.. 브라우저로 접속해서 입력한 url 페이지에 접속해서 html 소스를 가져오도록 했다. nodejs와 기타 여러 모듈을 사용했는데.. nodejs는 책을 한 줄도 보지 않았기 때문에 뭔 소리인지 모르겠다. 우선 nodejs와 기타 모듈 설치를 진행한다. $ curl […]

Read More

Chrome 브라우저 Flash Player 사용 중지 설정

랜섬웨어가 난리이다 보니 미리 대비하는 셈 치고 Chrome 브라우저의 Flash 사용 설정을 변경해봤다. Flash Player 사용을 중지하는 것으로 설정 방법은 무척이나 간단하다. Chrome 주소 입력 창에 chrome://plugins 라고 입력한 후 아래 이미지와 같이 Flash Player 설정을 사용 중지로 하면 된다. IE나 파이어폭스는 사용하지 않기 때문에 설정을 따로 변경을 하지 않았지만 그래도 혹시 몰라 프로그램 제거에서 Flash […]

Read More

구글 크롬44 버전 프로필 메뉴 제거

구글 크롬에서 오른 상단에 프로필 메뉴가 표시되는 것을 이 팁을 이용해 제거했는데 어느 순간 크롬이 44 버전으로 업그레이드된 후 다시 프로필 메뉴가 나타나기 시작했다. 기존에 적용했던 팁으로는 이 프로필 메뉴를 제거할 수 없어 결국은 다른 방법을 시도하게 됐다. 현재 설치되어 있는 크롬 버전이다. 64비트 버전을 사용하고 있는데 32비트 버전에서는 프로필 메뉴가 표시되는지 확인을.. 아~ 업무용 […]

Read More

구글 크롬 애니메이션 GIF 로딩 문제 해결

이게 나만 그런 게 아니었어? 네트워크 문제라고 생각했는데.. 그게 아닐 수도 있다는 걸 우연히 알게 됐다. 구글 크롬에서 애니메애션 GIF가 포함된 페이지를 로드하게 되면 엄청난 랙이 걸리는 것처럼 로딩이 엄청 오래 걸리는데.. 그게 네트워크 문제라고 생각하고 그냥 넘어가곤 했는데.. 아래의 방법으로 크롬 설정을 변경하면 개선된다는 정보가 있다. 일단 나도 적용을 해두긴 했는데.. 확실한 것은 좀 […]

Read More