chrome headless 모드를 이용하여 랜더링된 html 소스 가져오기

vus.js 등의 자바스크립트를 이용하여 웹페이지의 화면을 구성하는 경우가 많은데 이럴 경우 일반적인 방법으로는 실제 사용자가 보는 화면의 html 소스를 가져올 수가 없다. PhantomJS 등을 이용해서 처리를 할 수가 있으나 리눅스 크롬브라우저 59 버전부터는 headless 모드를 지원하기 때문에 이를 이용해서 랜더링된 페이지의 html 소스를 가져오기로 한다. 두 가지 방법을 시도했으며 각자의 선택으로 적당한 방법을 선택하면 된다.

–dump-dom 옵션을 이용한 방법

별도의 작업없이 크롬 설치만으로 사용할 수 있는 방법이다.

–disable-gpu 옵션은 최신 버전에서는 필요하지 않으나 오류가 발생한다면 추가하도록 한다. html 소스 코드를 파일로 저장하려면 위 명령어 끝에 > file.html 과 같이 추가한다. PHP를 이용하여 실행하기 위해서는 아래와 같이 코드를 작성한다.

자료
– https://blog.outsider.ne.kr/1291
https://developers.google.com/web/updates/2017/04/headless-chrome

Read More

아마존마케팅툴(amazonmarketingtool.com) 개발

아마존마케팅툴 : https://amazonmarketingtool.com/

지금의 회사로 이직한지 만 4개월이 됐다. 처음엔 뭔가 정신도 없고 회사 분위기도 기존과는 달랐기 때문에 어떻게 해야할지 난감하거나.. 혼란스러운 시간을 보내고 있을 때 아마존마케팅툴(이하 AMT)의 개발을 맡게 됐다. 그 전까지는 아마존을 사용해본 적도 없고 더구나 셀러도 아니었기 때문에 회의에서 오고가는 용어조차 모두 외계어로 들릴 때였는데.. 혼란스러운 틈을 타서 개발을 시작하게 됐으니.. 사실 근심걱정이 가득했다. 그러나 회사에서 시간은 잘 갔으니.. 어쨌든 쌤쌤???

1차버전은 아마존에서 셀러가 설정한 키워드의 인덱싱 여부를 Batch 작업으로 확인할 수 있는 기능과 입력한 키워드 중 중복되는 단어를 제거하고 1,000글자씩 나눠서 출력하는 기능을 개발했다. 개념자체는 간단했고 개발 작업도 그렇게 어렵지는 않았다. 아마존 API에서 너무 빠른 접속은 차단한다는 것을 알기 전까지는… API 접속 차단이슈가 나오면서 방향을 다시 잡기 시작했다. AJAX 콜을 순차적으로 처리하는 것으로 정하고 관련 자료를 검색 후 다시 개발을 했다. AJAX 콜을 순차적으로 처리할 수 있는 Queue 플러그인이 개발되어 공개돼 있다는 것이 얼마나 기쁜 일이었는지… Read More

[PHP] Payoneer 결제 API

Payoneer의 예치금을 이용해 결제를 처리할 수 있는 API이다. Payoneer 파트너사에 가입하고 지불처리하는 것이 주된 기능이다.

Read More

[PHP] xml 포맷의 데이터를 배열(Array)로 변환

curl 등을 사용해 API 콜을 보내고 리턴 받은 xml 포맷의 데이터를 배열(Array)로 변환하는 코드이다.

curl 실행 후 리턴된 $response 값을 simplexml_load_string 함수로 object 타입으로 변경하고 convertArray 함수를 이용해 배열(Array)로 변환하여 리턴한다. json_encode, json_decode 함수를 사용할 수 있는 환경이어야 한다.

[PHP] github webhook을 이용한 소스코드 서버 자동배포

  • 우분투 16.04, git 2.7.4 환경을 기준으로 테스트 했습니다.

서비스에 사용되는 서버가 소수 일 때는 각 서버에 접속해서 git pull 명령어를 실행하면 됐지만 점점 더 많아지니까 소스 배포도 일이 되기에 github 를 이용해 소스코드를 서버에 자동 배포할 수 있는 환경을 구축하기로 했다. github 에서 제공하는 webhook 을 이용하면 문제를 해결할 수 있다. 환경 구축에 참고한 내용은 https://github.com/mboynes/github-deploy 이다.

#0. 준비

보통 웹서버는 www-data 등의 사용자로 실행이 된다. 웹루트의 소유자가 www-data 등의 사용자가 아니라면 퍼미션이 없기 때문에 바로 git pull 의 명령어를 실행시킬 수 없다. 이를 위해 www-data 사용자가 sudo 명령어를 사용할 수 있도록 수정했다. 배포 명령을 실행하는 deploy.php 파일은 웹루트에 위치한다.

위 명령어를 실행한 후 아래 라인을 추가한다. www-data 사용자에게 비밀번호 입력없이 git 명령어를 사용할 수 있도록 한다.

다음으로 각 서버에서 git 사용을 위한 기본적인 설정을 한다.

위에서 이메일과 이름은 변경한다. deploy 로그를 기록하기 위해 deploy.php 파일의 상위 디렉토리에 logs 디렉토리를 생성하고 www-data 사용자가 파일을 쓸 수 있도록 퍼미션을 수정한다. 보통은 chmod 707 logs 와 같이  실행한다. logs 디렉토리 안에 deploy.log 파일을 생성해 둔다. 소유권은 www-data 에게 준다. Read More