EC2 Ubuntu Puppeteer 크롤링 환경 세팅

이 글은 AWS EC2에서 인스턴스를 생성하여, github에 있는 puppeteer가 포함되어 있는 프로젝트를 pm2를 통해서 돌리기 위한 사전 작업들을 진행 하기 위한 명령어를 순서대로 설명합니다.

 

 

1. EC2 인스턴스 생성 (t2.micro 이외에도 여러가지 사용 가능)

 

AWS 가입 및 인스턴스 생성은 잘 되었다고 가정하고 이 부분은 생략.

 

2. git 설치 및 권한 설정

 

2.1 ubuntu 내의 소프트웨어를 최신 버전으로 업그레이드

sudo apt-get update

2.2 git 설치

sudo apt-get install git     # Ubuntu

2.3 git 설치 확인 (버전 확인)

git --version

2.4 git 권한 설정 

ssh-keygen -t rsa -C "emai@email.com"

2.5 git ssh key 등록

cat {저장된 경로/id_rsa.pub}

를 통해 나온 값을 git hub 내의 New ssh key로 publick key 등록

2.6 project clone

git clone https://github.com/test.git

3. Node.js 설치

 

3.1 nvm 패키지 불러오기

curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.34.0/install.sh | bash

 

3.2 nvm 활성화

. ~/.nvm/nvm.sh

 

3.3 Node.js 설치

nvm install node

 

3.4 설치 및 버전 확인

node -e "console.log('Running Node.js ' + process.version)"

 

4. pm2 설치

npm install pm2 -g

 

5. chrome 설치

 

5.1 wget 설치

sudo apt install wget -y

 

5.2 chrome 설치

wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb

 

6. puppeteer 필요 라이브러리 설치

sudo apt-get install gconf-service libasound2 libatk1.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 libgtk-3-0 libnspr4 libpango-1.0-0 libpangocairo-1.0-0 libstdc++6 libx11-6 libx11-xcb1 libxcb1 libxcomposite1 libxcursor1 libxdamage1 libxext6 libxfixes3 libxi6 libxrandr2 libxrender1 libxss1 libxtst6 ca-certificates fonts-liberation libappindicator1 libnss3 lsb-release xdg-utils wget libgbm1

위의 1번~6번 과정을 차례대로 수행하면 puppeteer를 활용한 nodejs 프로젝트를 ec2 인스턴스에서 성공적으로 수행할 수 있습니다.

 

과정중에 질문이 있으시면 댓글 부탁드립니다.