GCP) 빅쿼리 - 서치콘솔 연결

개요

구글 서치콘솔(Search Console)은 웹사이트의 검색 트래픽 및 검색어 순위 등을 분석하는 서비스이다. 이 서비스를 통해 수집된 데이터를 활용하여 다양한 분석을 수행할 수 있지만 별도의 자체 서버 또는 데이터베이스를 구축하여 해당 위치에 저장하는 것은 엔지니어의 도움이 많이 필요할 수 있다. 다행이도 서치콘솔은 google의 프로덕트이기 때문에 구글 클라우드 플랫폼(GCP)의 프로덕트 중 하나인 빅쿼리(BigQuery)와 호환성이 높다. 따라서 서치콘솔 데이터를 가장 쉽게 저장하고 분석하려면 빅쿼리를 활용하는 것을 추천한다.
물론 서치콘솔 데이터 추출 및 이관은 R 또는 Python으로도 할 수 있으니 참고하도록 하자.

구글 서치콘솔(Search Console) 연결

먼저 서치콘솔 메인페이지로 이동한다.

대시보드 왼쪽 하단에 있는 [⚙️설정] 아이콘을 클릭한다.

설정 메뉴의 “일반 설정”의 하위 항목인 [대량 데이터 내보내기] 메뉴를 클릭한다. 상기 스크린샷은 대량데이터 내보내기가 완료된 시점에서 찍은 것이기 때문에 초록원과 체크 표시(✅)가 있는 것을 볼 수 있다.

설정이 되지 않은 경우의 화면은 다음과 같다.

서치콘솔의 데이터를 내보낼 GCP의 프로젝트의 ID를 입력해야 한다. 여기서 프로젝트 이름이 아니라 프로젝트 ID이다. 이 부분에서 많은 실수를 하는데 반드시 확인하기 바란다. 그리고 기존에 GCP 프로젝트가 없다면 새로 생성하고 해당 프로젝트 ID를 입력해야 한다. 다음으로 데이터 위치(리전)의 경우 주로 다루게 될 리전을 고려하여 선택하고 별도로 고려할 사항이 없다면 거주지 또는 주로 일하는 물리적 위치와 가까운 곳을 선택하면 된다. 본인은 서울(asia-northeast3)로 선택하였다.

각 항목 입력 후 [계속] 버튼을 누르면 다음과 같은 화면이 뜬다.

혹시 내보내기를 설정한 GCP 프로젝트에 빅쿼리 API 사용 설정이 되어있지 않다면 다음과 같은 메세지가 뜬다.

이 경우에는 GCP 프로젝트의 API 및 서비스 페이지로 이동하여 빅쿼리 API를 활성화 시켜주면 된다. 다음의 스크린샷을 보면 “Dataform”도 있는데 해당 API까지 활성화 해야되는 경우가 있으니 참고하도록 하자.

제대로 처리가 되었다면 다음과 같이 완료된 화면을 볼 수 있다.

빅쿼리에서 데이터 확인

빅쿼리 메인 페이지에서 해당 데이터가 정상적으로 들어왔는지 확인해보자. 단, 서치콘솔에서 빅쿼리로 데이터 내보내기 설정 후 일정 시간 이상 기다려야 한다. 보통 하루가 지나야 데이터가 들어오니 참고하도록 하자.

서치콘솔의 데이터는 기본적으로 “searchconsole”이라는 데이터셋에 저장된다. 해당 데이터셋의 테이블을 확인해보면 다음과 같이 데이터가 들어온 것을 확인할 수 있다.