본문 바로가기
IT/프로그램

Google Sheets와 Apps Script를 활용한 YouTube 데이터 크롤링

by higold 2024. 10. 3.
728x90
SMALL

초보자를 위한 단계별 가이드

목차

  1. 소개
  2. Google Sheets와 Apps Script 소개
  3. 준비 단계: Google Cloud Console 설정
  4. Google Sheets 설정
  5. Apps Script 코드 작성
  6. 스크립트 실행 및 데이터 크롤링
  7. 데이터 분석 및 활용
  8. 스크립트 확장 및 개선
  9. 결론

소개

디지털 시대에 데이터는 금과 같은 가치를 지닙니다. 특히 YouTube와 같은 거대 플랫폼의 데이터는 마케팅, 트렌드 분석, 콘텐츠 전략 수립 등 다양한 분야에서 중요한 인사이트를 제공합니다.

이 가이드에서는 프로그래밍 초보자도 쉽게 따라할 수 있는 YouTube 데이터 크롤링 방법을 소개합니다. Google Sheets와 Apps Script를 활용하여 누구나 손쉽게 YouTube 데이터를 수집하고 분석할 수 있는 방법을 단계별로 안내해 드리겠습니다.

Google Sheets와 Apps Script 소개

Google Sheets

  • 구글에서 제공하는 무료 온라인 스프레드시트 프로그램
  • Microsoft Excel과 유사하지만 클라우드 기반으로 작동
  • 언제 어디서나 접근 가능하고 실시간 협업 가능

Apps Script

  • Google Workspace 애플리케이션을 위한 자바스크립트 기반 프로그래밍 플랫폼
  • Google Sheets, Docs, Forms 등 구글의 다양한 서비스와 연동 가능
  • 사용자 지정 기능을 만들 수 있어 강력한 데이터 처리 도구로 활용 가능

준비 단계: Google Cloud Console 설정

  1. console.cloud.google.com에 접속하여 구글 계정으로 로그인
  2. 새 프로젝트 생성 (예: "YouTube Data Crawler")
  3. "API 및 서비스" 메뉴로 이동
  4. "API 및 서비스 사용 설정" 버튼 클릭
  5. "YouTube Data API v3" 검색 후 활성화
  6. 좌측 메뉴에서 "사용자 인증 정보" 선택
  7. "사용자 인증 정보 만들기" > "API 키" 선택하여 새로운 API 키 생성
  8. 생성된 API 키를 안전한 곳에 복사해 두기

Google Sheets 설정

  1. sheets.new로 이동하여 새 스프레드시트 생성
  2. 스프레드시트 이름을 "YouTube Data Crawler"로 변경
  3. A1 셀에 "검색 키워드" 입력

Apps Script 코드 작성

  1. 상단 메뉴에서 "도구" > "스크립트 편집기" 선택
  2. 스크립트 편집기에 다음 코드 입력:
function getYouTubeData() {
  var sheet = SpreadsheetApp.getActiveSheet();
  var apiKey = 'YOUR_API_KEY_HERE'; // Google Cloud Console에서 발급받은 API 키를 여기에 입력하세요
  var keyword = sheet.getRange('A1').getValue();

  var url = 'https://www.googleapis.com/youtube/v3/search?part=snippet&q=' + 
            encodeURIComponent(keyword) + '&key=' + apiKey + '&type=video&maxResults=10';

  var response = UrlFetchApp.fetch(url);
  var json = JSON.parse(response.getContentText());

  sheet.getRange('A2').setValue('제목');
  sheet.getRange('B2').setValue('채널명');
  sheet.getRange('C2').setValue('설명');
  sheet.getRange('D2').setValue('게시일');
  sheet.getRange('E2').setValue('썸네일 URL');

  for (var i = 0; i < json.items.length; i++) {
    var item = json.items[i];
    sheet.getRange(i+3, 1).setValue(item.snippet.title);
    sheet.getRange(i+3, 2).setValue(item.snippet.channelTitle);
    sheet.getRange(i+3, 3).setValue(item.snippet.description);
    sheet.getRange(i+3, 4).setValue(item.snippet.publishedAt);
    sheet.getRange(i+3, 5).setValue(item.snippet.thumbnails.default.url);
  }
}

function onOpen() {
  var ui = SpreadsheetApp.getUi();
  ui.createMenu('YouTube 데이터')
      .addItem('데이터 가져오기', 'getYouTubeData')
      .addToUi();
}
  1. 'YOUR_API_KEY_HERE' 부분을 Google Cloud Console에서 발급받은 API 키로 교체
  2. 파일 > 저장 선택하여 스크립트 저장

스크립트 실행 및 데이터 크롤링

  1. Google Sheets로 돌아가기
  2. 페이지 새로고침 (상단에 "YouTube 데이터" 메뉴 생성 확인)
  3. A1 셀에 검색하고 싶은 YouTube 키워드 입력 (예: "프로그래밍 튜토리얼")
  4. "YouTube 데이터" 메뉴 > "데이터 가져오기" 클릭
  5. 권한 요청 창에서 "권한 검토" 클릭 후 필요한 권한 허용
  6. 스크립트 실행 후 스프레드시트에 YouTube 검색 결과 데이터 확인

데이터 분석 및 활용

크롤링한 YouTube 데이터를 다음과 같은 방식으로 분석하고 활용할 수 있습니다:

  • 제목 분석: 많이 사용되는 키워드나 문구를 파악하여 효과적인 제목 작성에 활용
  • 채널 분석: 특정 주제에 대해 가장 활발하게 활동하는 채널 파악
  • 트렌드 분석: 최근 업로드된 영상들의 주제와 내용을 분석하여 현재 트렌드 파악
  • 썸네일 분석: 썸네일 URL을 통해 효과적인 썸네일 디자인 전략 수립

스크립트 확장 및 개선

기본적인 YouTube 데이터 크롤링에 성공했다면, 다음과 같은 방식으로 스크립트를 확장하고 개선할 수 있습니다:

  1. 더 많은 데이터 가져오기: maxResults 파라미터 조정
  2. 추가 정보 크롤링: videos 엔드포인트를 사용하여 조회수, 좋아요 수 등 상세 정보 수집
  3. 자동화: 시간 기반 트리거를 설정하여 정기적으로 데이터 업데이트
  4. 데이터 시각화: Google Charts 라이브러리를 활용하여 크롤링한 데이터를 차트나 그래프로 시각화

결론

Google Sheets와 Apps Script를 활용한 YouTube 데이터 크롤링은 프로그래밍 초보자도 쉽게 시작할 수 있는 강력한 도구입니다. 이 방법을 통해 복잡한 프로그래밍 지식 없이도 가치 있는 데이터를 수집하고 분석할 수 있습니다.

이 기술은 다음과 같은 분야에서 활용될 수 있습니다:

  • 디지털 마케팅
  • 콘텐츠 제작
  • 시장 조사

또한, 프로그래밍과 데이터 분석의 기초를 배우는 좋은 시작점이 될 수 있습니다.

주의사항

데이터를 수집하고 활용할 때는 항상 다음 사항에 주의를 기울여야 합니다:

  • 개인정보 보호
  • 저작권 문제
  • YouTube의 서비스 약관 준수
  • 수집한 데이터의 윤리적 사용

이 가이드를 통해 YouTube 데이터 크롤링의 기초를 익히셨기를 바랍니다. 계속해서 실험하고 학습하며, 여러분만의 고유한 데이터 분석 프로젝트를 발전시켜 나가시기 바랍니다. 데이터는 21세기의 새로운 언어입니다. 이 언어를 마스터하는 것은 디지털 시대를 주도하는 핵심 역량이 될 것입니다.

728x90
LIST