SEO방법에 대해서 조사하다 보면 범위가 너무 많고 전문성있는 구체적인 정보를 전달해주는 사이트가 적다보니 어떤 페이지를 신뢰해야하는지 몰라고 곤란한 경험이 있었던 분들을 위해 작성했습니다. 이 기사에서는 SEO대책중의 하나인 중복컨텐츠를 피하기 위한 URL표준화를 사이트의 종류별에 맞춰서 진행하는 방법에 대해서 알아보도록 하겠습니다.
URL표준화의 의미와 목적
구글에서는 양질의 콘텐츠 생성을 위해 중복된 콘텐츠에 대해서 강력히 거부하고 있습니다. 하지만 사이트에서 페이지를 제작하다보면 같은 내용이 겹치는 경우가 있고, 그로 인해 원하지 않은 중복 콘텐츠가 발생하는 경우가 있습니다. 그런 경우에 대비하여 구글은 URL표준화에 대한 정의를 문서화 해두었고 SEO대책을 하는 분들은 이 가이드라인을 숙지할 필요가 있습니다.
하지만 URL을 표준화만 하면 모든 콘텐츠가 중복되어도 괜찮다는 이야기는 아닙니다.
중복콘텐츠의 정의
우리는 정보를 얻기 위해 검색을 하는 유저가 입력한 키워드의 목적에 맞는 답을 찾을 수 있도록 돕는 SEO대책을 진행합니다. 그런데 만일 검색결과가 같은 내용이 반복되면 어떤일이 일어날까요?
구글에서는 이와같은 경우를 방지하기 위해 알고리즘을 개발하여 중복콘텐츠(미러콘텐츠)를 구별해내고 있습니다. 그리고 콘텐츠의 중복이란 URL이 다른 페이지들의 내용이 동일한 상태로 인덱스 되어있는 상태를 의미합니다.
예전에는 블랙햇이라고 불리우는 올바르지 않는 방법으로 SEO대책을 하는 사람들이 중복콘텐츠를 생성해서 상위노출을 노린적이 있습니다.
중복콘텐츠를 피해야 하는 이유
구글의 크롤이 데이터를 수집하여 분석하는 과정에서 사이트내의 콘텐츠 또는 다른 사이트이지만 콘텐츠가 동일하다고 판단이 되면 가장먼저 공개된 콘텐츠를 제외한 나머지는 패널티를 받을 수 있습니다. 이 패널티를 받게되면 SEO대책을 아무리 열심히 해도 상위노출을 하기 어려워지며, 최악의 경우에는 인덱스처리가 안되는 경우도 있습니다.
또한 알고리즘이 새롭게 업데이트 되었을 때 검색 순위가 떨어지는 등의 단점이 있을 수 있기 때문에 SEO 대책을 시행하기 위해서는 중복 콘텐츠를 만들지 않는 것과 사이트 내 페이지라면 크롤이 중복 콘텐츠가 아니라고 판단할 수 있도록 URL 표준화가 필요합니다.
모든 사이트 내에서 필요한 URL 표준화
워드프레스의 경우 기본적으로 설정되어 있는 경우가 많지만, 다른 CMS를 사용하거나 자사에서 사이트를 처음 제작하는 경우 다음과 같은 설정을 하지 않으면 URL 중복이 발생할 수 있습니다.
www가 있거나 없는 URL표준화
사이트를 방문하시면 www로 시작하는 도메인(예: www.sample.com )과 www가 없는 도메인(예: sample.com )으로 시작하는 것을 보실 수 있을 것입니다. 두 가지 차이점은 리다이렉트 설정을 했는지 여부에 있습니다.
아무것도 설정하지 않으면 www가 존재하는 그대로 도메인을 사용하게 되고, 리다이렉트로 URL 표준화를 하면 www가 없는 도메인으로 표시됩니다. www없이 도메인을 사용하고 싶은 분은 htaccess에서 www있는 도메인을 www없이 사용할 수 있도록 리다이렉트 설정을 해주세요.
URL 마지막에 /(슬래시)가 있거나 없는 URL의 표준화
모든 URL에는 디렉토리를 구성하는 의미로 일반적으로 URL의 끝에/(슬래시)가 붙습니다. 그러나 사이트에 따라서는 슬러시 있음 없음 양쪽 URL이 정상적으로 공개되는 경우가 있어요. 이렇게 되면 양쪽 URL은 내용이 같기 때문에 중복 페이지로 인정되기 때문에 리다이렉트 또는 캐노니컬을 사용해서 URL을 표준화하여 같은 URL이라고 지정해 주세요.
이 밖에도 사이트의 종류에 따라서 설정이 필요한 URL표준화 작업이 있으니 참고하시기 바랍니다.
콘텐츠 사이트내에서 URL표준화 할 수 있는 페이지와 대책방법
정보전달을 목적으로 하는 콘텐츠 사이트의 경우는 수 많은 콘텐츠가 존재하기 때문에 유저가 사이트를 방문했을때 원하는 콘텐츠를 찾기 쉽도록 UX/UI를 고려하여 유저빌리티를 상승시킬 필요가 있으며, 콘텐츠 내용에 있어서는 마지막까지 읽고 싶어지도록 매력적이며 읽기 쉬운 표현방식이 중요합니다.
페이지네이션
콘텐츠의 수가 많아지면 유저빌리티를 상승시키기위해 카테고리 기능을 사용하여 리스트를 페이지별로 나눠서 표시할 수 있는 페이지 네이션을 설치할 수 있습니다.
각 페이지들은 숫자를 클릭함으로써 URL이 변경되기 때문에 URL기준으로 보면 모든 페이지들이 따로 존재하게 되므로 캐노니컬을 사용하여 모든 페이지가 한가지의 카테고리에 속해있는 내용이라는 사실을 알려줄 필요가 있습니다.
페이지네이션에 캐노니컬 설정방법
【URL】https://sample.com/abc/
【canonical】https://sample.com/abc/?page=1/
만일 캐노니컬이 설정되지 않았을 경우, 1개의 카테고리라고 해도 별도의 페이지로써 크롤이 오해할 가능성이 있습니다.
A/B테스트 중인 페이지
인용：https://sitest.jp/
콘텐츠를 제작하다보면 유저에게 어디까지 읽혀졌고 어디를 자주 클릭하는 지 알 수 있는 히트맵이라는 기능을 사용하여 콘텐츠 내용은 같지만 구성이 각기 다른 중복페이지를 준비해서 동시에 인덱스할 경우가 있습니다.
이때 중복페이지에 원조페이지의 캐노니컬을 설정하는 것으로 이 페이지는 중복된 페이지가 아니라는 것을 전달할 수 있습니다.
물론 이렇게 설정해놓으면 검색결과에 노출되는 페이지도 원조페이지만 노출되게 됩니다.
EC사이트내에서 URL표준화 할 수 있는 페이지와 대책방법
상품을 판매하는 EC(Electronic Commerce)사이트에서는 상품수와 장르에 따라서 검색결과에 영향을 미칠 수 있는 경향이 크기 때문에 다른 사이트보다 더욱 URL표준화를 포함한 태크니컬 SEO가 요구되는 경우가 많습니다.
상품페이지
EC사이트를 이용하신 경험이 있으신분들이라면 1개의 상품에 여러가지 라인업이 있어도 상품페이지 내용은 동일한것을 본적이 있으실 겁니다.
라인업이 달라도 결국 URL이 다르다면 콘텐츠로써는 중복하고 있다고 판단할 수 있습니다. 그리고 상품수에 따라서 그 상품및 카테고리의 상위노출이 결정되는 경우가 있기때문에 상품별로 몇개의 라인업이 존재 한다고 캐노니컬을 이용하여 크롤에게 전달해줄 필요가 있습니다.
광고용 랜딩페이지
구글광고를 사용하여 광고를 운영하실때 캠페인을 만드시면 지정한 페이지에 파라미터가 생성되어 기존페이지와 같은 페이지를 하나더 준비해야될 경우가 있습니다.
이럴때는 캐노니컬을 이용하여 원조 페이지의 URL을 설정해주는것으로 중복콘텐츠를 피할 수 있습니다.그리고 캐노니컬을 설정하실때는 상대패스가 아닌 절대패스로 설정해야한다는 점 주의하시기 바랍니다.
이와같은 URL표준화를 적용함으로써 2019년에 상품수 약 200~300개정도 보유하고 있는 클라이언트 웹사이트에서는 단기간에 효과를 볼 수 있었습니다.
URL표준화 적용부터 1개월만에 작년대비 방문자 약20,000 증가한 사례
신발을 중심으로 판매하는 해외의 브랜드 사이트에서 2019년 7월중순쯤 SEO의뢰가 있었습니다. 그리고 일주일만에 지시서를 제출하고 클라이언트쪽 엔지니어의 빠른대응으로 7월 말에는 URL표준화를 비롯한 몇몇 SEO대책을 적용할 수 있었습니다.
그 결과 8월 1달간 작년대비 키워드 순위 상승으로 인한 섹션증가를 볼 수 있었습니다. 이 사이트는 크롤러빌리티를 올리기 위한 대책을 중심으로 진행하였고, 결과 사이트 전체적으로 빅키워드 이외에 미들, 스몰 키워드들도 순위가 올라가는 것을 볼 수 있었습니다.
SEO는 올바른 방법으로 적용하시면 방문자수를 올릴 수 있으며, 장르에 맞게 적절한 해석을 하면서 진행해야 한다는 점을 기억하시기 바랍니다.