부록. gatsby가 생성해준 LightHouse의 SEO Page is blocked from indexing 에러에 대한 삽질기.

이후 Gatsby Cloud에서 배포된 다음 생성해주는 LightHouse를 체크해보니 SEO 항목에 다음과 같은 에러가 발생했다.

페이지에

가 none으로 설정되어 있다는 뜻인데, 이로 인해 검색 엔진이 사이트를 크롤링하지 못할 수 있다.

이 접근 제어는 CMS Preview, Production Build, Pull Request Build URL에만 적용되기 때문이다. Gatsby Hosting을 사용할 경우에는 이 지침이 적용되지 않는다고한다. 그래도 혹시 모르니까 내용을 더 살펴보았다.

위 가이드를 바탕으로 우선 내 사이트의 접근 제어 설정이 public으로 되어 있는 지 확인해봤다. 여기는 public으로 잘 설정되어 있었다.

Public Access일 경우, Gatsby에서 자체적으로

을 지정해서 검색 엔진이 사이트를 크롤링하는 걸 막아준다고 한다.

하지만 Gatsby 호스팅을 사용할 경우, 별도의 설정을 해주지 않는 한 누구나 접근 가능하고 색인 생성이 가능하다고 한다.

Gatsby에서 build를 할 경우, 해당 빌드 버전이 적용된 도메인

도메인을 생성해주는데,

ex)

이 페이지에 대해 크롤러의 접근을 차단하기 위해, build시 생성된 페이지에 대해

을 설정해주는 것 같다.

나는 Gatsby hosting을 사용하고 있었다.

우선 LightHouse에서

를 눌러 Guide를 확인해보자.

해당 태그를 통해 크롤러의 접근을 제한하는 방법 위주로 안내가 되고 있는데 아마 기본이 허용이기 때문에 그런 것 같다.

Resources로 안내해주는 글 중 robots

태그에 대한 글이 있어 확인 해보니 작성하는 규칙이 잘 안내되어 있었다.

으로 설정하면 검색 결과에 이 페이지가 표시되지 않는다고 한다. 구글에서 정보를 삭제하려면 이 속성을 지정해주라고 한다.

내게 필요한 건

이었다. 기본값이라고 하지만 나는 기본이

으로 적용되고 있으니 명시적으로 선언해주어야겠다.

파일에 위의 코드를 추가해주었다.

이후 master 브랜치에 머지해서 Gatsby Build Service로 build를 테스트 한 후 생성 된 LightHouse를 확인했다.

build된 페이지에서 정상적으로 위의 태그가 확인됨에도 불구하고, LightHouse에서는 동일한 오류가 발생하고 있었다.

😇

다시 답답함이 마음속 깊이 밀려들었으나, 금세 허무하게 사라졌다.
바로 내가 미처 확인하지 못한 부분이 있었다.

Gatsby Cloud에서 자동으로 생성해주는 LightHouse의 URL이었는데, build 시 자동으로 생성된 URL을 토대로 report를 생성해주었던 것이다.

아… 그렇다면 위에 언급했던대로

으로 설정되어 있는 게 당연한 것이다.
한 번도 내 사이트의 도메인에서 직접 LightHouse 측정을 실행시키지 못한 나의 불찰이었다.

즉시 호스팅된 도메인에서 다시 측정을 실시했고, SEO에 아무 문제가 없다는 걸 알 수 있었다.

결국에는 삽질이었지만… Gatsby 호스팅과 크롤러에 대해 새로운 걸 배울 수 있었던 삽질이었다. 이왕 설정한 robots meta 태그도 그냥 그대로 두기로 했다.

개발이란 게, 다 이런거지 뭐.