스팸 및 악성 봇 트래픽이 항상 귀하의 웹사이트를 공격하고 있습니다.

매일 저는 스팸과 나쁜 봇 트래픽을 모니터링하고 차단하는 데 점점 더 많은 시간을 보내는 것 같습니다.

블로그나 웹사이트가 크든 작든 상관없습니다. 봇이 항상 때리고 있습니다.

하루에 방문자가 거의 없는 소규모 사이트 몇 개를 확인하면 항상 자동화된 봇 트래픽이 꾸준히 발생합니다.

그러나 얼마나 많은 웹 트래픽이 자동화, 악성 또는 스팸인지에 대한 아이디어를 제공하기 위해 Just Publishing Advice에 대한 전체 감사를 완료했습니다. 결과는 다음과 같습니다.

스팸 및 악성 봇 트래픽 모니터링

Google 애널리틱스(GA)로 트래픽 수치를 확인했을 것입니다.

블로그나 웹사이트가 얼마나 잘 운영되고 있는지 알 수 있는 최고의 무료 도구 중 하나입니다.

사용자 수와 페이지 조회수가 꾸준히 증가하는 것보다 더 좋은 것은 없습니다.

그러나 그것이 알려주지 않는 것은 귀하의 사이트가 받는 자동화된, 의심스러운 또는 악의적인 방문 수입니다.

GA가 무시하거나 놓친 트래픽을 발견하려면 다른 데이터 소스를 더 깊이 파고들어야 합니다.

저는 몇 가지 도구를 사용하여 악의적인 행위자로부터 사이트를 모니터링하고 보호합니다. 운 좋게도 대부분은 무료입니다.

내가 사용하는 유일한 유료 서비스는 Statcounter이며 월 $9.00에 불과합니다.

GA와 유사한 데이터를 수집하지만 가장 큰 장점은 IP 주소와 아웃바운드 링크 활동을 보고한다는 것입니다.

덕분에 스크레이퍼, 자동화된 봇 적중을 모니터링 및 관리하고 잘못된 Adsense 광고 클릭을 확인할 수 있습니다.

이제 내가 발견한 것을 보여주기 위해 데이터로 넘어갑니다.

스팸 및 불량 봇 트래픽 활동 세부 정보

평균적으로 내 사이트는 하루에 약 3,500명의 실제 사용자 방문을 받습니다.

나는 항상 더 갖고 싶지만 그렇게 나쁘지는 않습니다.

그러나 이것은 전체 그림이 아닙니다.

다른 소스에서 액세스 데이터를 확인하고 수집할 때 내 사이트의 실제 조회 수는 하루에 약 11,500건입니다.

보시다시피 제 사이트에서는 대부분의 분석 도구가 보고하는 것보다 훨씬 더 많은 일이 일어나고 있습니다.

이 데이터를 보는 더 좋은 방법은 백분율입니다.

다음은 평균 일일 사이트 트래픽의 백분율 분석입니다.

매일 내 사이트를 방문하는 모든 방문자 중 실제 방문자 트래픽은 32%에 불과합니다.

하지만 이 숫자는 평균 정도인 것 같습니다.

Help Net Security는 2021년에 자동화된 트래픽이 인터넷 트래픽의 64%를 차지한다고 보고했습니다.

모든 사이트는 봇 트래픽의 영향을 받기 때문에 현실입니다.

그러나 때때로 사이트 트래픽을 확인하는 것은 여전히 ​​가치가 있습니다.

사이트의 스팸 및 악성 봇 트래픽 데이터에 액세스하는 방법

앞서 언급했듯이 저는 대부분 무료 도구를 사용합니다.

이것들은 스팸과 나쁜 봇 트래픽에 대한 나의 방어선을 형성합니다.

1. 클라우드플레어

Cloudflare가 사이트 로드 속도를 높이는 CDN일 뿐이라고 생각할 수도 있습니다.

하지만 이는 무료 계정의 부수적인 이점일 뿐입니다. Cloudflare 사용의 진정한 이점은 보안입니다.

웹 애플리케이션 방화벽(WAF)은 저의 첫 번째 방어선입니다.

개인 정보 보호를 위해 IP 주소를 숨겼습니다. 하지만 하루 동안 발행된 총 블록 및 챌린지 수는 1,728개임을 알 수 있습니다.

WAF를 사용하면 고유한 방화벽 규칙을 설정하거나 도구를 사용하여 IP 주소 또는 ASN을 차단하거나 챌린지할 수 있습니다.

귀하의 사이트에서 원치 않는 트래픽을 관리하는 가장 좋은 도구입니다.

2. 워드펜스

두 번째 방어선은 내 사이트의 Wordfence 플러그인입니다.

Cloudflare를 통과할 수 있는 모든 악성 트래픽을 차단합니다.

블록 수는 날마다 다릅니다. 그러나 평균적으로 매일 250-450회의 시도를 차단합니다.

3. 서버 보호

마지막 방어선은 내 ISP Apache 서버입니다.

액세스 및 오류 로그에서 서버가 차단한 부적절한 활동을 검색할 수 있습니다. 허용된 활동이 의심스러워 보이는지 확인할 수도 있습니다.

그런 다음 Cloudflare 또는 Wordfence를 사용하여 내가 찾은 의심스러운 활동을 감시할 수 있습니다.

스패머 잡기

스패머는 위협보다 골칫거리입니다.

그러나 비교적 쉽게 관리할 수 있는 방법이 있습니다.

WordPress 댓글 스팸 플러그인

Akismet은 블로그의 댓글 스팸을 방지하는 데 아주 잘 작동하는 무료 플러그인입니다.

정확도는 약 99.5%이므로 매우 잘 작동합니다.

내 사이트에는 약 4,000개의 합법적인 댓글이 있습니다. 하지만 Akismet은 75,000개가 넘는 스팸 댓글을 차단했습니다!

스팸을 많이 받으면 Akismet에서 걸러낸 스팸 댓글을 계속 삭제해야 한다는 단점이 있습니다.

댓글 스팸을 차단하는 Cloudflare 방화벽 규칙

사이트에 대한 트래픽이 많을수록 더 많은 스팸 댓글을 받게 됩니다.

이 경우 사이트에서 댓글 스패머를 차단하는 간단한 Cloudflare 방화벽 규칙을 사용하여 문제에 대한 강력한 접근 방식을 취할 수 있습니다.

이 규칙의 장점은 댓글 스팸에 대해 매우 효과적이라는 것입니다. 유일한 약간의 단점은 진정한 댓글 작성자에게 약간의 마찰을 추가한다는 것입니다.

그들은 댓글을 게시하기 전에 2~5초간 Cloudflare에 " 브라우저 확인 중"이라는 알림을 받게 됩니다.

대부분의 사람들이 이에 대해 잘 알고 있으므로 큰 문제는 아닙니다.

그러나 스패머는 일반 브라우저를 사용하여 댓글을 삽입하지 않기 때문에 차단됩니다.

이 방법을 사용하려면 Cloudflare 방화벽에 다음 규칙을 추가하세요.

규칙 이름: 규칙 을 식별하기 위해 임의의 이름을 선택할 수 있습니다.

필드: URI 경로

연산자: 포함

값: /wp-comments.php

액션: JS 챌린지

규칙을 활성화한 후 얼마나 잘 작동하는지 확인할 수 있습니다.

백분율 위로 마우스를 가져가면 해결된 문제 수를 확인할 수 있습니다.

해결된 숫자는 일반적으로 JS 챌린지를 통과한 진정한 댓글에 대한 것입니다. 사이트 로그에서 이를 확인할 수 있습니다.

다음은 내 조정 대기열을 통과하고 성공적으로 입력한 진정한 댓글의 로그입니다.

빨간색 사각형은 성공적인 Cloudflare 검사를 강조 표시합니다.

대부분의 사이트에서는 규칙이 아닙니다. 그러나 귀하의 사이트가 많은 댓글 스팸에 시달린다면 매우 효과적입니다.

보시다시피 시간이 지남에 따라 75,000개가 넘는 스팸 댓글을 삭제해야 했습니다.

그러나이 규칙으로 인해 지금은 거의 통과하지 못합니다.

한 가지 주목해야 할 점은 이 규칙을 사용하면 실패한 각 스팸 댓글 시도에 대해 Cloudflare가 차단한 4개의 히트를 볼 수 있다는 것입니다.

Cloudflare가 스패머가 사용하는 스크립트의 작업을 차단하고 있기 때문에 이는 정상적인 현상입니다.

그러나 진정한 댓글의 경우 사용자가 JS 챌린지를 통과했기 때문에 방화벽에 하나의 항목이 표시됩니다.

따라서 하루에 300-400회 시도를 차단하는 규칙이 표시되더라도 당황하지 마십시오.

스패머가 수동으로 게시하는 경우 가끔 스팸 댓글을 받을 수 있습니다. 그러나 Akismet은 일반적으로 그것을 잡을 것입니다.

댓글 스패머가 충분히 있는 경우 이 방화벽 규칙이 대신 작동합니다.

SEO 스팸 이메일

링크 아웃리치 캠페인은 이제 스팸에 지나지 않습니다.

지난 몇 년 동안 백링크를 요청하는 것은 합법적인 관행으로 간주되었습니다.

그러나 이제 Semrush와 같은 SEO 도구를 사용하면 이러한 캠페인을 이메일 주소로 직접 자동화하는 것이 매우 쉽습니다.

이러한 이메일이 도착하면 삭제하는 것 외에는 할 수 있는 일이 없습니다.

제 경우에는 하루에 100-200개가 될 수 있으며 링크, 게스트 게시물 또는 후원 게시물 배치를 요청합니다.

나에게 그 양은 분명히 순수한 스팸에 불과하다고 생각하는 것입니다.

스크레이퍼에 대해 무엇을 할 수 있습니까?

Python 및 기타 형태의 웹 스크래핑이 점점 보편화되고 있습니다.

그것에 대해 무엇을 해야할지 아는 것은 쉽지 않습니다.

최근 Linkedin은 웹 스크레이퍼를 막으려 했지만 미국 법원은 스크래핑이 합법이라는 판결을 내렸습니다.

귀하의 사이트에 접근하는 스케이퍼를 찾는 것은 상대적으로 쉽습니다. python-requests 또는 python/3과 같은 사용자 에이전트에 대한 서버 액세스 로그를 검색할 수 있습니다.

임시 Cloudflare 방화벽 규칙을 설정하고 javascript 챌린지를 발행할 수도 있습니다. (http.user_agent에 "python-requests" 포함) 또는 (http.user_agent에 "Python/3" 포함)

하지만 모니터링 외에는 할 수 있는 일이 거의 없습니다. 스크레이퍼에 도전하거나 차단해야 하는 유일한 경우는 사이트를 너무 자주 공격할 때입니다.

50개 이상의 서로 다른 IP 주소에서 하루에 14,000회 이상 내 사이트를 방문하는 사이트가 있었습니다.

SEO 연구 또는 데이터 수집과 같은 합법적인 스크래핑 이유가 있습니다. 그러나 콘텐츠를 복사, 도용 및 재게시하는 콘텐츠 스케이퍼도 있습니다.

하지만 그 차이를 구분하는 것은 그리 쉽지 않습니다.

취약점 스캐너

이것은 때때로 좋지만 대부분 나쁜 봇 트래픽의 또 다른 형태입니다.

웹 보안 회사는 패치 및 수정이 가능한 소프트웨어, 플러그인 및 테마 취약점을 자연스럽고 유용하게 스캔합니다.

그러나 웹 사이트에 액세스하고 제어하기 위해 동일한 취약점을 찾는 해커가 있습니다.

다시 말하지만 좋은 사람과 나쁜 사람을 구분하는 것은 쉽지 않습니다.

가장 좋은 방법은 대부분의 경우 Cloudflare와 Wordfence가 문제를 관리하도록 하는 것입니다. 하지만 확실히 하기 위해 수동 블록을 추가해야 하는 경우가 있습니다.

좋은 봇과 나쁜 봇

Google 및 Bing과 같은 검색 엔진은 봇을 사용하여 사이트를 확인합니다. 이것이 없으면 귀하의 사이트는 색인이 생성되고 귀하의 페이지가 검색 순위에 오르지 못할 것입니다.

귀하의 사이트와 블로그 게시물이 Google 및 Bing에서 순위를 매기길 원합니다. 예, 이들은 정말 좋은 봇입니다.

다른 좋은 봇은 트래픽을 분석하는 데 도움이 됩니다. 여기에는 Ahrefs, Semrush, Ubersuggest 등이 포함될 수 있습니다.

그러나 예, 해커 및 스패머와 같이 귀하의 이익을 염두에 두지 않는 나쁜 봇도 있습니다.

차이점을 구별하는 방법을 배우는 것이 항상 쉬운 것은 아닙니다. 그러나 과도하게 차단하는 봇은 종종 득보다 실이 많습니다.

다시 말하지만, 여러분이 할 수 있는 일은 모니터링하고 확인한 다음 어떤 것을 차단하거나 도전할지 선택하는 것뿐입니다.

확인하는 데 도움이 되는 몇 가지 무료 온라인 도구를 사용합니다.

하나는 AbuseIPDB입니다. 모든 IP 주소를 확인하여 악의적인 것으로 보고되었는지 확인할 수 있습니다.

다른 하나는 Scamalytics입니다. 이 앱을 사용하면 IP 주소의 사기 점수를 확인할 수 있습니다.

결론

웹사이트나 블로그에서 스팸과 나쁜 봇 트래픽을 막을 수 있는 방법은 없습니다.

당신이 할 수 있는 일은 그것을 모니터하고 당신이 할 수 있는 한 최선을 다해 관리하는 것입니다.

그러나 사이트 트래픽의 약 65%가 자동화된 봇이라는 사실을 알게 되더라도 놀라지 마십시오.

Imperva의 최신 보고서에 따르면 악의적인 봇 활동이 매년 증가하고 있음이 확인되었습니다.

모든 사이트 소유자가 할 수 있고 해야 할 일은 가능한 한 효과적으로 위협을 관리하는 방법을 배우는 것입니다.

관련 자료: Cloudflare Cache Everything은 WordPress TTFB를 90% 향상시킵니다.