크롤러 우회

2022. 1. 27. 15:29·Development

IP

동일한 ip로 계속해서 접속하는 경우

=> 해당 ip가 영구차단이 되거나 접속이 일정시간 동안 제한됨.

 

USER-AGENT

User-agent에는 접속한 유저의 정보를 담고 있으므로, 동일한 유저 정보로 계속된 접속이 이루어진다면 이도 차단될 수 있을 것이다.

 

REFERER

Referer에는 현재 웹서버 요청 이전에 어디서 왔는지에 대한 내용을 담고 있다.

이 값을 입력해주지 않으면 빈값으로 되어있을 것이다.

 

 

ip를 프록시를 이용해 지속적으로 바꾸거나

user-agent 목록 리스트를 만들어 매번 바꿔주거나

referer값을 임의로 입력하거나...

 

아,,,

'Development' 카테고리의 다른 글

01. MySQL 설치 전 작업  (0) 2022.03.04
[Web] User Agent에 대해 알아보자  (0) 2022.02.24
리눅스 에러 You have new mail in /var/spool/mail/root  (0) 2022.01.17
[PHP] 세그멘테이션 오류 (Segmentation fault)  (0) 2022.01.17
텍스트 변환(str_replace)  (0) 2022.01.04
'Development' 카테고리의 다른 글
  • 01. MySQL 설치 전 작업
  • [Web] User Agent에 대해 알아보자
  • 리눅스 에러 You have new mail in /var/spool/mail/root
  • [PHP] 세그멘테이션 오류 (Segmentation fault)
곽진돔
곽진돔
Developer
  • 곽진돔
    echo "곽박한 세상";
    곽진돔
  • 전체
    오늘
    어제
    • 분류 전체보기 (184)
      • Development (57)
        • Linux (13)
        • k8s (3)
        • Docker (5)
        • AWS (1)
        • PHP (35)
        • Python (21)
        • Java (1)
        • SpringBoot (4)
        • JavaScript (1)
        • React (8)
        • MySql (19)
        • MongoDB (1)
      • Daily (4)
      • Study (6)
        • TIL (1)
        • license (3)
  • 블로그 메뉴

    • 홈
    • 태그
    • 방명록
    • 글쓰기
    • 설정
  • 링크

    • github
  • 공지사항

  • 인기 글

  • 태그

    Linux
    Selenium
    CentOS7
    ssh
    IP
    php
    CentOS
    chromedriver
    db
    SQL
    UTF8
    Python
    docker
    error
    리액트
    스프링부트
    윈도우
    springboot
    크롤링
    date
    인코딩
    react
    Shell
    nodejs
    Java
    JavaScript
    리눅스
    정규표현식
    HTML
    MySQL
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.3
곽진돔
크롤러 우회
상단으로

티스토리툴바