# hide window option opt = Options() opt.headless = True opt.add_argument('--headless=new') #opt.add_argument('--headless') # undetected_chromedriver connect driver = uc.Chrome(use_subprocess=True,options=opt)​ undetected_chromedriver unable to discover open pages ... 1. 크롬-크롬드라이버 업그레이드2. headless 옵션 사용 중일 경우, 끄고 실행해보기- 된다면 옵션 선언 문제 # hide window option opt = Options() opt.headless = True opt.ad..

윈도우에서 테스트용으로 작성한 파이썬 크롤러를 리눅스에도 적용 시키려고 한다. python 버전 업그레이드 현재 centOS7환경을 사용 중이며, 기본적으로 python 2 버전대를 포함하고 있기 때문에 3으로 업그레이드한다. yum install python3.6 업그레이드는 아래 포스팅 참고👇🏻 https://dev-wisdom.tistory.com/141 [centOS7] Python 버전 업그레이드하기 centos7에는 기본적으로 Python 2.7.5 (default, Oct 14 2020, 14:45:30)가 설치되어있다. 현재 사용중인 python 코드의 버전은 3.7.9이여서 버전 업그레이드를 했다. # python -v Python 2.7.5 (default, Oct 14 2020, 14..

chromedriver 사용 시 headless 옵션을 사용하면 CPU 및 메모리 소비에 대한 문제가 있다. 확실히 크롬을 사용하다보면 메모리를 많이 잡아먹는다. (ex.확장프로그램 등) 탭을 몇 개만 실행해도 가끔 먹통이 되는 상황이 생긴다. 최적화 방법 사용자 지정 프록시 또는 C++ ProtocolHandlers를 사용하여 스텁 1x1 픽셀 이미지를 반환하거나 완전히 차단 memory-infra를 이용하여 메모리를 많이 소비하는 부분 확인 chromium은 항상 사용가능한 리소스를 최대한 많이 사용하므로, 효과적으로 리소스를 제한하려면 cgroups 사용을 확인해야한다. cgroups(control groups의 약자)는 프로세스들의 자원의 사용(CPU, 메모리, 디스크 입출력, 네트워크 등)을 제..

셀레니움 사용하기 라이브러리 선언 상단에 필요한 라이브러리를 선언한다. from selenium import webdriver from selenium.webdriver import ActionChains from selenium.webdriver.common.keys import Keys option 입력하기 필요한 option이 있다면 입력한다. header값을 입력해줄 수 있다. # chrome option options = webdriver.ChromeOptions() options.add_argument('--headless') options.add_argument('--no-sandbox') options.add_argument('--disable-gpu') options.add_argumen..