본문 바로가기

데이터분석/크롤링2

파이썬 웹 크롤링 환경세팅(VScode, miniconda, selenium) 및 예시코드 이 글에서는 크롤링을 위한 VScode, miniconda 환경 세팅부터 Selenium, ChromDriver 자동관리 라이브러리 설치 방법까지 알아볼 것이다. 또한, 실습이 가능하도록 실제로 구글 스토어 댓글을 크롤링하는 코드를 제공한다. 파이썬 코딩을 할 때, 흔히 사용하는 Colab은 크롤링이 실제로 동작하는지 볼 수 없다. 반면 VScode에서는 이를 확인할 수 있다.다만 VScode에서는 .ipynb파일을 실행하려면 파이썬 에디터인 Jupyter Notebook이 필요하다. miniconda는 Jupyter Notebook과 파이썬에서 필요한 최소한의 라이브버리들, 그리고 가상환경을 관리할 수 있게 만들어진 툴이다. 따라서 환경세팅을 위해 VScode와 miniconda를 먼저 다운로드 받아야.. 2023. 12. 10.
Selenium 모듈 설치 및 크롤링 환경세팅 Selenium 모듈 설치(feat. Visual Studio Code) 1. Visual Studio Code 최신버전 설치 후, 실행 2. Open Folser 클릭 -> C드라이브에서 본이만의 폴더 생성 3. 왼쪽 Extantion 메뉴에서 "Python" 검색 후, 확장팩 설치 4. 다시 Explorer로 돌아와 New File 클릭해서 파일 생성후, .py 파일로 변환 5. 상단 Workspace에서 Show and Run Commands 클릭 후, Python: Select Interpreter 선택 6. .py 파일 왼쪽 클릭 후, Open in integrated terminal 클릭 7. pip install selenium 입력하여, 모듈 설치 8. "chrome://settings/h.. 2023. 4. 19.