requests3 selenium사용하지 않고 네이버쇼핑 검색결과 크롤링하기 네이버 쇼핑의 검색 결과가 필요해졌습니다. 검색 페이지 크롤링하면 되니까 어렵지 않게 할 수 있을 거라고 생각했었는데 그게 아니었습니다. 대신 검색정보를 담고 있는 JSON파일을 찾을 수 있었고 더 쉬운 방법으로 해결이 되어서 내용을 남깁니다. 크롤링의 기본은 사이트의 구조를 파악하는 일이죠. 저는 특정 카테고리의 해외직구 제품 네이버 랭킹 1~100위 제품을 가져올 계획이고 여기서 그 카테고리는 TV입니다. 먼저 해당 페이지를 분석해보겠습니다. "네이버 > 쇼핑 > 카테고리TV > 해외직구"로 이동합니다. F12 or Ctrl+Shift+I 를 눌러서 "개발자 도구"를 열어줍니다. 여기서는 로딩되는 웹페이지의 모든 정보를 볼 수 있습니다. 그리고 좌측 상단의 마우스 모양의 버튼 or Ctrl+Shift.. 2021. 7. 9. 파이썬으로 라인 메신저에 알림(메시지) 보내기 - Python to LINE Notify 파이썬으로 모니터링을 돌리고 있을 때 그 결과를 스마트폰으로 간편하게 받을 때 유용한 방법입니다. 라인 메신저에서 제공하는 "LINE Notify"를 이용하면 간단히 해결할 수 있습니다. LINE 설치, 가입 먼저 LINE Notify를 이용하기 위해서 라인 서비스를 사용하고 있어야 하는데요. 저도 기본 메신저는 카카오톡을 사용하기 때문에 추가로 설치를 했는데, 고맙게도 라인에서는 저처럼 부계정으로 사용하기에 적합한 라이트 버전을 제공하고 있습니다. 라인 라이트 버전을 설치하고 나서 간단히 가입절차 진행합니다. 라인 앱에서 설정 >> 계정 메뉴로 이동해서 메일, 비밀번호를 입력하고 중간에 있는 로그인 허용 옵션을 활성화해 줍니다. 이렇게 하면 앱에서 할 일은 끝났습니다. LINE Notify 토큰 발급 .. 2021. 6. 5. 로그인 후 리디렉팅하는 사이트 크롤링 파이썬에서는 크롤링을 아주 쉽게 할 수 있습니다. 파이썬을 모른다고 하더라도 예제 코드만 있으면 손쉽게 원하는 크롤링을 해볼 수 있을 정도로 간단한데, 오늘은 간단하게 시작했다가 몇 번의 시행착오를 격고서야 성공할 수 있었던 크롤링 작업에 대한 로그입니다. 로그인을 해서 권한을 얻은 후에 접근할 수 있는 페이지를 크롤링해야 할 일이 생겼고, 관련 예제는 인터넷에서 쉽게 찾을 수 있었습니다. import requests from bs4 import BeautifulSoup login_url = '로그인페이지주소/login.aspx' crawl_url = '크롤링할주소\Status.aspx' login_info = { 'UserID': '아이디', 'UserPW': '비밀번호' } with requests... 2021. 5. 17. 이전 1 다음
