728x90

Python/Crawling 9

코로나 알림 봇 수정

코로나 알림 봇 수정 이 전에 작성한 코로나 알림 봇이 더이상 실행이 되지 않았다. (작업 스케줄러로 매일 실행하고 있었다.) 사이트에서 css가 변경되면서 내가 작성한 코드가 더 이상 적용되지 않아 오늘 수정하였다. 한 동안 수정을 못하고 spring에만 집중하고 있었더니 코로나 확진자 수가 몇 천명이 나온 것도 몰랐다.(❗) 그래서 크롤링 코드를 수정하고 크롤링 실행 성공 후에 봇으로 연결시켜서 실행을 시도했더니 아래와 같이 떴다. 그래서 str(total)로 작성하여 실행했더니 아래와 같이 떴다. 알고보니 text를 붙이지 않았다. text를 붙이고 다시 실행을 했는데 datetime이 실행되지 않았다. data = {"message": "\n" "{}월 {}일 현재 코로나 확진자 수는" + tot..

Python/Crawling 2022.01.27

쿠팡 최저가 봇 - 출력형식 변경

코드 수정 기존에는 4,000원대와 5,000원대 상품을 모두 보여줘서 크롤링을 진행했었는데 어차피 5,000원대 상품이 있어도 4,000원대 상품이 있으면 4,000원대만 볼 것이기 때문에 현재는 4,000원대 상품이 있으면 5,000원대 상품은 크롤링하지 않고 4,000원대 상품이 없으면 4,000원대 상품이 존재하지 않는다는 메세지와 함께 5,000원대 상품을 띄워주기로 했다. if문과 else문으로 나눠서 실행을 하였고 ture일 경우 실행되는 것을 확인한 후 4,000원대가 없을 경우 5,000원대가 띄워지는지 확인하기위해서 일부러 4,000원대는 없는 상품으로 만든 후에 실행이 잘 되는지 확인했다. if rd : data = {"message": "\n" "{}월 {}일 현재 오그래놀라팝 가격..

Python/Crawling 2022.01.16

쿠팡 _ 특정 상품 가격 크롤링(selenium)

쿠팡에서 상품을 검색하면 가격이 뜨는데 그 가격이 매일 달라진다. 이를 이용해 가격이 낮을 때를 확인하기 위해 크롤링했다. 해당 크롤링은 상품을 검색하고 나오는 첫 페이지만을 크롤링했다. selenium 처음에는 selenium으로 작성했었다. 가상선택자를 이용해서 css 선택자를 적었는데 실제로 실행해보면 적용이 되지 않았고 가상선택자를 이용해서 요소 검사를 해보면 실행이 되지 않았다. 가격이 낮을 때 상품을 구매하기 위해서 낮은 가격순으로 보게 한 다음 출력시키려고 했는데 css 선택자를 지정하는게 어려웠다. 그래서 대안으로 가격 범위를 지정해서 해당 상품만 크롤링하는 것으로 코드를 작성했는데 아래와 같은 화면이 계속 나오게 되었고 아래 코드를 사용하면 될 것이라는 글을 보아서 실행해 보았지만 여전히..

Python/Crawling 2021.09.09