결론부터 말하면 프로젝트를 중단하기로 했다....하하
프로그램 개발 중에 문제가 생겼다.
어떤 특정한 테이블 안에 있는 정보를 가져오려고 했는데
개발자 도구에서는 테이블 내용(소스)이 뜨는데 페이지 소스보기 를 하면 해당 내용이 보이지 않았다.
엥??
왜 개발자 도구에서는 뜨고 페이지 소스보기에서는 안 뜰까?
아는 개발자님께 여쭤보았다.
데이터 비용이 발생되어 서버사이드 렌더링을 하고 있기 때문이란다.
하긴 정보 수집만을 위한 접근만을 하는 것이니 비용은 비용대로 나가고 실사용자가 접근하는 건 아니니깐...
서버에서는 막고 싶긴하겠지
그래도 이건 나의 추측이고
실제 개발자의 이유를 상세하게 묻고 싶어 좀 더 여쭤보았다.
오호라 그렇군요!
돈을 내지도 않는데 정보를 빼내는데다 서버에 비용까지 발생케하고
서비스 만드는 사람들은 싫어하는 행위였군용....(전혀 생각치도 못했음)
어제 저 얘길 듣고 좀 찾아보았다.
흐음....
사실 테이블 안에만 정보가 없는 거지
스크립트에 제이슨으로 정보가 온 걸 확인하긴 해서 제이슨을 풀어서 가져오면 어찌저찌 정보를 가져올 순 있지만..
크롤링 자체가 불법적인 일은 아니나 문제가 될 수 있는 행위이고
서비스에서는 스크레이핑을 싫어하기때문에 막기 위해 최선을 다한다면
내가 굳이 정보 수집 프로그램을 만들필요는 없을 거 같당.
왜냐면 나는 내 친구에게 도움을 주고 싶어서 시작한 일이긴 하지만
그래도 남에게 피해를 주면서까지 하고 싶진 않거덩....ㅠ
그래서 오빠에게도 양해를 구했다...ㅠ (위에는 왜 안 되는지 설명했는데 넘 길어서 자름)
어쨌든 아쉽게도 개발은 여기서 중단...
그래도 프로젝트는 해야하고
그냥 개발 말고 좀 더 남들에게 도움이 되는 개발을 하고 싶은데
그게 뭐가 있을까...? 좀 생각해봐야겠당 ㅠ_ㅠ 흑
그래도... 휴롤링 개발 관련 git 은 여기 있습니다~
https://github.com/h0l1da2/Hyurawling
GitHub - h0l1da2/Hyurawling: 중단 프로젝트
중단 프로젝트. Contribute to h0l1da2/Hyurawling development by creating an account on GitHub.
github.com
'프로젝트 > 개인 프로젝트) 휴롤링 (중단)' 카테고리의 다른 글
프로젝트 시작 ) 크롤링을 해볼래요. (1) | 2023.10.09 |
---|