[팩플] 무임승차? 필수 기술?…웹 크롤링 허용 범위 논란

팩플 오리지널

관심

팩플레터 228호, 2022. 4.22

Today's Topic 거미 로봇 키워도 돼? 안돼?

‘금요 팩플’ 설문 언박싱입니다! 지난 19일 화요일엔 ‘거미가 내려온다, 네이버가 화났다’ 레터를 보내드렸습니다. 박민제·이승호 기자가 취재했는데요. 오늘은 박민제 기자 취재 후기를 전해드립니다.

크롤링은 인터넷의 역사와 궤를 같이하는 기술입니다. 논문 『웹 크롤러 : 리뷰』 (Web Crawler: A Review)에 따르면 최초의 크롤러는 1993년 나온 월드 와이드웹 원더러(World Wide Web Wanderer)입니다. 처음엔 웹의 크기를 측정하는 데 사용했는데 나중엔 검색 엔진인 완덱스(Wandex)의 색인을 만드는 데 쓰였다고 합니다. 인터넷 세상에 원하는 정보를 찾아주는 검색 엔진은 크롤러 없이는 발전할 수 없었던 기술이죠.