01
11月
104人力網站爬蟲: 如何只用shell script來抓取資料
想要抓取網路上的資料,大家可能都會想到python爬蟲,但有時並不需要那麼麻煩,
linux command line tool就有許多好用的工具,
今天以104人力網站的為例,示範如何只使用shell script,就可以開始抓取資料!
前言
這邊假設大家已經有網路爬蟲的基本概念了,一般大家寫爬蟲最多人用的就是python,
流程就是到目標網站上操作,並且一邊觀察chrome dev tool,將http requests用python的requests套件重現,
5 min read