Sign in Subscribe

curl

01
11月
104人力網站爬蟲: 如何只用shell script來抓取資料

104人力網站爬蟲: 如何只用shell script來抓取資料

想要抓取網路上的資料，大家可能都會想到python爬蟲，但有時並不需要那麼麻煩， linux command line tool就有許多好用的工具， 今天以104人力網站的為例，示範如何只使用shell script，就可以開始抓取資料! 前言 這邊假設大家已經有網路爬蟲的基本概念了，一般大家寫爬蟲最多人用的就是python， 流程就是到目標網站上操作，並且一邊觀察chrome dev tool，將http requests用python的requests套件重現，
5 min read
24
3月
curl 是什麼？Linux HTTP 指令完整教學與常用範例

curl 是什麼？Linux HTTP 指令完整教學與常用範例

curl 是什麼？完整介紹 curl 指令的用法，涵蓋 GET/POST 請求、Header 設定、檔案上傳下載、Cookie、SSL 憑證等常用範例，讓你快速上手 API 測試與除錯。
6 min read
24
3月
HTTP 簡介，以及使用telnet、nc、curl等指令來探索

HTTP 簡介，以及使用telnet、nc、curl等指令來探索

在網路的世界裡，HTTP扮演著一個重要角色，當你打開Instagram看著無以計數的照片、打開Youtube看看影片、在google上搜尋著你想要知道的答案、瀏覽著別人的網站文章，這些都是HTTP負責把上述的這些照片、影片、文字、等檔案資源從別處的伺服器搬到你的裝置裡，可能是你的手機、平板或是電腦． HTTP在OSI模型中，是屬於應用層(Application layer)裡的一個通訊協定，透過傳輸層(Transport layer)
6 min read