linux

09
Nov

Nodejs: 如何逐行讀取檔案,或使用Unix pipe與其他process互動

這篇文章將介紹如何使用Nodejs的readline module來一行一行地讀取檔案, 接著既然都可以從檔案中逐行讀取了,那也可以從standard input中逐行讀取吧, 如此一來,就可以跟其他linux command一樣,一起使用pipe!像下面這樣: cat words.txt | node wc.js readline * createInterface: 首先使用readline.createInterface(
2 min read
05
Nov

[Golang] 如何逐行讀取檔案,或使用shell pipe到go process

這篇將示範如何用go的bufio,開啟檔案並且一行一行地讀取資料, 最後示範直接用unix pipe將資料pipe給我們的go程式,做到像下面這樣的事: cat words.txt | go run ./wc.go bufio.Scanner 我們將使用bufio.Scanner來一行一行地讀取檔案內容,先看看會用到的function們的signature: * func NewScanner(r
3 min read
01
Nov
104人力網站爬蟲: 如何只用shell script來抓取資料

104人力網站爬蟲: 如何只用shell script來抓取資料

想要抓取網路上的資料,大家可能都會想到python爬蟲,但有時並不需要那麼麻煩, linux command line tool就有許多好用的工具, 今天以104人力網站的為例,示範如何只使用shell script,就可以開始抓取資料! 前言 這邊假設大家已經有網路爬蟲的基本概念了,一般大家寫爬蟲最多人用的就是python, 流程就是到目標網站上操作,並且一邊觀察chrome dev tool,將http requests用python的requests套件重現,
5 min read
30
Aug
幾個我常用的vim的功能

幾個我常用的vim的功能

作為一個軟體工程師,我們花在文字編輯器上的時間一定佔了一定的比例, 更精通熟悉我們使用的編輯器的話,開發的效率可以提升很多,今天就來分享一些我蠻常會用到的vim的功能~ Introduction Vim是一個modal editor,可以切換在各個模式之間,一開始時是在normal mode,今天要介紹的功能, 都是在normal mode下操作的,按i或a可以進入insert mode,按esc即可以退回normal mode。 我通常比較常使用a,因為當把指標移到最後時,
3 min read
24
Mar
curl 是什麼?Linux HTTP 指令完整教學與常用範例

curl 是什麼?Linux HTTP 指令完整教學與常用範例

curl 是什麼?完整介紹 curl 指令的用法,涵蓋 GET/POST 請求、Header 設定、檔案上傳下載、Cookie、SSL 憑證等常用範例,讓你快速上手 API 測試與除錯。
6 min read
24
Mar
HTTP 簡介,以及使用telnet、nc、curl等指令來探索

HTTP 簡介,以及使用telnet、nc、curl等指令來探索

在網路的世界裡,HTTP扮演著一個重要角色,當你打開Instagram看著無以計數的照片、打開Youtube看看影片、在google上搜尋著你想要知道的答案、瀏覽著別人的網站文章,這些都是HTTP負責把上述的這些照片、影片、文字、等檔案資源從別處的伺服器搬到你的裝置裡,可能是你的手機、平板或是電腦. HTTP在OSI模型中,是屬於應用層(Application layer)裡的一個通訊協定,透過傳輸層(Transport layer)
6 min read
05
May
[Networking]Application Layer Overview,什麼是Socket?

[Networking]Application Layer Overview,什麼是Socket?

Process communication 上次講過了網路的分層架構之後,接下來要來關注application layer,這一層就是我們應用程式所在的地方,應用程式可能是網頁瀏覽器、電子信箱、Skype等等,每種不同的應用程式會有他們自己的通訊協定,規定應用程式之間該如何交換資料,以及資料的格式,常見的協定例如是HTTP、FTP、DNS等等. 那application layer的process們之間要怎麼互相通訊呢?就是要利用transport layer所提供的服務. What
3 min read