筆記Apache NiFi(二) - 範例自動Twitter Streaming API與存檔

基本兩個Processor範例Twitter Streaming API接到資料後將json儲存在本機硬碟裡。

1. 至Application Management申請Twitter APP

a. Application Management

https://apps.twitter.com

b. Create New APP

c. 鍵入資料

d. 至App頁面的Keys and Access Tokens分頁

e. Create my access token

f. 取得所需之Consumer Key、Consumer Secret、Access Token與Access Token Secret

2. 開啟NiFi Web UI

http://localhost:8080/nifi/

3. 建立資料輸入Processor

a. 拉出一個Processor

b. 選擇GetTwitter

c. 右鍵點選Configure

d. 設定資料

i. 輸入token與key

ii. 選擇twitter filter的參數，範例為選擇Filter，其他Streaming API用法請參考 https://dev.twitter.com/streaming/overview

iii. Terms to Filter On， 空格代表AND， 『,』代表OR， ex. 『he was, boy』則為『(he AND was) OR boy』

iv. Scheduling分頁可選擇Timer或CRON方式，如不選擇預設為Timer，Run schedule為0代表一個task完成後不等待直接下一個task，Run duration為執行完成後會延遲的時間，0代表只會執行一次且不延遲。

4. 建立資料輸出Processor

a. 拉出一個Processor

b. 選擇PutFile

c. 右鍵點選Configure

d. 設定資料

i. Directory範例設為/data/tweets/

e. 選擇為失敗或成功都接收

5. 建立輸入與輸出連結

6. 啟動Processor

7. 檢查資料