ETL網路爬蟲實戰技巧

進行資料分析前，最令人頭痛的絕對是如何快速蒐集資料，並透過清理、剖析的步驟，將結構化資料從非結構化資料中萃取出來。本課程將教您如何透過Java的各種套件輕鬆擷取、剖析各式資料，讓資料ETL不再成為令人頭痛的麻煩事。

萃取出結構化資料後，為了方便管理資料，必須將資料儲存至資料庫中；之後可利用SQL指令及圖表呈現數據，真正從資料中萃取出統計資訊。本課程將教您如何透過JDBC將資料儲存在MySQL或SQLite資料庫，並使用SQL及JfreeChart完成簡易的資料分析。

課程大綱
單元1：實戰 Java ETL – 數據整理第一步 (一)
-資料蒐集、清理與剖析課程介紹
-Java ETL概論(點這邊看試閱影片)
-如何讀取文字檔案內容
-如何讀取CSV 格式檔案
-如何讀取Excel格式檔案
-如何讀取XML格式檔案
-如何讀取JSON格式檔案
-課中測驗：檔案讀取實例(共5題)
-如何讀取爬取網頁資料
-網路爬蟲實例 (GET)
-網路爬蟲實例 (POST)
-JSOUP 及資料爬取測驗
-資料過濾(Filter)
-資料排序(Sort)
-資料轉換(Transform)
-資料合併(Merge)
-正規表達式
-課中測驗：正規表達式實例(共5題)
-時間轉換
-使用JSOUP篩選網頁資料
-網頁資料清理與剖析實例 – 以台灣金融資訊為例
-課中測驗：資料清理與剖析測驗(共5題)

單元2：實戰 Java ETL – 數據整理的第一步 (二)
-資料儲存、分析與圖形化課程介紹
-資料庫與ETL
-使用Java 連結MySQL
-使用Java 連結SQLite
-課中測驗：使用Java 連結資料庫測驗(共5題)
-透過Java 操作資料庫中的資料
-實際將資料儲存至資料庫 –以台灣金融資料為例
-使用SQL指令分析金融資訊
-課中測驗：使用Java 儲存資料測驗(共5題)
-Java 圖表套件 - JFreeChart(點這邊看試閱)
-課中測驗：基礎資料分析(共5題)
-JFreeChart 基礎 (圓餅圖)
-JFreeChart 基礎 (柱狀圖)
-JFreeChart 基礎 (折線圖)
-使用JFreeChart呈現金融統計圖表
-課中測驗：使用JfreeChart 產生分析圖表(共5題)