TibaMe
系統初始化失敗,請重新整理頁面
若持續無法載入頁面,請 聯絡客服

丘祐瑋

ETL網路爬蟲實戰技巧

NT$700
人工智慧資料處理

Java資料探勘ETL網路爬蟲實戰技巧入門實戰!跟著丘祐瑋老師使用Java的各種套件輕鬆擷取、剖析各式資料成為資料數據專家!從蒐集資料、清理、剖析開始,將結構化資料萃取出來,課程總共兩大單元,8次課中小測驗,一步步紮實學習 Java ETL!

NT$700

目前尚無任何課程公告
講師將會在這發佈與課程相關的公告或是通知課程內容更新的公告。

最新討論

課程的補充教材.zip 下載無法使用
yungkeng · 2020/12/23 16:08
第4小節的程式沒辦法跑
陳啟琛 · 2020/05/22 01:09
請問要怎麼讀取網址的json檔?
謝戍乂 · 2020/02/04 22:04
無法讀取
張益嘉 · 2018/04/02 09:33
查看更多討論

課程資訊

default clock課程時長 2 小時 21 分
default video課程共 2 單元 38 小節
default download2 個可下載的 學習資源
icon_info_certificate提供完訓證書
default plan提供制定 學習計畫建議學習 2 週 (每週 2 小時)

適合對象

✔ 想開發資料產品或服務者
✔ 想從非結構化資料、萃取出結構化資料者

你可以學到



✔ 學會用Java的各種套件輕鬆擷取、剖析各式資料

✔ 學會用JDBC將資料儲存在MySQL或SQLite資料庫
✔ 學會用SQL及JfreeChart完成簡易的資料分析

課程介紹

進行資料分析前,最令人頭痛的絕對是如何快速蒐集資料,並透過清理、剖析的步驟,將結構化資料從非結構化資料中萃取出來。本課程將教您如何透過Java的各種套件輕鬆擷取、剖析各式資料,讓資料ETL不再成為令人頭痛的麻煩事。

萃取出結構化資料後,為了方便管理資料,必須將資料儲存至資料庫中;之後可利用SQL指令及圖表呈現數據,真正從資料中萃取出統計資訊。本課程將教您如何透過JDBC將資料儲存在MySQLSQLite資料庫,並使用SQLJfreeChart完成簡易的資料分析。

課程大綱
單元1:實戰 Java ETL – 數據整理第一步 (一)

-資料蒐集、清理與剖析課程介紹
-Java ETL概論(點這邊看試閱影片)
-如何讀取文字檔案內容
-如何讀取CSV 格式檔案
-如何讀取Excel格式檔案
-如何讀取XML格式檔案
-如何讀取JSON格式檔案
-課中測驗:檔案讀取實例(共5題)
-如何讀取爬取網頁資料
-網路爬蟲實例 (GET)
-網路爬蟲實例 (POST)
-JSOUP 及資料爬取測驗
-資料過濾(Filter)
-資料排序(Sort)
-資料轉換(Transform)
-資料合併(Merge)
-正規表達式
-課中測驗:正規表達式實例(共5題)
-時間轉換
-使用JSOUP篩選網頁資料
-網頁資料清理與剖析實例 – 以台灣金融資訊為例
-課中測驗:資料清理與剖析測驗(共5題)

單元2:實戰 Java ETL – 數據整理的第一步 (二)
-資料儲存、分析與圖形化課程介紹
-資料庫與ETL
-使用Java 連結MySQL
-使用Java 連結SQLite
-課中測驗:使用Java 連結資料庫測驗(共5題)
-透過Java 操作資料庫中的資料
-實際將資料儲存至資料庫 –以台灣金融資料為例
-使用SQL指令分析金融資訊
-課中測驗:使用Java 儲存資料測驗(共5題)
-Java 圖表套件 - JFreeChart(點這邊看試閱)
-課中測驗:基礎資料分析(共5題)
-JFreeChart 基礎 (圓餅圖)
-JFreeChart 基礎 (柱狀圖)
-JFreeChart 基礎 (折線圖)
-使用JFreeChart呈現金融統計圖表
-課中測驗:使用JfreeChart 產生分析圖表(共5題)

學習前基本能力

✔ 熟悉 Java 物件導向程式設計
✔ 略懂HTML、CSS網頁相關知識

學習前準備




課程資訊

default clock課程時長 2 小時 21 分
default video課程共 2 單元 38 小節
default download2 個可下載的 學習資源
icon_info_certificate提供完訓證書
default plan提供制定 學習計畫建議學習 2 週 (每週 2 小時)

關於講師

丘祐瑋

●經歷:
✔現任大數軟體 (LargitData)創辦人
✔曾於趨勢科技擔任工程師、資策會國際人才發展中心專業講師、選戰輿情分析師,亦是致力於提供 Data-as-a-Service 的創業者與資料科學家,在大數據分析上擁有相當豐富的實戰經驗。

目前專門提供各企業與政府機關輿情分析服務,客戶橫跨半導體、金融、網路、電信與政府機構等行業,過去更曾協助柯文哲團隊蒐集相關網路輿情,擬定相關策略應用在市長選戰中。

●擅長領域、專長:
✔ 機器學習✔ 大數據✔ 資料科學

●獲獎紀錄:
其團隊也曾榮獲AngelHacks台灣區首獎、台泰跨國黑客松-無敵黑客獎、中國雲計算大資料創新專案評選優勝以及兩岸四地協同創新路演大賽優異獎等國內外資料分析大賽的肯定。
1. 實戰 Java ETL – 數據整理第一步 (一)
22 小節
video common icon

資料蒐集、清理與剖析課程介紹

試看
video common icon

Java ETL概論

04:47
video common icon

如何讀取文字檔案內容

video common icon

如何讀取CSV 格式檔案

video common icon

如何讀取Excel格式檔案

video common icon

如何讀取XML格式檔案

video common icon

如何讀取JSON格式檔案

quiz common icon

檔案讀取實例

試看
video common icon

如何讀取爬取網頁資料

04:57
video common icon

網路爬蟲實例 (GET)

video common icon

網路爬蟲實例 (POST)

quiz common icon

JSOUP 及資料爬取測驗

video common icon

資料過濾(Filter)

video common icon

資料排序(Sort)

video common icon

資料轉換(Transform)

video common icon

資料合併(Merge)

video common icon

正規表達式

quiz common icon

正規表達式實例

video common icon

時間轉換

video common icon

使用JSOUP篩選網頁資料

video common icon

網頁資料清理與剖析實例 – 以台灣金融資訊為例

quiz common icon

資料清理與剖析測驗

2. 實戰 Java ETL – 數據整理的第一步 (二)
16 小節
video common icon

資料儲存、分析與圖形化課程介紹

video common icon

資料庫與ETL

video common icon

使用Java 連結MySQL

video common icon

使用Java 連結SQLite

quiz common icon

使用Java 連結資料庫測驗

video common icon

透過Java 操作資料庫中的資料

video common icon

實際將資料儲存至資料庫 –以台灣金融資料為例

video common icon

使用SQL指令分析金融資訊

quiz common icon

使用Java 儲存資料測驗

試看
video common icon

Java 圖表套件 - JFreeChart

02:09
quiz common icon

基礎資料分析

video common icon

JFreeChart 基礎 (圓餅圖)

video common icon

JFreeChart 基礎 (柱狀圖)

video common icon

JFreeChart 基礎 (折線圖)

video common icon

使用JFreeChart呈現金融統計圖表

quiz common icon

使用JfreeChart 產生分析圖表

學習附件

file-icon
第一單元補充教材.zip
319.01 KB
stage arrow to bottom
file-icon
第二單元補充教材.zip
18.79 KB
stage arrow to bottom

購買此課程後,才能使用留言功能

沒有回應的問題

目前尚無任何討論主題

成為第一個發問的人!在問答中找到學習的捷徑。

關於講師

丘祐瑋

●經歷:
✔現任大數軟體 (LargitData)創辦人
✔曾於趨勢科技擔任工程師、資策會國際人才發展中心專業講師、選戰輿情分析師,亦是致力於提供 Data-as-a-Service 的創業者與資料科學家,在大數據分析上擁有相當豐富的實戰經驗。

目前專門提供各企業與政府機關輿情分析服務,客戶橫跨半導體、金融、網路、電信與政府機構等行業,過去更曾協助柯文哲團隊蒐集相關網路輿情,擬定相關策略應用在市長選戰中。

●擅長領域、專長:
✔ 機器學習✔ 大數據✔ 資料科學

●獲獎紀錄:
其團隊也曾榮獲AngelHacks台灣區首獎、台泰跨國黑客松-無敵黑客獎、中國雲計算大資料創新專案評選優勝以及兩岸四地協同創新路演大賽優異獎等國內外資料分析大賽的肯定。
立即加入成為Line官方好友
become line friend
返回主選單
課程類型
影音課程
直播課程
實體課程
返回主選單
返回主選單
返回主選單
返回主選單