產品發布 | 交通大數據實訓室助力高校培養複合型大數據人才

以東軟交通時空大數據統計分析平台的業務場景和數據為載體，引入大數據平台的整體實現過程、最新技術及主流工具的應用。項目包括以Flink技術為核心的大數據平台搭建、實時數據採集與處理、離線數據同步與處理、數據分析與挖掘、數據可視化五個實踐模塊。設計模擬交通監控設備所產生的數據，通過實時和離線的數據分析方法，提供有關交通流量、違法行為和交通安全等方面的信息及數據分析結果。

交通大數據採集與處理實踐包括數據採集環境準備、實時業務數據採集、車流量數據預處理、交通事故數據同步五個實踐模塊，涉及大規模的時空數據採集、實時處理和離線分析，並使用適當的技術和工具對車輛流量、車速、車輛類型等數據進行數據處理和存儲。

交通大數據分析與可視化實踐包括車流量數據開發、實時車流量數據分析、交通事故數據分析、人群空間軌跡數據分析、數據源連接與數據集創建、MySQL數據圖表設計與渲染、clickhouseL數據圖表設計與渲染七個實踐模塊，涵蓋了數據整合與關聯、MySQL 數據關聯分析、Flink 實時流處理與窗口函數、ClickHouse 數據存儲、Python 數據分析和Superset 數據可視化展示等相關技術。

通過本項目實踐，學生將理解交通數據的業務含義，通過數據挖掘演算法，發現隱藏在數據背後的有價值信息和規律，並採用合適的圖表進行展現。學生將熟練運用Xshell、Xftp、Navicat、IDEA、Mysql、Hadoop、Kafka、zookeeper、JDK、Flink、 FlinkCDC、Hbase、Phoenix、ClickHouse、Superset、Redis、Python等技術和工具，提升對實際問題的解決能力和實踐操作的熟練度。

交通大數據平台搭建與部署實踐以掌握Flink+ClickHouse以及相關組件的安裝和配置為目標，包括分散式存儲系統 Hadoop 和 HDFS、實時流處理框架 Flink、分散式列存儲資料庫 HBase、基於 HBase 的關係型資料庫引擎 Phoenix、實時數據的傳輸和處理工具 Kafka、用於存儲實時分析結果資料庫ClickHouse 以及內存資料庫 Redis 等。

通過本項目實踐，學生將獲得實際操作的經驗，了解各個工具的安裝要求和步驟，熟悉配置文件的設置和調整。同時，還掌握了獲得解決問題和故障排查的能力，幫助學生體驗和掌握大數據應用實施與運維工作的基本任務和相關技術。學生將熟練運用Linux、JDK、Hadoop、HDFS、YARN、Kafka、Redis、HBase、Flink、Phoenix、ClickHouse等，提升學生對實際問題的解決能力和實踐操作的熟練度。

實訓室實踐教學體系設計基於東軟TOPCARES教育方法論，可以兼容高校大數據及大數據相關專業人才培養體系，融入「新理論、新技術、新工具、新應用、新產品」元素，為高校數據科學與大數據技術專業、計算機科學與技術專業的大數據方向、大數據技術專業的實踐教學體系建設和改革提供實踐平台和產業項目資源支撐。

學生根據老師布置的實踐要求和任務步驟逐步完成實踐安排，也可根據項目提供的文檔進行學習與查看，幫助學生「學中做，做中學」。

針對教學過程中的過程埋點記錄、結果數據分析、學習行為數據、實訓過程數據、成績數據等數據，進行實時統計，並通過實訓分層分數統計更細緻化展現學生對技能點的掌握情況，從而更全面得呈現課程教學效果。

根據目標崗位能力模型和核心能力要求，構建實踐技能點與人才和崗位自適應匹配，使得學生能力模型化、學習智能化、成果可視化、過程可監控、人才可評測、崗位可匹配。