产品发布 | 交通大数据实训室助力高校培养复合型大数据人才

以东软交通时空大数据统计分析平台的业务场景和数据为载体，引入大数据平台的整体实现过程、最新技术及主流工具的应用。项目包括以Flink技术为核心的大数据平台搭建、实时数据采集与处理、离线数据同步与处理、数据分析与挖掘、数据可视化五个实践模块。设计模拟交通监控设备所产生的数据，通过实时和离线的数据分析方法，提供有关交通流量、违法行为和交通安全等方面的信息及数据分析结果。

交通大数据采集与处理实践包括数据采集环境准备、实时业务数据采集、车流量数据预处理、交通事故数据同步五个实践模块，涉及大规模的时空数据采集、实时处理和离线分析，并使用适当的技术和工具对车辆流量、车速、车辆类型等数据进行数据处理和存储。

交通大数据分析与可视化实践包括车流量数据开发、实时车流量数据分析、交通事故数据分析、人群空间轨迹数据分析、数据源连接与数据集创建、MySQL数据图表设计与渲染、clickhouseL数据图表设计与渲染七个实践模块，涵盖了数据整合与关联、MySQL 数据关联分析、Flink 实时流处理与窗口函数、ClickHouse 数据存储、Python 数据分析和Superset 数据可视化展示等相关技术。

通过本项目实践，学生将理解交通数据的业务含义，通过数据挖掘算法，发现隐藏在数据背后的有价值信息和规律，并采用合适的图表进行展现。学生将熟练运用Xshell、Xftp、Navicat、IDEA、Mysql、Hadoop、Kafka、zookeeper、JDK、Flink、 FlinkCDC、Hbase、Phoenix、ClickHouse、Superset、Redis、Python等技术和工具，提升对实际问题的解决能力和实践操作的熟练度。

交通大数据平台搭建与部署实践以掌握Flink+ClickHouse以及相关组件的安装和配置为目标，包括分布式存储系统 Hadoop 和 HDFS、实时流处理框架 Flink、分布式列存储数据库 HBase、基于 HBase 的关系型数据库引擎 Phoenix、实时数据的传输和处理工具 Kafka、用于存储实时分析结果数据库ClickHouse 以及内存数据库 Redis 等。

通过本项目实践，学生将获得实际操作的经验，了解各个工具的安装要求和步骤，熟悉配置文件的设置和调整。同时，还掌握了获得解决问题和故障排查的能力，帮助学生体验和掌握大数据应用实施与运维工作的基本任务和相关技术。学生将熟练运用Linux、JDK、Hadoop、HDFS、YARN、Kafka、Redis、HBase、Flink、Phoenix、ClickHouse等，提升学生对实际问题的解决能力和实践操作的熟练度。

实训室实践教学体系设计基于东软TOPCARES教育方法论，可以兼容高校大数据及大数据相关专业人才培养体系，融入“新理论、新技术、新工具、新应用、新产品”元素，为高校数据科学与大数据技术专业、计算机科学与技术专业的大数据方向、大数据技术专业的实践教学体系建设和改革提供实践平台和产业项目资源支撑。

学生根据老师布置的实践要求和任务步骤逐步完成实践安排，也可根据项目提供的文档进行学习与查看，帮助学生“学中做，做中学”。

针对教学过程中的过程埋点记录、结果数据分析、学习行为数据、实训过程数据、成绩数据等数据，进行实时统计，并通过实训分层分数统计更细致化展现学生对技能点的掌握情况，从而更全面得呈现课程教学效果。

根据目标岗位能力模型和核心能力要求，构建实践技能点与人才和岗位自适应匹配，使得学生能力模型化、学习智能化、成果可视化、过程可监控、人才可评测、岗位可匹配。