“大数据技术与应用”大赛竞赛规程
一、项目名称
大数据技术与应用（赛项编号：XX2004）
二、竞赛目的
本赛项的设置，一方面是为了促进大数据的学习，另一方面也是为了选拔出2021年安徽省职业技能大赛参赛选手。赛项围绕对Hadoop集群的安装部署、配置与管理，Hadoop常用操作命令使用，简单数据仓库Hive的建表查询，MapReduce简单编程，以及对互联网上信息，进行抓取，数据清洗及处理，并进行可视化展示。赛项选取大数据真实业务分析应用场景，重点检验参赛选手掌握大数据平台搭建能力、运用Hadoop及Python软件解决具体业务问题的能力，激发学生对大数据知识和技术的学习兴趣，提升学生职业素养和职业技能，促进专业教育。
三、竞赛时间地点
时间：2020年12月8日 晚上17：30。
地点：9306实训室。
四、竞赛方式和内容
（一）竞赛方式
个人赛，竞赛时间为4个小时。
本次竞赛内容设计将结合大数据技术与应用省赛规程和大数据行业发展趋势和人才能力要求，针对软件技术专业在专业定位、课程设置、授课模式等方面存在的问题，设计赛题和考核形式，从而促进软件技术专业教学内容和教学方法的改革。
（二）竞赛内容
表1：竞赛知识与技能点
内容模块 |
具体内容 |
Hadoop平台安装部署 |
Hadoop平台安装部署和基本配置、调优。利用Hadoop建立计算的过程。 |
HDFS常用操作命令（查询文件、上传、删除文件、查询HDFS基本统计信息）。 |
掌握MapReduce 结构，Hive 建表，查询，整理，编写简单的程序 |
数据抓取、清洗、整理、分析 |
给定网址，按指定的要求，抓取相关数据，过滤掉无效数据，进行数据清洗及格式处理后，存入文件中 |
给定csv格式数据文件，对数据文件进行清洗、整理、分析，产生分析结果，存入文件中，工具不限。 |
可视化展示 |
使用Python编程工具，利用numpy、pandas、matplotlib、scikit 模块,实现对分析结果的可视化展示。 |
五、竞赛规则
1. 比赛时间为4个小时，比赛过程连续进行。
2. 参赛选手的赛题以任务书形式发放，竞赛所需要软件在赛前植入参赛选手的计算机，参赛选手根据任务书要求完成竞赛任务
3.统一布置竞赛需要的软硬件环境。选手不得私自携带任何移动存储、辅助工具等进入赛场。
4. 现场比赛结束，经竞赛老师确认后方可离开赛场。
5.参赛选手应严格遵守赛场纪律，服从指挥，着装整洁，仪表端庄，讲文明礼貌。
6. 其它未尽事宜，将在赛前做详细说明。
六、评分方法及奖项设定
（一）评分方法
竞赛评分制定严格遵守公平、公正和公开原则。
赛项评分依据选手在实操任务中的成果，通过评分对比赛成果评分，并兼顾团队协作精神和职业素养综合评定。
评分采用检查实际操作结果和程序代码，展示运行结果和操作步骤，以及选手实际答辩相结合。
评分时，每名评分老师依据标准，自主独立评分，最后取所有老师评分的平均值作为最终成绩，降低人为干扰因素造成的评分误差。
当总分相同时，再按照所用时间的排序确实，用时少的优先。
（二）评分细则
考试 模块 |
考核点 |
|
评分标准 |
Hadoop平台安装部署 |
Hadoop平台安装部署和基本配置、调优。利用Hadoop建立计算的过程。 |
20 |
根据完成配置文件数量，参数优化性，确定分值 |
HDFS常用操作命令（查询文件、上传、删除文件、查询HDFS基本统计信息）。 |
10 |
能否用正确命令完成HDFS文件的上传，删除和查询，作为评分标准 |
掌握MapReduce 结构，Hive 建表，查询，整理，编写简单的程序 |
10 |
数据表单创建、数据导入、Hive调优是否有效，作为标准 |
数据抓取、清洗、整理、分析 |
给定网址，按指定的要求，抓取相关数据，过滤掉无效数据，进行数据清洗及格式处理后，存入文件中 |
20 |
爬取数据的内容、大小，是否符合赛题要求，数据的抓取、预处理、优化过程是否符合赛题要求；以预处理算法的适用性,正确率，速度作为标准指标 |
给定csv格式数据文件，对数据文件进行清洗、整理、分析，产生分析结果，存入文件中，工具不限。 |
20 |
数据清洗、整理、分析的完成质量，算法的合理性，适用性,正确率，处理速度作为评分指标 |
可视化展示 |
使用Python编程工具，利用numpy、pandas、matplotlib、scikit 模块,实现对分析结果的可视化展示。 |
20 |
数据挖掘结果呈现易理解程度，可视化展示是否完成，展示结果是否正确 |
（三）奖项设定
按照实际参加决赛的学生人数设置奖励名额。如实际参加决赛人数≤个人比赛项目设奖数的，最高获奖比例不得超过50%。
实际参加决赛50人以下，设一等奖1个、二等奖2个、三等奖3个；50人-100人，设一等奖2个、二等奖4个、三等奖6个；100人以上，设一等奖3个、二等奖6个、三等奖10个。
奖励标准：一等奖300元、二等奖200元、三等奖100元。
七、指导老师及联系方式
郑有庆，18956007703；霍卓群，13866748880
