我司与汽车职业学校合作hololens混合现实开发汽车发动机辅助检修项目。
概述
该软件旨在通过学校自身的师资力量和教学场地及现有教学装备，构建现代职业教育体系，加快学校发展现代职业教育，培养适合本市经济发展需要的技术技能人才。通过MR（混合现实）技术为发动机检修专业提供一个虚拟仿真教学课程研究与开发、教学研究与实验实践的平台。
目标
- 特色性：根据专业学习对口企业岗位的实际生产需要设计软件，来进行MR教学。
- 实用性：通过虚实结合、强化训练提高教学效率。
- 创新性：利用最新的MR技术手段，使学生耳目一新，积极主动的掌握知识点和技能。
- 数据性：利用软件教学，方便采集教学数据，使教学结果有直观的体现，为教学分析和研究打下基础。
方案简析
- 使用微软的MR头显HoloLens，将软件安装其中后使用。
- MR教学场景，合并现实和虚拟世界而产生的新的可视化环境，产生的虚拟对象为全息图像，例如三维模型，窗口、菜单等。
- 通过头部凝视虚拟对象和手势操作，来实现虚拟交互。例如点击按钮、拖动物体等。
- 识别现实世界物体，进行相应功能开发，例如对学生实际操作的智能评分系统。
- HoloLens直播，将在设备中看到和听到的虚实结合的场景投放到大屏幕，供所有学生观看，方便教学。
- 将HoloLens教学的操作数据和部分视频通过服务器保存。
- 后台管理系统，管理和查看师生和教学数据信息等。
- 远程教学和指导，老师可在电脑上指导戴HoloLens的学生操作。
界面截图：
- 远程指导
教师利用虚拟仿真画面、实时操作视频进行实时、随机、示范性动作
- 直播教学
以直播视频形式实施教学展示
- 混合现实教学
学生可以进行自助式操作，形成虚拟仿真与现实操作高度融合
- 完美叠加的视频教学画面
实施方案
本方案为制作发动机气门的检修教学，以后制作发动机其它部分的检修可相应地添加到本软件中。
全息显示示例
- UI：用于显示菜单、按钮、文本或图片信息；用于用户输入信息。
- 三维模型和动画：模型用于展示零件或工具外观，动画用于展示零部件拆装和工作原理。
功能说明
- 学生需登录后才可使用本软件进行教学，登录方式为在软件初始界面输入学号和密码。
- 登录成功后，选择课次，课次由老师在后台编辑，由老师告诉学生应选择哪个课次，系统默认为最新课次。
- 进入教学后，学生的学号、姓名、课次和教学名称始终显示在视野固定位置，比如左上角。本方案中教学名称只有“发动机气门的检修”。
- 选择教学模式进行教学，教学模式分为学习模式、练习模式和评分模式。
学习模式：让学生了解零部件、工具使用和拆装过程。
练习模式：学生进行实物操作，有全息界面提示，学生可以随时查看当前该如何操作。
评分模式：学生进行实物操作，软件对学生操作进行一定程度的识别进行智能评分。
- 直播HoloLens教学
老师可以通过电脑登录HoloLens管理平台（一个局域网的ip），直播HoloLens中的内容，其他学生可以在与电脑连接的显示设备上观看头戴HoloLens使用者的体验全过程。老师对一个学生指导，其他学生全部可以受益，提高教学效率。除了评分模式和远程指导的教学，都可以进行直播。
- 远程指导教学
通过使用HoloLens上的skype软件，可以让老师在电脑上一对多远程指导，在skype软件上可以视频、语音、甚至作图指导。老师在电脑上作的图，会在戴HoloLens的学生眼前转化为全息图像。
- 教学数据采集和保存
数据分为文本数据和视频数据，两者互为补充。
文本数据：记录软件操作日志。比如登录情况、选择的教学模式、教学模式使用情况等。
视频数据：直播HoloLens和远程指导的教学在电脑上可以看到视频，用录像软件录屏。评分模式如果需要录制视频，可以在HoloLens管理平台录制，但是每段录像只能录5分钟，所以用文本数据记录此教学过程。
文本数据，系统会自动记录并提交给服务器保存。
视频数据需要老师手动录制，将录制的视频文件通过后台管理界面上传到服务器保存。
- 后台管理系统
师生数据和教学数据的管理平台。
教学模式内容
- 学习模式
零部件和专用工具通过静态模型和UI展示，模型可以移动、旋转和缩放。
拆装过程通过三维动画和UI展示。
以下是展示内容
1.零部件：
- 进排气凸轮轴
- 气门挺柱
- 进排气门
2.专用工具：
1）
2）
3）
3.拆装过程：
- 凸轮轴的拆卸
- 气门挺柱的拆卸
- 气门的拆卸
- 凸轮轴安装
- 气门挺柱的安装
- 气门的安装
- 练习模式
全息界面提示操作流程，辅助学生实际操作。
练习前进行拆装分步选择，与学习模式的拆装过程类似，分成6步。选择后，全息界面提示当前拆装的步骤提示。
例如进行“凸轮轴的拆卸”，界面上提示<拆下4个凸轮轴轴承盖螺栓。注意: 用一把塑料锤轻轻敲打以松开轴承架。>，可以点击上一步下一步按钮查看提示，点击下一步之后，提示<拆下第一凸轮轴轴承盖>，点击上一步，又回到之前的提示，以此类推。
另外还可随时点击动画按钮，查看动画演示。
- 评分模式
老师在教学前，先在后台管理系统设置这次教学的内容（具体设置见后台管理系统介绍）。
学生进入评分模式后，系统会提示需要评分检测的内容，是否检测到内容会有标记提示。检测内容分为步骤检测和零件检测。另外，有“维修记录单”和“提交”按钮。“维修记录单”点击后出现记录单通过手势点击完成填写；“提交”点击后显示此次教学的评分。
1.步骤检测，系统会用实物识别检测是否完成此步骤，识别顺序按照步骤顺序（以下图片为检测实物）。
1）进、排气凸轮轴拆卸
2）全部气门挺柱的拆卸
3）对指定的一个汽缸的两组进、排气门进行拆卸
4）对指定的一个汽缸的两组进、排气门进行组装
5）全部气门挺柱的组装
6）进、排气凸轮轴组装
2.零件检测，系统会用实物识别一些拆卸过程中的关键零件，以辅助评分。
- 进排气凸轮轴
- 气门挺柱
- 进排气门
3.维修记录单
- 主要内容按照下图表格
- 填写表格方式
合格/不合格：点击选择
处理部分：点击选择，选择项有“正常”和其他后台设置好的选项
数字部分：点击填写处，虚拟键盘填写。
- 检测答案方式
根据后台设置好的正确答案核对。
4.提交
系统将此次评分数据（包括步骤检测、零件检测、维修记录单）上传到后台保存，并显示最终评分。
评分初步设定：
| 项目 | 小项 | 评分 |
| 步骤检测 | 进、排气凸轮轴拆卸 | 8 |
| 全部气门挺柱的拆卸 | 3 | |
| 对指定的一个汽缸的两组进、排气门进行拆卸 | 14 | |
| 对指定的一个汽缸的两组进、排气门进行组装 | 14 | |
| 全部气门挺柱的组装 | 3 | |
| 进、排气凸轮轴组装 | 8 | |
| 零件检测 | 进排气凸轮轴 | 4 |
| 气门挺柱 | 3 | |
| 进排气门 | 4 | |
| 维修记录单 | 进排气门外观检查 | 4 |
| 进排气门长度测量 | 6 | |
| 进排气门头部直径测量 | 6 | |
| 进排气门锥面接触面宽度测量 | 6 | |
| 汽缸盖上进排气门座接触面宽度测量 | 6 | |
| 进排气门对气门座同心度检查 | 5 | |
| 气门与气门座接触面的位置检查 | 6 | |
| 总计 | 100 |
后台管理系统
- 登录身份
登录身份分为管理员、老师、学生。
管理员：最高权限，可以查看和操作所有数据
老师：可以编辑和查看自己的数据以及查看所教学生的数据
学生：可以查看自己的数据
- 后台内容
1.管理员
- 编辑和查看老师信息数据
账号/工号
初始密码固定123456
姓名
所教班级
- 编辑和查看学生信息数据
账号/学号
初始密码固定111111
姓名
班级
- 编辑和查看班级信息数据
班级编号
班级名称
- 编辑和查看教学内容信息数据
教学编号
教学名称
- 编辑和查看教学数据
可根据班级、教学名称和教学老师筛选
课次：系统根据老师编辑课次内容自动生成
时间：上课的时间
班级
教学老师
学生操作记录：登录、选择的教学模式、评分模式数据（包含各项评分和总分）、老师评语
教学视频：老师上传的此课次的视频
2.老师
- 修改自己的密码
- 新建或修改课次内容
时间：上课的时间
教学名称
班级：使用此课次的班级
评分模式内容：选择一个已经设置好的内容，供评分模式教学使用。
- 新建或修改评分模式内容
教学名称
评分模式数据：以“发动机气门的检修”为例，需设置“维修记录单”中各个数据的标准答案。
- 上传教学视频文件
选择课次后上传
- 查看教学数据
只可以查看自己的教学数据，数据内容同第1点管理员的第5小点。
可以给学生操作记录添加或修改评语。
3.学生
1）修改自己的密码
2）按照课次查看评分模式数据及老师评语
技术/项目方法
-
- 建模、三维动画：3D Max
- UI设计：Photoshop、Flash等
- 前端程序：Unity3D
- 后台程序：PHP+MySQL
- 录屏工具：Apowersoft录屏王或其它同类软件
- 实物识别：Vuforia AR SDK