不同于HoloLens的GGV交互方式（GGV：手势，视线，语音），MR头显需要借助运动控制器（Motion Controller）与虚拟对象进行交互。

运动控制器的追踪方式

头显前方有两个环境感知摄像头，其作用是帮助设备实现内向外位置追踪（Inside-out Tracking），对MR头显和运动控制器进行定位。将外置定位器集成到头显，可以有效突破头显使用范围的限制。作为控制端设备，混合现实运动控制器已经具备很完整的操作功能，下图手柄外围亮着的一盏盏小灯是控制器的识别物。

MR头显的运动控制器不需要外部跟踪传感器，相应，控制器由MR头显自身的传感器进行内向外追踪（Inside-out Tracking）。利用光学追踪（Optical Tracking）技术，追踪系统使用环境感知摄像头，在可见光下识别环境特征。系统根据观察到的特征对其位置进行三角测量，并通过融合IMU(惯性测量单元)数据来补充该信息，为虚拟环境中的MR头显产生连续位置以及旋转信息。当时间和空间出现错误计算的时候，把所有信息交由系统，进行渲染纠正。

此外，搜集完成后的环境信息会存储在PC上，以便追踪系统调出环境特定的数据，例如房间边界的物理位置。因此，如果您在多个房间中使用设备，则可在每个房间中设置不同的边界，并进行房间边界的定向管理。

运动控制器的操作方式

MR运动控制器的操作方式非常友好，且几乎感觉不到延迟。摇杆用于传送和旋转操作：只要向前推出摇杆，控制器前端会发出一道射线，选择射线指向点，松开摇杆即可传送到指定位置。左右推摇杆可以做转身动作，向后推动摇杆可以后退。

食指下的扳机键作为选择按钮，使用频率较高。触摸板是一个比较新颖的设计，打开网页浏览的时候，不用费力拖动进度条，只需摁住后轻轻搓动即可实现滚轮效果。还有更多的组合键，例如摁下扳机键选择应用，直接拖拽即可把应用移动到任何位置。同时，还可以双手操作控制器对物体进行点击放大操作等。

运动控制器的空间信息从两方面获取：一是通过头显上的环境感知摄像头，判断与运动控制器的相对位移得到其位置信息；二是通过自身的IMU（惯性测量单元）来获取方向信息。

即使用户将控制器移出摄像头的视野，在IMU（惯性测量单元）的帮助下，系统也能通过位置追踪算法，计算推断出控制器大致位置，并反馈给应用程序。而当控制器远离镜头的识别范围足够长时间时，其空间信息会下降到“近似精度”水平，此时系统会将控制器锁定在丢失位置的附近，当用户佩戴头显四处走动时，会通过IMU惯性测量单元传感器估算运动控制器的真实方向，并实时调整控制器在虚拟世界中的位置。但是，如果我们只是短时间遮住MR头显前方的环境感知摄像头，却可以在虚拟环境中观察到控制器的旋转以及位移，因此在MR运动控制器的使用过程，我们是不需要留意控制器是否在环境感知摄像头的可视范围内的。