微软与与长崎大学、后藤中央医院、长崎县和后藤市签署合作协议，利用混合现实和人工智能，在医疗专家短缺的地区提供高水平、同质化的医疗保健，旨在为类风湿关节炎患者提供远程医疗的实际应用。

长崎大学类风湿性关节炎远程医疗系统（NURAS）已被开发为日本第一个利用混合现实（Mixed Reality）为类风湿性关节炎患者提供的下一代在线远程医疗系统。

长崎大学风湿性关节炎的NURAS远程医疗系统概述：

NURAS是一个系统，通过使用混合现实和其他技术，使偏远地区（如偏远岛屿和专家人数不足的偏远地区）的患者能够接受风湿病专家的远程医疗，其准确度比以往更高。 虽然传统的视频电话或网络会议系统可用于远程医疗，但由于只能用平面图像（二维）观察和推断病变部位，主要是在关节处，因此很难进行准确的关节评估，这对类风湿性关节炎的治疗至关重要。 在这个系统中，微软的Azure Kinect DK被放置在病人面前作为深度传感器，专家戴着微软HoloLens 2，这是一个实现混合现实的设备，并使用微软团队，一个协作工具。 该系统能对仅用平面图像难以评估的病变部位进行三维（3D）和实时观察和评估。

Azure Kinect DK是一个可以捕捉被摄对象立体视频的摄像头，可用于生成3D全息图，并实时投射到医生的HoloLens 2上，还可以录制清晰的音频，包括声源的方向，Azure Kinect DK内置的7 Azure Kinect DK的内置7个麦克风阵列可以记录清晰的音频，包括声源的方向。 此外，通过符合厚生劳动省、经济产业省和总务省管辖的 “三部三指南 “的微软Azure云平台，可以安全地处理捕获的患处图像和病人与医生之间的对话录音。 数据的处理是安全的。 这使得即使在专家数量较少的地区，如偏远岛屿和偏远地区，也能提供高标准的统一风湿病学远程医疗。 下面可以看到长崎大学类风湿性关节炎远程医疗系统 “NURAS “使用时的图像视频。

未来的发展：

该系统不仅可以应用于类风湿性关节炎患者，在日本估计有600,000-1,000,000人，还可以应用于其他神经系统和肌肉骨骼疾病，在这些疾病中，需要在与病人互动的同时观察病变部位和运动评估。 这次将通过网络连接长崎大学医院和后藤中央医院进行示范实验，但由于该系统可以连接任何有网络连接的地区的专家，因此预计在新的冠状病毒感染流行期间，它将有助于减少日本和海外医院长途访问和访问期间人员流动的感染风险，同时也有助于 我们相信，这也将有助于医疗工作者工作方式的改革。

在未来，有计划将其与使用5G的高速通信技术联系起来，并将其发展到其他领域，包括以学生实践培训为中心的教育和研究，目前由于冠状病毒灾难，这是很困难的。

此外，人工智能（AI）将被应用于该系统，以实现快速检测咨询期间病人面部表情的变化并自动评估病人的情绪状态（如焦虑和满意）的功能，以及以文本形式按时间顺序记录病人对话的功能。从人工智能中获得的数据将被用来帮助改善病人自身的生活质量，减少病人和医生之间的心理距离，他们在物理上是分开的。 该系统也有望帮助改善病人本身的生活质量。