大家都听闻过AR（增强现实）、VR（虚拟现实），电影《头号玩家》也展出了未来VR游戏的极大潜力。但是如果把AR和机器学习结合呢？今天，谷歌Research团队在AI＋AR＋医疗结合的领域又迈进了一步：他们在普通的光学显微镜固定式了一个AR组件。工作原理是这样的：用机器学习的方法动态分析显微镜视野下的图像，并动态输入模型的结果，通过AR组件，在原本的图像上绘制出有潜在肿瘤的边缘。

也就是说，医生在看显微镜的时候，看见的某种程度是细胞组织，还有机器学习建模的结果：一条“癌症轮廓线”。最令人激动的地方在于，这个组件的成本非常低，可以必要被加装到普通的光学显微镜上，这将让全世界各地的医生、病理学家都有机会认识到深度自学。深度自学在眼科、皮肤科、放射科和病理学等医学学科的应用于，大大提高了医疗保健的准确性与可用性，给世界各地的患者带给了福音。

比如，谷歌的近期研究指出卷积神经网络在检测乳腺癌移往方面，享有与专业病理学家相媲美的准确度。然而，利用填充光显微镜必要观测否不存在恶性肿瘤的组织依然是病理学家临床疾病的主要手段。因此，在病理学中普遍使用深度自学的一个关键障碍是对微观的组织展开数字化回应。

在4月17号举行的美国癌症研究协会年度会议上，谷歌的科学家发布了这篇名为“AnAugmentedRealityMicroscopeforReal－timeAutomatedDetectionofCancer”的论文，叙述了增强现实显微镜（AugmentedRealityMicroscope，ARM）平台。ARM增强现实显微镜平台由改良的光学显微镜构成，反对动态图像分析，并且能将机器学习算法的结果必要图形。

最重要的是，谷歌的ARM平台组件可以必要被取出各个医院和医院中现有的光学显微镜中，成本低且更容易用于。通过现代计算出来组件和深度自学模型，例如创建在TensorFlow上的模型，人们将能在此平台上运营大量实训练模型。用于方式和传统的显微镜类似于，用户通过目镜仔细观察样本，机器学习算法将只不过时输入投影到显微镜的光路中。

这种数字投影被变换在样本的完整图像上，以协助观看者定位或分析感兴趣的特征。最重要的是，计算出来和视觉对系统改版很快——目前，模型以每秒大约10帧的速度运营，因此当用户在显微镜载玻片上移动或转变放大率时，模型输入可以无缝改版。左图：ARM的示意图。

数码相机捕捉与用户完全相同的视场（FoV），并将图像传输到需要运营机器学习模型的动态推测的可选计算出来单元。结果被对系统到一个自定义的AR显示屏中，该显示屏与目镜齐平，并将模型输入投影到玻片所在的平面上。

右图：原型图，由典型的临床级光学显微镜改装成。ARM可以获取多种视觉对系统，还包括文本、箭头、轮廓、热图或动画，并且需要运营多种类型的机器学习算法，目的解决问题有所不同的问题，如目标检测、分析或分类。

为了展出ARM的潜在用途，谷歌在其上运营了两种有所不同的癌症检测算法：一种检测淋巴结标本中的乳腺癌移往，另一种检测前列腺手术标本中的前列腺癌。这些模型可以在4－40倍的缩放倍数下运营。

右图中的绿色轮廓是检测到的肿瘤区域，也就是模型输入的结果。这些轮廓有助将病理学家的注意力更有到感兴趣的区域，而会掩饰潜在的肿瘤细胞外观。

ARM镜头的示例视图：4x、10x、20x和40x显微镜下的淋巴结移往模型（绿色轮廓的区域是模型辨识出有的肿瘤区域）虽然这两种癌症模型最初都是在扫描仪的图像之上训练，且扫描仪的光学配备显著有所不同，但这些模型在ARM上继续执行得十分好，需要额外新的训练。例如，淋巴结移往模型的曲线下面积（AUC）为0．98，而在ARM上运营时，前列腺癌模型在视场中的癌症检测（FoV）的AUC为0．96，性能仅有略低于WSI。

通过必要从ARM本身提供的数字图像中训练可以进一步提高这些模型的性能。谷歌指出，增强现实显微镜有潜力对全球身体健康产生根本性影响，且在医疗保健、生命科学研究和材料科学等领域具有普遍的应用于，尤其是对发展中国家传染病（还包括肺结核和疟疾）的临床。此外，即使在将要使用数字病理工作流程的医院中，ARM也可以与数字工作流程融合用于，处置扫描仪必须较慢周转或者无法很好地检测问题的情况（如细胞学、荧光光学或手术中的冷藏部分）。

本文来源：博鱼(boyu·中国)官方网站-www.jzfysn.com