您好, 歡迎來到化工儀器網(wǎng)
Google將AR技術(shù)和顯微鏡結(jié)合，用于癌癥檢測
病理檢查是癌癥診斷的重要標(biāo)準(zhǔn)，醫(yī)生通過在顯微鏡下觀察病變組織、細(xì)胞，以出具診斷報告。為了提高診斷效率，Google 在顯微鏡上增加了AI和AR組件，讓診斷過程更為智能。
Google 的研究人員在美國癌癥研究協(xié)會年會（ACCR）上發(fā)布報告，以正在評審的論文《一種實(shí)時自動檢測癌癥的增強(qiáng)現(xiàn)實(shí)顯微鏡》，描述了這種增強(qiáng)現(xiàn)實(shí)顯微鏡的原型，改進(jìn)的顯微鏡能從目鏡中直接讀取診斷結(jié)果。
以往的診斷過程中，病理學(xué)家對病變組織的分析可能相當(dāng)耗時。此前也已有多家團(tuán)隊的研究表明，深度學(xué)習(xí)在眼科、皮膚科、放射科和病理學(xué)等學(xué)科的診斷上*。Google 也正嘗試?yán)?AI 技術(shù)提升癌癥診斷效率，也已發(fā)表研究證明神經(jīng)網(wǎng)絡(luò)對淋巴結(jié)中乳腺癌轉(zhuǎn)移的檢測與醫(yī)務(wù)人員準(zhǔn)確率相當(dāng)。
除了輔助病變組織的分析，這個顯微鏡的主要創(chuàng)新之處在于，改進(jìn)了診斷結(jié)果獲取的效率。此前的研究中，醫(yī)生在顯微鏡下觀察切片，在計算機(jī)上讀取結(jié)論，需要在不同設(shè)備間來回切換。Google 的新工具通過給顯微鏡增設(shè) AR 功能，將診斷結(jié)果疊加在切片上，讓醫(yī)生能夠在視場中實(shí)時讀取結(jié)論。
左圖：顯微鏡示意圖。數(shù)碼相機(jī)捕獲與用戶相同的視場，并將圖像傳送到運(yùn)行 AI 的計算機(jī)，結(jié)果會投影到目鏡上的 AR 顯示屏中，切片上就能實(shí)時顯示相關(guān)標(biāo)注了。 右圖：臨床光學(xué)顯微鏡改裝得到的顯微鏡原型。
Google 的工具由普通的光學(xué)顯微鏡改進(jìn)得來，經(jīng)簡單改裝引入 AI 和 AR 組件，因此可以節(jié)約成本，利于在小型實(shí)驗(yàn)室和診所，或發(fā)展中國家中應(yīng)用。
工具的原理也很簡單。人工智能的部分同之前的研究如出一轍，訓(xùn)練神經(jīng)網(wǎng)絡(luò)檢測癌細(xì)胞。之后在改進(jìn)顯微鏡下放置組織切片，鏡頭捕捉圖像輸入計算機(jī)，讓 AI 檢測組織中的癌細(xì)胞，并將虛擬標(biāo)記投影到目鏡中的 AR 顯示屏，以便醫(yī)生觀察診斷。這個流程能夠?qū)崟r完成，目前能以每秒 10 幀的速度運(yùn)行。切片也可以按需隨時移動或縮放，計算結(jié)果可以無縫更新。
不同放大倍率的乳腺癌在淋巴結(jié)的轉(zhuǎn)移。綠色框內(nèi)為腫瘤組織。
團(tuán)隊配置了乳腺癌和前列腺癌兩種癌癥的檢測算法，并用綠色輪廓標(biāo)記出檢測到的腫瘤區(qū)域。團(tuán)隊稱，基于其它訓(xùn)練模型，這個工具還可用于其他癌癥以及結(jié)核病和瘧疾等傳染病的檢測，以及顯示更多所需的數(shù)據(jù)，還能應(yīng)用于醫(yī)學(xué)、生命科學(xué)和材料科學(xué)等學(xué)科。相關(guān)評估需要更深入的研究。