準(zhǔn)確率97%的開源肺炎檢測模型：照搬PyTorch教程、50張圖片就完了!
最近，一名澳大利亞人工智能博士候選人在LinkedIn上發(fā)表了一篇關(guān)于新型冠狀病毒病毒的研究文章。由于其話題性和聲稱的97.5%的準(zhǔn)確率，這篇文章迅速獲得了數(shù)萬條評(píng)論、點(diǎn)贊和轉(zhuǎn)發(fā)。但是，這樣的模型被拉出來，只用了50張圖片進(jìn)行訓(xùn)練。
一周內(nèi)建立一個(gè)準(zhǔn)確率97%的模型。事實(shí)是什么？
此前，澳大利亞一名人工智能博士候選人宣布構(gòu)建了一套深度學(xué)習(xí)模型，可以從肺部x光片中以97.5%的準(zhǔn)確率檢測出患者是否感染了新冠肺炎病毒。因?yàn)閲庖咔槁樱t(yī)療設(shè)施不足，所以人們對(duì)這個(gè)成績非常關(guān)注。短時(shí)間內(nèi)，他們收到了數(shù)萬條評(píng)論、贊和轉(zhuǎn)發(fā)。他們還創(chuàng)建了Slack工作組，獲得了很多好評(píng)。
從目前發(fā)布的消息來看，整個(gè)項(xiàng)目有以下特點(diǎn):一套訓(xùn)練好的Python模型容器化應(yīng)用代碼和一套GitHub庫，已經(jīng)翻譯成多種語言的正在開發(fā)的Web應(yīng)用和正在開發(fā)的移動(dòng)應(yīng)用規(guī)劃藍(lán)圖，在AWS中托管這種無服務(wù)器架構(gòu)的模型在營銷和贊助方面有大量的后續(xù)計(jì)劃。
而以上都是在一周內(nèi)快速完成的。隨后，Reddit用戶挑出了這個(gè)解決方案中的幾個(gè)嚴(yán)重問題，進(jìn)行了整理和反駁。
只用50張圖片訓(xùn)練？
首先，這些網(wǎng)絡(luò)的潛在神經(jīng)表示非常復(fù)雜，需要使用大量的訓(xùn)練樣本來完成模型訓(xùn)練。但是截止到提交，這個(gè)新冠肺炎測試工具只看到了50個(gè)肺部圖像。
對(duì)于這樣一個(gè)超過150層，超過2000萬個(gè)參數(shù)的網(wǎng)絡(luò)來說，如此有限的訓(xùn)練樣本集顯然是可笑的。
該模型通過肺部X射線圖像來學(xué)習(xí)。
樣品有問題。
此外，樣本中可能存在巨大的數(shù)據(jù)偏差。這50張圖片并不包含相關(guān)人員是否感染病毒，只是根據(jù)新冠肺炎急性病例導(dǎo)致的肺部手術(shù)進(jìn)行標(biāo)注。除非肺部已經(jīng)被病毒破壞，否則模型根本檢測不出任何感染跡象。另外，即使肺炎的癥狀已經(jīng)出現(xiàn)，如果不是急性癥狀，也無法證明這個(gè)模型的準(zhǔn)確性。重復(fù)圖像、代碼混亂和模型問題。
最后，這個(gè)COVID模型基于流行的基準(zhǔn)網(wǎng)絡(luò)ResNet-50。雖然后者確實(shí)是圖像識(shí)別和分類領(lǐng)域的常用方案，但ResNet的前期訓(xùn)練一般只覆蓋日常環(huán)境中的物體。換句話說，ResNet網(wǎng)絡(luò)中的隱層更擅長識(shí)別幾何形狀和彩色圖像，而我們?cè)趚光圖像中顯然找不到這樣的模式。正因?yàn)槿绱?，大多?shù)醫(yī)學(xué)神經(jīng)網(wǎng)絡(luò)只能選擇從零開始構(gòu)建。
對(duì)這個(gè)代碼庫的進(jìn)一步觀察揭示了許多其他問題。訓(xùn)練、驗(yàn)證和測試數(shù)據(jù)集中存在重復(fù)圖像，訓(xùn)練流程大多直接抄襲PyTorch教程，夾雜大量不必要的代碼；Hubissues也完全不可理解...
GitHub地址:https://github.com/elcronos/COVID-19項(xiàng)目負(fù)責(zé)人回應(yīng):我說項(xiàng)目不可用。
最初，當(dāng)個(gè)別開發(fā)人員與項(xiàng)目負(fù)責(zé)人溝通并提出問題時(shí)，對(duì)方回應(yīng)說:
你好，xxx，我們的成果得到了加拿大xxx研究所放射科醫(yī)生的支持和認(rèn)可。
然而隨著越來越多的質(zhì)疑，項(xiàng)目負(fù)責(zé)人在GitHub中更新了介紹，說:
雖然這個(gè)項(xiàng)目的結(jié)果“看起來很有希望”，但我明確指出，這個(gè)模型還遠(yuǎn)遠(yuǎn)沒有，所以不應(yīng)該用于診斷或任何醫(yī)療決策。這是一項(xiàng)正在進(jìn)行的工作，我們需要有相關(guān)技能的人的幫助。我也在GitHub的資源庫中指出，我正在尋找能夠改進(jìn)和收集更好數(shù)據(jù)集的開發(fā)者的幫助。
…
不幸的是，這個(gè)項(xiàng)目引起了相關(guān)專家的注意。他們沒有注意到模型還沒有準(zhǔn)備好，需要更好的數(shù)據(jù)集并幫助創(chuàng)建更好的模型，也沒有閱讀我們所有的免責(zé)聲明。我指責(zé)這個(gè)項(xiàng)目有誤導(dǎo)性，甚至有人暗示我有商業(yè)意圖。這對(duì)我的個(gè)人生活造成了一些負(fù)面影響，所以我決定退一步，暫時(shí)退出社交媒體。至少接下來的幾天，我不會(huì)在這個(gè)群里活動(dòng)。
完整版聲明參考:https://github.com/elcronos/COVID-19
然而，負(fù)責(zé)人仍在大力宣傳該項(xiàng)目，并開始籌集資金。項(xiàng)目負(fù)責(zé)人創(chuàng)建了一個(gè)Slack討論組，該討論組有幾個(gè)子渠道，包括一個(gè)專門用于溝通和籌款的#營銷渠道。此外，#保薦人頻道負(fù)責(zé)與潛在投資人溝通，報(bào)告其未來投資回報(bào)前景。
松弛討論組:https://app.slack.com/client/T010AJ5H31N/learning-slack
除此之外，名為#datascientists的頻道也沒有多少有用的內(nèi)容，里面全是熱情但缺乏經(jīng)驗(yàn)的新手。同樣，#醫(yī)生頻道的情況也差不多。唯一有價(jià)值的內(nèi)容是來自專業(yè)醫(yī)療人員的反對(duì)意見，比如不建議使用肺部x光診斷新冠肺炎感染。最后一個(gè)子通道#研究人員幾乎是空的。
另一方面，UI/UX頻道制作的內(nèi)容相當(dāng)豐富。目前，這個(gè)程序有五個(gè)不同的徽標(biāo)，外加一組專用于移動(dòng)和Web應(yīng)用程序的界面。
所以，對(duì)于這種說法，大部分開發(fā)商并不買賬。很多人認(rèn)為，在目前的特殊情況下，這種問題嚴(yán)重的項(xiàng)目不應(yīng)該進(jìn)行發(fā)布和宣傳(甚至有開發(fā)商調(diào)侃稱，宣傳的工作量是開發(fā)工作的20倍左右)。診斷中的醫(yī)學(xué)深度學(xué)習(xí)
深度卷積網(wǎng)絡(luò)在疾病的診斷和治療方面確實(shí)具有一系列潛在的優(yōu)勢(shì)。近年來，許多科學(xué)出版物都對(duì)這一新的發(fā)展方向給予了高度關(guān)注:2016年，來自倫敦的一組研究人員發(fā)表了一種新方法，基于包含8萬張眼底照片的數(shù)據(jù)集，可以以86%的準(zhǔn)確率診斷糖尿病引起的視網(wǎng)膜病變。同年，來自烏干達(dá)的研究人員通過使用10，000個(gè)對(duì)象的數(shù)據(jù)集，評(píng)估了卷積神經(jīng)網(wǎng)絡(luò)(CNN)對(duì)微觀血液涂片的分析能力。兩名日本研究人員通過包含55萬張CT掃描圖像的數(shù)據(jù)集，對(duì)肺結(jié)節(jié)進(jìn)行了大規(guī)模分類操作。
然而，前面提到的新冠肺炎測試完全不同。稍微瀏覽一下其公布的代碼庫，就能看出作者對(duì)深度學(xué)習(xí)和AI技術(shù)的認(rèn)知嚴(yán)重不足。更糟糕的是，很多開發(fā)者都在質(zhì)疑，他們顯然是想利用這次爆發(fā)來推廣自己。說好的代碼改變世界？
深度學(xué)習(xí)絕不是最好的解決方案。近年來，無數(shù)毫無準(zhǔn)備的企業(yè)匆忙組建數(shù)據(jù)團(tuán)隊(duì)，卻發(fā)現(xiàn)成本在快速上升，卻沒有任何有意義的產(chǎn)出。
此前，李菲菲在一次采訪中提到:
泡沫確實(shí)存在。過度的夸張和炒作可以說是鋪天蓋地。作為科學(xué)家，我希望這些泡沫盡快消散。只有注重實(shí)芯的人，才能推動(dòng)AI進(jìn)步，帶來實(shí)實(shí)在在的收益，這一點(diǎn)在醫(yī)療醫(yī)療、醫(yī)藥等領(lǐng)域尤為重要。
此外，我們永遠(yuǎn)不應(yīng)該利用技術(shù)來制造不公正、偏見或擴(kuò)大現(xiàn)有的不平等。對(duì)于AI技術(shù)，希望降低其接觸門檻，增加公平性，盡可能緩解各種相關(guān)矛盾。只要處理得當(dāng)，我們完全有機(jī)會(huì)利用人工智能技術(shù)創(chuàng)造更美好的未來。當(dāng)然，前提是我們要仔細(xì)梳理現(xiàn)有的AI成果，找出哪些是捏造的，哪些是真實(shí)的。
閱讀:李菲菲最新訪談:希望AI領(lǐng)域的泡沫盡快消散，尤其是醫(yī)療部分。
時(shí)至今日，AI技術(shù)仍在開拓前進(jìn)。忽略了這一點(diǎn)，很容易陷入炒作的泥潭。
說了這么多，任何一個(gè)理性的開發(fā)商都不會(huì)貿(mào)然進(jìn)入，把自己的命運(yùn)交給運(yùn)氣。相反，只有先建立一支在AI/ML、DataOps、架構(gòu)、開發(fā)等領(lǐng)域有專長的團(tuán)隊(duì)，才能打贏這場仗。
最后，代碼不能讓世界變得更好也沒關(guān)系，不要惹麻煩就好。
關(guān)注我，轉(zhuǎn)發(fā)這篇文章。如果你相信我“收到信息”，你可以免費(fèi)獲得價(jià)值4999元的InfoQ迷你本！了解更多信息
