Shap-E文本形成3D模型在醫(yī)學(xué)成像中的運(yùn)用
因?yàn)闄C(jī)械學(xué)習(xí)技術(shù)的迅速成長(zhǎng),近年來 3D 建模和設(shè)計(jì)行業(yè)獲得了重要進(jìn)展。 OpenAI 頒布了1個(gè)名為 Shap-E 的新工具,它應(yīng)用隱式函數(shù)來高效地形成 3D 資產(chǎn)。 在這篇博文中,咱們將開拓 Shap·E 背后的方式,并分享 OpenAI 供應(yīng)的代碼供你親身嘗試。
舉薦:用 NSDT設(shè)計(jì)器 迅速搭造可編程3D情景。1、背景
傳統(tǒng)的 3D 形成模型形成單一的流出表示,但 Shap·E 旨在同時(shí)形成紋理網(wǎng)格和神經(jīng)輻射場(chǎng)。 這是通過借用隱式神經(jīng)表征 (INR) 實(shí)行的,INR 將 3D 坐標(biāo)映照到特定于位子的數(shù)據(jù),比如密度和色彩。
Shap·E 模型的訓(xùn)練劃為2個(gè)階段:首先,訓(xùn)練基于 Transformer 的編碼器,將 3D 資產(chǎn)映照到隱函數(shù)的參數(shù)中; 其次,在編碼器的流出上訓(xùn)練條件擴(kuò)散模型。2、隱函數(shù)的威力
Shap-E 專注于用來 3D 表示的兩類型號(hào)的 INR:神經(jīng)輻射場(chǎng) (NeRF) 和符號(hào)距離函數(shù)和紋理場(chǎng) (STF)。 NeRF 將 3D 情景表示為將坐標(biāo)和觀測(cè)方向映照到密度和 RGB 色彩的函數(shù),而 STF 形成符號(hào)距離和紋理色彩。 這類 INR 無需批量手動(dòng)工作便可形成全面的 3D 模型。3、Shap-E的益處
當(dāng)在配對(duì)的 3D 和文本信息的大型信息集上進(jìn)行訓(xùn)練時(shí),Shap-E 闊以在幾秒鐘內(nèi)形成高難多樣的 3D 資產(chǎn)。 與 Point-E 等顯式形成模型相比,它闊以更快地收斂并實(shí)行可比或更優(yōu)的樣件品質(zhì),同時(shí)還供應(yīng)多表示流出空間。 Shap·E 是一款十分強(qiáng)大的工具,應(yīng)用于想要輕盈創(chuàng)立全面 3D 模型的藝術(shù)家、設(shè)計(jì)師和開發(fā)職員。4、 Shap-E在醫(yī)學(xué)成像中的運(yùn)用