最近，市場(chǎng)討論焦點(diǎn)主要在AI分布式云算力聚合平臺(tái)上，但Messari一份報(bào)告卻把注意力聚焦到了AI去中心化推理方向。而且該報(bào)告提到了 @MarlinProtocol所推出的teeML去中心化推理架構(gòu)，一種利用可信執(zhí)行環(huán)境（TEE）來(lái)提供計(jì)算證明的方式。

為什么要做分布式推理架構(gòu)？邏輯很簡(jiǎn)單，ChatGPT等大模型Prompt推理都依賴一個(gè)可信的中心化的模型服務(wù)器實(shí)體，比如：OpenAI，用戶無(wú)法確保數(shù)據(jù)在推理過(guò)程中是否被惡意篡改或窺探。

而若采用分布式推理，用戶的每次調(diào)用大模型輸入和輸出，都能有可驗(yàn)證的計(jì)算做保證，用戶無(wú)需信任中心化的服務(wù)提供上，而僅可依賴密碼學(xué)或者其他數(shù)據(jù)或安全模型來(lái)建立信任連接。

Marlin我之前有寫文章分析過(guò)，主要定位做去中心化的節(jié)點(diǎn)增強(qiáng)服務(wù)，去中心化AI服務(wù)是其發(fā)力的一個(gè)核心場(chǎng)景。Marlin通過(guò)TEE可信執(zhí)行環(huán)境協(xié)處理器，在節(jié)點(diǎn)硬件存儲(chǔ)系統(tǒng)中構(gòu)建了安全隔離的Enclave飛地環(huán)境，繼而可實(shí)現(xiàn)AI數(shù)據(jù)模型訓(xùn)練和推理等服務(wù)。

在去中心化推理背景下，模型提供者可以選擇在TEE環(huán)境下運(yùn)行模型，并生成加密證明，由于證明本身也在TEE內(nèi)環(huán)境下，因此可確保模型在運(yùn)行過(guò)程中不被透露或篡改。

當(dāng)然，在Messari的報(bào)告中，還提到了除了TEE之外的另外兩種分布式推理架構(gòu)方式：

1）基于zkML零知識(shí)證明協(xié)議，ZK可以證明某個(gè)輸出是特定的Dataset產(chǎn)生的，ZK可以成為支撐模型運(yùn)行的服務(wù)器和模型輸出結(jié)果的可信橋梁。@ProjectZKM提供的zkVM可信驗(yàn)證最近也和Marlin達(dá)成了戰(zhàn)略合作，會(huì)作為底層技術(shù)支持幫助Marlin基于zkVM進(jìn)一步強(qiáng)化分布式推理能力；

2）基于Optimism ML樂觀機(jī)器學(xué)習(xí)，和OP-Rollup邏輯類似，多方實(shí)體可共同參與指定的推理驗(yàn)證，若對(duì)結(jié)果存在分析，可以開啟挑戰(zhàn)模式，理論上，只有有一個(gè)誠(chéng)實(shí)的驗(yàn)證者實(shí)體，opML就稱得上安全可信。相比zkML，opML計(jì)算成本更低，但也會(huì)存在挑戰(zhàn)時(shí)間窗口。代表項(xiàng)目有Ora 和@HyperspaceAI.

總之，在我看來(lái)，當(dāng)分布式AI聚合算力的應(yīng)用場(chǎng)景被跑通，大量的中小型AI訓(xùn)練、推理、微調(diào)以及渲染等需求涌入后，一個(gè)完全分布式的可驗(yàn)證的推理計(jì)算證明就成了必須。分布式推理賽道也會(huì)隨之熱鬧起來(lái)。