編譯 | 長(zhǎng)頸鹿
編輯 | 香草
智東西4月24日?qǐng)?bào)道，4月23日，微軟在官網(wǎng)開(kāi)源了小語(yǔ)言模型（SLM）——Phi-3-mini。這是微軟Phi-3系列模型推出的首個(gè)模型。
Phi-3-mini作為微軟Phi系列的第四代產(chǎn)品，以其38億參數(shù)和3.3T tokens的龐大訓(xùn)練數(shù)據(jù)量，在語(yǔ)言、推理、編碼和數(shù)學(xué)基準(zhǔn)測(cè)試中超越了眾多數(shù)百億參數(shù)規(guī)模的模型。
此外，Phi-3-mini有4k和128k tokens兩個(gè)上下文長(zhǎng)度變體，經(jīng)過(guò)預(yù)訓(xùn)練和指令調(diào)整，可以更好地理解人類(lèi)的語(yǔ)言、表達(dá)、邏輯并執(zhí)行不同類(lèi)型的指令。
與大語(yǔ)言模型相比，Phi-3-mini模型操作更為簡(jiǎn)便。該模型的體積很小，這一特性使其可以在端側(cè)部署和運(yùn)行。據(jù)稱(chēng)，該模型可以作為聊天機(jī)器人離線訪問(wèn)，且具有不亞于GPT-3.5的性能。
Phi-3-mini的成本大幅降低。微軟生成式AI研究副總裁塞巴斯蒂安·布貝克（Sébastien Bubeck）稱(chēng)，相比于其他相似功能的模型，Phi-3-mini成本可能只有十分之一。
據(jù)微軟研究團(tuán)隊(duì)稱(chēng)，Phi-3-mini小體積、高性能的創(chuàng)新歸功于由合成數(shù)據(jù)組成的數(shù)據(jù)集。該數(shù)據(jù)集由大量已過(guò)濾的網(wǎng)絡(luò)數(shù)據(jù)和其他AI制作的兒童讀物中的合成數(shù)據(jù)組成。
微軟計(jì)劃在未來(lái)幾周內(nèi)推出Phi-3系列的另外兩個(gè)模型，分別是Phi-3-small（7B）和Phi-3-medium（14B）。
目前有三個(gè)平臺(tái)可以獲取Phi-3-mini：
Microsoft Azure AI Studio：https://ai.azure.com/explore/models/Phi-3-mini-128k-instruct/version/2/registry/azureml
Hugging Face：https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3
Ollama：https://ollama.com/library/phi3
一、“小而美”的模型，Phi-3-mini優(yōu)于兩倍其尺寸模型
據(jù)微軟官網(wǎng)稱(chēng)，Phi-3模型是目前能力最強(qiáng)、性?xún)r(jià)比最高的小型語(yǔ)言模型（SLM），其在多種語(yǔ)言、推理、編碼和數(shù)學(xué)基準(zhǔn)測(cè)試中均展現(xiàn)出超越同等規(guī)模甚至更大型模型的能力。
Phi-3-mini包含兩種上下文長(zhǎng)度的規(guī)模，分別是4k和128k tokens，其中128k tokens的上下文窗口支持在同類(lèi)模型是首次實(shí)現(xiàn)，且對(duì)模型質(zhì)量的影響微乎其微。此外，該模型經(jīng)過(guò)指令微調(diào)，能夠以自然語(yǔ)言方式響應(yīng)和執(zhí)行多種指令，確保了其即時(shí)可用性。
Phi-3模型在小尺寸上具有突破性的性能。根據(jù)微軟研發(fā)團(tuán)隊(duì)的測(cè)試，Phi-3模型在基準(zhǔn)測(cè)試中優(yōu)于相同尺寸和更大尺寸的語(yǔ)言模型。其中，Phi-3-mini的性能優(yōu)于其尺寸兩倍的模型，而Phi-3-small和Phi-3-medium的性能優(yōu)于更大的模型，包括GPT-3.5 Turbo。
根據(jù)性能對(duì)照表，Phi-3-mini的兩個(gè)變體于基準(zhǔn)測(cè)試的19個(gè)對(duì)比項(xiàng)中，有17項(xiàng)勝過(guò)Gemma-7b模型，18項(xiàng)勝過(guò)Mistral-7b模型，11項(xiàng)勝過(guò)Llama-3-8B模型。但也有11項(xiàng)次于GPT3.5-Turbo模型，17項(xiàng)次于Claude-3 Sonnet模型。
▲Phi-3系列基準(zhǔn)測(cè)試對(duì)照表（圖源：微軟）
此外，微軟還在學(xué)術(shù)報(bào)告中稱(chēng)Phi-3模型的整體性能可以與Mixtral 8x7B和GPT-3.5等模型相媲美。
Phi系列模型的起源于微軟研究部門(mén)，已經(jīng)被廣泛使用，其中Phi-2下載量超過(guò)200萬(wàn)次。從用于Python編碼的Phi-1開(kāi)始，到增強(qiáng)推理和理解的Phi-1.5，再到27億參數(shù)的Phi-2，Phi系列在語(yǔ)言理解方面超越了其25倍參數(shù)大小的模型。
微軟計(jì)劃在未來(lái)幾周內(nèi)推出Phi-3系列的另外兩個(gè)模型，分別是Phi-3-small（7B）和Phi-3-medium（14B），旨在為Azure AI和其他模型庫(kù)提供更靈活的選擇。
二、Phi-3遵循安全和高質(zhì)，Phi-3-mini為多個(gè)平臺(tái)專(zhuān)門(mén)優(yōu)化
Phi-3模型的設(shè)計(jì)遵循了微軟的“負(fù)責(zé)任AI標(biāo)準(zhǔn)”，包括問(wèn)責(zé)制、透明度、公平性、可靠性與安全性、隱私與安全和包容性。Phi-3模型經(jīng)歷了嚴(yán)格的安全度量和評(píng)估、紅隊(duì)測(cè)試、敏感用途審查，并遵循安全指南，以確保這些模型在開(kāi)發(fā)、測(cè)試和部署過(guò)程中都符合微軟的標(biāo)準(zhǔn)和最佳實(shí)踐。
Phi-3模型在訓(xùn)練過(guò)程中采用了高質(zhì)量的數(shù)據(jù)，這是基于先前的Phi模型工作的延續(xù)。它們還通過(guò)了廣泛的安全后訓(xùn)練，包括從人類(lèi)反饋中進(jìn)行的強(qiáng)化學(xué)習(xí)（RLHF）、在數(shù)十個(gè)傷害類(lèi)別上進(jìn)行的自動(dòng)測(cè)試和手動(dòng)紅隊(duì)測(cè)試。
此外，Phi-3-mini在Azure AI上配備了一套完整的部署、評(píng)估和微調(diào)工具鏈，并通過(guò)Ollama平臺(tái)使開(kāi)發(fā)者能夠在本地筆記本電腦上運(yùn)行。模型還針對(duì)ONNX Runtime進(jìn)行了優(yōu)化，支持Windows DirectML，并且實(shí)現(xiàn)了跨平臺(tái)支持，包括GPU、CPU和移動(dòng)硬件。
同時(shí)，Phi-3-mini也作為英偉達(dá)推理微服務(wù)（NVIDIA NIM）提供，具備可廣泛部署的標(biāo)準(zhǔn)API接口，并對(duì)英偉達(dá)GPU進(jìn)行了專(zhuān)門(mén)優(yōu)化。
三、Phi-3提供離線推理場(chǎng)景，AI解決方案已落地印度
微軟公司通過(guò)提供Copilots幫助客戶用生成式AI進(jìn)行業(yè)務(wù)轉(zhuǎn)型。他們認(rèn)為，不同任務(wù)對(duì)質(zhì)量成本曲線上不同規(guī)模模型的需求正日益增長(zhǎng)。
小語(yǔ)言模型，如Phi-3，特別適用于以下情況：資源受限的環(huán)境，包括設(shè)備上和離線推理場(chǎng)景；延遲約束的場(chǎng)景，快速響應(yīng)時(shí)間至關(guān)重要；以及成本受限的用例，特別是那些具有較簡(jiǎn)單任務(wù)的用例。
由于尺寸較小，Phi-3模型可以在計(jì)算受限的推理環(huán)境中使用，特別是Phi-3-mini可以在端側(cè)使用。Phi-3模型的較小尺寸還使得微調(diào)或定制變得更加容易和更具成本效益。此外，較低的計(jì)算需求使其成本更低，延遲更好。較長(zhǎng)的上下文窗口使其能夠處理和推理大量的文本內(nèi)容，如文檔、網(wǎng)頁(yè)、代碼等。
微軟的一些客戶已經(jīng)開(kāi)始使用Phi-3構(gòu)建解決方案。比如農(nóng)業(yè)領(lǐng)域，Phi-3模型為農(nóng)民提供了更便捷、更經(jīng)濟(jì)的解決方案，并幫助他們?cè)跊](méi)有穩(wěn)定互聯(lián)網(wǎng)連接的情況下使用AI技術(shù)。
印度一家領(lǐng)先的商業(yè)集團(tuán)ITC正在將Phi-3模型用于Krishi Mitra（一款面向農(nóng)民的應(yīng)用程序）內(nèi)，幫助印度農(nóng)民通過(guò)技術(shù)手段獲得更好的農(nóng)業(yè)解決方案。據(jù)悉，該應(yīng)用已經(jīng)覆蓋了超過(guò)一百萬(wàn)名農(nóng)民。
結(jié)語(yǔ)：大小模型相輔相成，離線AI聊天已成現(xiàn)實(shí)
微軟的Phi-3模型設(shè)計(jì)的初衷旨在兼容多種設(shè)備。Phi-3與Stability AI的Zephyr、谷歌的Gemini Nano和Anthropic的Claude 3 Haiku等小型模型一樣，能夠在端側(cè)運(yùn)行，而無(wú)需依賴(lài)互聯(lián)網(wǎng)連接。
盡管云端大模型在性能上全面超越小模型，但它們也存在一些局限性，包括較高的成本、運(yùn)行速度以及對(duì)互聯(lián)網(wǎng)連接的依賴(lài)。相比之下，Phi-3允許用戶在沒(méi)有網(wǎng)絡(luò)的情況下與虛擬助手進(jìn)行互動(dòng)，能夠在不上傳數(shù)據(jù)的前提下實(shí)現(xiàn)內(nèi)容總結(jié)，解決了AI領(lǐng)域的一部分弊端。
未來(lái)這類(lèi)模型有望與智能手機(jī)集成，甚至可能內(nèi)置于常用家電中，為用戶的生活提供個(gè)性化建議。我們期待AI變得越來(lái)越生活化，也期待小語(yǔ)言模型在未來(lái)的進(jìn)步