Category 科技新知

2023-12-06 GPT-4V最強對手來了,Google多模態Gemini模型登場,手機不連網也能從錄音檔摘要會議紀錄

來源:iThome / 王宏仁

Gemini模型除了有超大模型Ultra版外,還推出了一款可以在手機上執行的Nano版本,不需要連上網路,也能在手機上用Gemini來整理會議錄音檔的開會摘要內容

Google正式推出了原生多模態的大型語言模型Gemini,可以同時支援文字、圖片和聲音的輸入。在32項AI測試中,有30項的評分超越了OpenAI的GPT-4V。Google執行長Sundar Pichai強調,Gemini是Google有史以來最強大也是最通用的模型。Gemini預計推出三種版本,包括了模型最大的Ultra版、通用性最廣的Pro版,以及可以在手機裝置上運作的Nano版。

Google展示了一段讓人驚訝的實測影片,來呈現Gemini多模態的回答能力,讓Gemini一邊看著(輸入)影片來解讀影片中畫面的內容。例如Gemini可以一邊解讀影片中,展示人員用手即時畫圖過程,每一個動作所對應的意義,這是隻鴨子,現在在水上游泳,有藍色外觀。當展示人員拿出實體玩具鴨子按壓發生聲音時,AI甚至打趣的說,真的拿出了呱呱叫的鴨子,AI還能糾正展示人員對於「鴨子」中文發音的重音位置錯誤。 AI能分辨人手勢代表的意義,也能分辨不同物體的異同,例如都是食物,或都是圓體。看影片還能推理出哪個杯子藏了硬幣,彷彿就像人邊看影片邊解說的行為。

 

Gemini可以同時分辨和理解文字、圖片和聲音,也可以用來分辨和解釋幾種熱門開發語言,包括Python、Java、C++和Go語言,可以理解跨開發語言來推論複雜訊息。Google也用了Gemini打造了新版的程式碼生成系統AlphaCode 2,比2年前的第一代改進很多,可以解決兩倍的問題。Gemini使用了Google自行開發的晶片TPU訓練而成,而且使中了v4和v5e版TPU。Google同時宣布了新版TPU v5p,可用來加速Gemini模型的開發,供企業用來客製化訓練自己的LLM模型。TPU v5p單一叢集可支援到8,960顆TPU,和TPU v4相比,能夠提供2倍FLOPS的算力,記憶體頻寬也提高了3倍。

Google目前先在Bard中使用一個微調過的Gemini Pro版本,可提供推理和計畫的回答能力。目前先釋出英語版,可再全球170個國家和地區使用,預計近期會支援更多語言。Gemini另一個新特色是推出了一款可以在手機上執行的Nano版Gemini模型,Google表示,甚至不需要連上網路,單靠手機上的TPU晶片也能運作,目前先支援Pixel系列手機,Pixel 8 Pro手機會是第一款。不需要連上網路,也能在手機上用Gemini來整理會議錄音檔的開會摘要內容。Nano版Gemini另外也會先用來強化Gboard的自動語音回覆輸入能力,將率先支援WhatsApp的輸入,明年計畫支援更多App。

Google透露,目前Gemini Nano只能支援TPU晶片,未來希望能進一步跨大支援到其他手機上的AI晶片,來擴大可支援的手機類型,但Google沒有透露時間表。Bard從今天(12/6)已經開始使用Gemini Pro來提供回答,而Google預計從12月13日開始,在GCP Vertex AI或Google AI Studio上,開放企業透過APi存取Gemini Pro模型。

Google目前正在進行Ultra版的信任和安全測試,包括採取外部紅隊演練,與使用RLHF進行模型優化。目前將挑選特定企業用戶或開發者進行Ultra版試用,預計明年初可以正式推出Ultra版,也會同步推出採用Ultra版的Bard進階版。不過,Google沒有透露Ultra版更明確的釋出時間。

雖然Nano版可以離線在手機上執行,目前,企業只能透過API存取雲端Gemini模型來使用,Google沒有透露,是否未來會提供落地在企業內部部署執行的Gemini版本。