OpenAI 似乎找到了解決生成式人工智能 " 一本正經(jīng)胡說(shuō)八道 " 的辦法。

5 月 31 日，OpenAI 在其官網(wǎng)宣布，已經(jīng)訓(xùn)練了一個(gè)模型，能夠有助于消除生成式 AI 常見(jiàn)的 " 幻覺(jué) " 和其他常見(jiàn)問(wèn)題。

OpenAI 表示，可以訓(xùn)練獎(jiǎng)勵(lì)模型來(lái)檢測(cè)幻覺(jué)，獎(jiǎng)勵(lì)模型又分為結(jié)果監(jiān)督（根據(jù)最終結(jié)果提供反饋）或過(guò)程監(jiān)督（為思維鏈中的每個(gè)步驟提供反饋）模型。

【資料圖】

也就是說(shuō)，過(guò)程監(jiān)督獎(jiǎng)勵(lì)推理的每個(gè)正確步驟，而結(jié)果監(jiān)督只是簡(jiǎn)單地獎(jiǎng)勵(lì)正確的答案。

OpenAI 表示，相比之下，過(guò)程監(jiān)督有一個(gè)重要的優(yōu)勢(shì)——它直接訓(xùn)練模型以產(chǎn)生由人類認(rèn)可的思維鏈：

過(guò)程監(jiān)督與結(jié)果監(jiān)督相比有幾個(gè)一致性優(yōu)勢(shì)。它直接獎(jiǎng)勵(lì)遵循一致的思維鏈的模型，因?yàn)檫^(guò)程中的每一步都得到了精確的監(jiān)督。

過(guò)程監(jiān)督也更有可能產(chǎn)生可解釋的推理，因?yàn)樗膭?lì)模型遵循人類批準(zhǔn)的過(guò)程

結(jié)果監(jiān)督可能會(huì)獎(jiǎng)勵(lì)一個(gè)不一致的過(guò)程，而且通常更難審查。

OpenAI 在數(shù)學(xué)數(shù)據(jù)集上測(cè)試了這兩種模型，發(fā)現(xiàn)過(guò)程監(jiān)督方法導(dǎo)致了 " 顯著更好的性能 "。

但需要注意的是，到目前為止，過(guò)程監(jiān)督方法僅在數(shù)學(xué)領(lǐng)域進(jìn)行了測(cè)試，并且需要更多的工作來(lái)觀察它如何更普遍地執(zhí)行。

此外，OpenAI 沒(méi)有說(shuō)明這一研究需要多長(zhǎng)時(shí)間才能應(yīng)用在 ChatGPT，它仍然處于研究階段。

雖然最初的結(jié)果是好的，但 OpenAI 確實(shí)提到，更安全的方法會(huì)產(chǎn)生降低的性能，稱為對(duì)齊稅（alignment tax）。

目前的結(jié)果顯示，在處理數(shù)學(xué)問(wèn)題時(shí)，過(guò)程監(jiān)督不會(huì)產(chǎn)生對(duì)齊稅，但在一般的信息上的情況尚不知曉。

生成式 AI 的 " 幻覺(jué) "

生成式 AI 問(wèn)世以來(lái)，圍繞其編造虛假信息、" 產(chǎn)生幻覺(jué) " 的指控從未消失，這也是目前生成式 AI 模型最大的問(wèn)題之一。

今年 2 月，谷歌為應(yīng)對(duì)微軟資助下 ChatGPT，倉(cāng)促推出了聊天機(jī)器人 Bard，結(jié)果卻被發(fā)現(xiàn)在演示中出現(xiàn)了常識(shí)性錯(cuò)誤，導(dǎo)致谷歌股價(jià)大跌。

導(dǎo)致 AI 出現(xiàn)幻覺(jué)的原因有多種，輸入數(shù)據(jù)欺騙 AI 程序進(jìn)行錯(cuò)誤分類是其中一種。

例如，開(kāi)發(fā)人員使用數(shù)據(jù) ( 如圖像、文本或其他類型 ) 來(lái)訓(xùn)練人工智能系統(tǒng)，如果數(shù)據(jù)被改變或扭曲，應(yīng)用程序?qū)⒁圆煌姆绞浇忉屳斎氩a(chǎn)生不正確的結(jié)果。

幻覺(jué)可能會(huì)出現(xiàn)在像 ChatGPT 這樣的基于語(yǔ)言的大型模型中，這是由于不正確的轉(zhuǎn)換器解碼，導(dǎo)致語(yǔ)言模型可能會(huì)產(chǎn)生一個(gè)沒(méi)有不合邏輯或模糊的故事或敘述。

關(guān)鍵詞：