研究發(fā)現(xiàn)：ChatGPT回答編程問(wèn)題的錯(cuò)誤率超過(guò)50%

(資料圖片)

美國(guó)普渡大學(xué)的研究發(fā)現(xiàn)，OpenAI 開(kāi)發(fā)的人工智能聊天機(jī)器人 ChatGPT 在回答軟件編程問(wèn)題時(shí)，錯(cuò)誤率超過(guò)一半，且能騙過(guò)三分之一的提問(wèn)者。

該研究團(tuán)隊(duì)分析了 ChatGPT 對(duì) 517 個(gè) Stack Overflow 網(wǎng)站上的問(wèn)題的回答，評(píng)估了其正確性、一致性、全面性和簡(jiǎn)潔性。他們還對(duì)回答進(jìn)行了語(yǔ)言和情感分析，并對(duì) 12 名志愿參與者進(jìn)行了問(wèn)卷調(diào)查。研究報(bào)告的結(jié)論是：ChatGPT 的回答雖然語(yǔ)言風(fēng)格良好，但 52% 的回答是錯(cuò)誤的，77% 是冗長(zhǎng)的。參與者只有在回答中的錯(cuò)誤很明顯時(shí)，才能識(shí)別出來(lái)。否則，他們會(huì)被 ChatGPT 的友好、權(quán)威和細(xì)致的語(yǔ)言風(fēng)格所誤導(dǎo)。

Stack Overflow 是一個(gè)專門為程序員提供問(wèn)答服務(wù)的網(wǎng)站，被認(rèn)為是開(kāi)發(fā)者獲取代碼片段和解決問(wèn)題的重要來(lái)源。然而，該網(wǎng)站近年來(lái)也面臨著流量下降、內(nèi)容質(zhì)量下降和用戶信任下降等問(wèn)題。據(jù) SimilarWeb 在 4 月份的一份報(bào)告顯示，自 2022 年 1 月以來(lái)，該網(wǎng)站每月流量下降了 6%，3 月份下降了 13.9%，而 ChatGPT 可能是導(dǎo)致其流量下降的原因之一。Stack Overflow 則否認(rèn)了 SimilarWeb 的評(píng)估，并表示其流量受到搜索算法和 ChatGPT 興趣激增的影響。

OpenAI 在其 ChatGPT 網(wǎng)站上承認(rèn)其軟件“可能會(huì)產(chǎn)生關(guān)于人、地點(diǎn)或事實(shí)的不準(zhǔn)確信息?！苯刂罥T之家發(fā)稿，該公司暫未對(duì)普渡大學(xué)的研究作出回應(yīng)。

關(guān)鍵詞：