研究證實 : ChatGPT 表現差了

July 23, 2023
215 views

真的變差了

都有已改善的地方

We evaluated #ChatGPT's behavior over time and found substantial diffs in its responses to the *same questions* between the June version of GPT4 and GPT3.5 and the March versions. The newer versions got worse on some tasks. w/ Lingjiao Chen @matei_zaharia https://t.co/TGeN4T18Fd https://t.co/36mjnejERy pic.twitter.com/FEiqrUVbg6 — James Zou (@james_y_zou) July 19, 2023

「ChatGPT 最近變差了?」這可能是近期在各大論壇的熱議。許多用戶都說 GPT-4 的版本不如從前,有時候它回答的信息甚至有錯誤呢!有一組科學家認真研究這問題,結果是......有來自 Stanford University and UC Berkeley 一組科學家認真研究「ChatGPT 最近是否變差了?」結果真的發現 GPT-4 跟幾個月前有所不同,而且這些變化不全是好的。以前問 GPT-4 複雜的數學問題,它經常答對,但最近好像有點失魂落魄,只有 2.4% 的答對率。之前的版本還會詳細解釋答案,但現在的答案偏向簡單,很少說明它的思路。還有,GPT-4 最近在解決空間推理問題上似乎也不太在行。再來說說編程能力,就好像一名大學生快要畢業時的懈怠,效果不如以前。研究人員發現,新版的 GPT-4 在 LeetCode 平台上的答案,只有 10% 能正確執行,而幾個月前還有 50%不過,說到 GPT-4 對一些不應該回答的 Prompts ,情況似乎好了些。例如,之前回應歧視性的問題的比例從 21% 下降到 5%來源: Gizmodo ePrice.HK 同你齊齊學 AI : 按呢度 進入 AI 大時代專頁, 每日送上最強 AI 消息及工具測試 玩咗 Threads 未! 立即 Follow 我哋 ,有喺網站睇唔到嘅科技廢文分享

Source: ePrice.HK