南昌一中掏脑子挖眼睛完整版_极品太监猎美传奇_太阳是奶酪做的(h)(弓行永夜)_男生宿舍的公共小受_小东西好几天没弄你了最新章节

強化微調(diào)可以輕松創(chuàng)建具備強大推理能力的專家模型。

昨天關(guān)于 o1 和 200 美元一個月的 o1-pro 的新聞已經(jīng)消化完了嗎？咱們該夸夸，該吐嘈就吐嘈，但也不得不說，OpenAI 是懂營銷宣傳的，至少這個 12 天連續(xù)發(fā)布的策略著實是賺足了眼球。?

現(xiàn)在，OpenAI 的 12 天計劃進入了第 2 天。凌晨兩點，我們迎來了一個開發(fā)者和研究者更感興趣的產(chǎn)品：Reinforcement Fine-Tuning，即強化微調(diào)。

今天參與發(fā)布的四人組是 OpenAI 研究副總裁 Mark Chen、OpenAI 技術(shù)員 John Allard 和 Julie Wang、Berkeley Lab 的環(huán)境基因組學和系統(tǒng)生物學研究者 Justin Reese。

Mark Chen 首先表示，今天發(fā)布的強化微調(diào)「允許你將你的黃金數(shù)據(jù)集轉(zhuǎn)化為獨特的產(chǎn)品，這將能讓你將我們具有的神奇能力提供給你自己的用戶和客戶?！沟?font cms-style="font-L">實際上要到明年才會真正公開推出。

OpenAI 微調(diào)團隊 Steven Heidel 也在 X 上給出了一句話總結(jié)：

什么是強化微調(diào)？

去年，OpenAI 就已經(jīng)為自家產(chǎn)品推出了監(jiān)督式微調(diào) API。簡單來說，監(jiān)督式微調(diào)要做的是讓模型模仿它在輸入文本或圖像中找到的特征。這種強大的技術(shù)可用于修改模型的語氣、樣式或響應(yīng)格式等等。

強化微調(diào)（RFT）則是一種更進一步模型定制技術(shù)，可讓開發(fā)者使用強化學習針對具體任務(wù)對模型進行進一步的微調(diào)，并根據(jù)提供的參考答案對模型的響應(yīng)進行評分。

也就是說，強化微調(diào)不僅會教模型模仿其輸入，更是會讓其學會在特定領(lǐng)域以新的方式進行推理。

具體來說，當模型發(fā)現(xiàn)問題時，要為它提供思考問題的空間，然后再對模型給出的響應(yīng)進行打分。之后，利用強化學習的力量，可以強化模型得到正確答案的思維方式并抑制導向錯誤答案的思維方式。John Allard 表示：「只需幾十個例子，模型就能學會在自定義領(lǐng)域以新的有效方式進行推理。」看起來，這種技術(shù)既能提高其在該領(lǐng)域特定任務(wù)上的準確性，還能增強模型對類似問題的推理能力。

Allard 還指出，OpenAI 內(nèi)部在訓練 GPT-4o 和 o1 系列模型時也使用了同樣的技術(shù)。

Julie Wang 表示：「開發(fā)者、研究人員和機器學習工程師將能夠使用強化學習來創(chuàng)建能夠在其領(lǐng)域內(nèi)擅長其特定任務(wù)的專家模型。我們相信，任何需要在 AI 模型方面擁有深厚專業(yè)知識的領(lǐng)域都能受益，比如法律、金融、工程、保險?！顾e了個例子，OpenAI 最近與湯森路透合作，使用強化微調(diào)來微調(diào) o1-mini，從而得到了好用的 AI 法律助理，能幫助他們的法律專業(yè)人員完成一些「最具分析性的工作流程」。

伯克利實驗室的 Justin Reese 也談到了強化微調(diào)對自己在罕見疾病方面的研究的幫助。他表示，罕見疾病其實并不罕見 —— 全球患有不同罕見疾病的人總數(shù)可達到 3 億人；而罕見疾病患者在確診之前往往需要數(shù)月乃至數(shù)年的漫長診斷過程。因為為了診斷出這些疾病，既需要醫(yī)學專業(yè)知識，還必須基于生物醫(yī)學數(shù)據(jù)進行系統(tǒng)性推理。而 o1 加上強化微調(diào)就能滿足這樣的需求。

如何實現(xiàn)強化微調(diào)？

OpenAI 通過一個根據(jù)癥狀推理預(yù)測可能基因的示例展現(xiàn)了強化微調(diào)的巨大潛力 —— 這實際上也正是伯克利實驗室與 OpenAI 的合作項目之一。結(jié)果發(fā)現(xiàn)，使用強化微調(diào)后，模型規(guī)模更小的 o1-mini 的表現(xiàn)可超過性能更加強勁的 o1。

下面將基于具體示例介紹如何實現(xiàn)強化微調(diào)。

首先來看訓練數(shù)據(jù)集。具體來說，這里的數(shù)據(jù)集是一個 .jsonl 文件，其中每一行都是一個訓練樣本。在這個示例中，數(shù)據(jù)集中包含 11 個樣本。

下面展示了一個具體數(shù)據(jù)樣本?？梢钥吹狡渲邪棧翰±龍蟾妫ò拘畔?、癥狀以及沒有的癥狀）、指令和正確答案。

在強化微調(diào)的訓練過程中，模型并不能看到正確答案。在給模型提供病例報告和指令之后，模型會輸出如上圖底部所示的響應(yīng) —— 一個基因列表，其中排在第一位的基因是模型認為最可能的基因，以此類推。

接下來，還需要上傳一個驗證數(shù)據(jù)集。驗證數(shù)據(jù)與訓練數(shù)據(jù)的格式完全一樣，但內(nèi)容沒有重疊。這樣才能驗證模型能否在該任務(wù)上進行泛化，而不僅僅是記住了訓練數(shù)據(jù)。

在訓練過程中，強化微調(diào)的「強化」部分就體現(xiàn)在評分器（Grader）的使用上。其設(shè)計思路很簡單，評分器會比較模型輸出與正確答案，然后返回一個 0 到 1 之間的分數(shù)。0 表示模型的輸出中不包含正確答案，而 1 表示正確答案在輸出的第一個位置。如下圖所示，正確答案在第 2 個位置，評分器給出了 0.7 的分數(shù)。

當然，有些任務(wù)的輸出結(jié)果并不是列表形式，因此 OpenAI 也提供了其它評分器，可以「相當有效地覆蓋你可能擁有的意圖的空間」。并且他們也在不斷增加更多評分器，未來也會支持用戶自己定制的評分器。

配置好評分器之后，用戶還可以選擇調(diào)整模型種子和一些超參數(shù)，包括批量大小、學習率乘數(shù)、epoch 數(shù)量。

接下來，點擊 Create，再等待一段時間，用戶就能得到經(jīng)過強化微調(diào)的定制模型。Allard 表示，根據(jù)具體任務(wù)的不同，這個訓練過程可能需要數(shù)小時到數(shù)天時間。

接下來，他演示了一個之前已經(jīng)微調(diào)好的模型，以下截圖展示了該模型的相關(guān)信息，可以看到基礎(chǔ)模型是 o1-mini，經(jīng)過強化微調(diào)后會得到一個輸出模型。

同一個頁面中還能看到模型在驗證數(shù)據(jù)集上的分數(shù)變化情況。

那么，這個經(jīng)過強化微調(diào)的 o1-mini 的表現(xiàn)究竟如何呢？評估結(jié)果表明，在 top@1（正確答案在列表第 1 個位置的概率）、top@5（正確答案在列表前 5 個位置的概率）和 top@max（輸出中包含正確答案的概率）指標上，其表現(xiàn)都明顯勝過性能更加強大的最新版 o1。

下面展示了一些運行過程示例：

當然，強化微調(diào)是一種通用技術(shù)。理論上，只要有合適的數(shù)據(jù)集和評估器，你就能將 o1 訓練成你的專業(yè) AI 助手。

目前，OpenAI 僅支持強化微調(diào)的 Alpha 測試申請，并且名額有限，「非常適合正在與專家團隊一起處理非常復雜任務(wù)的組織」，個人用戶至少得等到明年了。如果你有需求，可以在這里嘗試申請：

https://openai.com/form/rft-research-program/

同樣，今天的發(fā)布也在一個圣誕笑話中收尾：

圣誕老人正在努力制造一輛自動駕駛雪橇，但由于某種原因，他的模型一直無法識別樹木，導致雪橇老是撞樹。你猜原因是什么？

因為他沒有 pine-tune 自己的模型。

你看懂這個????諧音梗笑話了嗎？對強化微調(diào)又有何感想呢？