生成式AI與學術出版的未來

2024電子資訊資源與學術聯盟國際研討會

2024/11/14-15 一年一度由CONCERT主辦的「電子資訊資源與學術聯盟國際研討會」剛結束，今年的主題仍圍繞在人工智慧：「人工智慧 X 學術創新」。在下有幸主持了一場由Wiley數據科學及AI產品管理資深總監Dr. Dave Flanagan主講的「生成式AI與學術出版的未來」，就藉本文摘要演講內容。

演講主旨圍繞在Wiley針對158個國家、將近5000位的學者進行的研究，這些學者涵蓋了60種以上的研究領域並對AI有不同程度的認識。研究分為兩個階段：(1) 第一階段是深度訪談不同主題領域的學者以瞭解生成式AI在學術出版生命週期中各式的應用場景；(2) 第二階段則是運用量化問卷取得對各式應用場景的共識。

Wiley整理出在研究生命週期中各階段共43個應用場景，這裡所謂的研究生命週期包含了：決定研究主題(Determine what to research)、執行研究(Conduct the research)、預備出版(Prepare findings for publication)、同儕審查(Peer review)、宣傳與分享文章(Promote and share article)。然後運用問卷詢問學者關於這43個應用場景的看法，猜想針對每一個AI應用場景會詢問學者"人類或AI哪一個表現較佳"以及"對這個應用場景感興趣的程度"。

應用案例分類

根據問卷的結果，就可以將所有應用案例根據Importance-Performance Analysis (IPA)的概念分為四個象限，如下圖所示：橫軸表示各種應用場景究竟是人類或AI表現得比較好，縱軸則是學者對各種應用場景的感興趣程度，依此四個象限分別為：

1. 第一象限：AI做得比較好而且學者較感興趣的「高度受歡迎應用場景(Highly popular current use cases)」。
2. 第二象限：人類做得比較好，但學者較感興趣的「高度受期待應用場景(Highly anticipated use cases)」。
3. 第三象限：人類做得比較好，而且學者也不怎麼感興趣的「傾向由人類執行的應用場景(Human preferred use cases)」。
4. 第四象限：雖然AI做得比較好，但學者不怎麼感興趣的「雞肋型應用場景(Less exciting current use cases)」。

研究者對於AI在學術出版的觀感分析

接下來說明研究的幾個發現：

趨勢一：學者和作者都將人工智慧視為我們共同未來中不可避免的一部分(Researchers and authors see AI as an inevitable part of our shared future)

有69%填答問卷的學者相信在未來的兩年，AI技能在他們的研究領域將會十分重要。

趨勢二：學者和作者已準備好擁抱人工智慧，但也意識到需要相關指引(Researchers and authors are primed to embrace AI but aware of the need for guidance)

有三分之二的學者認為缺乏指導方針和培訓是增加人工智慧應用的阻礙，且有70%的學者仰賴出版社來引導人工智慧在學術出版的應用。

在預備出版的過程中，下列應用場景落在「高度受歡迎應用場景」：

1. 檢核自己的著作是否不小心抄襲了他人的著作(Checking own work for unintended plagiarism)。
2. 檢核寫作中的偏見或錯誤(Detecting erros or bias in own writing)。
3. 著作格式化自動工具，以符合出版社的著作提交準則(Automatic formatting tool to comply with submission guidelines)。
4. 資料視覺化工具(Data visualization tools)。
5. 寫作小幫手(Writing assistance)。
6. 添加引用來源(Population citations)。

屬於「高度受期待應用場景」的有：

1. 根據文章草稿的內容推薦適合投稿的期刊(Journal selection tool based on cotent of article draft)。
2. 產生參考文獻的推薦(Generating reference recommendations)。

屬於「傾向由人類執行的應用場景」的有：

1. 產生文章摘要(Creating an article abstract)。

在宣傳與分享文章的過程中，為了增加學者本身著作的可及性(Accessibility)，則有下列兩項應用場景落在「高度受歡迎應用場景」：

1. 製作文章研究發現的淺顯語言摘要(Creating plain language summaries of article findings)。
2. 知識管理助手讓資訊更易於取得(Knowledge management agent to make information accessible)。

趨勢三：學者和作者對於在寫作以外的領域使用人工智慧工具有廣泛興趣(Researchers and authors have broad interest in using AI tools outside of authorship)

43個應用場景中，大部分學者有興趣在未來兩年內實踐其中的39個，且認為人工智慧在其中的23個應用場景勝過人類。

學者也指出一些高度受期待的應用場景，例如Gen AI可以用來預測學術領域的新發展：

1. 識別文獻中的研究缺口(Identifying gaps in the literature)。
2. 預測該領域未來趨勢和里程碑的工具(Tool to predict future trends/milstones in the field)。

或是，協助學者取得相關推薦：

1. 根據文章草稿的內容推薦適合投稿的期刊(Journal selection tool based on cotent of article draft)。
2. 產生參考文獻的推薦(Generating reference recommendations)。
3. 識別具備相關專業知識的同儕評審(Identifying peer reviewers with relevant expertise)。

甚至可以分擔重要但較枯燥乏味的工作：

1. 處理行政任務(handling administrative tasks)。
2. 協助撰寫研究經費申請(assistance in writing funding applications)。

或是，做為教育工具：

1. 根據文章產生教材教案等內容(Generating educational content based on article)
2. 科學傳播工具(Science communication tools)

趨勢四：學者認為學術出版過程中一些應用場景需要人類的專業知識(Researchers believe human expertise is required in some areas)

儘管AI看似在超過一半(23/43)的應用場景勝過人類，但在同儕評審的一些應用場景中還是需要人類的專業知識。例如，以下四項就屬於「傾向由人類執行的應用場景」：

1. 協助針對其他學者的文章進行同儕審核(Assistance in peer reviewing others' articles)。
2. 提供審查者自動化回饋以確保評論的清晰度(Automated feedback to reviewers to ensure clarity in reviews)。
3. 基於文章比對的同儕審查者推薦工具(Peer reviewer recommendation tool based on article comparisons)。
4. 將審查者的審查意見轉換為標準化格式(Adapting reviewer feedback into standardized format)。

儘管如此，別忘了「識別具備相關專業知識的同儕評審」是落在「高度受期待的應用場景」。此外，有一項應用場景雖然被歸為「高度受歡迎應用場景」，但是有點尷尬... 就是學者覺得應該AI可以做得比人類好，但是對於它的興趣剛好在中間值，這項應用場景就是：「加快同儕評審的速度並讓同儕評審變得容易(Increasing speed and ease of peer review)」。

反映「加快同儕評審的速度並讓同儕評審變得容易」這個應用場景...以下這段話是我說的：在這次CONCERT國際研討會中，一些出版社有提到，不允許審查者在審查他人文章的過程中，把他人文章上傳到Gen AI，甚至要求Gen AI提供審查意見。當然，在技術和實務上並非辦不到，但牽涉到的是倫理(Ethics)的議題。就如同新版的《歐洲研究誠信行為準則(The European Code of Conduct for Research Integrity)》已經納入若干與AI有關的準則，其中2.8 Reviewing and Assessment提到

Researchers, research institutions, and organisations review and assess submissions for publication, funding, appointment, promotion, or reward in a transparent and justifiable manner, and disclose the use of AI and automated tools.(研究人員、研究機構和組織在審查並評估出版、經費、任命、升遷或獎勵的申請時，應以透明且合理的方式進行，並揭露人工智慧和自動化工具的使用。)

最後，Dave對研究結果歸納三點看法：

1. 學者對於AI的態度熱切但務實。
2. 某些任務將永遠需要人類判斷。
3. 培訓、指導和倫理標準至關重要。

並提出三點行動呼籲：

1. 賦能予作者，使其了解哪些人工智慧工具可以安全使用，以及適用的場景。
2. 在要求倫理和透明度承諾方面發揮領導作用。
3. 引導人工智慧工具的發展，加速研究突破與發現。