3個專家技巧來使用語言模型生成真實的表格數據:

閱讀時間約 2 分鐘

1. 使用GReaT框架進行條件生成:

- Vadim Borisov在2023年發表的文章《Language Models are Realistic Tabular Data Generators》中提出了GReaT框架。GReaT代表Generation of Realistic Tabular data,專為生成真實的表格數據而設計。其一大優點是能夠進行條件生成,即給定一組特徵的子集,GReaT可以補全剩下的欄位。


2. 利用文本編碼器轉換表格數據:

- 在生成表格數據時,需將表格的「一列」轉換為生成模型所需的向量表達。Vadim在其文章的3.1節介紹了一種稱為「文本編碼器」的編碼方式,將表格轉為文本。這種編碼方式稱為「主語-謂語-賓語轉換」,例如紀錄「年紀59,教育碩士,性別男性」可以轉換為語言模型使用的文本。


3. 採用自迴歸建模進行生成:

- 由於語言模型使用「自迴歸建模」,打亂文本編碼時欄位的順序可以幫助語言模型理解這些欄位之間的獨立性,從而賦予語言模型進行條件生成的能力。例如,你可以將表格數據「教育碩士,年紀59,性別男性」轉換為「性別男性,年紀59,教育碩士」,以增強模型的生成效果。


你還有什麼其他的使用語言模型生成表格數據的技巧嗎?


請閱讀:


412會員
1.4K內容數
Outline as Content
留言0
查看全部
發表第一個留言支持創作者!
王啟樺的沙龍 的其他內容
今天聊一聊由 Yu Bai [1] 於2023年發表的文章, 《Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection》[2]。 本文章的標題很有意思,
1. 讀書基本的紀錄: - 紀錄書籍情報和感想是讀書的基本步驟。這個建議來自日本作者倉下忠憲的著書《ロギング仕事術》,在書中的第133頁提到這一點。從高中開始,我的閱讀記錄方式就一直在變化。 2. 書店探索的重要性: - 高中的國文老師李靜妤在第一堂課時告訴我們:「高中生要
人不容易區分理想與現實,會高估自己一天的產能,會以為事情要成靠毅力就可以。但實際有操作過的話,都會發現你其實對自己的狀況掌握沒有想像中那麼好。而計畫是用來制約你一天的行動,我也很有共感。如果一天沒有計畫,很容易不知道要做什麼,時間就消失在滑社群貼文,隨意逛影片之中了。
1. 回收沒有與研究主題相關經驗的申請人: - 自傳履歷中應顯示申請人是否有與我們研究主題相關的經歷。缺乏這類經驗的申請人可能無法滿足我們的需求,因為他們可能不具備執行所需工作的基本知識和技能。 2. 忽視申請人的基礎技能: - 我在自傳履歷中會特別尋找申請人是否具備與我們工作要求相符的基
步驟1 - 為筆記編號,建立索引 在Obsidian中,將每個筆記編上獨立編號,使其成為易於引用的對象。無論是日常寫作還是社交媒體分享的短文,每篇都有編號,有助於重讀和迭代。這種方法讓想法得以有效組織和管理,提高了信息檢索的效率。
1. 教育經費的來源: - 作為博士生,可能會好奇系上的設施、薪水和活動經費是從哪裡來的。這些經費實際上是從你的系所屬的學院來的,而學院的經費則是從更上層的機構來的,這包括政府機構或私人研究機構。 2. 政府與私人機構的資金來源: - 政府機構的經費來自國民的納稅錢,這些資
今天聊一聊由 Yu Bai [1] 於2023年發表的文章, 《Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection》[2]。 本文章的標題很有意思,
1. 讀書基本的紀錄: - 紀錄書籍情報和感想是讀書的基本步驟。這個建議來自日本作者倉下忠憲的著書《ロギング仕事術》,在書中的第133頁提到這一點。從高中開始,我的閱讀記錄方式就一直在變化。 2. 書店探索的重要性: - 高中的國文老師李靜妤在第一堂課時告訴我們:「高中生要
人不容易區分理想與現實,會高估自己一天的產能,會以為事情要成靠毅力就可以。但實際有操作過的話,都會發現你其實對自己的狀況掌握沒有想像中那麼好。而計畫是用來制約你一天的行動,我也很有共感。如果一天沒有計畫,很容易不知道要做什麼,時間就消失在滑社群貼文,隨意逛影片之中了。
1. 回收沒有與研究主題相關經驗的申請人: - 自傳履歷中應顯示申請人是否有與我們研究主題相關的經歷。缺乏這類經驗的申請人可能無法滿足我們的需求,因為他們可能不具備執行所需工作的基本知識和技能。 2. 忽視申請人的基礎技能: - 我在自傳履歷中會特別尋找申請人是否具備與我們工作要求相符的基
步驟1 - 為筆記編號,建立索引 在Obsidian中,將每個筆記編上獨立編號,使其成為易於引用的對象。無論是日常寫作還是社交媒體分享的短文,每篇都有編號,有助於重讀和迭代。這種方法讓想法得以有效組織和管理,提高了信息檢索的效率。
1. 教育經費的來源: - 作為博士生,可能會好奇系上的設施、薪水和活動經費是從哪裡來的。這些經費實際上是從你的系所屬的學院來的,而學院的經費則是從更上層的機構來的,這包括政府機構或私人研究機構。 2. 政府與私人機構的資金來源: - 政府機構的經費來自國民的納稅錢,這些資
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
專案失敗以往被定義為超期、超預算或無法結案,但現今專案管理思維重新把失敗定義為未能產生預期價值。文章從產品經理、軟體設計和管理流程三方面提出對失敗專案的見解和解決方法。
Thumbnail
1️⃣低頻使用物品 2️⃣高頻使用物品 3️⃣最小動作數 ​ 1️⃣低頻使用物品:季節性的、節慶或特定場合性的、很少使用的、一年打開1~2次的物品。例如:冬季的棉被、聖誕節裝飾物品、只有去滑雪場才會穿的滑雪裝備、只有去露營才會使用的露營相關物品。 ​ 2️⃣高頻使用物品:每天會沖泡的咖啡
Thumbnail
全球最大的加密貨幣交易所 Binance 宣佈,為基於 meme 的加密貨幣 Pepe(PEPE) 愛好者舉辦兩項贈品活動。 PEPE 突破後幣安發佈了贈品公告。該代幣在日線圖中飆升至 0.00000140 美元的高點,然後在 0.00000136 美元的價格水準內盤整。
Thumbnail
有了前一天被導航帶到奇怪小路的經驗,這天我盡量自己找路,順利許多。在嘉義逛了很喜歡的花磚博物館,也吃了心心念念的嘉義美食。
Thumbnail
不相信的人說什麼也不相信的。 我講一個數據,成績好壞,是真是假,請自行判斷。 目前群裡42位,5/1起算,截至今日為止不足三個月,能拿出3成以上獲利對帳單的人,到今天剛好21位。 我相信一定有人開群成效比我更好,但我沒聽說、沒看過。如果真的有更厲害的地方,請揪我謝謝。
Thumbnail
2022年即將過去,翻翻這一年的日記我發現自己做了許多突破舒適圈的決定。我結合職場專業技能和個人興趣當作自己的自媒體主題。這篇文章我要跟你分享 2022 年,我在經營自媒體上做的 3 個決定。
Thumbnail
台灣人在很多領域上借重專業, 可是有個領域卻往往喜歡自己來不然就是找免錢的。是什麼呢?那就是財務規劃。財務規劃包含收支管理、風險管理、資產管理、信用管理, 涵蓋的範圍其實很廣, 所以如果沒有專家從旁協助, 可能會有犯錯的風險。本篇文章要跟讀者分享為什麼你需要在財務這方面借重專家的3個理由。
Thumbnail
大家是否曾在網路上看過知識型的動畫? 原本只是無意間瞥了一眼,卻因為生動活潑的敘述及影像,不知不覺將整個影片看完,還學到新知~動畫不僅能在實體課激發學生的學習興趣,線上教學也可以融入動畫,讓數位課程更加栩栩如生!
Thumbnail
閱讀文章前貼心小提醒:用電腦看文章體感較佳 ★3.14的花園被大幅度的Nerf,Zana開一次花園要12C,如何把這12C最大限度的利用呢?★ 以下是跑一個禮拜花園賺到獵首的心得
Thumbnail
🦁空軍欲過半年線,權值三王不同意 🦁權值股領跌,台股重挫150點、失守11200點 🦁電子權值股抗疫 台股跌幅收斂指數翻紅   是否常常在新聞看到上述的標題,傳達什麼資訊呢?是不是看得一頭霧水,讓我跟您說明說明        上篇文章《權值股的秘密?用2330和2317掌握全局》提到權值股中
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
專案失敗以往被定義為超期、超預算或無法結案,但現今專案管理思維重新把失敗定義為未能產生預期價值。文章從產品經理、軟體設計和管理流程三方面提出對失敗專案的見解和解決方法。
Thumbnail
1️⃣低頻使用物品 2️⃣高頻使用物品 3️⃣最小動作數 ​ 1️⃣低頻使用物品:季節性的、節慶或特定場合性的、很少使用的、一年打開1~2次的物品。例如:冬季的棉被、聖誕節裝飾物品、只有去滑雪場才會穿的滑雪裝備、只有去露營才會使用的露營相關物品。 ​ 2️⃣高頻使用物品:每天會沖泡的咖啡
Thumbnail
全球最大的加密貨幣交易所 Binance 宣佈,為基於 meme 的加密貨幣 Pepe(PEPE) 愛好者舉辦兩項贈品活動。 PEPE 突破後幣安發佈了贈品公告。該代幣在日線圖中飆升至 0.00000140 美元的高點,然後在 0.00000136 美元的價格水準內盤整。
Thumbnail
有了前一天被導航帶到奇怪小路的經驗,這天我盡量自己找路,順利許多。在嘉義逛了很喜歡的花磚博物館,也吃了心心念念的嘉義美食。
Thumbnail
不相信的人說什麼也不相信的。 我講一個數據,成績好壞,是真是假,請自行判斷。 目前群裡42位,5/1起算,截至今日為止不足三個月,能拿出3成以上獲利對帳單的人,到今天剛好21位。 我相信一定有人開群成效比我更好,但我沒聽說、沒看過。如果真的有更厲害的地方,請揪我謝謝。
Thumbnail
2022年即將過去,翻翻這一年的日記我發現自己做了許多突破舒適圈的決定。我結合職場專業技能和個人興趣當作自己的自媒體主題。這篇文章我要跟你分享 2022 年,我在經營自媒體上做的 3 個決定。
Thumbnail
台灣人在很多領域上借重專業, 可是有個領域卻往往喜歡自己來不然就是找免錢的。是什麼呢?那就是財務規劃。財務規劃包含收支管理、風險管理、資產管理、信用管理, 涵蓋的範圍其實很廣, 所以如果沒有專家從旁協助, 可能會有犯錯的風險。本篇文章要跟讀者分享為什麼你需要在財務這方面借重專家的3個理由。
Thumbnail
大家是否曾在網路上看過知識型的動畫? 原本只是無意間瞥了一眼,卻因為生動活潑的敘述及影像,不知不覺將整個影片看完,還學到新知~動畫不僅能在實體課激發學生的學習興趣,線上教學也可以融入動畫,讓數位課程更加栩栩如生!
Thumbnail
閱讀文章前貼心小提醒:用電腦看文章體感較佳 ★3.14的花園被大幅度的Nerf,Zana開一次花園要12C,如何把這12C最大限度的利用呢?★ 以下是跑一個禮拜花園賺到獵首的心得
Thumbnail
🦁空軍欲過半年線,權值三王不同意 🦁權值股領跌,台股重挫150點、失守11200點 🦁電子權值股抗疫 台股跌幅收斂指數翻紅   是否常常在新聞看到上述的標題,傳達什麼資訊呢?是不是看得一頭霧水,讓我跟您說明說明        上篇文章《權值股的秘密?用2330和2317掌握全局》提到權值股中