【資料庫寶典 - MongoDB】併發進行Upsert造成重複資料。
更新於 發佈於 閱讀時間約 3 分鐘
通常我們如果希望一筆資料是能夠具備唯一性的狀況下， 勢必在新增前會進行檢查， 但是在我們的應用程式中， 先查詢再寫入勢必會造成一些時間差， 導致於多人同時操作時， 可能發生重複資料的狀況。
假設我們的應用是不允許名稱重複， 那我們的資料可能如下：
[
{
"name": "john",
"phone": "0911111111"
},
{
"name": "mark",
"phone": "0922222222"
}
]
我們的業務邏輯為「當名稱存在時就更新、不存在就新增」，此時我們可能會分成兩個動作來操作：
- 查詢 name = xxx。
- 存在： Update、不存在： Insert。
上述狀況在同一時間內只有一個操作都不會發生問題， 但假設同一個時間點有兩個人同時操作時， 就可能發生以下狀況：
而為了解決上述問題， 我們可以把「查詢/新增/更新」這個動作視為一個單元， 提交給DB去幫我們操作， 也就是透過Upsert的指令來幫我們完成。
但實測後發現在高併發的狀況下， 雖然重複資料的狀況減少了， 但仍然會發生， 若要完全避免這樣的況狀發生， 根據官方的描述：
「To avoid multiple upserts, ensure that the filter field(s) are uniquely indexed. 」(https://docs.mongodb.com/manual/reference/method/db.collection.updateOne/)
要解決這個問題， 我們可以透過「唯一索引」的方式來建立， 以上面的例子來說， 我們的name，就是這個文檔的唯一性關鍵， 因此我們可以對name進行建立Unique索引：
db.collection.createIndex( { "name": 1 }, { unique: true } )會解決以下兩個問題：
- 只要欲更新/新增的name會有重複的狀況發生時， 就會被DB Reject。
- 併發的狀況下， 假設同時有兩個一模一樣的upsert在同時間操作， 如下：
db.collection.update(
{
"name": "Ada"
},
{
"$set": {
"name": "Ada", "phone": "0933333333"
}
}
)db.collection.update(
{
"name": "Ada"
},
{
"$set": {
"name": "Ada", "phone": "0933333333"
}
}
)
為什麼會看到廣告
118會員
266內容數
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
留言0
查看全部你可能也想看
Google News 追蹤
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
已經存在在table裡面的那些record做更新。
※ 語法
UPDATE [LOW_PRIORITY] [IGNORE] table_name
SET
column_name1 = expr1,
column_name2 = expr2,
…
[WHERE
※ 為什麼需要 Subquery？
當⼀個任務需要多個 Query 完成任務，可以使⽤ Subquery 把多個 Query 合併成⼀個 Query。
當我們在進行SQL查詢時，每次查詢都需要在Web Server和資料庫之間來回傳遞資料。這個過程會產生網路延遲，特別是當兩者之間的物理距離較遠時
在進行SQL查詢邏輯更改時，需要適當地使用SubQuery和join來達到新的排序需求。本文將介紹原本的撈取邏輯、需求以及如何使用SubQuery來解決新的排序需求。
題目敘述 Minimum Increment to Make Array Unique
給定一個整數陣列，每回合可以任意挑一個數字進行+1的加法操作。
請問最少需要多少次的+1加法操作，才能讓每個數字都相異?
在進行Electron 專案時，後端夥伴選擇將 sqlite 資料庫跟專案檔打包成一個執行檔。在開發過程中，前端的操作經常會更動到 db的資料，此時 Git 就會追蹤到 db 的變化，因此前端在推送檔案到遠端 repo 前，會需要將其移出 Git 追蹤範圍，該怎麼做？
※ 什麼是資料庫反正規化？優缺點是什麼？
※ 什麼是資料庫反正規化？
資料庫反正規化（Database Denormalization）是一種將資料庫中的資料再次加工，將資料從正規化狀態轉換為非正規化狀態的過程。在反正規化中，我們通常會將數據合併到一個或少量表中，以提高查詢性能或簡化數據模型。
※ 什麼是資料庫正規化？為什麼需要正規化？
什麼是資料庫正規化？
資料庫正規化是一種設計關聯式資料庫的方法，目的是建立良好結構的關聯表，主要目的有二：
去除重複性：建立沒有重複的關聯表。因為重複資料不只浪費資料庫的儲存空間，而且會產生資料維護上的問題。
去除不一致的相依性：資料相依是指關聯表
在現代資訊爆炸的時代，我們每天都會產生大量的檔案。無論是工作、學習還是生活，檔案都扮演著重要的角色。然而，隨著檔案數量的不斷增加，我們也面臨著一個新的挑戰：如何有效地管理檔案。檔案命名是檔案管理的第一步。一個好的檔案命名規則可以幫助我們快速找到所需的檔案，提高工作效率。
題目 : 83. Remove Duplicates from Sorted List
題目敘述
題目會給定一個pandas DataFrame作為輸入，要求我們以原有的資料表email欄位為比較基準，刪除重複的列 data rows，只保留最早第一次出現的。
題目的原文敘述
Example 1:
Input:
+-------------+---------+--------
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
已經存在在table裡面的那些record做更新。
※ 語法
UPDATE [LOW_PRIORITY] [IGNORE] table_name
SET
column_name1 = expr1,
column_name2 = expr2,
…
[WHERE
※ 為什麼需要 Subquery？
當⼀個任務需要多個 Query 完成任務，可以使⽤ Subquery 把多個 Query 合併成⼀個 Query。
當我們在進行SQL查詢時，每次查詢都需要在Web Server和資料庫之間來回傳遞資料。這個過程會產生網路延遲，特別是當兩者之間的物理距離較遠時
在進行SQL查詢邏輯更改時，需要適當地使用SubQuery和join來達到新的排序需求。本文將介紹原本的撈取邏輯、需求以及如何使用SubQuery來解決新的排序需求。
題目敘述 Minimum Increment to Make Array Unique
給定一個整數陣列，每回合可以任意挑一個數字進行+1的加法操作。
請問最少需要多少次的+1加法操作，才能讓每個數字都相異?
在進行Electron 專案時，後端夥伴選擇將 sqlite 資料庫跟專案檔打包成一個執行檔。在開發過程中，前端的操作經常會更動到 db的資料，此時 Git 就會追蹤到 db 的變化，因此前端在推送檔案到遠端 repo 前，會需要將其移出 Git 追蹤範圍，該怎麼做？
※ 什麼是資料庫反正規化？優缺點是什麼？
※ 什麼是資料庫反正規化？
資料庫反正規化（Database Denormalization）是一種將資料庫中的資料再次加工，將資料從正規化狀態轉換為非正規化狀態的過程。在反正規化中，我們通常會將數據合併到一個或少量表中，以提高查詢性能或簡化數據模型。
※ 什麼是資料庫正規化？為什麼需要正規化？
什麼是資料庫正規化？
資料庫正規化是一種設計關聯式資料庫的方法，目的是建立良好結構的關聯表，主要目的有二：
去除重複性：建立沒有重複的關聯表。因為重複資料不只浪費資料庫的儲存空間，而且會產生資料維護上的問題。
去除不一致的相依性：資料相依是指關聯表
在現代資訊爆炸的時代，我們每天都會產生大量的檔案。無論是工作、學習還是生活，檔案都扮演著重要的角色。然而，隨著檔案數量的不斷增加，我們也面臨著一個新的挑戰：如何有效地管理檔案。檔案命名是檔案管理的第一步。一個好的檔案命名規則可以幫助我們快速找到所需的檔案，提高工作效率。
題目 : 83. Remove Duplicates from Sorted List
題目敘述
題目會給定一個pandas DataFrame作為輸入，要求我們以原有的資料表email欄位為比較基準，刪除重複的列 data rows，只保留最早第一次出現的。
題目的原文敘述
Example 1:
Input:
+-------------+---------+--------