ChatGPT解决这个技术问题 Extra ChatGPT

在 MongoDB 中实现数据版本控制的方法

您能否分享您的想法,您将如何在 MongoDB 中实现数据版本控制。 (我问过 similar question regarding Cassandra。如果您有任何想法哪个 db 更适合,请分享)

假设我需要对一个简单地址簿中的记录进行版本化。 (通讯录记录存储为平面 json 对象)。我希望历史:

将不经常使用

将一次全部使用,以“时间机器”的方式呈现

一条记录不会有超过几百个版本。历史不会过期。

我正在考虑以下方法:

创建一个新的对象集合来存储记录的历史记录或对记录的更改。它会为每个版本存储一个对象,并引用地址簿条目。此类记录如下所示: { '_id': 'new id', 'user': user_id, 'timestamp': timestamp, 'address_book_id': '通讯录记录的 id' 'old_record': {'first_name': 'Jon', 'last_name':'Doe' ...} } 这种方法可以修改为每个文档存储一个版本数组。但这似乎是一种较慢的方法,没有任何优势。

将版本存储为附加到地址簿条目的序列化 (JSON) 对象。我不确定如何将此类对象附加到 MongoDB 文档。也许作为一个字符串数组。 (模仿使用 CouchDB 进行简单文档版本控制)

我想知道自从问题得到回答后这是否发生了变化?我对 oplog 了解不多,但当时有这种情况,会有所不同吗?
我的方法是将所有数据视为时间序列。

C
Community

深入研究时的第一个大问题是“你想如何存储变更集”?

差异?全记录副本?

我个人的方法是存储差异。因为这些差异的显示确实是一个特殊的动作,所以我会将差异放在不同的“历史”集合中。

我会使用不同的集合来节省内存空间。您通常不希望简单查询的完整历史记录。因此,通过将历史记录保留在对象之外,您还可以在查询该数据时将其保留在通常访问的内存之外。

为了让我的生活更轻松,我会制作一个包含时间戳差异的字典的历史文档。像这样的东西:

{
    _id : "id of address book record",
    changes : { 
                1234567 : { "city" : "Omaha", "state" : "Nebraska" },
                1234568 : { "city" : "Kansas City", "state" : "Missouri" }
               }
}

为了让我的生活变得非常轻松,我会将这部分作为我用来访问数据的 DataObjects(EntityWrapper,等等)。通常,这些对象具有某种形式的历史记录,因此您可以轻松地覆盖 save() 方法以同时进行此更改。

更新:2015-10

现在好像有 a spec for handling JSON diffs。这似乎是一种更强大的存储差异/更改的方式。


你不担心这样的历史文档(更改对象)会随着时间的推移而增长并且更新变得低效吗?或者 MongoDB 处理文档是否容易增长?
看看编辑。添加到 changes 非常简单:db.hist.update({_id: ID}, {$set { changes.12345 : CHANGES } }, true) 这将执行一个只会更改所需数据的更新插入。 Mongo 创建带有“缓冲空间”的文档来处理这种类型的变化。它还监视集合中的文档如何更改并修改每个集合的缓冲区大小。所以 MongoDB 正是为这种类型的变化而设计的(添加新属性/推送到数组)。
我做了一些测试,确实空间保留工作得很好。当记录被重新分配到数据文件的末尾时,我无法捕捉到性能损失。
您可以使用 github.com/mirek/node-rus-diff 为您的历史生成(与 MongoDB 兼容的)差异。
JSON Patch RFC 提供了一种表达差异的方法。它有 implementations in several languages
D
David Pfeffer

有一个名为“Vermongo”的版本控制方案,它解决了其他回复中未处理的一些方面。

其中一个问题是并发更新,另一个是删除文档。

Vermongo 将完整的文档副本存储在影子集合中。对于某些用例,这可能会导致过多的开销,但我认为它也简化了许多事情。

https://github.com/thiloplanz/v7files/wiki/Vermongo


你如何实际使用它?
没有关于如何实际使用该项目的文档。它以某种方式与Mongo一起生活吗?它是一个Java库吗?它仅仅是一种思考问题的方式吗?没有任何想法,也没有给出任何提示。
这实际上是一个 Java 应用程序,相关代码位于此处:github.com/thiloplanz/v7files/blob/master/src/main/java/v7db/…
B
Benjamin M

这是另一种解决方案,对当前版本和所有旧版本使用单个文档:

{
    _id: ObjectId("..."),
    data: [
        { vid: 1, content: "foo" },
        { vid: 2, content: "bar" }
    ]
}

data 包含所有 版本。 data 数组是有序,新版本只会$push到数组末尾。 data.vid 是版本 id,它是一个递增的数字。

获取最新版本:

find(
    { "_id":ObjectId("...") },
    { "data":{ $slice:-1 } }
)

通过 vid 获取特定版本:

find(
    { "_id":ObjectId("...") },
    { "data":{ $elemMatch:{ "vid":1 } } }
)

仅返回指定字段:

find(
    { "_id":ObjectId("...") },
    { "data":{ $elemMatch:{ "vid":1 } }, "data.content":1 }
)

插入新版本:(并防止并发插入/更新)

update(
    {
        "_id":ObjectId("..."),
        $and:[
            { "data.vid":{ $not:{ $gt:2 } } },
            { "data.vid":2 }
        ]
    },
    { $push:{ "data":{ "vid":3, "content":"baz" } } }
)

2 是当前最新版本的 vid3 是要插入的新版本。因为您需要最新版本的 vid,所以很容易获得下一个版本的 vidnextVID = oldVID + 1

$and 条件将确保 2 是最新的 vid

这样就不需要唯一索引,但应用程序逻辑必须注意在插入时递增 vid

删除特定版本:

update(
    { "_id":ObjectId("...") },
    { $pull:{ "data":{ "vid":2 } } }
)

而已!

(记住每个文档 16MB 的限制)


使用 mmapv1 存储,每次向数据中添加新版本时,都有可能移动文档。
是的,这是正确的。但是,如果您只是偶尔添加新版本,这应该可以忽略不计。
s
s01ipsist

如果您正在寻找现成的解决方案 -

Mongoid 内置了简单的版本控制

http://mongoid.org/en/mongoid/docs/extras.html#versioning

mongoid-history 是一个 Ruby 插件,它提供了一个非常复杂的解决方案,包括审计、撤消和重做

https://github.com/aq1018/mongoid-history


对于 ruby 编程语言。
D
Daniel Watrous

我完成了这个解决方案,该解决方案包含数据的已发布、草稿和历史版本:

{
  published: {},
  draft: {},
  history: {
    "1" : {
      metadata: <value>,
      document: {}
    },
    ...
  }
}

我在这里进一步解释模型:http://software.danielwatrous.com/representing-revision-data-in-mongodb/

对于那些可能在 Java 中实现类似这样的东西,这里有一个例子:

http://software.danielwatrous.com/using-java-to-work-with-versioned-data/

包括所有你可以分叉的代码,如果你喜欢的话

https://github.com/dwatrous/mongodb-revision-objects


很棒的东西:)
b
bmw15

如果您使用的是猫鼬,我发现以下插件是 JSON Patch 格式的有用实现

mongoose-patch-history


M
Muhammad Reda

另一种选择是使用 mongoose-history 插件。

let mongoose = require('mongoose');
let mongooseHistory = require('mongoose-history');
let Schema = mongoose.Schema;

let MySchema = Post = new Schema({
    title: String,
    status: Boolean
});

MySchema.plugin(mongooseHistory);
// The plugin will automatically create a new collection with the schema name + "_history".
// In this case, collection with name "my_schema_history" will be created.

h
helcode

我已将以下包用于流星/MongoDB 项目,它运行良好,主要优点是它将历史记录/修订存储在同一文档的数组中,因此无需额外的出版物或中间件来访问更改历史记录.它可以支持有限数量的先前版本(例如最后十个版本),它还支持更改串联(因此在特定时期内发生的所有更改都将被一个修订版覆盖)。

nicklozon/meteor-collection-revisions

另一个声音选项是使用 Meteor Vermongo (here)