建设小微公司网站需要多少钱,城阳 网站建设,网站建站历史,网页搜索引擎优化技术研究人员推出了 Objaverse#xff0c;这是一个“包含文本描述的3D 对象的海量开放数据集”。 它包含大约 800 000 个 3D 模型以及文本描述。
Objaverse数据集可以从huggingface下载#xff0c;并且是通过 Sketchfab#xff08;Epic Games 旗下的在线平台#xff09;上共享…研究人员推出了 Objaverse这是一个“包含文本描述的3D 对象的海量开放数据集”。 它包含大约 800 000 个 3D 模型以及文本描述。
Objaverse数据集可以从huggingface下载并且是通过 SketchfabEpic Games 旗下的在线平台上共享的 3D 模型创建的。 该团队仅使用根据知识共享许可共享的 3D 模型。 换句话说如果你使用 CC 许可证在 Sketchfab 上共享 3D 模型它们可能会包含在 Objaverse 中即使你使用了 NoAI 标签情况也可能如此该标签本意是阻止 AI 的任何使用。 NSDT工具推荐 Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 1、为什么要创建这个数据集
Matt Deitke 等人在论文Objaverse: A Universe of Annotated 3D Objects中解释了他们为什么创建这个数据集。 他们强调在文本或图片方面海量数据集已经可用这也是人工智能在最近几年/几个月取得如此巨大进步的原因。 换句话说如果没有数据集来训练ChatGPT、StableDiffusion 等工具将无法创建文本或图片无论这些数据集是否开放、是否可用于商业用途。
到目前为止只有中等规模的 3D 数据集可用并且对象类别的多样性有限。 当然这限制了它们的使用。
有了大规模数据集就可以创建新的人工智能工具。 例如你可以训练 AI 根据文本描述创建 3D 模型或者创建 LOD/重新拓扑资产识别 3D 对象应该是什么或者为 3D 角色创建动画。 这样的数据集也可以用于计算机视觉领域不仅可以作为训练数据还可以作为基准。 Objaverse 与现有 3D 对象数据集之间的比较
2、Objaverse来自 Sketchfab 的对象
在此阶段你可能意识到 Objaverse 等数据集在人工智能方面具有巨大潜力。 它既可以用作训练数据也可以用作基准。 研究人员解释说为了创建 Objaverse他们从 Sketchfab 获取了 3D 模型、描述和标签。 Objaverse 包含由超过 10 万艺术家设计的超过 80 万个资产。 包括 3D 扫描、从头开始创建的 3D 模型甚至动画资产。
应该强调的是该数据集仅源自使用知识共享许可共享的资产其中大多数都遵循 CC-By 许可。
3、Objaverse 可以用来做什么
Objaverse 刚刚发布但已经被多个研究项目使用。 例如Text2Tex 是使用 Objaverse 训练的文本到纹理工具 Text2Tex 根据给定的文本提示生成 3D 网格的高质量纹理这种方法将修复结合到预先训练的深度感知图像扩散模型中以从多个视点逐步合成高分辨率部分纹理。 为了避免伪影Text2Tex提出了一种自动视图序列生成方案来确定更新部分纹理的下一个最佳视图。 大量实验表明Text2Tex方法明显优于现有的文本驱动方法和基于 GAN 的方法。
Objaverse 论文的主要作者 Matt Deitke 给出了其他示例例如 Zero-1-to-3这是一个可以从单个图像创建 3D 模型的系统 4、Objaverse 引发问题的第一反应
CC许可证本身允许抓取资源但这种做法引发了一些问题。
许多艺术家和创作者长期以来一直在 Sketchfab 上上传 3D 模型因此他们的一些资产在AI兴起之前就被共享了。 此外Objaverse 似乎没有考虑到“NoAI”标签该标签现在可以在 Sketchfab 上使用公开声明你不希望您的资产被用来训练 AI。 当然在这种情况下Objaverse 背后的团队不会是侵犯许可的人而且这种滥用在 Sketchfab 上共享的资产已经可能发生。
我们还应该强调的是许多使用 Creative Commons 许可证共享的 3D 资源......实际上并未获得 CC 许可证。 例如快速搜索你会发现从任天堂游戏中提取的资产并且上传它的用户只对其进行了轻微调整。 该资产与原始受版权保护的资产太接近无法在 CC 许可下共享。 当他们了解到 Objaverse 时一些艺术家选择删除他们的 Sketchfab 帐户而其他艺术家则建议可能是开玩笑处理这个问题的一种方法是将“具有非流形几何体的资产上传到 Sketchfab 并用常见的标签” 标签”以创建不良数据。 换句话说从 Sketchfab 抓取的数据集将无法用于训练AI。 当然这可能会被 Sketchfab 和该平台的其他用户视为垃圾资产。
5、如何检查我的 3D 模型是否包含在此数据集中
Objaverse 的创建者已经搭建了一个探索工具可在此处使用。 查找你的 Sketchfab 句柄或输入其中一个 3D 模型的名称应该可以帮助检查你的3D模型是否包含在Objaverse数据集内。
6、Sketchfab 对此有何看法
Sketchfab 首席执行官兼 Sketchfab 联合创始人 Alban Denoyel提醒一下Sketchfab 归 Epic Games 所有很快将并入 Fab在 Twitter 上做出了回应。
他的回答突出了四个要点
他强调说“这些模型是在他们不知情的情况下由 objaverse 大规模聚合的”并且“在发生这样的事情时它们的优势绝对为零”。他还解释说该数据集是在 Sketchfab 实现 NoAI 标签之前创建的这也许可以解释为什么没有考虑到它。他还强调该数据集依赖于“用户可下载的 CC 内容集”。 换句话说即使他们没有预料到他们在技术上也确实允许这种方式使用他们的资产。最后但并非最不重要的一点是他解释说 Sketchfab/Epic Games“正在研究他们有什么可以采取的措施”。
Sketchfab 官方账户也发布了几条关于这个话题的推文解释说他们“理解艺术家的担忧并正在调查”。
目前尚不清楚 Sketchfab 对此事能做些什么。 一个值得探索的有趣主题与文本描述有关。 Sketchfab 使用条款规定许可证适用于“3D 资产”但描述是否是资产的一部分 如果没有那么仍然可以抓取 Sketchfab 上在 CC 许可下共享的 3D 模型并将它们作为数据集共享但没有描述。 这会让这个数据集对于训练AI来说变得不那么有趣。
我们询问 Sketchfab 他们是否可以帮助我们阐明这个问题我们将相应地更新文章。 我们还询问了 Objaverse 的创建者他们的计划是什么特别是他们是否会排除 Sketchfab 上现在带有 NoAI 标签的 3D 模型以及他们将如何处理 Sketchfab 上在 CC 许可下共享的 3D 模型但这显然是 受版权保护。
7、不确定的时代
这种情况突显了一些数字艺术平台使用的“NoAI”标签并不是应对人工智能崛起的完美解决方案因为当它们实施时数据可能已经被专区。 Objaverse 还提醒我们在 CC 许可下上传资产可能会导致艺术家无法预见的情况。
最后但并非最不重要的一点是该公告强调了这样一个事实如果数据未经彻底检查则声称工具经过非版权数据的训练是不够的。 事实上Objaverse 确实包含受版权保护的材料以及艺术家的创作这些艺术家确实在 CC 许可下分享了他们的作品但不希望他们的作品被用来训练人工智能。 这引发了道德和法律问题。 希望 Objaverse 背后的团队能够考虑到这些问题。
同时如果你有 Sketchfab 帐户可以使用“设置/帐户”页面在所有上传的内容上添加“NoAI”标签如果你愿意。 这将为你过去和未来的所有上传内容分配“NoAI”元标签并禁止生成式AI使用它们。 当然这不会对可能已经下载的数据产生任何影响。 原文链接Objaverse大型3D数据集 - BimAnt
