做手机网站哪家好,新网建站教程,深圳室内设计工作室排名,培训课程设计方案生成式人工智能技术发展日新月异#xff0c;现在已经能够根据文本输入生成文本和图像。Stable Diffusion 是一种文本转图像模型#xff0c;可让您创建栩栩如生的图像应用。您可以通过 Amazon SageMaker JumpStart#xff0c;使用 Stable Diffusion 模型轻松地从文本生成图像… 生成式人工智能技术发展日新月异现在已经能够根据文本输入生成文本和图像。Stable Diffusion 是一种文本转图像模型可让您创建栩栩如生的图像应用。您可以通过 Amazon SageMaker JumpStart使用 Stable Diffusion 模型轻松地从文本生成图像。 以下是输入文本示例以及 Stable Diffusion 生成的对应输出图像。输入内容是“在桌子上跳舞的拳击手”、“沙滩上一位穿着水彩风格泳衣的女士”和“穿西装的狗”。 尽管生成式人工智能解决方案功能强大应用广泛但它们也很容易受到操纵和滥用。客户在使用它们生成图片时应实施严格的审核程序高度重视内容审核以便保护其用户、平台和品牌在创造安全和积极的用户体验的同时确保平台和品牌的声誉不会受损。 在这篇文章中我们将探讨如何使用亚马逊云科技人工智能服务 Amazon Rekognition 和 Amazon Comprehend 以及其他技术近乎实时地有效审核 Stable Diffusion 模型生成的内容。要了解如何在亚马逊云科技上使用 Stable Diffusion 模型以及通过文本打开和生成图像请参阅在 Amazon SageMaker JumpStart 上使用 Stable Diffusion 模型从文本生成图像https://aws.amazon.com/blogs/machine-learning/generate-images-from-text-with-the-stable-diffusion-model-on-amazon-sagemaker-jumpstart。 解决方案概览 Amazon Rekognition 和 Amazon Comprehend 是托管式人工智能服务它们通过 API 接口提供预训练且可自定义的机器学习模型无需机器学习ML专业知识。Amazon Rekognition Content Moderation 可自动完成图像和视频的审核简化这一过程。Amazon Comprehend 利用机器学习来分析文本发现有价值的洞察和关系。 以下参考资料介绍了如何创建 RESTful 代理 API用于近乎实时地审核 Stable Diffusion 文本转图像模型生成的图像。在此解决方案中我们使用 JumpStart 启动并部署了 Stable Diffusion 模型基于 v2-1。该解决方案使用负向提示、文本审核解决方案例如 Amazon Comprehend以及基于规则的筛选条件来审核输入提示。它还利用 Amazon Rekognition 来审核生成的图像。在检测到不安全信息时RESTful API 会将生成的图像和审核警告返回给客户端。 此工作流中的步骤如下 1. 用户发送提示以生成图像。 2. Amazon Lambda 函数使用 Amazon Comprehend、JumpStart 和 Amazon Rekognition 协调图像的生成和审核 将基于规则的条件应用到 Lambda 函数中的输入提示使用禁用词检测强制执行内容审核。使用 Amazon Comprehend 自定义分类器分析提示文本以进行毒性分类。通过 SageMaker 端点将提示发送到 Stable Diffusion 模型传递提示作为用户输入并传递预定义列表中的负向提示。将从 SageMaker 端点返回的图像字节发送到 Amazon Rekognition DetectModerationLabel API 进行图片审核。如果之前的步骤在提示或生成的图像中检测到任何不当信息则会构造包含图像字节和警告的响应消息。 3. 服务将响应发送回客户端。 以下屏幕截图显示了使用上述架构构建的示例应用程序。Web UI 将用户输入提示发送到 RESTful 代理 API并显示从响应中收到的图像和所有审核警告。如果实际生成的图像包含不安全的内容则演示应用程序会对内容进行模糊处理。我们使用示例提示“一位性感女士”测试了该应用程序。 您可以实施更复杂的逻辑来获得更好的用户体验例如在提示包含不安全的信息时拒绝请求。此外您可以制定重试策略在提示是安全的、但输出不安全时重新生成图像。 预定义负向提示列表 Stable Diffusion 支持负向提示这样您便可以指定在图像生成期间要避免的提示。创建预定义的负向提示列表是一种实用的主动式方法用于防止模型生成不安全的图像。我们已经知道诸如“裸体”、“性感”和“裸露”之类的提示会生成不适宜或者冒犯性的图片通过添加这些提示模型可以识别并避开这些提示从而降低生成不安全内容的风险。 在调用 SageMaker 端点来运行 Stable Diffusion 模型的推理时可以在 Lambda 函数中管理该实施传递用户输入中的提示并传递预定义列表中的负向提示。 尽管这种方法行之有效但它可能会影响 Stable Diffusion 模型生成的结果并限制其功能。所以要点在于将其视为审核技术之一再结合其他方法例如使用 Amazon Comprehend 和 Amazon Rekognition 进行文本和图像审核。 审核输入提示 文本审核的常用方法是使用基于规则的关键字查找方法识别输入文本是否包含预定义列表中的任何禁用词或短语。这种方法相对容易实施对性能的影响很小成本也更低。但是这种方法的主要缺点是它只检测预定义列表中包含的单词无法检测未包含在列表中的禁用词新变体或修改后的变体。用户还可以尝试使用其他拼写或特殊字符来替换字母从而绕过规则。 为了解决基于规则的文本审核的局限性许多解决方案采用混合方法将基于规则的关键字查找与基于机器学习的毒性监察相结合。两种方法的结合可以提供更全面、更有效的文本审核解决方案能够检测更大范围内的不当内容并提高审核结果的准确性。 在此解决方案中我们使用 Amazon Comprehend 自定义分类器来训练毒性监察模型使用该模型来检测在输入提示中可能存在有害内容、但未检测到明确使用禁用词的情况。借助机器学习的强大功能我们可以教导模型识别文本中可能存在毒性内容的模式即使基于规则的方法难于检测到此类模式也没问题。 使用 Amazon Comprehend 作为托管式人工智能服务可以简化训练和推理。只需两个步骤您就可以轻松地训练和部署 Amazon Comprehend 自定义分类。请查看我们的研讨会实验室https://github.com/aws-samples/amazon-rekognition-code-samples/blob/main/content-moderation/04-text-moderation/02-content-moderation-text-toxic-classification.ipynb了解有关使用 Amazon Comprehend 自定义分类器的毒性监察模型的更多信息。该实验室提供了分步指南说明如何创建自定义毒性分类器并将其集成到应用程序中。下图展示了此解决方案的架构。 此示例分类器使用社交媒体训练数据集并执行二元分类。但是如果您对文本审核需求有更具体的要求请考虑使用更具针对性的数据集来训练 Amazon Comprehend 自定义分类器。 审核输出图像 尽管审核输入文本提示很重要但它并不能保证对于目标受众而言Stable Diffusion 模型生成的所有图像都是安全的因为该模型的输出可能包含一定程度的随机性。因此审核 Stable Diffusion 模型生成的图像同样重要。 在此解决方案中我们利用 Amazon Rekognition Content Moderation 这个预先训练过的机器学习模型检测图像和视频中的不当内容。在此解决方案中我们使用 Amazon Rekognition DetectModerationLabel API近乎实时地审核 Stable Diffusion 模型生成的图像。Amazon Rekognition Content Moderation 提供预先训练的 API用于分析各种不当或冒犯性内容例如暴力、裸体、仇恨符号等。有关 Amazon Rekognition Content Moderation 分类法的完整列表请参阅审核内容https://docs.aws.amazon.com/rekognition/latest/dg/moderation.html。 以下代码演示了如何使用 Python Boto3 库在 Lambda 函数中调用 Amazon Rekognition DetectModerationLabel API 来审核图像。此函数获取从 SageMaker 返回的图像字节并将其发送到 Image Moderation API 进行审核。 import boto3# 初始化 Amazon Rekognition 客户端对象
rekognition boto3.client(rekognition)# 调用 Rekognition Image Moderation API 并存储结果
response rekognition.detect_moderation_labels(Image{Bytes: base64.b64decode(img_bytes)}
)# 输出 API 响应
print(response) 左滑查看更多 有关 Amazon Rekognition Image Moderation API 的更多示例请参阅我们的内容审核图像实验室https://github.com/aws-samples/amazon-rekognition-code-samples/blob/main/content-moderation/01-image-moderation/01-content-moderation-image.ipynb。 用于微调模型的有效图像审核技术 微调是一种常用技术用于根据特定任务来调节预训练的模型。对于 Stable Diffusion微调可用于生成包含特定对象、样式和字符的图像。在训练 Stable Diffusion 模型以防止创建不当或冒犯性的图像时内容审核至关重要。这包括仔细审查并筛选出任何可能导致生成此类图像的数据。通过这样做模型可以从更多样化和更具代表性的数据点进行学习从而提高准确性并防止传播有害内容。 通过使用 DreamBooth 方法提供传输学习脚本JumpStart 可以轻松微调 Stable Diffusion 模型。您只需要准备训练数据定义超参数然后便可开始训练作业。有关更多详细信息请参阅使用 Amazon SageMaker JumpStart 微调文本转图像 Stable Diffusion 模型https://aws.amazon.com/blogs/machine-learning/fine-tune-text-to-image-stable-diffusion-models-with-amazon-sagemaker-jumpstart/。 用于微调的数据集必须是单个 Amazon Simple Storage ServiceAmazon S3目录包括您的图像和实例配置文件 dataset_info.json 如以下代码所示。JSON 文件会将图像与实例提示关联例如 {instance_prompt:instance_prompt} . input_directory
|---instance_image_1.png
|---instance_image_2.png
|---instance_image_3.png
|---instance_image_4.png
|---instance_image_5.png
|---dataset_info.json 显然您可以手动审查和筛选图像但是当您有许多项目和团队时大规模执行此操作会非常耗时有时甚至不切实际。在这种情况下您可以自动执行批量流程通过 Amazon Rekognition DetectModerationLabel API 集中检查所有图片并自动标记或删除图片避免这些图像污染您的训练。 审核延迟和成本 此解决方案使用顺序模式来审核文本和图像。文本审核需要调用基于规则的函数和 Amazon ComprehendAmazon Rekognition 则用于在调用 Stable Diffusion 之前和之后的图像审核。尽管这种方法可以有效地审核输入提示和输出图像但它可能会增加解决方案的总体成本和延迟这是需要考虑的问题。 延迟 Amazon Rekognition 和 Amazon Comprehend 均提供了托管 API具备高可用性和内置的可扩展性。尽管由于输入大小和网络速度可能导致延迟变化但在此解决方案中所用两项服务中的 API 都提供了近实时的推理。对于大小小于 100 个字符的输入文本Amazon Comprehend 自定义分类器端点的处理速度低于 200 毫秒而对于平均大小小于 1 MB 的文件Amazon Rekognition Image Moderation API 的速度大约为 500 毫秒。结果基于使用示例应用程序进行的测试符合近实时要求。 总共而言对 Amazon Rekognition 和 Amazon Comprehend 的审核 API 调用会增加 700 毫秒的 API 调用时间。需要注意的是根据提示的复杂性和底层基础设施功能Stable Diffusion 请求通常需要更长的时间。在测试账户中使用 ml.p3.2xlarge 实例类型通过 SageMaker 端点调用 Stable Diffusion 模型的平均响应时间约为 15 秒。因此审核引入的延迟约为总响应时间的 5%因此对系统整体性能的影响微乎其微。 成本 Amazon Rekognition Image Moderation API 采用基于请求数量的即用即付模式。费用因所用亚马逊云科技区域而异采用分层定价结构。随着请求数量的增加每次请求的成本会降低。有关更多信息请参阅 Amazon Rekognition 定价https://aws.amazon.com/rekognition/pricing/。 在此解决方案中我们使用了 Amazon Comprehend 自定义分类器并将其部署为 Amazon Comprehend 端点以协助进行实时推理。这种实施会产生一次性训练成本和持续的推理成本。有关详细信息请参阅 Amazon Comprehend 定价https://aws.amazon.com/comprehend/pricing/。 使用 Jumpstart您可以将 Stable Diffusion 模型作为单个软件包来快速启动和部署。在 Stable Diffusion 模型上运行推理将产生底层 Amazon Elastic Compute CloudAmazon EC2实例费用以及入站和出站数据传输费用。有关详细信息请参阅 Amazon SageMaker 定价https://aws.amazon.com/sagemaker/pricing/。 小结 在这篇文章中我们概述了一个示例解决方案该解决方案展示了如何使用 Amazon Comprehend 和 Amazon Rekognition审核 Stable Diffusion 输入提示和输出图像。此外您可以在 Stable Diffusion 中定义负向提示以防止生成不安全的内容。通过实施多个审核层可以大大降低生成不安全内容的风险从而确保更安全、更可靠的用户体验。 详细了解亚马逊云科技上的内容审核https://aws.amazon.com/solutions/guidance/content-moderation-on-aws/以及我们的内容审核机器学习使用场景https://aws.amazon.com/machine-learning/ml-use-cases/content-moderation/并迈出使用亚马逊云科技简化内容审核操作的第一步。 Original URL: https://aws.amazon.com/blogs/machine-learning/safe-image-generation-and-diffusion-models-with-amazon-ai-content-moderation-services/ 本篇作者 Lana Zhang 亚马逊云科技 WWSO 人工智能服务团队的高级解决方案架构师专门研究用于内容审核、计算机视觉和自然语言处理的人工智能及机器学习。她运用自己的专业知识致力于推广亚马逊云科技人工智能/机器学习解决方案并协助社交媒体、游戏、电子商务以及广告和营销等各个行业中的客户实现业务解决方案转型。 James Wu 亚马逊云科技的高级人工智能/机器学习专家解决方案架构师协助客户设计和构建人工智能/机器学习解决方案。James 的工作涵盖大量机器学习使用案例主要兴趣是计算机视觉、深度学习和在整个企业中扩展机器学习。在加入亚马逊云科技之前的 10 多年间James 曾担任架构师、开发人员和技术负责人其中 6 年在工程领域4 年在营销和广告行业。 Kevin Carlson 亚马逊云科技的首席人工智能/机器学习专家专注于计算机视觉领导 Amazon Rekognition 的业务开发和 GTM 团队。加入 亚马逊云科技之前他曾在财富 500 强工程公司 AECOM 负责全球数字化转型专注于用于生成式设计和基础设施评测的人工智能和机器学习。他住在芝加哥工作之余他喜欢和家人共度时光爱好驾驶飞机和执教青少年棒球。 John Rouse 亚马逊云科技的高级人工智能/机器学习专家负责人工智能服务的全球业务开发重心放在内容审核与合规性使用案例上。加入 亚马逊云科技之前他曾在尖端科技公司担任高级业务开发和领导职务。John 致力于让机器学习成为每个开发人员在亚马逊云科技人工智能/机器学习堆栈中的利器。小的想法只能带来小的影响。John 的目标是增强客户的能力为客户带来宏大的计划和机会为他们打开大门从而给其用户带来巨大的影响。 星标不迷路开发更极速 关注后记得星标「亚马逊云开发者」 听说点完下面4个按钮 就不会碰到bug了
