到目前为止，人工智能 (AI) 可以成为企业的重要工具已不是什么秘密。 那是因为它可以从大量看似无关的数据中提取隐藏的信息宝藏。
但早期的人工智能采用者开始意识到，简单地向人工智能扔随机数据是失败的秘诀。 （另请阅读：为什么多样性对于训练 AI 的高质量数据至关重要。）
事实上，在训练 AI 模型时，数据质量正在成为一个重要的成功因素。 有了高质量的数据，企业可以提高其 AI 战略的成功率、降低成本并更快地将更多 AI 驱动的应用程序投入生产。
事实证明，人工智能也可以成为确保良好数据质量的解决方案。
以下是如何以及如何启动有效的数据质量管理策略：
人工智能如何提高数据质量
AI 是数据质量管理 (DQM) 的理想工具，因为在大多数业务模型中，它是唯一可以处理所需数据量和复杂性而又不会超出 IT 预算的工具。 同样，人工智能可以直接影响数据质量的一些关键特征，例如准确性、完整性、可靠性和相关性。 开发这些领域中的每一个领域都需要进行大量分析，而人工智能可以在更大范围内以更快的速度实现这些分析，更不用说比分析师大军更低的成本了。
但要真正理解为什么 AI 是 DQM 的最佳工具，我们首先需要理解为什么 DQM 是一个独特的多维挑战：
数据分析公司 Mastech InfoTrellis 的首席科学官 Pradyumna S. Upadrashta 指出了数据质量管理的各个方面。 这些包括，例如：
数据集包含多个属性——例如准确性、相关性和有效性。
与每个数据集交互的每个部门对每个数据集的看法都不同。
因此，提高数据质量需要无数的过程，包括：
设置数据剖析措施，包括数据类型、数据存储位置和方式、它所服务的应用程序以及使用它的利益相关者。
考虑维护外部过程所需的元数据和有效性规则的数据质量参考存储。
其中一些流程在以数据为中心的人工智能中得到了解释，这是当前的热门话题，它优先考虑数据质量而不是数量——尤其是对于人工智能的商业应用。
自动化有助于确保流程管道能够持续验证数据并更新确定其质量的规则。 （另请阅读：机器人过程自动化：您需要了解的内容。）
人工智能驱动的数据质量管理的挑战
数据质量悖论
使用人工智能来提高数据质量可能很困难，因为你需要用高质量的数据来训练人工智能本身。 换句话说，您的 AI 解决方案需要在高质量数据上进行训练，然后才能识别高质量数据。
那么解决方案是什么？
一个可能的答案来自 Wavicle Data Solutions 的数据科学总监 Patrick McDonald。 McDonald 建议，人工智能驱动的数据质量管理的第一步是建立坚实的数据治理和管理基础，最好是在内部经理的领导下，然后将其与全面的数据监控计划联系起来。
主数据存储是一个很好的起点，因为这是最容易控制的，而且通常对业务模型最关键。
可观察性难题
Arize 的 Krystal Kirkland 解释说，不仅可以“查看”管道中的数据，还可以跟踪其移动和演变的能力，可以对生成的 AI 模型的性能产生巨大影响。 这对于新兴的机器学习操作 (MLOps) 环境尤为重要。
提高数据质量还需要在创建、存储、组合和分析数据时提高可观察性。
各种数据特征的突然变化，以及缺失和不匹配的数据，都会影响分类数据和数值数据——因此在制定提高可观察性的策略时考虑这两者很重要。 当数据是非结构化数据时，组织将不得不付出更多努力来确定适当的准确性、相关性和可用性水平。
但也许培养高数据质量的最大挑战在于这是一场永无止境的斗争。 首先，“质量”是一个无法定义的指标。 其次，数据和它们所代表的现实世界价值在不断变化。
如何着手提高数据质量
如果建立人工智能驱动的数据质量管理策略的前景让您头晕目眩，请不要担心。 技术作者 George Krasadakis 说，在任何 DQM 计划中，第一步都是了解不良数据的来源。
在大多数组织中，数据质量不佳的罪魁祸首往往是有缺陷的软件、系统级问题以及不断变化的格式，这些都会使源数据存储和目标数据存储变得一团糟。
换句话说，数据质量问题来自典型企业花费数百万美元完善的数据生态系统。
另一个关键的第一步是确定“质量数据”对您的企业意味着什么。 数据仅在与其他数据相关时才有价值，因此您需要建立基准来确定您认为的“质量”。
结论
展望未来，构建和维护高质量数据似乎将成为数字化转型企业的核心职能。 这项工作将使人工智能和人类劳动力在很长很长一段时间内都保持忙碌。
本文内容由互联网用户自发贡献，该文观点仅代表作者本人。商机网仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 tenspace2022@163.com 举报，一经查实，本站将立刻删除。 本文链接：https://www.315965.com/n/68202.html
