大数据的 10 个注意事项源代码

大数据的 10 个注意事项源代码

随着数据分析人工智能和机器学习继续成为主流,大数据在多个业务领域得到使用和应用。 大数据分析可以从这些丰富的数据中提取真正的价值,这些数据可以是结构化的、非结构化的或半结构化的。

社交媒体的出现为收集有关客户行为的数据提供了许多新机会。 这里有些例子:

点击流数据来自网站交互,例如鼠标点击和网页滚动。
社交商业网站是愿意分享有关其买行为信息的客户在线社区。
传感器提供有关客户物理环境的数据,例如温度、湿度和交通模式。
从数据分析中获得的见解可以帮助组织进行决策。 但只有以适当的方式管理大数据,才能真正发挥大数据的优势。 组织可以通过确保以简单的用例确定起点并实施它以快速检查输出,从而避免迷失在大数据空间中。

开始任何大数据计划之前的第一步是适当的规划。 组织必须清楚地知道项目的目的。 他们还应该确定他们想要提取什么价值以及它将如何影响业务决策。 应该选择最有希望的领域作为开始。

在本文中,我们将探讨大数据计划的一些注意事项。

1. 明确目的和出发点
数据收集的目的和确定起点对于任何大数据项目的成功都非常关键。 首先,目标应该是确定最有前途的业务用例。 它将帮助组织识别这些用例的组件。

在此之后,应该进行适当的规划,将大数据技术应用于这些用例,并为业务增长提取有价值的见解。 执行的优先级应取决于以下因素:
实施成本。
对业务的预期影响。
启动所需的时间长度。
实施速度。
组织应始终从一个简单且易于实施的应用程序作为试点项目开始。 (另请阅读:为什么您应该为工作操作系统放弃项目管理工具。)

2.正确评估数据许可证
数据是任何大数据和分析项目的燃料。 因此,保护您的数据免遭滥用非常重要。 在向任何供应商或第三方用户授予数据访问权限之前,应制定适当的许可条款和条件。 数据许可证应明确提及以下基本要点。 许可协议中还会有许多其他关键参数。

谁将使用这些数据?
哪些数据可以访问?
数据将如何使用?
如果许可出现任何故障,由此导致的数据丢失和滥用将对业务产生不可否认的负面影响。

3. 允许数据民主化
数据民主化可以定义为一个持续的过程,组织中的每个人都可以访问数据。 组织中的人员应该能够自如地处理数据并自信地表达他们的意见。

数据民主化有助于组织变得更加敏捷,并根据数据做出明智的业务决策。 这可以通过建立适当的流程来实现。 首先,无论组织结构如何,所有层级都应该可以访问数据。 其次,应在验证数据后建立单一的真实来源(称为“黄金来源”)。 第三,应该允许每个人检查数据并提出意见。 第四,可以通过计算风险来检验新想法。 如果新想法成功,那么组织可以继续前进,否则可以被视为吸取教训。

4. 建立协作文化
在大数据的博弈中,一个组织中不同部门和团队之间的相互协作非常重要。 大数据计划只有在所有层级都建立适当的组织文化时才能成功,无论他们的角色和职责如何。

一个组织的管理层应该对未来有一个清晰的愿景,他们必须鼓励新的想法。 应允许所有员工及其部门寻找机会并建立概念证明来验证它。 不应该有任何政治来指责和停止比赛。 这始终是一个学习过程,必须对成功和失败一视同仁。

5.评估大数据基础设施
任何大数据项目的基础设施部分都同样重要。 数据量以 PB 为单位,经过处理以提取洞察力。 因此,必须正确评估存储和处理基础设施。

数据中心用于存储目的,因此必须根据成本构成、管理、备份、可靠性、安全性、可扩展性和许多其他因素进行评估。 (另请阅读:6 大公有云风险。)

同样,在完成交易之前,必须仔细检查大数据的处理和相关技术基础设施。 云服务在使用和成本方面通常非常灵活。 成熟的云供应商包括 AWS、Azure 和 GCP 等重量级供应商,但市场上还有更多供应商。

6. 不要迷失在数据的海洋中
良好的数据治理对于大数据项目的成功非常重要。 实施前应规划适当的数据收集策略。 通常,收集企业的每一条遗留数据是一种普遍的趋势。 但是,所有这些数据可能并不适合当前的业务场景。 因此,首先确定业务用例并确定数据的应用位置非常重要。

一旦数据策略被明确定义并直接连接到目标业务应用程序,就可以计划下一步的实施。 在此之后,可以扩充新数据以改进模型及其效率。

7. 不要忘记开源
您正在考虑的技术的实用性应根据项目规模和组织预算进行评估。 许多开源都可以免费运行试点项目。 中小型组织可以探索这些开源解决方案以开始他们的大数据之旅。 因此,组织的重点应该放在产出和投资回报率上。

Hadoop 是一个开源软件框架,它使用 HDFS(Hadoop 分布式文件系统)和 MapReduce 来分析商品硬件集群上的大数据——即在分布式计算环境中。 (阅读:如何使用 Hadoop 分析大数据?)

大数据运动已经成熟到 Hadoop 已成为处理大数据的事实标准的地步。 MapReduce 是一种编程模型,用于分布数据并使用简单的编程模型在计算机集群中并行处理数据。 它由谷歌开发,用于在大型计算机集群上高效处理大量数据。

8. 没有适当的计划就不要开始
一次性启动所有大数据项目是一种非常危险的趋势。 这种方法可能只会导致部分成功或完全失败。 组织应该在开始他们的大数据计划之前进行适当的计划,而不是全力以赴或采取信仰的飞跃。 始终建议从一个简单、小型且可衡量的应用程序开始。

一旦试点成功,就可以在大规模应用中实施。 花时间制定计划并仔细选择试点项目是关键。

9. 不要忽视安全
数据安全是大数据项目的另一个重要方面。 在任何大数据场景中,都会从不同的源系统中提取 PB 级的数据,然后对其进行处理。 处理后的数据是分析模型的输入。 分析的输出是对业务有价值的洞察力。 一旦原始数据得到提炼,并从原始数据中挖掘出有意义的信息,那么该信息的机密性、完整性和可用性 (CIA) 就变得至关重要。

当数据包含关键业务信息时,它对组织就变得有价值。 因此,必须保护这些数据免受外部威胁。 数据安全必须作为大数据实施生命周期的一部分进行规划。 (另请阅读:云安全:5 种常见的网络风险。)

10. 不要专注于孤立的业务部门
在当今复杂的业务场景中,专注于单个业务部门无济于事。 组织应该从整体上看待业务,并从全球角度思考问题。 最好的方法应该是一次一小步,放眼全局。 就业务部门而言,重点应该是整体的。 它将产生积极的影响和更好的投资回报率。

结论
大数据实施没有具体的成功路径。 但是,它是计划、战略、方法和其他各种因素的结合,才能取得成功。

每个组织都有要实现的特定目标,因此应相应地规划策略,必须谨慎选择试点项目,并且必须妥善保护和处理由此产生的信息。

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。商机网仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 tenspace2022@163.com 举报,一经查实,本站将立刻删除。 本文链接:https://www.315965.com/n/68198.html 聚才发 母婴好物

(0)
上一篇 2024年1月14日 上午6:56
下一篇 2024年1月14日 上午7:06

相关推荐

  • 旅行者 2 号不服老:冒险关闭电压调节器,可保持所有科学仪器运转至 2026 年

    旅行者 2 号太空探测器是人类历史上最伟大的科学仪器之一,它不仅是唯一访问过天王星和海王星的探测器,还是第二个穿越太阳系边界进入星际空间的探测器。然而,这个在 1977 年发射的老将面临着能源危机,为了继续传回宝贵的科学数据,项目团队不得不做出一个艰难的决定:关闭一个保护仪器免受电压波动影响的电压调节器。 旅行者 2 号的能源来自于三个放射性同位素热电发电机…

    2023年12月24日
    151
  • 为什么开源数据库越来越受欢迎源代码

    在当今世界,组织对数据库有多种选择。 在早期,大多数数据库管理系统 (DBMS) 都是封闭源代码,因此选择有限。 但是现在,随着开源数据库的引入,行业专家在选择 DBMS 之前会进行彻底的分析。 开源作为一个行业正在获得发展势头,数据库也在走同样的道路。 通过使用开源数据库,您可以根据自己的要求自由实施系统,甚至可以共享和开发最适合您业务需求的系统。 近年来…

    2024年1月15日
    135
  • 微软拟推出人工智能芯片,内部代号“雅典娜”、助力大型语言模型

    钛媒体App 4月18日消息,据报道,微软准备推出人工智能芯片,为大型语言模型提供动力。两位直接了解相关项目的人士透露,微软在2019年就开始开发这种内部代号为“雅典娜”(Athena)的芯片。据悉,微软已将芯片提供给一小部分微软与OpenAI员工,他们正测试这项技术。微软希望这种芯片比目前从其他供应商处采购的芯片性能更好。报道指出,亚马逊、谷歌和Faceb…

    2023年12月19日
    150
  • 2024年比较火的十大社交软件排名:知乎上榜,QQ第三(附2024最新排名前十名单)

    中国常用的社交软件? 1.vx,时下最热门的聊天通讯软件,腾讯移动互联网应用领域的看家产品,主打熟人圈的社交媒体,其朋友圈/vx红包/gongzhonghao等成为人们日常生活的焦点。vx提供公众、朋友圈、消息推送等功能,用户可以通过“摇一摇”、“搜索号码”、“附近的人”、扫qrcode方式添加好友和关注公众,同时vx将内容分享给好友以及将用户看到的精彩内容…

    2024年2月3日
    330
  • 我花了两天时间没解决的问题,chatgpt用了5秒搞定

    前言 一个说难不难,说简单竟看不出来是哪里问题的一个bug。是的 可能自己能力和经验尚浅无法识别,下面你们能否用火眼金睛一眼让bug原形毕露 (这个问题是忽然暴露出来的,无任何征兆,没人改动过,生产上运行了很长时间,故很奇怪,所以这个间谍看来很会隐藏) 隐藏的“间谍” 下面先来看代码(伪代码) code /** * 两个从数据库查询的耗时任务 * @para…

    2023年12月18日
    143
  • 英国斥资2100万英镑,将OpenAI融入医疗,多种病因分析全面升级

    英国留学一年费用是多少? 英国留学一年费用大概在25万元人民币左右,具体费用包括,学费、生活费,住宿费、餐费。 1、学费 一般英国大学学费在7000-10000英镑左右/年,大部分学校的学费是按学期付费的。 2、生活费 英国伦敦地区的生活费一般为1000英镑/月左右,非伦敦地区为800英镑/月左右。这是英国政府提出的费用标准,具体花费看学生实际情况。 3、住…

    2024年2月6日
    139
  • 苹果13和13pro建议买哪个(打算长期使用买13还是13pro)

    但凡是骨灰级果粉,都会推荐你加钱买iPhone 13 Pro,而不是iPhone 13.并不是他们钱多得没地方花,而是苹果在iPhone 13 Pro上给的实在是太多了。 虽然价格差了2000元,但是两者的体验可以说完全不同。以至于消费者形成了一个共识:便宜货有便宜的道理,高端产品又贵得物有所值。其中最关键的3个区别,在买iPhone 13前务必了解清楚。 …

    2023年7月30日
    304
  • 移动计算:2023 年值得关注的 12 大趋势源代码

    移动应用程序是我们日常生活的一部分——如果没有我们的智能手📱机和应用程序,我们甚至无法思考。 由于这种无处不在,移动应用程序正在迅速发展。随着人工智能 (AI) 和机器学习 (ML)、物联网 (IoT) 和云计算等新技术的融合,移动应用程序现在变得更加强大。 以下是值得关注的 12 种移动计算趋势:1.物联网移动应用物联网 (IoT) 在石油和天然气、制造、…

    2024年1月16日
    137
  • win10我的电脑图标没了怎么办?(附2024年排行榜前十名单)

    win10我的电脑图标没了怎么办(我的电脑图标没有了怎么恢复) 细心的用户反馈说打开win10正式版系统时发现桌面上没有“我的电脑图标,影响正常操作,之前win7还有的,今天小编来跟大家说说win10我的电脑图标没了怎么办的解决方法.细心的用户反馈说打开win10正式版系统时发现桌面上没有“我的电圆拿纤脑图标,影响正常操作,之前win7还有的,今天小编来跟大…

    2024年2月5日
    143
  • 电流互感器怎么用 电流互感器怎么选(附2024年排行榜前十名单)

    电流互感器大小的选择和电表大小怎么选用? 首先说一下电表的选择,电表的选择一或神般是选择3*5A的三相衫渗亏有功电度表。电流互感器的选,一般是按额定电流的1.2倍来选择。 电流互感器如何选择? 电流表目前就是5A的,配量程刻度可以随意配。互感器转换比是最大量程/5 算出电流 /1.732=91A 所以可以选/5的互感器

    2024年2月4日
    134

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注