20220629-IBM商业价值研究院-人工智能行业重新思考AI方法：如何在业务战略中实施人工智能.pdf

重新思考 AI 方法如何在业务战略中 实施人工智能 专家洞察IBM 商业价值研究院主题专家Aparna Prabhakar 企业战略副总裁 Mosur IBM Constulting 企业战略副合伙人Veena.M Prabhakar 是 IBM 企业战略办公室的高管负责人，负责为 AI、量子计算、Power Systems、云基础架构和混合云领域的 IBM 最高管理层领导制定战略展望以及提供建议。她利用自己在创新、销售和研究领域的丰富经验，实施切实可行的战略，最大程度发挥业务影响。David Cox IBM 研究院，MIT-IBM Watson AI 主任David.D.C Cox 是 MIT-IBM Watson AI 实验室主任，该实验室是 IBM 与 MIT 首创的行业与学术合作的结晶，合作重点在于人工智能基础研究。在加入 IBM 之前，David 是哈佛大学自然科学、工程与应用科学 John L.Loeb 副教授，研究计算机科学，任职于分子与细胞生物学系以及脑科学中心。Veena Mosur 是 IBM 副合伙人，她在众多行业和业务职能的战略与运营领域拥有超过 20 年的丰富经验。她领导实施大规模业务转型计划，重点关注于如何通过数据、分析和 AI 赋能员工与组织。扫码关注 IBM 商业价值研究院官网微博微信公众号微信小程序cXcUbVzVoOsR7NdN6MpNrRtRsQlOoOwPkPmMnMbRqRuMvPrRsOvPmQnR业务领头；AI 跟进。成功的 AI 部署源于明确的业务挑战，并产生切实的业务结果。具有战略眼光的组织勇于说“不”。实施那些与业务目标紧密一致的 AI 项目，而搁置或延迟不符合业务目标的 AI 项目，组织便可从 AI 中获取更多价值。AI 的未来充满各种可能性。由于 AI 的未来充满不确定性，因此组织必须考虑多种可能方案，并为每种方案做好相应的准备工作。要取得成功，就不能沉浸在对 AI 的虚无幻想之中，而应思考 AI 可以帮助自己实现哪些切实目标。要点组织必须以战略眼光看待 AI，但不一定需要“AI 战略”。人工智能(AI)就像停车场里最靓的那辆车：每个人都想开着它去拉风，但许多传统企业还在学习驾驶。整个社会充满对 AI 不切实际的狂热追求，而对 AI 项目的失策和误解也比比皆是。在使用 AI 的组织中，受访者预计到 2022 年平均将实施 35 个 AI 项目，是 2019 年（平均 4 个）的近 9 倍。1 然而，多项调研都一致表明，只有一半左右的 AI 项目可以真正从原型投入生产。2尽管如此，AI 可以收获实际价值。IBM 商业价值研究院(IBV)在第三次两年一度的企业 AI 调研中发现，超过 85%的高级采用者借助 AI 降低运营成本，他们表示通过部署 AI，使收入平均提高了 6.3%。3 由于潜在的经济效益决定 AI 的未来，因此传统企业中的业务战略师和未来技术预测者可以发挥重要作用：通过制定方略，避开明显的陷阱，引导企业实现持续的业务价值。一种将 AI 例外论与 AI 试验分离的能力经常被忽视，这确实是一种战略性方法。但战略也是一把双刃剑。运用得当，会带来帮助。处理不当，反而会造成伤害。虽然听起来有违直觉，但许多公共和私营组织误解 AI 的一种表现就是制定所谓的“AI 战略”。尽管他们的意图是提升 AI 的重要性，以及集中精力和资源以推动 AI 发展，但现实情况却事与愿违：这可能促进了 AI 的发展，但组织却没有任何进步。最终组织非但没有发展，还需要为 AI 付出成本。1企业的成功始于业务战略，而不是 AI 战略。将 AI 战略视为指路明灯，企业就可以发现重要机遇，确定技术可以在哪些方面帮助推动或支持业务战略。然后，企业领导可以有的放矢地评估 AI 能够在哪些领域与其他数据驱动的分析解决方案以及潜在的互补性非技术方法结合，发挥有意义的作用。AI 是新想法的催化剂，能够带来更大的收入影响、应对颠覆大潮以及产生新的市场商机（包括基于平台经济的商机）。但它可能不会改变组织运营的业务基础。尽管 AI 是新技术，但 AI 与整体业务战略的深度整合并非新方法（请参阅侧边栏：“观点：形成 AI 格局”）在比较 AI 与人类认知能力时，这一点非常明显。4 正如一位研究人员在 2020 年 12 月举行的全球知名的 NeurIPS 会议上总结的那样：“过去 40 年，我们一直为计算机编程；今后 40 年，我们将训练计算机。”5 还要认真思考 AI 如何增强使用它的人员的能力。然而，要取得成功，就不能沉浸在对 AI 的虚无幻想之中，组织需要思考 AI 可以帮助自己实现哪些切实目标。即使 AI 为实现经济价值开辟了新的道路，但组织在业务发展中仍应起到引领作用，而技术则随后跟进，起到保障作用；同时还应发现可以带来可能性的新想法，以及阻碍实现的限制因素。观点：形成 AI 格局AI 并不存在于真空中。促使企业大规模部署 AI 的条件与无意中进行部署的情况同样多。此外，这种部署通常可追溯到 21 世纪第二个十年的后半段。推动采用 AI 的最重要因素包括：从数量激增的数据源（包括卫星、无人机和物联网）捕获的结构化和非结构化数据呈爆炸式快速增长，尤其是图像与视频数据。向云端的持续迁移，部分原因是为了建立分布式容量，以存储来自成倍增加的数据源的以数量级激增的数据。计算能力大幅提升，相对成本不断降低，可通过 GPU 和其他形式的高性能计算来处理数据。这样就能够通过神经网络和其他高级 ML 与分析技术，更有效地使用深度学习。基于平台的生态系统与经济模式兴起，推动了规模优势，但也提高了组织的复杂性；为了通过 AI 经济实惠地定制用户体验，组织对尖端技术的需求也不断增加。新冠病毒疫情引发的业务中断“灰犀牛事件”，显著改变了人与组织的工作和互动方式，未来的工作环境将由 AI 进一步增强。2避免战略陷阱许多领先的技术导向型企业都成功部署了 AI。然而，在传统企业中，AI 的采用速度比预期的要慢，早期的 AI 试点往往以失败告终。导致 AI 项目失败的原因有很多，我们在本系列前面的一些报告中进行过探讨。例如，我们在第一份报告中探讨了 AI 工程与运营，在第二份报告中讨论了数据。6 然而，更常见的失败原因之一是方向错误的战略意图，表现在组织中的以下几个方面：优先考虑符合业务导向标准的 AI 项目，但没有与更广泛的业务战略保持一致。AI 愿景模糊不清。因此也就没有考虑 AI 项目需要哪些实际能力、如何实施 AI 项目以及如何在试点后扩大应用规模。（请参阅侧边栏：“某全球电信企业：如何挽救失败的 AI 投资。”）习惯于可预测的结果，因此误解了 AI 的概率特性及其结果的相对可变性。阐明希望 AI 创造何种业务价值，但没有相应地调整组织行为方式，导致与 AI 互动的人员无法实现实际的价值。不久前，一家全球性保险公司在计划使用 AI 模型实现定价自动化时，认识到了战略意图和人员互动的重要性。虽然模型行之有效，但不透明。使用这些模型销售保单的承保人和经纪人不了解“后台”行为，因此无法将费用背后的逻辑传达给保险客户。如果无法使 AI 与战略思想保持一致，将导致严重的后果。企业面临的风险包括：浪费时间和资金；失去与客户和员工的相关性；错失效率、生产力和收入方面颠覆性的潜在收益。某全球电信企业：如何挽救失败的 AI 投资以技术为导向的开创性企业在有效实施 AI 方面都勉为其难，更不用说各行各业各种规模的传统企业了。某全球电信提供商就是个典型例子，他们为了更加以客户为中心，希望建立 AI 和分析能力。该企业对 AI 进行了重大投资，但未能收获预期回报。这背后既有战略性原因，也有结构性原因：AI 和分析能力分散于组织的各个部门，导致形成众多单点解决方案和重复性工作。此外，该企业还被许多旧系统所束缚。这造成了严重的数据碎片化，难能可贵的领域专家不得不花力气去整理和协调数据，因此无法集中精力构建和训练 AI 模型。在发现这些挑战的根本原因后，该企业转而使用更具战略性的方法。它首先集中力量建立统一的数据治理和数据平台。在这些基础能力的支持下，他们能够对数据编目，应用数据标准，并构建可重复使用的数据产品以支持 AI 计划，从而加速了业务价值的实现，一次处理一个业务问题的脱节情况得到了统一解决。3激活战略性 AIAI 不是让人“拿着锤子找钉子”。它是一个强大的工具箱中一系列强大的技术，工具箱内还有其他技术工具和非技术工具作为补充，帮助组织满足业务需求。组织必须采用客观的标准来评估业务问题与痛点，例如，是否有助于重塑成本高昂的后台工作流程、改善基本客户体验或者确定最合适的解决方案。但还有一个问题有待回答：组织强调和投资建设 AI 能力的程度如何？一些标准可帮助评估 AI 的重要性（见图 1）。首先，考虑有多少“数据财富”可用，即是否有足够的具有经济价值的重要数据，并且可通过基于 AI 的潜在解决方案对其采取行动。其次，考虑核心 AI 在多大程度上与组织的战略意图保持一致。最后，考虑问题的性质，包括：规模 AI 可能更适合于解决大规模的问题，解决这些问题可带来足够的潜在收益，以证明开发基于 AI 的解决方案的投资（及其风险）的合理性。速度 AI 可能更适合于解决不太稳定而且不太能够预测的问题，以及那些受市场需求波动、业务需求波动和其他数据波动影响的问题。人性化 AI 更适合于解决具有一定程度自动化潜力的问题，从而为相关员工创造价值。图 1“数据财富”VS.AI 战略的重要性这些维度有助于确定 AI 方法。高高低AI 战略的重要性“数据财富”的程度投资建立 数据生态系统对 AI 机遇 加倍“下注”在最具财务效益的 领域利用 AI在商业机会中 追求 AI如果无法使 AI 与战略思想保持一致，将导致严重的后果。4对 AI 现状和存在问题进行深入研究之后，组织就能够尽早发现这些趋势和其他未来趋势。无论组织的 AI 成熟度如何，想要在未来充分发挥 AI 的创新威力，行之有效的方法就是基于场景的 AI 规划（见图 2）。公共和私营领域的组织不需要能够预测未来，这种方法常见于在不确定性较低的地区进行相对简单的道路导航。相反，公共和私营组织往往需要参与基于场景的规划，根据已知趋势的发展，设想多个可能的未来状态。然后再说明 AI 格局可能如何发展。换句话说，他们进行反向预测 而不是正向预测。这样做有助于以对冲方式做好相应的准备，从而制定切实可行的计划，增强就绪状态，建立弹性。图 2场景构思法基于场景的规划有助于为多种 AI 未来做足准备。低 变化程度 高目前 时间 未来短期中期长期传统战略规划基于愿景的未来战略规划战略规划起点未来焦点但是，未来会怎么样？目前，传统企业仅仅利用了 AI 潜在价值的一小部分。造成这种情况的原因之一是技术因素：目前的 AI 适合于解决某些类型的问题，推动该领域发展的学者和其他专家一直在争论最富有成效的前进道路。另一个原因是组织因素：企业尚未建立实现卓越 AI 所需的成熟的、人性化的能力。在这两方面，都有充足的发展与改进机会。例如，有一些宏观 AI 趋势值得关注：异构程度越来越高：据估算，“AI 系统”中 85%-90%的代码都不属于 AI 范畴。7 因此，随着 AI 解决方案越来越多地与其他更为传统的 IT 系统集成，组织有望获得更高的“可组合性”。此外，通常与 AI 平台结合使用的混合多云和计算环境日益增多，可能产生预期的连锁效应：单个企业中也会出现更多异构的 AI 环境。和云一样，其后果可能是环境变得更加复杂，这会增加对强大 AI 治理方法的需要，对于更为成熟和先进的 AI 采用者而言，尤其如此。新技术：虽然在过去十年中，深度学习在 AI 领域取得了最显著的进步，但它并不总是经济可行，或者不是特定任务或目标最合适的技术解决方案。应对这些挑战的近期趋势包括使用预先训练的 AI 模型、其他软件工具集以及开源方法。随着企业研发部门和学术界不断取得科研进展，有望将仍然植根于“蛮力”但功能强大的深度学习技术与精巧的概念性符号抽象技术相结合，从而更接近于人类智力的培养方式。小数据：另一个未来趋势是“小数据”。“大数据”与数据数量有关 通过处理海量数据以产生业务洞察；而“小数据”则与数据质量有关 通过不断改进 AI，从较小的数据量中提取更多更好的洞察。85建立 AI 的战略方法在充满不确定性的环境中，组织需要评估市场商机，确定战略意图，然后精心策划前进方向，考虑动态变化的 AI 环境中可能出现的多个潜在场景。可以用三个词来概括如何确立 AI 的战略方法：参与、教育与道德规范。1.参与不需要对 AI 投入大量的时间、人才和技术。也不需要每个组织都建立行业领先的强大能力，因为这并非一朝一夕之事。AI 完全依赖于战略性参与，这将转化为有意识地选择 AI 在组织中发挥的作用（见图 3）。为了证明对具有增量价值的用例进行投资的合理性，一些传统企业可能要求 AI 具有较高的成本效益，因此他们行事更加谨慎。例如，许多传统企业主要强调将 AI 部署到客户服务、营销、人力资源和 IT 等面向整个企业的职能领域，以取得更好的效果。其它企业则将 AI 工作的重点放在特定业务部门中的多个职能领域，如理财咨询或汽车保险。机会主义型水平部署垂直整合 嵌入产品启动新业务 模式以业务模式 为中心以业务模式 为基础 AI 的战略重要性临时性对提高职能领域有效性至关重要对提高业务单位有效性至关重要有机增长和创新的 核心转型/平台战略的关键业务战略 的核心至关重要企业类型不固定将 AI 部署到职能领域以促进客户/运营有效性的传统企业将 AI 整合到业务单位以提升客户/运营有效性的传 统企业 将 AI 嵌入核心产品 和研发活动以实现 差异化的传统企业 使用 AI 帮助实现平台经济的传统 企业 各种超大规模企业、软件/硬件企业AI 初创企业 图 3AI 战略综合体AI 的战略重要性:主要细分 AI 采用 程度在 AI 生态系统中 的作用非常高AI 供应商AI 使用者低6认为 AI 在产品、解决方案和服务等方面发挥重要作用的组织可能会更严谨地进行投资。例如，消费品企业甚至采矿企业可能会使用 AI 增强研发能力，而电子企业可能会将 AI 直接嵌入产品中。认为 AI 将发挥变革性作用的组织可能会加大赌注，以掀起大规模颠覆浪潮。例如，汽车、农业、银行以及石油和天然气行业的企业通常会借助平台经济，使用 AI 来建立新的业务模式。而技术领域的企业往往将 AI 融入业务核心之中。2.教育由于 AI 格局不断变化，做好 AI 准备就离不开另一个因素：教育。通过教育，组织能够主动出击，而不是被动应对与 AI 相关的威胁和机遇。组织应意识到可能出现的情况并做好相应的准备。但是只有意识还远远不够。为了做出关于潜在 AI 投资的明智决策以应对未来趋势，组织还需要完善 AI 治理。事实上，AI 在持续快速变化，跟上其发展步伐的唯一方法是在组织内正式开展知识创建活动。人才中心(COE)是一种有效的载体。但是，AI 专业知识不能单独存在于某个团队或位置。组织应考虑鼓励甚至要求整个组织的利益相关方接受与其职位相关的 AI 培训。MIT Sloan Management Review 在 2020 年开展的一项调研指出：在整个组织范围开展学习活动的受访企业中，通过建立企业领导与 AI 相互学习的机制，由 AI 创造显著财务效益的几率从 10%增加到 73%。93.道德规范AI 道德规范的战略意义越来越重要，尤其体现在组织以及客户、员工、合作伙伴和社区的总体价值观之中。10虽然利益相关方（而非股东）的资本主义概念在如今的时代思潮 中受到追捧，但从长远来看，组织的长期道德意图才是重中之重。更重要的是组织为实现长期道德意图所做的切实努力。因此，组织应当为 AI 项目建立基本的道德要求和审查机制，将 AI 道德规范融入员工培训与培养活动之中，并建立充分考虑了重要道德问题的包容协作的治理机制。这也可能为组织带来竞争优势，与主要利益相关方形成“道德互操作性”。例如，基于组织的品牌所展现的历史和价值观，建立基于道德规范的业务合作伙伴选择标准与管理机制，这可能有助于围绕组织及其生态系统建立防御性的“道德城墙”，从而影响客户的购买决策甚至生命周期价值。目标：卓越的 AI并不一定非要具备极其先进的 AI 能力才能实现业务价值。组织的 AI 能力应适合自身的目的；面向组织的具体战略目标；并基于对 AI 运营成熟度以及组织的数据、人才、治理和其他方面的成熟度的诚实评估。通过将战略意图与具体业务目标结合，然后制定明确的计划以发展切实的能力，组织就可以为 AI 部署打下坚实的基础。只有这样，传统企业才能自信地驾驶 AI 这辆靓车。AI 在持续快速变化，跟上其发展步伐的唯一方法是在组织内正式开展知识创建活动。7行动指南 如何在业务战略中实施人工智能 针对处于任何成熟度阶段的 AI 采用者的建议：从宏观业务战略入手贵组织可能已经参与战略规划，以确定整个企业的长、中、短期业务目标。在讨论 AI 主题之前，请明确这些目标。然后将基于 AI 的解决方案直接与组织的基本目标联系起来。评估业务挑战与机遇仔细审查业务计划，找到新商机和现有痛点，而不是确定 AI 部署的意图，再寻找部署方法。根据预先制定的客观标准，确定哪些商机和痛点适用于 AI。然后回过头来进行检查，开展数据经济效益分析，以探索可借助 AI 实现业务价值的现有数据财富池。评估 AI 的适用性要确定 AI 是否是正确的选择，应考虑组织是否有足够的数据来训练基于 AI 的解决方案并为其提供信息。问问自己：这个问题的战略意义是否足以证明 AI 投资的合理性？如果可以证明，那么将这些标准纳入企业业务决策框架中。如果条件不合适，勇于说“不”或者“时机未到”。绘制 AI 能力路线图考虑围绕三大支柱构建 AI 项目：具有明确业务价值的任务、用于评估绩效的客观指标以及用于实现持续改进的方法。为了持续完成合适的任务、使用合适的指标和方法，必须绘制 AI 能力路线图，定义哪些基础 AI 能力可支持多个项目和计划取得成功。这样做有助于牢记容易被忽视的 AI 的业务价值及其受益方。随后，将该路线图与年度运营计划和长期战略整合。整合道德规范让 AI 的方方面面都打上道德规范的烙印：自上而下、自下而上以及整个项目周期。在 AI 从业者以及非技术工作人员的培训与发展活动中包含有关 AI 道德规范的内容。组建由业务和技术专家共同组成的正式的 AI 道德规范委员会，他们根据客户需求和组织价值观，共同预测和管理道德风险。根据明确的价值观陈述阐明 AI 道德，以指导数据科学家、AI 工程师、隐私专家、人力资源专业人员、业务人员和其他人士开展工作。8针对不成熟的 AI 采用者的建议：设定力所能及的目标关注于易于完成的小型 AI 实施项目。大规模部署需要大量时间、人才和资源。聚焦于能够快速获得成功的小范围的个别用例，以培养热情、可靠性和信任。寻求各层级人员的支持尽早获得利益相关方的支持。如果没有高管支持，就无法获得业务优先级和资源，AI 部署也就无从谈起。培养通常被委以执行任务的初级人才的热情。然而，也许最难以捉摸的利益相关方是中层经理，他们中的许多人是维持现状的既得利益者。有两种方法可以“融化”这一中间层 导师计划和高管辅导。财务和专业激励计划也是可用的方法。在组织各个层级，了解哪些信息会引起利益相关方的共鸣，例如与财务主管共同削减成本，以及与工作热情饱满的初级员工一起发展职业道路。利用现有团队要进一步提高成功的可能性，必须利用现有的数据和分析团队。利用他们的才能和学到的经验教训是明智之举，这可以帮助组织加快进展，降低风险。发展 AI 人才中心AI 人才和治理是持续获得成果、实现长期业务价值的基础。特定于 AI 的人才中心有助于实现这两个目标。创建 AI 人才中心需要从小范围起步，然后逐渐扩展。关键要素包括明确的设计原则和标准的运营程序、特定于业务的用例目录、专门的领域专家、有针对性的数据架构、可复用的框架和组件以及集中的分布式组织架构。针对成熟的 AI 采用者的建议：将 AI 专业知识融入企业的方方面面虽然在人才中心内部结合人才和治理是非常有效的做法，但请注意，不要让 AI 专业知识处于孤岛或隔离状态。两全其美的方法是在人才中心内部培养人才，同时将他们安排到业务部门，让他们熟悉业务挑战并与业务领导建立融洽的关系。轮岗计划有助于以互补而非矛盾的方式集中和分散人才，将 AI 专业知识融入组织的方方面面，而不仅仅局限于人才中心。这些轮岗的员工能够逐渐胜任业务单位的职位，推动 AI 真正在企业范围内整合。在整个企业推广 AI 教育真正的 AI 专家精通 AI 业务。然而同样重要的是，业务专家也要熟悉 AI。考虑到这一点，组织需要为多个业务单位和职能领域的初级和高级员工提供适合其职位的 AI 培训与培养，以将 AI 知识传播到企业的每一个角落。灌输战略反馈循环动态反馈循环有力支持 AI 模型。AI 模型不断变化和迭代，AI 能力也是如此。在反馈循环中加入常规接触点，并阐明当现实情况（关于竞争对手、技术和市场状况）需要时，愿意进行调整。在目前培育 AI 能力时，要关注 AI 的未来。基于场景的规划是一种有效的做法 设想未来的可能状态，然后回过头来根据已知趋势开展工作。9 Copyright IBM Corporation 2021IBM Corporation New Orchard Road Armonk,NY 10504 美国出品 2021 年 9 月IBM、IBM 徽标及 是 International Business Machines Corp.在世界各地司法辖区的注册商标。其他产品和服务名称可能是 IBM 或其他公司的注册商标。Web 站点 上的“Copyright and trademark information”部分中包含了 IBM 商标的最新 列表。本文档为自最初公布日期起的最新版本，IBM 可能随时对其进行更改。IBM 并不一定在开展业务的所有国家或地区提供所有产品或服务。本文档内的信息“按现状”提供，不附有任何种类（无论明示还是默示）的保证，包括不附有关于适销性、适用于某种特定用途的任何保证以及非侵权的任何保证或条件。IBM 产品根据其提供时所依据的协议条款和条件获得保证。本报告的目的仅为提供通用指南。它并不旨在代替详尽的研究或专业判断依据。由于使用本出版物对任何企业或个人所造成的损失，IBM 概不负责。本报告中使用的数据可能源自第三方，IBM 并未对其进行独立核实、验证或审查。使用此类数据的结果“按现状”提供，不附有任何种类（无论是明示的还是默示的）的陈述或保证。国际商业机器（中国）有限公司 北京市朝阳区金和东路 20 号院 3 号楼 正大中心南塔 12 层 邮编：100020关于专家洞察专家洞察代表了思想领袖对具有新闻价值的业务和相关技术主题的观点和看法。这些洞察是根据与全球主要的主题专家的对话总结得出。要了解更多信息，请联系 IBM 商业价值研究院：2JWOA4GB-CNZH-00备注和参考资料1“AI and ML Development Strategies.”Gartner.July 15,2019.https:/ 2“Gartner Identifies the Top Strategic Technology Trends for 2021.”Gartner.October 19,2020.https:/ 3 Goehring,Brian and Anthony Marshall.“The business value of AI.”IBM Institute for Business Value.November 2020.https:/ibm.co/ai-value-pandemic 4 Goehring,Brian,Francesca Rossi,and Dave Zaharchuk.“Advancing AI ethics beyond compliance.”IBM Institute for Business Value.April 2020.https:/ibm.co/ai-ethics 5 Bishop,Chris.“Invited Talk(Posner Lecture):The Real AI Revolution.”Slide 14.Neural Information Processing Systems.December 9,2020.https:/nips.cc/virtual/2020/public/invited_16165.html 6 Rudden,Beth,Wouter Oosterbosch,and Eva-Marie Muller-Stuler.“Proven concepts for scaling AI.”IBM Institute for Business Value.September 2020.https:/ibm.co/scaling-ai;Haydock,Michael,Steven Eliuk,and Susara van den Heever.“Dealing with the AI data dilemma.”IBM Institute for Business Value.June 2021.https:/ibm.co/ai-data-integration 7 Scully,D.,Gary Holt,Daniel Golovin,et al.“Hidden Technical Debt in Machine Learning Systems.”NIPS.2015.https:/papers.nips.cc/paper/2015/file/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf 8 Ng,Andrew.“AI Doesnt Have to Be Too Complicated or Expensive for Your Business.”Harvard Business Review.July 29,2021.https:/hbr.org/2021/07/ai-doesnt-have-to-be-too-complicated-or-expensive-for-your-business 9 Ransbotham,Sam,Shervin Khodabandeh,David Kiron,et al.“Expanding AIs Impact With Organizational Learning.”MIT Sloan Management Review.October 19,2020.https:/sloanreview.mit.edu/projects/expanding-ais-impact-with-organizational-learning 10 Goehring,Brian,Francesca Rossi,and Dave Zaharchuk.“Advancing AI ethics beyond compliance.”IBM Institute for Business Value.April 2020.https:/ibm.co/ai-ethics