通往智慧工厂的捷径

想建立一座智慧工厂吗?它实现起来比你想象的更快。

对于许多制造商来说,由于开发人员和运营团队的脱节,他们可能需要付出旷日持久的努力才能实现数字化升级。

“开发人员不一定会参与公司的运营,”西门子公司欧洲、中东和非洲地区 MindSphere 合作伙伴市场总监 Rogério Boleta 解释说,“同时,了解那些机器和传感器的人又可能不了解编程。”

因此,新技术与传统设备之间会存在不匹配的问题。当制造商的业务取决于正常运行时间时,他们就会对尝试未经验证的技术表现得犹豫不决。人们认为,还是坚持自己已知的事情更为稳妥。

但是如果有一条通往智慧工厂的捷径呢?如果有一种新方法,可以在利用可靠技术的同时缩短获利时效呢?如果各工业组织可以在预先配置的解决方案上开发、部署和测试应用程序呢?

多条道路,同一目标

这是 MindSphere 的背后哲学,MindSphere 是西门子开发的基于云的开放式物联网操作系统。MindSphere 为制造商提供高效且经济的方式,在支持其现有运营环境的同时应对其独有的业务挑战。

借助英特尔® 和西门子 MindSphere RFP Ready Kit (RRK),合作伙伴可以从这些可扩展、可重复饿解决方案中获益,这些解决方案旨在解决他们及其客户面临的关键市场挑战。合作伙伴们现在可以通过为物联网构建的可靠解决方案获得竞争优势。

英特尔和西门子与物联网生态系统合作伙伴紧密合作,提供可缩短上市时间、节约运营成本和降低部署风险的集成解决方案。这意味着您的企业可以更快地赚钱和省钱,而且不需要猜测。

关键是允许每个利益相关方走自己的路。“无论是一种新的服务模式,还是想要提升底线效率,制造商都应关注其核心竞争力,”西门子数字工业软件全球联盟总监 Manoj Patil 说,“他们最了解资产,最熟悉自己的产品,也最知道有哪些地方可以优化。”

同时,开发人员和系统集成商可以利用西门子几十年的行业经验快速交付价值。“将如此丰富的经验应用到物联网服务和解决方案中,他们的生活会变得更加轻松,” Boleta 表示,“与替代品相比,他们获得了大量以这些行业知识为基础的现成工具。”

其主要优势是什么呢?MindSphere 解决方案可以从资产联网那一刻起,在几秒钟内快速形成见解,推动基础设施内各个点实现智能化。

MindSphere 能为您做什么

MindSphere 提供开放式连接框架,与新的和现有的硬件、软件和云平台进行集成。

  • 与来自西门子和其他制造商的物联网就绪资产相连
  • 开箱即可兼容多种协议
  • 支持 ERP、MES 和 SCADA 等多个数据系统
  • 包括用于向客户或特定用例连接代理下达程序指令的 API

“您可以从三个层面定义 MindSphere,” Patil 说,“从根本上说,各个层面能够分别应对客户面临的连接性、分析和应用方面的挑战。”(图 1

在英特尔® 处理器的支持下,MindConnect IPC 可实现优势分析。
图 1。在英特尔® 处理器的支持下,MindConnect IPC 可实现优势分析。

从优势上来说,MindSphere 解决方案可包括用于适当工作或许多不同工作的合适硬件。比如,使用英特尔技术的 MindConnect Nano 和 MindConnect IoT 2040 提供复杂的边缘计算选项,可实现零接触的安全入门。二者都能通过与 MindSphere 之间的安全互联网连接提供设备连接性以及数据收集、存储和传输。

在数据流式传输时使用分析算法可以对高频数据进行预处理。这样,MindSphere 对开发和运行基于云的应用程序与服务进行了简化。

MindSphere 还提供应用环境,使开发人员、集成商和最终客户能够创建、测试和运行他们现有的应用程序。此外,他们还可以将这些应用程序添加到 MindSphere 应用商店中,为更广阔的生态系统提供这些应用程序。这样做甚至还可以通过为新客户和新市场提供软件和服务许可来获得新的收入机会。

并且这种获益是双向的。这个应用商店中还提供由西门子和第三方开发的各种应用程序,从而使利用易于集成的现成应用程序构建解决方案成为可能。

快速、高效的应用程序开发

“它实际上是使用可视化工具在模板、构建块和开箱即用的连接器的基础上构建应用程序,” Patil 表示,“因此,Mendix 提供的工具可以为您节省通常要在编码和本地应用程序方面花费的巨大精力。”

即使对于完全集成的车间应用程序,其开发工作也会比传统的编码方式快 10 倍。

产品质量与安全

关于启用令人叹服的云解决方案,其中一个例子就是与 Mentor Embedded Software 合作,通过智能阀门控制实现流程自动化。这个解决方案以英特尔技术为基础,促进在多个英特尔架构上实现人工智能和计算机视觉的全部潜力。它提供了模拟仪表装置,可以通过一个摄像头读取多块仪表的数值,并提供访问控制和监测流程遵守情况,从而帮助和指导现场工作人员。

所有这些都可以通过边缘智能和推理结合 MindSphere 业务流程来实现。

集成活动正在进行

Arrow Electronics 这样的合作伙伴正推动这一模式进一步发展。通过将基于 MindSphere 的应用程序构建到边缘到云端解决方案中,这家聚合器组织正为其工业客户提供预见性维护系统。

例如,通过集成其 iCOMOX 智能状态监控系统,Arrow 提供了一个平台,将多传感器设备、MindConnect 网关的前沿人工智能功能和 MindSphere 物联网操作系统的优势结合到一起。

“Arrow 开发了具备 3Xs 震动分析、元噪声、温度等传感器的多传感器设备,” Patil 解释道,“这样您便拥有了监控和连接工业资产(一般为会产生震动的任何资产,比如泵、井、压缩机、发动机或传动装置)所需的所有相关传感器。在 MindSphere PaaS、使用英特尔技术的 IPC 和 iCOMOX 的基础上,您可以在云端进行预见性维护。”

Arrow 得益于可扩展开发套件、开放式服务平台和边缘计算机,在为客户提供边缘到云端解决方案方面抢占了先机。

而且西门子也从与英特尔的关系中获益匪浅,这种关系远远超出技术集成与开发工具的范围。“除了英特尔技术的价值外,例如,无论是 IPC 中的组件还是英特尔® OpenVINO 工具包,合作伙伴生态系统都可以帮助我们以可扩展的方式将端到端解决方案推向市场,” Patil 说。最后,我们共同带来明确的客户利益。

全球竞争格局带来的压力意味着工业运营需要提高效率——时不我待,我们要立即采取行动。您需要一条行得通的途径,还需要符合您需求的物联网解决方案。MindSphere 能让您用最少的投资获得最大的回报,从而实现这一目标。

计算机视觉的方方面面

计算机视觉、机器学习和人工智能 (AI) 等术语如今已变得耳熟能详,人们很容易会把它们看作是单独的应用。事实是,它们每一个都代表了能够满足各种使用案例需求的整个应用类别。

因此,计算机视觉系统采用各种硬件架构。在某些应用中,单单使用标准 CPU 就可以完成任务。在另一些应用中,可能需要使用 GPU、FPGA 甚至专业的视觉处理器 (VPU)。

当然,这些计算架构可以按各种配置组合起来。如图 1 所示,视觉处理管道由数个步骤组成,不同的处理器适用的步骤各不相同。例如,GPU 通常用于处理原始视频数据和提取特征,而 VPU 和 FPGA 则非常适合用于分析。

机器视觉应用由各种计算功能组成。
图 1. 机器视觉应用由各种计算功能组成。

了解计算机视觉的复杂性

但是,一个使用案例可能需要用到多种计算机视觉,每种类型都有不同的计算要求。在制造业中尤其如此,生产线上的每个阶段都可能涉及不同的算法、相机和计算机硬件,以执行各自专门的缺陷检测任务。

以金刚石涂层锯片的制造流程为例。该流程涉及许多步骤,包括:

  • 将原始坯料切割成圆盘状
  • 将金刚石涂层烧结到切削刃上
  • 钻安装孔
  • 抛光圆盘
  • 削尖刀片
  • 对圆盘进行喷漆
  • 打印标签
  • 将刀片规格刻印到圆盘上

图 2 所示,每一个步骤都会出现各种各样的缺陷。每种缺陷都有其独特的特征,因此需要不同的视觉检测。

计算机视觉可以帮助检测每个生产阶段中的缺陷。
图 2. 计算机视觉可以帮助检测每个生产阶段中的缺陷。

因此,拥有一个支持各种配置方式、可以灵活部署的可扩展平台非常重要。这种方法的一个例子是 APQ Science & Technology 的智能视觉处理系统 (IVPS)。基准系统可以搭载一系列英特尔® 酷睿 处理器,开发人员不但可以选择 CPU 性能,而且能够选择内置 GPU 性能,以满足不同的需求。此外,IVPS 还支持基于英特尔® Movidius 处理器的直插式加速器,在需要时提供神经网络加速。

该公司的 CTO Dequan Wang 解释了为什么专用性和灵活性对于解决广泛的技术问题必不可少。对于检测形状切割误差等任务,算法只需要中等计算能力。但其他任务提出了更高的要求。

“考虑到钻石涂层的纹理,我们很难检测到划痕,” Wang 说道,因为涂层表面是不规则的。因此,该公司需要一个多层神经网络来识别划痕和其他缺陷。

此外,标签和其他印刷品评估起来也异常困难。因为细节可能非常精细,所以这个阶段需要非常高的精度和图像分辨率,这又增加了计算负载。

裂纹检测也有独特的要求。在这个例子中,图像预处理是消除噪声的关键,因为噪声会干扰刀片表面裂纹的识别。

但是,可扩展性如此重要还有另一个原因:制造流程往往会随着时间而改变。在本例子中包括原料、刀片尺寸和其他规格的变化,以及制造设备的更新。因此,我们需要将计算性能理解为一个移动靶,需要随机应变。

智能软件大显身手

虽然灵活的硬件平台可以帮助满足所有这些变化的需求,但这只是开始。开发人员需要一个能够灵活扩展的软件平台。

在这里,英特尔® OpenVINO 工具套件发挥重要作用。该平台可以轻松地调整 CPU、GPU 和 VPU 的性能,使开发人员能够根据需要在不同的硬件配置之间无缝切换。

“OpenVINO 帮助我们的系统成功提速” Wang 说道,“它提供了一个基本的多媒体处理库和一个神经网络计算框架。这减少了我们的开发工作量,充分提高了性能,并加快了开发速度。”

IVPS 通过在同一硬件上集成计算机视觉和运动控制,将这种可扩展的方法又向前推进了一步。这不仅改进了计算机视觉和运动控制的协作程度,还降低了成本,同时提高了精度和性能。

“使用我们的集成 PLC SDK,客户可以在 IPC 上完成各种运动控制应用,” Wang 说道,“同时在任何需要的地方执行计算:CPU、GPU、加速卡。这有助于他们充分利用计算机视觉的优势。”

锦上添花的服务

即使拥有所有这些复杂的工具,制造商也会发现开发复杂的机器视觉算法是一项艰巨的任务。这激励了 APQ 推出与其硬件相辅相成的开发服务。

“我们将开发专门针对这些应用场景的定制算法,” Wang 解释道。“我们的目标是减少检测系统的误报,当然,也要提高检测的准确性。”

这不仅仅是为流程中的每个步骤创建算法。APQ 关注的是整条生产线。Wang 说道,“我们在软件中充分模拟他们的流程,使他们能够快速上手。”

对于制造商而言,他们的目标是以低成本生产出没有缺陷的产品。计算机视觉和推断训练可以解决这个挑战。在流程的每个步骤使用合适的硬件来执行机器学习,可以减少甚至消除可能导致生产中断的误报。

教育技术助力学生个性化参与

不论高贵与否,在最佳环境况下教学都是一项艰巨的任务。但是,由于缺乏训练有素的教师,教室人满为患,世界各地的父母辛辛苦苦为子女们提供的良好教育似乎只是一场白日梦。

通过考试成绩,不难理解人们的忧虑。为了提高效率,教师不仅要在课堂上激发学生的学习兴趣,还要照顾到学生们各种各样的需求。而这些需求一直在变化。

IBASE Technology Inc. 产品计划部门主管 Wilson Lin 说:“教师们不能总是凭借一己之力专注于班上的每一名学生。但是,有了人工智能技术和计算机视觉,学校就可以逐步实时地获得有关每一名学生的准确而客观的数据,无论是以小组形式,还是以个体形式来搜集。”

智能教室可以减轻老师的管理负担,同时可以更全面地了解每一名学生的真实情况。而且,对这些信息进行分析可以提供个性化学习和改善学习体验的机会,而这是以前无法实现的。

比方说,现在,老师可以知道学生的学习兴趣下降是儿童的生理发育所致,还是表明需要增加互动及提高课程的吸引力。家长会在学生的潜在问题发酵之前收到警示。而且,教师们可以监视和发展自己的教学技能,不论班里有 22 名学生还是有 55 名学生。

新兴的教育技术超越了面部识别

借助 IBASE 人工智能教育平台,教师们可以可以随时确定最需要关注的方面。当学生的表现开始下降时,是因为他在家中遇到问题,还是因为前桌同学总是回头跟她说话?IBASE 平台生成的数据显示了教师可能需要在何时何地更深入地了解学习问题,并提出解决这些问题的可行措施。

该系统使用骨骼检测、面部识别和行为识别来跟踪九种不同的行为(如积极倾听)和六种情绪(如快乐、生气或害怕)(图 1)。

行为识别和面部识别有助于教师监控和提高学生的参与度。
图 1. 行为识别和面部识别有助于教师监控和提高学生的参与度。

该系统对在上课期间采集的图像进行分析,然后根据学生的行为、学生使用的材料以及与教室内其他同学的互动来对分析结果进行分类。收集的信息汇总到每一名学生的名下。

即便刚刚出现课程参与度下降的苗头(比如皱眉次数增多或举手次数减少),教师也能立即采取措施,并后续跟进。教师不必等到事态严重了或考试成绩差才发现谁对学习没有兴趣或上课分心,而是可以主动改善自己的教学方法和学习环境,并轻松评估其改进效果。

Lin 说,某个国家/地区或学校的隐私法规可能规定禁用或完全弃用面部识别功能,但这没什么大不了的。没有面部识别功能,该解决方案照常运行。

协助系统集成商为学校提供支持

人工智能教育平台包括系统集成商以开箱即用的方式部署概念验证 (PoC) 可能需要的硬件、软件和工具。Yuan QDeep 与英特尔® OpenVINO 工具包结合使用,可充分发挥在基于英特尔® CPU 或 VPU 的计算机上运行的视频分析的边缘性能(图 2)。

人工智能教育平台能够帮助集成商简化 PoC 部署。
图 2. 人工智能教育平台可帮助集成商简化 PoC 的部署。

为使系统集成商向学校展示教育平台及其人工智能技术的全部价值,IBASE 提供了充足的支持。首先,该解决方案的功能很简单,并且系统本身开箱后易于安装。它的双摄像头默认配置经过预先训练,适合 55 名学生和 1 名教师在 6 x 8 米的教室内使用(图 3)。

IBASE 教育平台的默认设置:采用双摄像头,适合 55 名学生在 6x8 米的教室内使用。
图 3. IBASE 教育平台的默认设置:采用双摄像头,适合 55 名学生在 6×8 米的教室内使用。

对于很多学校来说,这个设置足够了。但若客户的使用环境不同,例如,班级规模较大,IBASE 便会利用自己的研发经验为系统集成商推荐摄像头安装数量及位置。

该解决方案也采用了模块化设计,并带有一个 SDK,因此具有软件开发技能的系统集成商可以与学校一起确定学校的需求,然后自行修改或增强该工具包,例如,通过添加其他语言或其他特定于区域的功能。

另外,在学校需要的功能多于原装功能时,IBASE 可以帮助系统集成商根据学校的需求进行定制。在这种情况下,系统集成商会提供真实的教室视频,而 IBASE 则会训练其算法以达到 90-95% 的准确性。Lin 表示:“这样一来,数据对于管理员和教育工作者都更加有用。”

如果这是集成商第一次与 IBASE 合作,IBASE 会指派一个团队前往现场,与系统集成商一起工作,以确保完美安装。

Lin 说:“在系统集成商完成两三次安装之后,便可轻松地将安装经验运用到其他学校。在此之前,我们会与系统集成商协作,确保安装顺利进行并为学校创造最大收益。” 那么,最大收益是什么呢?学校不再进步迟缓,实现了“智能化”发展,而且带动了教师、学生和家长对智能化的认知。

零售数据汇集在店内边缘

零售商今天承受着巨大的压力。不是与电商巨头齐头并进,要不就是在发展中落伍。但如何做到这一点是另一个问题。技术升级是必须的,但在技术和提供技术的供应商方面,由于有太多的选择,因此很难驾驭该生态系统。

一旦做出投资决定,就会面临其他挑战。使用先进的零售分析功能提供全新实时见解的新解决方案就是终极目标。但是,零售商如何在不中断现有运营或产生高昂费用的情况下将这些解决方案与传统系统(有时来自众多不同的供应商)整合在一起?

答案就在边缘,借助开放标准和强大的计算功能,系统集成商可以将不同的要素和数据流融合到一个无缝的端到端解决方案中。

整合零售数据流

IOTech Systems Limited 推出的物联网边缘计算平台使零售商和系统集成商可以利用这些新技术并快速部署解决方案。

“我们的平台使 SI 可以整合一流的设备,并将各种零售应用程序与一个集成式数据驱动解决方案相结合,” IOTech Systems 的产品总监 Andy Foster 说。“而且更重要的是,它允许您增强现有系统,而不是替换它们。” 这意味着零售商可以轻松地将新元素纳入环境之中。

此外,它还允许轻松编排和管理部署在边缘节点上的应用程序。因此,可以跨零售环境将新功能大规模添加到系统中,或升级现有功能(图 1)。

IOTech 边缘计算平台在边缘合并零售数据,以获取新见解和新用例
图 1. IOTech 边缘计算平台在边缘合并零售数据,以获取新见解和新用例。

边缘零售分析

由于延迟、系统响应能力、数据隐私和网络带宽限制等原因,零售边缘已成为软件和硬件供应商创新的重点。Foster 指出:“毕竟,在边缘合并来自销售点硬件、RFID 扫描仪和智能摄像头等设备的数据最有意义,”。

同时,新的用例也会自然而然地出现。例如,在损失预防方案中,可以收集设备数据并馈送到边缘节点上的分析应用程序中,从而实现了实时捕获事件和报告异常。任何可疑活动的通知都可以自动发送给员工,然后员工可以采取必要的措施,而不会中断顾客的结算流程。相反,如果必须将所有这些不同的数据馈送到在云中运行的分析,则立即采取行动的能力将受到严重限制。

此外,边缘计算正在帮助零售商更好地分配人员。智能视频能追踪店内的排队时间,并在需要帮助时通知经理。与此同时,零售商可以获得关于客户行为的重要见解。他们在什么地方花的时间最多?他们是迅速找到所需的东西,还是停留在某些过道中,拿不定主意?这些问题的答案不可避免地带来了服务改进和提高顾客满意度。

简化部署

要交付这些解决方案,零售商、其设备和装备提供商以及系统集成商 (SI) 之间需要开展协作,以将所有要素整合到一个端到端解决方案中。

IOTech 使这种整合和部署更加简单。该物联网边缘计算平台是对 Linux 基金会的 EdgeX Foundry 平台的增强实施,并且提供商业支持。此供应商中立的开源项目基于物联网边缘计算的常见框架构建。

该平台还能为标准零售环境中的常见协议提供支持。开放式 API 允许轻松整合新应用程序(例如与损失预防相关的应用程序)以及传统应用程序。例如,在 2020 年的美国零售联合会上,这些功能已被成功用作英特尔® 开放式零售计划损失预防演示的基础。

在概念验证实施过程中,IOTech 已经承担了大部分工作。实际上,为了支持早期的概念验证,该解决方案包含了平台不需要的部分要素,而这些要素不需要定制开发就可以付诸实践。

例如,IOTech 提供了各种服务和组件,以支持概念验证整合可能需要的不同类型的传感器技术和设备。“所以无需编写大量新代码,而是将不同的设备北向整合到云端点或将这些应用程序引入到平台中,然后完成相应配置即可,” Foster 补充道。

该解决方案旨在进一步扩展和实现新功能。例如,通过提供开箱即用的 ONVIF 摄像头集成和适用于高级视觉和人工智能的英特尔® OpenVINO 工具包,该解决方案现在还能支持智能摄像头集成。此外,IOTech 还计划在未来支持物体和面部识别等功能。

Foster 很快就意识到了公司与英特尔之间关系的重要性:“无论是在芯片层面从他们自己的角度来看,还是从软件供应商、平台供应商、设备制造商或软件应用专家的角度来看,英特尔通过将所有相关参与者汇聚在一个包含新旧事物的多供应商环境中来是真正实现开拓创新。这是一件令人钦佩的事。”

通过人工智能和计算机视觉加强交通执法

编辑注:insight.tech 支持终止种族主义、不平等和社会不公正的行为。我们不容忍赞助商的产品被用于侵犯人权,包括但不限于政府滥用可视化技术。insight.tech 展示产品、技术和解决方案,并遵循以下前提:负责任和合乎道德地使用人工智能和计算机视觉工具、技术和方法。

 

某座印度南部城市的注册车辆已达百万辆,而且每天还在不断增长,但该城市的街道已经拥挤不堪,主管机关在交通管理问题上苦苦挣扎。技术过时且交管人员不堪重负,这两个问题导致成本高昂、危险加剧且无法扩展。

该城市需要的是一种可以满足其需求的现代化解决方案。这不仅包括检测交通违规,而且在系统内传送违规信息以生成交通罚单之前,还要使主管机关能够看到详细回顾。

好消息是,将计算机视觉和人工智能 (AI) 等技术相结合,使经济高效的全市交通执法得以实现。

可扩展的交通管理

Vehant TrafficMon® 解决方案在标准 IP 摄像头中增加了一个智能层,从而可以检测多种类型的违规行为,而车牌识别则可以识别违规者。除此之外,实时分析及其可视化帮助主管机关展示整个城市的当前状况和趋势,使交管人员能够主动采取行动。

Vehant 的交通监控和路口执法解决方案包括一组具有检测功能的软件模块,例如:

  • 自动车牌识别 (ANPR)
  • 闯红灯
  • 三人骑摩托车且不带头盔
  • 超速
  • 逆向驾驶
  • 随意左转导致拥堵
  • 颜色和标志

主管机关不仅可以在多个位置添加摄像头,而且还可以从一个应用程序开始,并在未来添加更多功能。这种可扩展性可帮助城市关注其关键需求,同时从现有基础设施中获取更多价值。

“视频处理、强大的深度学习算法和边缘人工智能硬件是系统的大脑,” Vehant 的业务开发经理 Dheeraj Saxena 说。“这些功能既可以在事件发生时捕获相应情况,也可以进行分析以提取关键见解和进行有效的资源规划。”

此外,也可以获取各种可行性信息,例如违规数量最高的地区、反复违规者和多次违规车辆。违规趋势分析还有助于主管机关更好地了解社会文化行为。

边缘计算机视觉和人工智能

大部分繁重的处理任务在本地处理单元 (LPU) 完成。

“摄像头信息进入 LPU,” Vehant 的首席技术官 Anoop Prabhu 说。“这就是处理原始帧(包括人工智能模型)的地方,以便了解到底发生了什么,即当前发生的违规行为。” 在这里,只有与违规相关的信息才会从所有城市和路口发送到后端服务器,然后进行整合(图 1)。

智能交通执法和管理架构。(来源:Vehant)
图 1. 智能交通执法和管理架构。(来源:Vehant)

在边缘收集的数据不仅让城市能够识别违规活动,而且还可以采取积极主动的方式改善道路安全。

借助英特尔® OpenVINO 工具包,Vehant 的人工智能和机器学习能够在英特尔® 平台上实时处理工作。“通过与英特尔密切合作,使我们能够调整计算密集型应用程序,从而确保处理器的无缝操作,” Prabhu 说。

在数据中心,中央管理服务器应用程序接收来自边缘设备的所有数据。此有价值的数据推送通过 API 传递到指挥中心,以提供相关信息(图 2)。

后端办公系统提供所有可用数据的集中视图。(来源:Vehant)
图 2. 后端办公系统提供所有可用数据的集中视图。(来源:Vehant)

构建智能交通执法和管理解决方案

从规划到实施,系统集成商 (SI) 与多个城市和 Vehant 合作,在正确的位置部署正确的解决方案。凭借丰富的专业知识,他们非常适合帮助交管人员规划涵盖道路、十字路口和热点区域所需的系统架构和基础设施。

这包括摄像头的安装位置和边缘设备的所在位置,以实现最佳覆盖。SI 可以设计将边缘计算设备连接回主服务器的网络基础设施。

“我们灵活且模块化的解决方案架构能够进行水平和垂直缩放,并且可以轻松添加新的软件模块,以利用现有摄像头基础设施,” Vehant 联合创始人兼首席执行官 Kapil Bardeja said Kapil Bardeja 说。“这有助于 SI 简化部署和进行项目扩展。”

对于交通警察和城市规划者等主管机关来说,这些技术的部署给市民和主管机关带来了以下实实在在的益处:

  • 有效的交通执法
  • 更好的道路安全
  • 减少拥堵
  • 更顺畅的交通流量控制
  • 针对城市基础设施规划的见解

在解决交通管理问题后,智能城市会变得越来越智能。

将移动机器人开发时间缩减一半

开发人员首先开始使用 ROS(机器人操作系统),现在称为 ROS1,因为操作该系统不需要具备机器人编程方面的专业知识。但是,开发人员发现 ROS1 不能支持移动机器人组群。

这种失能是由于受到了实时编程、反应性和低延迟等方面的限制,而所有这些对于准确的机器人控制都是必需的。例如,一家智能工厂中的一队自主移动机器人必须能够协同工作,以选择、抓握和移动物品,同时又不会互相妨碍。没有实时计算机视觉处理,不可能完成这些任务。

ROS2 在 ROS1 的基础上对 API 做了重大改变。这使操作系统能够支持更广泛的计算环境,利用与 ROS1 不兼容的技术,并可以进行实时计算机视觉编程。最后,开发人员理论上可以将开源中间件用于集群机器人技术。

但有一个问题仍然妨碍着许多开发人员使用两种形式的 ROS 来构建商用移动机器人。ROS 开源社区没有能力提供保证,也无法支持人们在操作系统上构建的机器人。

这为凌华科技创造了机会,开发出了 ROS2 自主移动机器人控制器:ROScube。这是一个经过 ROS2 优化的开发平台,可保证为客户提供能够集成并简化硬件和软件的解决方案。通过提供算法库和软件,它可以将编程时间缩减一半。

“在传统的机器人开发过程中,编程是最耗时的阶段。能够将编程时间减少 50% 意味着开发人员可以更快地测试和完善他们的工作。”凌华科技项目经理解释道。

Wang 表示,使用 ROScube 的解决方案集成商经历了在三个月内从开箱即用到构建概念验证 (PoC) 部署的转变。他们能够使用 ROScube 随附的算法来实现这一目标,而不必自行编程。

开发人员还可以从凌华科技公司获得技术支持并排除故障。而且,由于所有组件都可以顺利协作,因此使用来自单个实体的硬件和软件可简化构建移动机器人的过程。

机器人视觉浅析

ROScube 包括 ADLINK Neuron SDK,用于内部通信以及集群移动机器人应用所需的车到车协调。该 SDK 随附了商用版(相对于开源而言)数据分发服务 (DDS) 中间件,以帮助确保可靠、实时的通信。它还提供了一系列 QoS 资源、NeuronLib API、UI 接口、车队管理软件以及 ROS1 和 ROS2 兼容性。

所有这些都为开发人员提供了使用开源社区工具构建的机器人所缺乏的支持。他们唯一需要的技能是使用通用编程语言(例如 C、C++ 和 Python)的能力,并熟悉 Linux 等常规操作系统。不需要具备深厚的机器人知识或专业知识。

Neuron SDK、ROScube、ROS 初学者工具包和 NeuronBot 支持用于人工智能算法的计算平台以及机器人视觉、目标识别和训练所需的推断(图 1)。

凌华科技解决方案可以为各种使用案例开发机器人视觉和目标识别
图 1。凌华科技解决方案可以为各种使用案例开发机器人视觉和目标识别。

无损性能

缩短开发时间并不意味着性能或功能受损。ROScube 可与英特尔® 实感 深度摄像头和英特尔® Movidius VPU 神经计算引擎等技术配合使用。

实感摄像头可辅助自主移动机器人计算颜色和距离信息以执行定位和导航。这很关键,因为此类机器人必须能够规划、执行和更改其路线,并避免与移动和静止的物体碰撞。

Movidius 中包含的人工智能算法库支持人工智能框架和神经网络,允许移动机器人学习和识别物体和人脸。这两种技能对于交付物品以及与目标(包括其他机器人)和人员互动都很重要。

通过 ROScube 控制器,还实现了多个移动机器人与其他设备实时通信。该控制器除设计了各种 I/O 端口之外,还可选配英特尔® 至强® 或英特尔® 酷睿处理器。通过这种方式,使用 ROScube 构建的自主移动机器人可以使用计算机视觉来参与各种场景。

鉴于 ROScube 能够与 ROS1 和 ROS2 两个操作系统兼容,因此企业能够开发最适合其需求的任何一种移动机器人。无论哪种情况,该解决方案都可以缩短对机器人进行编程所需的时间、降低成本及提高性能水平。

不要从零开始,可以借助物联网开发套件

工业物联网边缘设备将更多的智能、网络和安全功能与传统的感应、执行和控制任务集成在一起。因此,工作负荷整合已变得比奢侈品更为重要。将多个功能组合到一个系统中可减少总体组件成本、功耗、硬件占用空间、布线以及其他资本和运营支出。

最终用户的利益是显而易见的,但是,OEM 和系统集成商到哪里寻求快速、大规模地开发工作负荷整合的设备呢?对此类系统进行原型设计需要工程团队分别构建每个子系统,然后将这些离散设计整合到一个统一的工作负荷整合架构中。

工作负荷整合的原型设计问题

想象一下,一个工业视觉系统在自动化生产线上扫描有缺陷的产品。今天,这类系统使用神经网络算法来搜索生产缺陷,而且,支持确定性但对 IT 友好的通信技术(如以太网 TSN),因此,需要高级板载安全性。此外,如果检测到生产异常,这类系统还必须在几微秒内将控制信号发送给驱动自动化生产线的 PLC。

在早期开发中,这意味着需要投资一系列支持每个所需任务的目标设备,就像在常规系统架构中那样。

康佳特市场营销总监 Christian Eder 说:“如果采用传统方式,运动控制部件将是通过以太网连接到交换机的盒子中的 PLC。然后,我们当然有一个云连接器,它通常是另一个盒子,用于处理与外部应用(如人工智能摄像头)的安全通信。”(图 1

图 1.传统的嵌入式系统原型设计方法需要微调多个功能,然后才会进入工作负荷整合设计阶段。(资料来源:康佳特)
图 1。传统的嵌入式系统原型设计方法需要微调多个功能,然后才会进入工作负荷整合设计阶段。(资料来源:康佳特

与将所有东西放到一个需要稍微快一点的 CPU 的盒子里相比,仅仅是简单的硬件成本就可能翻倍。而且,这甚至都没有考虑到软件集成,软件集成可能要花费数百个工程小时才能确保各个组件在最终系统中正常运行。

借助工业物联网开发套件减少工作

为解决这些设计中的系统集成差距,康佳特在 2019 年嵌入式世界上推出了工作负荷整合概念证明 (PoC)(视频 1)。差不多一年之后,该公司通过与英特尔® 合作,使 PoC 发展成为面向 OEM 和系统集成商的现成工作负荷整合入门套件。

视频 1。康佳特的工作负荷整合 PoC 在一个设备上整合了实时控制、计算机视觉和云连接。(资料来源:嵌入式计算设计

图 2 所示,工作负荷整合套件以 congatec Conga-TS370 COM Express 6 型主板为基础,搭载一个六核英特尔® 至强® 处理器。这些内核使用实时系统的实时嵌入式虚拟机管理程序相互隔离,从而使康佳特套件可以组合通过虚拟以太网连接的三个独立子系统:
机器视觉 — 基于 Ubuntu Linux 的视觉系统使用四个内核,但集成了 Basler 工业 USB 摄像头和 ReFLEX CES 的 Arria® 10 FPGA 加速卡。计算机视觉算法使用英特尔® OpenVINO 工具包在桌面操作系统上运行进行开发。

云连接 — 另外一个内核运行 EdgeOS。EdgeOS 是一种外形小巧的 Linux 装置,拥有套件的物理以太网端口并支持 MQTT 等企业连接。它还提供安全的网关功能,充当其他子系统与外界之间的防火墙。

实时控制 — 最后一个内核运行一个实时 Linux 操作系统。该操作系统管理着系统面向控制的任务,其功能类似于 PLC。为了证明这一点,该套件通过 USB 与伺服驱动的摆锤连接。

图 2.通过工作负荷整合,工业物联网边缘设备可以在同一硬件上支持多个 IT 和 OT 功能。(资料来源:康佳特)
图 2。通过工作负荷整合,工业物联网边缘设备可以在同一硬件上支持多个 IT 和 OT 功能。(资料来源:康佳特

开箱即用的工作负荷整合入门套件带有预配置的虚拟机管理程序、已加载的操作系统以及对网络堆栈和 OpenVINO 人工智能库的访问。对于希望简化强大的工业物联网边缘解决方案设计的组织而言,这种组合既可以降低开发成本,又可以缩短产品上市时间。

Eder 说:“当然,将所有内容都放在一个平台上更容易维护。毕竟已经建立起完整的环境。您可以立即开始优化应用程序的特定细节。”

“不要从零开始。借用 90% 的现有成果并优化剩余 10% 的工作。” 他补充道。

嵌入式系统原型的最后一英里

随着电子系统的价值逐渐转向应用软件和服务,技术重用对于任何设计的深层嵌入部分至关重要。工作负荷整合入门套件将该基础技术的复杂性抽象化,同时允许物联网工程组织专注于核心增值,而无需担心将来的复杂软件集成。

显然,套件本身可能并没有针对每种可能的使用案例进行优化,但是康佳特与其他公司的工程服务部门可以调整硬件和软件子系统,以确保达到最终的设计目标。

现在,工作负荷整合解决方案使您的最终产品获得率达到了 90%。您在最后一英里会做什么?

机器视觉应用快速通道

随着制造商们将其全球工厂预算的多达 65% 投入工业物联网计划,企业领导者们也提出了疑问,制造商如何最大程度地提高投资回报。例如,运营收益是否可以补偿从头开发支持计算机视觉的解决方案的成本?是否存在可以实现相同目标的更具成本效益的技术?

借助机器视觉开发套件,制造商和系统集成商能够以经济的方式接受机器视觉和人工智能 (AI)。方式是什么?推动他们构建概念证明 (PoC) 或针对特定工厂使用案例量身定制全面开发的解决方案。

例如,使用这类套件进行部署可以帮助制造商大幅减少生产线浪费,同时使他们能够在紧迫的时间内生产更多符合规格的产品。像 JWIPC 这样的公司已经投资构建了这类开发工具,并部署到各类制造现场。

人工智能做好质量控制准备

渝美压铸厂正在使用基于 JWIPC AI Ready Vision Kit for Smart Manufacturing 构建的自动化缺陷检测解决方案。与手动检查相比,该公司质量控制流程的准确性提高了 20%。制造商现在可以发现的缺陷包括零件上或模具中铝残留过多,以及铸件有裂纹和翘曲(图 1)。

JWIPC 套件为系统集成商增强了构建计算机视觉解决方案的能力
图 1。JWIPC 套件可帮助系统集成商构建计算机视觉解决方案。

为了获得这些结果,渝美的开发合作伙伴开始使用套件中提供的硬件和软件。其中包括数据提取和分析软件以及英特尔® Industrial Edge Insights 和英特尔® OpenVINO 工具包。这个组合已经帮助开发团队加快了专门为解决压铸厂的缺陷检测需求而设计的算法的创建速度。

JWIPC 物联网业务部总经理 Disco Liu 表示:“在这么多不同的工业应用场景和要求下,制造商需要大量的数据和时间来训练算法。我们的套件提供了基本功能,可帮助您在更短的时间内轻松开发和部署机器视觉解决方案。”

通过容器化,智能制造套件可以为不同类型的工厂和使用案例集成视觉软件应用程序。这降低了完成数据存储、数据分析以及与公共云或制造执行系统对接的复杂性。

JWIPC 产品提供了完整的堆栈,其中包括工业网关以及可选的摄像头和传感器,开箱即用,可以开发有效的 PoC 或生产就绪解决方案。而且,由于许多机器视觉应用程序在 Ubuntu 操作系统上运行,因此该操作系统已集成到套件中。

这使系统集成商可以使用 Docker 来移植其应用程序,进一步加快开发周期。Docker 还与其他操作系统兼容,从而减少了对其他编码的需求。包括上述功能在内的诸多功能(如图 2 所示)已整合到套件中。

软件堆栈和硬件减少了开发机器视觉解决方案所需的时间
图 2。软件堆栈和硬件减少了开发机器视觉解决方案所需的时间。

优化系统

在提高计算机视觉解决方案性能的同时还要降低成本,就需要集成多种功能。其中包括视频捕获和处理、工业通信和控制、数据分析、数据存储以及云上传。如果在多个设备上执行此类过程,该解决方案便会导致成本增加和延迟,进而造成实时性能下降。为了避免这些问题,JWIPC 支持在高性能英特尔® 至强® 或英特尔® 酷睿 处理器上运行多个工作负载。这些选项可以降低成本,确保实时性能,以及减少维护工作量。

整个制造业对工业机器视觉解决方案的需求预计将会增长。然而,许多工程师和系统集成商缺乏开发 PoC 所需的时间和专业知识,更不用说全面的端到端解决方案了。这可能意味着错过了参与工业物联网市场扩展的机会。

但是,随着像 JWIPC 这样的公司通过开发机器视觉平台来简化诸如自动缺陷检测之类的解决方案的开发过程,进入市场的壁垒是可以克服的。通过减少将机器学习融入工厂所需的时间和精力,系统集成商可以使这些类型的项目更容易、更可预测且更有利可图。

8 星期内构建自助结账系统

越来越多的顾客开始选择自助服务。第二波技术浪潮让这成为可能。前沿的销售点系统具备高度的可用性,可以满足数码原住民和潮人的期望。同时,通过降低运行成本、提高员工效率,零售商也能获得共赢。

计算机视觉、机器学习和开发工具的共同创新带来了这种转变。通过积木式方法,解决方案集成商可以在短短八个星期的时间内完成这些不同类型设备的构建。

这种新流程解放了市场。如今,在物理空间内提供用户体验不再是传统系统集成商的专属。通常制作网站或应用程序的内容代理商和其他类型的公司具备设计技能,了解客户偏好,他们也开始发布构建零售 POS 设备的征求建议书。

AOPEN​​​ 是让其具备可行性的一家公司。AOPEN 的首席执行官 Stephen Borg 说:“我们发现知识差距非常大。” “这是我们构建 meldCX 平台和我们的智能称重解决方案的重要原因。” 两者简化了传统解决方案集成商和其他企业利用构建模块法组装计算机视觉辅助 POS 设备的过程(图 1)。

计算机视觉 POS 设备可以自动识别零散物品,甚至是混合干果。
图 1。计算机视觉 POS 设备可以自动识别零散物品,甚至是混合干果。

人工智能和构建模块满足技术需要

基于 meldCXAOPEN Smart Scale 解决方案除相关软件和库之外,还融合了人工智能 (AI)、机器学习和计算机视觉,使解决方案集成商能够为零售 POS 系统构建各种功能。

首先,使用 AOPEN 解决方案构建的设备可以识别零散商品,称重并打印条码标签。它还可以将所有信息直接自动输入 POS 设备,包括价格。但是,如果采用进一步的技术,解决方案集成商及其零售客户可以构建多合一免收银员 POS 系统。

无论是咖啡豆还是罐头汤和肥皂垫,AOPEN 的产品识别系统可以让顾客同时对零散物品和非零散物品进行结算,只需将其放在计算机视觉辅助收银机上即可。付款处理也可以作为设备的一个功能。顾客可以刷信用卡或使用其他付款形式,例如手机应用程序。

采用这种类型的构建流程,即使是没有 JavaScript 开发人员或数据科学家的集成商也可以构建零售用的计算机视觉 POS 设备。有 JS 编程经验的集成商可以使用 meldCX 的代码库。如需了解有关该主题的更多信息,请阅读“JavaScript API 如何为零售中的人工智能赋能”一文。

还有一点值得注意,该解决方案是跨平台的。这意味着集成商可以使用 Windows、Android、Chrome 或 Linux。除了解决操作系统的问题, meldCX 还创建了认证摄像头、外围设备和磅秤库,并对开发环境进行了虚拟化。这样可以模拟硬件和设备响应,加快开发速度。

用计算机视觉进行训练

根据 Borg 所言,训练阶段已成为本行业许多工作的一大障碍。Borg 说:“我们看到了这个机会,付出了很多努力,花费一年半构建了管道系统,并把它用在单一 API 中。”

这次大规模开发简化了产品训练程序,为解决方案集成商和零售商带来了回报。例如,季节性产品是许多杂货店面临的挑战。这可能会导致一个问题,即短季节性商品(如“传家宝”苹果)在上市之前,无法用于构建推理训练模型。Borg 解释说,他们开发了使用数字图像合成模型的训练方法,解决了这个问题。

AOPEN 的解决方案使模型可以随时使用,对用于计算机视觉和机器学习的摄像头进行自动校准。组装之后,可以通过在 JavaScript 中编码,或简单地将资产链接到 Google Sheets 中来调整用户界面。然后就可以开始产品训练了。客户可以在店里或配送中心的 POS 设备上对设备进行商品识别训练。数据会被自动上传到每个端点设备。

英特尔​​​®​​​​ OpenVINO​​™ 工具套件用于简化自定义模型制作流程,可以使多个模型同时运行。这样,即使经验有限或缺少数据科学家的解决方案集成商也可以使用预包装 OpenVINO 模型和业务规则实现模型之间的通信。Borg 说:“让精确度从 80% 提高到接近 98% 变得简单得多。”

在生成训练集时(图 2),该解决方案将自动警告用户是否有任何制品或异常破坏模型,例如,是否有人手或其他物品遮挡了镜头。防止这种图像被包含在训练集中,可以节省资源,加快流程。

客户可以训练设备自动识别产品,无需顾客输入 PLU 代码,触摸触屏照片或输入产品名称。
图 2。可以训练设备自动识别产品,无需顾客输入 PLU 代码,触摸触屏照片或输入产品名称。

满足业务需求

Borg 说:“我们已向客户保证,POS 自助结账设备是完全自主运行的。”自助服务的趋势不仅仅关乎成本削减。它还可以吸引喜欢这种购物方式的年轻消费者,零售店工作人员也无需为需要个性化协助的人士提供服务。

另一个问题就是保护隐私。自助零售设备一般要求输入个人信息。数据被上传到云端之前,必须在边缘站点经过处理和加密,因此不会存储到本地。

在租金高昂的人口密集区域,场地是稀缺的。计算机视觉辅助 POS 设备可以加快自助结账,缓解店内拥挤,为摆放更多商品腾出空间。

Borg 说:“但是最大的业务需求可能是加快解决方案集成商的上市速度。”AOPEN Solutions Smart Scale 正是为了达到这个目标而设计的。

用于机器视觉设计的构建模块

在制造业中,机器视觉检查系统使用亚像素感知来实时识别产品缺陷,从而使其可以每分钟检查数百个项目。与人工检查员相比,这项技术减少了缺陷,提高了产量,并允许生产自动化系统高速运行。

对于系统集成商而言,机器视觉革命代表了巨大的机遇。但是,快速构建差异化解决方案是一项重大挑战,因为系统是如此复杂。作为一个基准,它需要:

  • 照明 — 照亮被检查的物体
  • 透镜 — 用于拍摄最高质量的图像
  • 高分辨率图像传感器 — 数字化所拍摄的图像
  • 视觉处理器 — 使用复杂的算法分析数字化图像
  • 通信 — 将结果中继到 PLC、分析平台等系统

采购和集成这些组件是一项时间和资源密集型任务,无需考虑包装、外壳等。此外,许多机器视觉系统必须与旧式工厂设备集成,合并新的企业物联网功能,并采用人工智能 (AI) 来提高效率。

智能摄像机构建模块

系统集成商需要能够加快机器视觉系统设计的解决方案,但仍然允许他们通过应用软件来实现差异化并增加价值。

例如,深圳未来机器人技术有限公司RVS-2100 智能摄像机解决方案以紧凑、坚固的包装提供了现代 120-fps 机器视觉解决方案的所有关键组件(图 1)。该解决方案以现成开发工具包的形式提供,使系统集成商可以在基准技术之上进行创新。

RVS-2100 智能摄像机。(资料来源:未来机器人技术有限公司)
图 1。RVS-2100 智能摄像机。(资料来源:未来机器人技术有限公司

具体来说,该工具包包括:

  • IP67 防护等级的外壳,可部署在恶劣的环境中
  • 脉冲宽度调制 (PWM) 光学控件可实现细粒度照明
  • 高分辨率光学镜头
  • MIPI 全局快门图像传感器,分辨率为 1 百万像素
  • 四核英特尔凌动® 处理器,具有 2M 高速图像处理缓存
  • 集成 FPGA 支持特定于应用程序的 I/O 以及图像预处理和后处理
  • 通过坚固的 M12 连接器进行 RS-232、USB、UART、DisplayPort 和千兆以太网通信

尤其是,FPGA 提供的广泛 I/O 支持和接口灵活性使系统集成商可以快速定义特定用例的独特实施。例如,可以在智能摄像机与人机界面 (HMI) 或可编程逻辑控制器 (PLC) 之间建立通信和控制。千兆以太网接口甚至可以支持用于多角度安装的附加高吞吐量从属摄像机(图 2)。

宽泛的 I/O 和可配置的 FPGA 提供了连接各种主机和外围设备的灵活性。(资料来源:未来机器人技术有限公司)
图 2。宽泛的 I/O 和可配置的 FPGA 提供了连接各种主机和外围设备的灵活性。(资料来源:未来机器人技术有限公司

软件方面的机器视觉

在软件方面,智能摄像机解决方案提供了在集成商选择的环境中开发应用的灵活性。对于入门级使用者而言,该款摄像机与 Windows 10 和 Linux 兼容,并支持各种开放 API,这些 API 可以与 Google Cloud、阿里云和各种其他平台和服务集成。

在应用支持方面,可以在单独的 PC 上设计用 Halcon、LabVIEW 或英特尔® OpenVINO 编程范例开发的软件,然后无缝移植到 RVS-2100 平台。这种灵活性是关键,不仅因为它使用了领域专家熟悉的可视化编程模型,而且还因为它提供了通往启用人工智能的图像识别和物体检测的途径。

OpenVINO 工具包是一款开发工具,可针对多个英特尔® 处理平台优化在 Caffe 和 TensorFlow 等框架中内置的计算机视觉算法。使用 OpenCV 和 OpenVX API 等一系列库,可以在诸如英特尔凌动之类的平台上加速图像处理算法(图 3)。

英特尔® OpenVINO™ 工具包可实现跨异构处理器组合快速开发和部署深度学习算法。(来源:英特尔®)
图 3. 英特尔® OpenVINO 工具包可实现跨异构处理器组合快速开发和部署深度学习算法。(资料来源:英特尔®

所有这些软件功能都包装在 RVS-2100 智能摄像机套件随附的演示 SDK 中,该 SDK 可帮助系统集成商加快条形码等机器视觉应用的开发。

用例:条形码读取速度更快

未来机器人公司表示,中国 80% 的制造厂都使用条形码扫描。但是,不同的工厂使用针对其操作的不同条形码方案。当然,来自一个工厂的物品和材料会在整个供应链中的其他工厂和仓库中进进出出。

要将来料集成到新的工厂环境中,必须对原始条形码进行扫描,并将其与当前工厂中的相应条形码进行匹配。然后打印新的条形码,应用于该物料,然后进行验证。原本这些工作都要人工处理,非常耗时且容易出错。

为了扩大运营规模,制造商现在使用企业资源规划 (ERP) 系统,可容纳充满外部条形码的数据库。借助能够交叉引用这些 ERP 系统的快速、准确的读取器,扫描、打印和验证新条形码的过程几乎可以完全自动化。

RVS-2100 具有体积小、功耗低、精度高和兼容本地云平台等优点,是这些应用的理想即插即用解决方案。

未来机器人公司发现,在这些用例中,摄像机可以将人力资源需求减少多达 70%。借助以太网连接、扩展的 I/O 和灵活的软件 API,系统集成商能够以最少的时间和开发工作将它们部署到现有安装中。

超越条形码

条形码扫描的智能管理是机器视觉在智能工厂和仓库中变得越来越普遍的众多方式之一。借助 RVS-2100 智能摄像机套件等多功能、低功耗、高性能的平台,系统集成商可以将机器视觉快速构建到从视频监控到协作机器人的各种应用中。

有了所有可自行支配的基本机器视觉构建模块,这些集成商就可以将其资源集中在差异化的软件上,进而在竞争激烈的领域中脱颖而出。