在OpenVINO™ 工具套件发布五周年之际,英特尔开展OpenVINO™ DevCon中国系列工作坊2023活动,旨在通过每月一次的工作坊,持续助力开发者系统学习、稳步提升。基于此,英特尔成功举办了首期以“焕然五周年·瞰见新特性”为主题的 OpenVINO™ DevCon 2023系列活动,并在此次活动上发布了功能更加强大的全新英特尔®OpenVINO™ 2023.0版本,以期在更大程度上帮助 AI 开发者简化工作流程,提升部署效率。
英特尔中国区网络与边缘事业部首席技术官、英特尔高级首席 AI 工程师张宇博士表示:“AI技术的每一次创新突破都会为开发者带来全新机遇与挑战。在AIGC的浪潮中,英特尔持续为开发者赋能,通过打造和迭代以OpenVINO™工具套件为代表的创新产品,化解各种AI应用场景下的开发难题,优化开发体验,充分释放开发者的创新活力。”
作为一款深度学习推理工具,OpenVINO™已帮助数十万开发者大幅提升了AI推理性能,使其仅凭借几行代码即可实现高性能“一次编写,任意部署”,并自动为开发者选择最佳硬件配置,提升开发效率。由于OpenVINO™能够使训练好的神经网络模型在不同硬件平台上进行高效且准确的推理,这项技术已被广泛应用于教育、零售、医疗和工业等各个领域,为行业客户提供了高效的深度学习推理技术,带来了巨大价值。例如,在试卷批改场景中,学生和老师在铺有点码试卷上书写的笔迹可通过智慧笔进行实时搜集,随后分别被上传到云端服务器上。云端渲染服务器会将笔迹渲染成图像,并进一步通过目标检测模型和 OCR 模型检测识别,将书写内容转换为文本,最后将识别结果与题库进行综合整理,生成作业报告。老师可以基于作业报告,针对学生进行个性化教学。在此过程中,通过 OpenVINO™ 精度感知而量化出的模型推理速度相比于浮点模型有十几倍的提升,且量化模型的召回率和准确率与浮点模型相当,在满足精度要求的情况下,达到了推理实时性的要求。
自 2018 年首发 OpenVINO™ 工具套件以来,英特尔密切关注市场需求,着眼未来发展趋势,持续迭代更新,将其对模型的支持从计算机视觉扩展到自然语言处理,不断赋予其更高性能,使其更加易用、更加灵活、更加开放和更加全面。英特尔基于此次活动发布的 OpenVINO™ 2023.0 版本在以往的基础上,新增了以下优势:
● 更多的集成, 最大限度减少代码变更:OpenVINO™ 2023.0使从训练模型转移到部署的过程变得更加轻松。在优化模型时,开发者无需离线转换TensorFlow模型,而是可以自动进行。开发者可采用标准的TensorFlow模型,并将其直接加载到OpenVINO™ Runtime或OpenVINO™ Model Server中。当需要最大性能时,仍然鼓励离线转换为OpenVINO™格式。
● 更广泛的模型支持:OpenVINO™ 2023.0具备更广泛的生成式AI模型(CLIP BLIP、Stable Diffusion 2.0等)、文本处理模型(GPT、Transformer 模型等)及其他关键模型(Detectron2、PaddleSlim、RNN-T等)的支持。开发者在利用GPU(CPU于2022年启用)时不再需要更改为静态输入,这使其在编码方面具有更大灵活性。与此同时,神经网络压缩框架(NNCF)成为量化工具的一种选择。通过压缩模型中的数据,可以更轻松地实现大幅模型性能改进。
● 出色的可移植性和性能:CPU设备插件现在在英特尔®第12代酷睿处理器及以上版本上提供线程调度,开发者可根据应用程序的优先级选择在E核、P核或两者上运行推理,根据需要优化性能或节能。此外,无论开发者使用哪种插件,OpenVINO™都将默认提供最佳性能格式。同时,OpenVINO™ 2023.0还通过更高效的模型加载/编译改进了GPU上的模型缓存。
除了针对 OpenVINO™ 的持续更新迭代,英特尔还于近期发布了“英特尔® Developer Cloud for the Edge”平台公众测试版。该平台可满足开发者访问英特尔最新架构 CPU、GPU、VPU 和 FPGA 等硬件资源的需要,无需配置即可调用英特尔最新 OpenVINO™ 工具套件等其他软件资源。同时,该平台还支持容器化和裸机应用部署,可确保开发者获得真实性能数据,加速人工智能方案开发、验证与部署落地过程,提高应用开发效率和产品选型优化。“英特尔®Developer Cloud for the Edge”平台将持续优化中国区用户体验,引入本地参考实现和相关边缘设备,扩建基础服务硬件以支撑更多用户访问,满足不同用户对测试设备多样性的需求。
在创新产品的加持下,英特尔还正在与产业生态伙伴紧密协作,积极贡献于标准化组织和开源组织工作。英特尔网络与边缘事业部 OpenVINO™ 亚太区产品营销及开发者生态总监王珅表示:“在国内,英特尔推动了多个开源项目,其中包括 OpenVINO™、oneAPI 等,这些项目为本土开发者和企业提供了更多选择和支持。与此同时,我们还与国内厂商、创新企业和研究机构进行深入合作,共同探索和实践网络与边缘计算的应用和创新,并积极参与各种开发者活动和技术峰会,为开发者提供更多技术交流和学习的机会。”
英特尔始终相信开发者是推动 AI 产业创新发展的核心动力。未来,英特尔将继续秉承“水利万物而不争”的生态理念,拥抱开放、开源的力量,助力开发者在边缘端基于英特尔软硬件产品进行创新,予力 AI 规模化落地,推动千行百业数智化升级。