真正人人可用的RPA:实在智能首发IPA模式及智能屏幕语义理解技术

2023-01-31 机器之心Pro

机器之心发布

实在智能

2022年3月31日,春至。

实在智能召开RPA行业2022年首场产品发布会。如同007系列电影一样,“AI你所爱 新益求新”的发布会结束语中已悄然埋下伏笔:

不说再见,下一次发布会,与您在更高峰相见!

2022年12月7日,大雪。

春去冬来,实在的承诺如约而至,憋足劲儿的“蝶变·新番”实在智能2022冬季新品发布会重磅登场:

这是一场震撼行业的RPA发布会!

打破传统,变革模式。

本次发布会从功能和体验两个维度带来了实实在在的“科技与狠活”,一言以蔽之:

一款真正人人可用的RPA。

实在智能CEO孙林君、产品负责人周春照、算法负责人欧阳小刚发布新产品和新技术

本次发布会已在实在RPA IPA**号上进行全程回放,欢迎大家观看。

敲黑板,划重点,以下为干货满满的精华实录。

实实在在的理念,实实在在的产品,实实在在的技术,与您分享:

创业四年,作为国内人工智能行业准独角兽的实在智能始终秉持“AI赋能商业”的初心,坚定相信人机协同及超自动化时代的美好未来。

凡事必作于细,也必成于实,实在智能一直致力于不断突破传统RPA的天花板,降低大众人群上手数字化工具的门槛,提升用户体验。

12月7日,实在智能2022冬季新品发布会,以“蝶变·新番”为主题,带来了RPA行业颠覆性、重量级、首创首发的:

新模式:沉浸式搭建超自动化流程的IPA模式

新技术:智能屏幕语义理解技术(**SUT)

一款新模式

真正人人可用的

沉浸式IPA模式

相信大家正在用手机阅读这篇文章,那么不知您是否还记得2007年苹果公司的iPhone首次发布会。

触屏手机的发明彻底改变了手机和消费电子产品行业,大幅降低手机的使用门槛,让手机全面普及,推动了移动互联网时代的爆发。

这是一个用技术颠覆行业,并让全社会受益的经典案例。

传统RPA软件,其实是一种

“专家模式”

即,用户如果想配置自动化*作,必须要先学会如何使用RPA软件,进而才能在RPA软件与业务软件之间不断切换,逐步以“拖拉拽”或“写代码”的方式,完成自动化流程配置。

而实在RPA的IPA模式,则完全不同,简言之这是一种

“小白模式”

用户不需要额外学习使用实在RPA,也完全不需要“拖拉拽”或“写代码”,按照正常流程直接*作业务软件即可。

每当鼠标悬停,实在RPA会自动推荐(并可在线学习优化推荐)此处可以/可能进行的自动化*作。


每当鼠标点击,该步*作自动转为自动化流程中的一步。由此迭代,任何新手都可以迅速搭建自己的数字员工。

传统RPA“专家模式” vs 实在RPA“IPA模式/小白模式”

实在RPA的IPA模式,类似触屏手机的颠覆式创新,彻底推平了横亘在用户面前,导致传统RPA学习成本大、使用门槛高的三座大山——“拾取、元素和变量”,带来了真正的人人可用,实现“打开就能用、入门就上手”。

震撼一:沉浸式的超自动化体验

识别一切,*作一切

不再需要传统RPA软件的“流程画布”

把“更大,更宽,更全面”的电脑屏幕留给用户

不再需要传统RPA软件的“拖拉拽”

鼠标悬停+鼠标点击,即可完成自动化流程配置

不再需要传统RPA软件与应用软件之间所必须的频繁切换

基于对所有屏幕元素的识别和理解,以及顶部“灵动岛” + 侧边“流程窗”的轻盈交互,实现在超自动化的元宇宙中快速打造数字员工

震撼二:所见即所得的*作

一看就会,一用就对

无需学习:不用理解和记忆“组件/元素/变量”,不用“拖拉拽”,不用“写代码”

无需思考:

鼠标悬停,马上弹出可能的自动化*作推荐列表

鼠标框选任意图像区域后,马上弹出可能的AI能力推荐列表(文字识别等)

支持基于场景和动作的在线学习,用得越多越“聪明”,推荐越准

无需转化:鼠标点击,马上在“流程窗”中自动生成自动化流程

自动理解上千种图标含义,复杂页面结构并预测推荐自动化*作

为了更清晰、更全面地展示IPA模式的强大功能,这里用日常工作中最常见、使用频率最高的Excel数据处理做个简单演示。

任何直接对数据表的*作

不仅包括,**行或列,写入单元格或区域内容,自动填充、数据筛选、**行列、**新的sheet、重命名sheet、表格里内容的查找替换等

甚至是,复杂的数据***作

都会在右侧“流程窗”中自动生成自动化流程,并自动忽略无效步骤,且可以直接运行。

这种所见即所得的数字员工搭建方式,大幅提升数据采集和处理效率,降低了数据自动化处理门槛。

对Excel的人工*作自动生成简洁可执行的自动化流程

基于以上模式,以某客户真实场景的Excel自动化*作需求为例:

使用传统RPA

相对资深的RPA开发工程师需花4个多小时,通过50多个组件才能完成搭建。

使用实在RPA的IPA模式

无需RPA开发工程师,业务人员自身只需短短6分钟左右即可完成,“流程窗”中生成的动作只有32个,前所未有地提升了工作效率。

同时,IPA模式还支持对复杂页面数据结构的自动分析,实现一键采集整个表格数据。

自动一键采集抖音后台管理页面的整体数据

一款新技术

国产自研,行业首创的

智能屏幕语义理解技术

被需要的智能才是实在的智能。

实在RPA创新IPA模式的实现,得益于在AI领域的快速持续自研迭代。

目前,实在智能已累计获得近40项发明专利授权、获得软件著作权登记近200项,在RPA行业中实授发明专利数长期位居TOP1。

产品是表,技术是里。

用心优化,用AI改变。

本次发布会上,实在智能同时重磅发布了IPA模式背后的全自研创新技术——智能屏幕语义理解技术(**SUT:Intelligence Screen Semantics Understanding Techonology)。

看到这里,相信大家已经领略了IPA模式的神奇和惊艳,下面我们就抽丝剥茧、正式拆解一下IPA模式背后“变戏法的帽子”:

Action 1:识别屏幕

1、融合拾取3.0技术:使得“元素”皆可拾取

RPA行业中提到的“元素”,指的是屏幕上的图标、文字或区域。RPA要首先识别它们,然后才能自动地点击和*作它们。

基于CV技术的融合拾取,支持无差别识别各类软件

实在智能在2022年3月31日“AI你所爱 新益求新”发布会中全行业首发了“融合拾取3.0”技术,高效精准地解决了复杂元素的识别和*作。

融合拾取技术持续快速迭代,精度速度大幅提升

在前期工作基础上,本次发布的**SUT技术,解决了“何为元素、能否识别”等问题,只需鼠标轻轻一移、轻轻一点就能完成拾取元素这个动作。

这是实现智能屏幕语义理解的第一步,

也是实现RPA真正人人可用的第一步!

2、动态元素匹配技术:使得“元素”一键适配

RPA行业中提到的“元素”,指的是屏幕上的图标、文字或区域。RPA要首先识别它们,然后才能自动地点击和*作它们。

当文字内容或图标外观发生了改变时, RPA机器人有可能会找不到之前的元素。

这时就是动态元素匹配技术的用武之地:

借助AI算法,轻松处理元素变化情况

一次识别,永久适配

Action 2:理解屏幕

1、页面结构分析技术:既能检得更小,也能看得更大

举个栗子:

当我们使用聊天软件的时候,人可以轻松理解软件界面(电脑屏幕),知道哪里是消息列表,哪里是对话输入框……

那么问题来了,

RPA机器人如何准确、快速、更好地模拟人工*作呢?

为此,我们引入了页面结构分析技术,使得实在RPA在“认识屏幕”之外,更可以“理解屏幕”,并可自适应页面拉伸/移动/及文字填充/位移等各种变化情况。其中包含多项独创技术亮点:

页面图神经网络分析

动态缩放自适应

区域内容填充识别

通过页面结构分析技术智能理解聊天软件界面

2、屏幕语义抽取技术:隔屏取物,懂你所见

这项技术,使得IPA模式真正像人一样理解屏幕的每一个部分,将我们的办公直觉投射到屏幕上,实现真正的所见即所得:

在VR中,我们可以隔空取物;

在实在RPA的IPA模式中,我们可以隔“屏”取物——

即,鼠标的每一次滑动,背后的AI算法都将瞬间完成一次计算,分析出屏幕中元素和区域的含义并且推荐相应的自动化*作:

当鼠标滑过一个浏览器图标,

AI就知道它能用来打开网页和搜索新闻;

当鼠标滑过一个对话框,

AI就判断可以输入文字并发送消息;

当鼠标框选一个包含各种文字的区域,

AI就知道可以进行文字识别及抽取。

通过屏幕语义抽取技术理解界面并推荐自动化*作

Action 3:*作预测

01、多模态意图预测:从“头秃想想想”到“自如点点点”

对于传统RPA(“专家模式”)

RPA开发工程师往往需要从一堆的组件中找到一个想要的组件,通过“想想想+拖拉拽”完成自动化流程配置;

对于实在RPA(“IPA模式/小白模式”)

多模态意图预测技术,可以支持通过多模态识别和序列上下文挖掘等方法,精准预测用户的每一个*作意图,抹平了从业务场景*作到RPA组件之间的理解鸿沟:

用户的每一次点击就是一次拾取

用户的每一步*作都在配置流程

应用软件*作回到台前,RPA开发退回到幕后,实现二者的真正分离。

02、业务感知推荐:理解场景,*作业务

结合表格检测、场景预测和自然语言处理技术,实在RPA的IPA模式。

不仅可以,自动推荐原子级*作(点击图标、输入文字、鼠标移动);还可以,基于业务场景理解,自动推荐业务级*作:

打开网站登录页面,

鼠标划过登录区域,自动推荐「智能登录」*作;

打开商品列表页面,

鼠标划过任何带有数据区域,自动推荐「数据采集」*作。

通过多模态意图预测技术,感知业务场景并推荐自动化*作

Action 4:在线学习

本次发布会还有一个功能彩蛋

实在RPA的IPA模式支持在线学习和迭代优化

这也正是AI产品的魅力之所在!

根据用户的反馈,算法模型将通过在线学习技术和自动优化机制,能够记住选择和喜好,用的越多,推荐越准

值得一提的是,所有模型算法都内置在用户本地办公环境,*作习惯和数据均不会通过网络上传,并且配置有防护机制,最大限度地保护用户数据隐私安全。

从这个意义而言,实在RPA的IPA模式:

不仅是人人可用的沉浸式超自动化流程配置模式

更是千人千面的个性化数字员工搭建工具

通过技术的“仪式感”,让每个人都拥有专属的、尊重数据隐私的超级自动化产品。

“蝶变”意味着破茧而出,羽化成蝶。

本次发布会选此作为主题,寓意着快速大量的产品创新和功能迭代为实在RPA带来的破茧成蝶,也标志着实在智能超级自动化平台正式跃入“新、广、信、强”的阶段

越过山丘,IPA模式引领超自动化全新时代。

开启IPA模式的实在RPA产品,叠加实在智能全国产、全自研、全面支持信创的AI产品矩阵,可以通过灵活式组合,轻松搭建各种超级自动化链路,助力千行百业用户打造泛场景的数字员工。同时,安全、稳定、持续创新的技术产品,也会为客户带来实实在在的服务和支持。

这是实在智能的一小步,

却是RPA行业发展的一大步!


相关股票: 机器人

001299美能能源估值分析及打新申购建议

一 公司基本情况速览总股本:1.879亿 总发行量 :4690万 发行**:10.69元 募资总额:5.01亿发行市盈率:20.42倍 行业市盈率:19.12倍所属行业:燃气生产和供应 所属区域:陕西

美能能源(001299)12月6日主力资金净买入1125.28万元

截至2022年12月6日收盘,美能能源(001299)报收于27.53元,上涨2.92%,换手率39.8%,成交量18.67万手,成交额5.05亿元。12月6日的资金流向数据方面,主力资金净流入112

美能能源11月8日主力资金净卖出3991.53万元

截至2022年11月8日收盘,美能能源(001299)报收于22.69元,上涨3.18%,换手率71.38%,成交量33.48万手,成交额7.75亿元。资金流向数据方面,11月8日主力资金净流出399

专访美能能源董事长晏立群:紧随绿色低碳能源**大潮 捕捉清洁能源发展新商机

90年代初,****前沿的深圳还处在草莽创业的时期,那时候,深圳吸引了一批又一批来自全国各地的年轻人,晏立群就是其中之一。从外出闯荡到回乡扎根,从推销液化气灶具到推广应用天然气,从“打工人”到创业者,

美能能源(001299)7月20日股东户数2万户,较上期减少6.82%

近日美能能源披露,截至2023年7月20日公司股东户数为2.0万户,较7月10日减少1465.0户,减幅为6.82%。户均持股数量由上期的8731.0股增加至9370.0股,户均持股市值为15.18万

美能能源股东户数下降13.59%,户均持股3.53万元

美能能源2023年3月22日在深交所互动易中披露,截至2023年3月20日公司股东户数为2.27万户,较上期(2023年2月10日)减少3573户,减幅为13.59%。美能能源股东户数低于行业平均水平

美能能源最新股东户数下降6.82% **趋向集中

美能能源7月24日在交易所互动平台中披露,截至7月20日公司股东户数为20020户,较上期(7月10日)减少1465户,环比降幅为6.82%。证券时报•数据宝统计,截至发稿,美能能源收盘价为16.20

天然气供应商美能能源上市首日涨停,三季报业绩增收不增利

记者 | 陈慧东编辑 | 10月31日上市首日,美能能源(001299.SZ)高开后一路上涨,两次触及涨停**,于10时01分许封上涨停板。截至收盘,该股股价上涨43.97%,报15.39元/股,成交

美能能源股东户数增加59户,户均持股3.64万元

美能能源2023年7月18日在深交所互动易中披露,截至2023年7月10日公司股东户数为2.15万户,较上期(2023年6月30日)增加59户,增幅为0.28%。美能能源股东户数低于行业平均水平。根据

多主力现身**榜,美能能源换手率达67.90%(11-24)

深交所2022年11月24日交易***息显示,美能能源因属于当日换手率达到20%的证券而登上**榜。美能能源当收22.57元,涨跌幅为-1.53%,换手率67.90%,振幅10.43%,成交额7.

多主力现身**榜,美能能源换手率达47.30%(11-23)

深交所2022年11月23日交易***息显示,美能能源因属于当日换手率达到20%的证券而登上**榜。美能能源当收22.92元,涨跌幅为9.98%,换手率47.30%,振幅12.57%,成交额4.9

11月30日美能能源(001299)**榜数据:机构净买入6.49万元

沪深交易所2022年11月30日公布的交易***息显示,美能能源(001299)因日换手率达到20%的前5只证券登上**榜。此次是近5个交易日内第5次上榜。截至2022年11月30日收盘,美能能源(0

美能能源将开启申购:上半年增收不增利,预计上市时市值20亿元

10月17日,陕西美能清洁能源集团股份有限公司(下称“美能能源”,SZ:001299)披露发行公告,并将于2022年10月18日开启申购。本次上市,美能能源的发行价为10.69元/股,发行市盈率20.

美能能源(001299)11月15日主力资金净卖出2095.05万元

截至2022年11月15日收盘,美能能源(001299)报收于20.1元,下跌1.03%,换手率21.43%,成交量10.05万手,成交额2.01亿元。11月15日的资金流向数据方面,主力资金净流出2

美能能源**深交所,实力营业部现身**榜(10-31)

深交所2022年10月31日交易***息显示,美能能源因属于无**涨跌幅**的证券而登上**榜。美能能源当收15.39元,涨跌幅为43.97%,换手率7.15%,振幅23.95%,成交额5142.

陕西又一城燃公司IPO过会,美能能源“内生式增长”成效几何?

华夏时报(www.chinatimes.net.cn)记者 苗诗雨 陆肖肖 北京报道继陕天然气(002267.SZ)后,陕西第二家区域性城燃公司即将于近日上市发售。天然气资源和油气资源丰富的陕西地区,

加码新能源领域投资 美能能源拟投建集团总部暨西安智慧能源研究院

本报记者 殷高峰11月14日,美能能源发布公告称,公司与西安高新区管委会拟签订《美能能源总部暨西安智慧能源研究院建设项目协议书》,公司计划在西安高新区上市企业园建设美能能源总部暨西安智慧能源研究院,总

多主力现身**榜,美能能源换手率达55.10%(11-25)

深交所2022年11月25日交易***息显示,美能能源因属于连续三个交易日内收盘**涨幅偏离值累计20%、当日换手率达到20%的证券而登上**榜。美能能源当收24.83元,涨跌幅为10.01%,换

多主力现身**榜,美能能源换手率达32.22%(05-29)

深交所2023年5月29日交易***息显示,美能能源因属于当日换手率达到20%的证券而登上**榜。美能能源当收18.72元,涨跌幅为3.43%,换手率32.22%,振幅12.43%,成交额2.73

11月7日美能能源(001299)**榜数据:机构净卖出1216.39万元

沪深交易所2022年11月7日公布的交易***息显示,美能能源(001299)因日换手率达到20%的前5只证券登上**榜。此次是近5个交易日内第3次上榜。截至2022年11月7日收盘,美能能源(001

AD
更多相关文章