被裁员工回归,Meta重建元宇宙!发布逼真图像数据集,组装AR眼镜

2023-08-15 新智元

编辑:编辑部

【新智元导读】Meta的元宇宙探索之路,仍未停息。重召被裁员工,发布超逼真虚幻图像数据集,全世界组装AR眼镜……


Meta的元宇宙探索,还在继续。

最近,Meta用虚幻引擎开发了全新的逼真合成数据集,希望拉近合成数据与真实世界数据的距离。

他们还计划制作一款全新的AR眼镜,仅用于内部开发和公众展示。

据悉,这款眼镜的制造流程涉及我国**、我国**和美国的工厂。原因是镜片内包含一款**材料,无法轻易出口到美国以外的地方。

另外,Meta甚至还成立了一个「前员工门户」,把从前解雇的员工慢慢招了回来。

真实虚幻图像数据集


Meta推出的真实虚幻图像(PUG,Photorealistic Unreal Graphic)数据集,能够对人工智能视觉**进行更可控、更稳健的评估和训练。

这个数据集通过虚幻引擎Unreal Engine合成了超过20w个动物图像,以及数十万张包括各种姿势,光照和背景的图像,来作为训练,评估图像模型和图像**的基础。

PUG因为使用了Unreal Engine合成的图像,保证了图像素材的真实感,使得它的使用范围比之前类似的图像数据集要大大扩展。

PUG由4个部分构成:

1. PUG Animal

用于研究分布外泛化和研究基础模型的表征空间,包括了:

215,040张预渲染图像,涵盖了70种动物资源,囊括了4种尺寸,3种纹理,4种不同的方向。

2. PUG ImageNet

数据集提供了一个新颖和高效的基准测试,用于细粒度评估图像分类器在多个变化因素上的稳定性,包含了:

151种ImageNet类型(class),64种背景,7种尺寸,10种纹理,18个视角,18角色方向(Character Orientation),7种光照强度。

3. PUG SPAR(场景、位置、属性、关系)

数据集用于评估视觉语言模型,展示了如何使用合成数据来解决当前基准测试的局限性。它包含了:

43,560 张预渲染图像,10个背景,32种动物,4种关系(左/右,下/上),4种属性(蓝/红,草/石)。

4. PUG AR4T

提供大约 ***,000 张图像,用于微调空间关系和属性的视觉语言模型。

Meta使用虚幻引擎来创建逼真的交互环境,从中他们可以轻松地对给定规格的图像进行采样。

下图说明了Meta如何使用虚幻引擎和示例图像来生成PUG数据集。

合成图像数据集为设计和评估深度神经网络提供了非常多的优势。

合成数据集能根据需要渲染尽可能多的数据样本,还可以精确控制每个场景并产生细粒度的标注数据标签,精确控制训练和测试之间的分布变化,以隔离感兴趣的变量以进行合理的实验。

但是现有的合成数据集最大的问题就是不够真实,这使得数据集的使用范围严重受限。

而如果用真实的图像数据集,又会受到隐私和版权方面的**。

而通过虚幻引擎来合成真实的图像数据集,就能非常好解决这些问题。

Meta称,与现有测试基准相比,生成涵盖一系列领域的数据的能力可以使视觉语言模型的评估和训练更加可靠。

除了数据集之外,研究人员还可以使用 PUG 环境创建自己的数据,精确指定现实世界数据集难以控制的光照和视角等因素。

如何创建自己PUG数据集

而且,Meta还详细介绍了如何利用虚幻引擎来建立自己独有的PUG数据集。

指导手册:https://github.com/facebookresearch/PUG/tree/main/torchmultiverse

首先是下载Epic Games来获取虚幻引擎5。 然后创建一个新的Pixel流媒体项目。

如果之前完全没有了解过虚幻引擎,可以下载官方的这个Demo来进行一个简单的入门。

https://www.unrealengine.com/marketplace/en-US/product/pixel-streaming-demo

然后阅读官方对于虚幻5引擎的入门介绍,了解Blueprintsd的基本机制。

https://docs.unrealengine.com/5.0/en-US/introduction-to-blueprints-visual-scripting-in-unreal-engine/

下载Demo后,打开位于Content/Blueprints/CharacterConfig文件夹中的DTCharSelect表文件,如下图所示。

该表列出了可以通过虚幻环境加载的所有资源。如果您想添加新字符,只需在表中创建一个新条目即可。

明年或推出AR眼镜:**材料,在美国组装


另外,Meta还计划在2024年推出第一代AR眼镜,产量大约在1000台左右。

这1000台AR眼镜将仅用于内部测试以及公众展示,不会向公众发布。

尽管数量不多,但Meta为了生产这个AR眼镜可谓是费尽周折。

这款眼镜被定位为一款**昂贵的空间计算设备。

而且由于镜片涉及到被**出口的材料,所以这款眼镜的手持***和无线计算核心会在我国**和我国**生产,再运到美国,和镜片一起组装成成品。

原因是Meta准备在这个内部代号为「Orion」的AR眼镜中使用一种名为碳化硅(SiC)的化合物作为镜片材料。但这种化合物被政府**出口到其他国家。

相比过去的玻璃材料,碳化硅可以投射更宽的图像到镜片中,视野更宽阔。但它的**也更贵。

Orion AR眼镜视场角约为70°对角线,略大于Magic Leap 2(66°),远大于 HoloLens 2(52°)。

Meta为了一个不会对外发布的产品投入了如此巨大的成本,可能会引起投资者对Meta的Reality Labs部门的支出担忧。

其中,Reality Labs部门主要开发增强现实(AR)和虚拟现实(VR)产品。

然而,直到现在,虚拟现实的市场仍然很小,增强现实的技术还在发展中,落地场景较为受限。

Meta向这两个领域投入了大量资金,希望确立Meta在市场中的领先地位。

在这两个领域中,Meta不得不和资金实力都十分雄厚的对手:苹果的Vision Pro头显竞争。

鉴于收入增长放缓和投资者压力增加,Meta已经在整个公司范围内削减成本,但是Meta在Reality Labs部门的总投资仍在增加。

最近18个月,该部门今年的亏损达到了210亿美元。

Meta决定仅将第一代AR眼镜作为内部产品发售,这本身就是一项削减成本的举措。

此外,在选择我国的工厂也是削减成本的一环。

在美国招聘组装工人,时薪在16.75美元到28.27美元不等。远远高于在我国**和我国**的生产成本。

同样,其他制造硬件的美国科技公司,如苹果,大部分产品也都是在我国制造的。

尽管如此,因为不得不在美生产镜片、组装AR眼镜,第一代AR眼镜的造价成本还是相当高昂。

重招被裁员工


最近几周,Meta慢慢开始加快招聘步伐,尤其是工程和技术岗位。

自去年11月以 来,通过一个专门「前员工门户」,被Meta解雇的员工都可以重新申请正在招聘的岗位。

现在正在招聘的数百个职位,主要是软件、硬件和AR/VR的岗位,还有一些基础设施和数据中心中的主要技术岗。

一位知**士表示,运营岗似乎没有放开招聘,而且招聘的岗位都是有具体产出要求的岗位,因为Meta整体上已经缩减了经理级别的岗位。

Meta招聘主要是针对有丰富工作经验的员工,减少了应届毕业生和实习生的聘用。

被裁的工程师级别越高、业绩评价越好,被重新聘用的概率会更高。

许多人被重新雇用的员工会被安排到新的岗位上去,职位和薪水都会比以前更低。

一名被Meta重新聘用的职员说,他接受了大约10%的降薪。但鉴于Meta的股价最近一直在上涨,他预计一年内会达到之前的薪酬水平。

尝到了降本增效甜头的小扎,似乎依然坚定地走在通向元宇宙的路上。

参考资料:

https://pug.metademolab.com/index.html

https://www.theinformation.com/articles/behind-metas-made-in-usa-ar-glasses-a-military-grade-material


相关股票:

崛起的中科系,被改变的我国芯片产业格局

当前,以芯片为代表的信创产业逐步成为国家科技竞争力的重要标志。在国产CPU产业强势崛起的过程中,你首先想到的会是哪几企业?答案有很多,但“中科系”的提及率绝对很高。作为国家战略科技力量,“中科系”旗下

芯片战场丨芯片领域三箭齐发 英特尔跑步突围

21世纪经济报道记者倪雨晴 圣何塞报道在硅谷源泉之一的圣何塞,英特尔CEO帕特·基辛格(Pat Gelsinger)正在带领英特尔加速奔跑。当地时间9月19日,2023英特尔on技术创新大会于美国加利

OPPO重启芯片业务?国产芯片或需告别“单打独斗”

财联社9月19日讯(记者 唐植潇)近日有消息称,OPPO将会重启芯片业务,并且“有部分员工已经回流,加入到了车载业务之中”。记者就此事向OPPO方面进行核实,对方表示“不予置评”。特百惠(我国)数字与

600亿颗芯片!我国巨头正式宣布,美媒:**也没料到制裁这么快

我国芯片市场与美国依赖我国的集成电路市场一直以来都是一个巨大的市场,拥有庞大的需求和巨大的增长潜力。我国的电子消费市场一直在迅速增长,包括智能手机、电视、电脑和各种智能设备等,这些设备都需要高性能的芯

最新手机芯片天梯图:A17、华为麒麟9000S,排在什么位置?

近日,最火的两颗芯片分别是苹果的3nm芯片A17 Pro,虽然很多人吐槽它较上一代提升不明显,但论性能,可以碾压任何安卓芯片,甚至是领先2代的。另外一款芯片,则是华为麒麟9000S,当然,这颗芯片工艺

韩国芯片连续13个月暴跌,尹锡悦指责我国不采购,外媒:自食其果

据韩国媒体称,韩国的半导体出口额已经连续暴跌13个月了,比去年同比下降了28%左右。韩国政府急的焦头烂额。尹锡悦政府竟直接甩锅我国,话里话外都是指责,他认为韩国半导体卖不出竟是我国的原因,我国应该帮助

我国突破芯片瓶颈将影响全球秩序?美国很担心,指出我国关键弱点

我国在芯片半导体领域一直深受美国的**,通过贸易制裁的方式阻止高端芯片进入我国市场。这样的举措一度造成我国芯片领域发展断档,不过随着我国科技企业近几年的突破,目前我国已经在芯片制造方面取得了重大的成果

没有他,我国芯片发展至少要**十年?

前几天,华为一声不响的上线了mate60系列,带着麒麟芯片9000s强势回归,吸引了全世界的目光。而华为麒麟芯片**背后,我们不该忘记这位老人—张汝京。我国半导体之父,为回**造芯片,被开除**户籍,

陈清泰:未来汽车颠覆传统,50%以上的零部件体系面临重构

【有车以后 资讯】“未来汽车对传统汽车的颠覆性,使传统零部件体系的50%以上都面临重构。”12月16日,在全球智能汽车产业峰会(GIV2022)上,我国电动汽车百人会理事长陈清泰指出,智能汽车的价值链

「姿势」一辆汽车由多少个零件组成?保证你说不清...

投稿点这里汽车有多少个零件?其实这个问题并没有一个十分确切的标准答案...据估计,一般轿车约由1万多个不可拆解的**零部件组装而成。结构极其复杂的特制汽车,如F1赛车等,其**零部件的数量可达到2万个

全球最大的10家汽车零部件供应商 都是世界500强 无我国企业

【卡车之家 原创】美国《财富》**每年发布的世界500强排行榜,是以营业收入数据对全球企业作出排名的榜单。2017年“世界500强”榜单中,汽车制造商和零部件厂商共占据33席(除去大型工程车辆企业),

汽车零部件企业哪家强?除了博世**还有这些名字你一定耳熟能详

文:懂车帝原创 李德喆[懂车帝原创 行业]9月18日,由《我国汽车报》主办,罗兰贝格协办的2019汽车零部件“双百强”企业发布会在江苏南京举行。在两份榜单中,博世、**、电装位列2019全球汽车零部件

汽车零部件行业现状及产业链

行业现状(Reference:产业运行 | 2021年汽车工业经济运行情况)中汽协预测:2022年我国汽车销量达到2700万辆,新能源销量超过550万辆(Reference:乘用车市场信息联席会)以乘

全球十大汽车零部件供应商,核心技术都被他们垄断,自主遗憾缺席

提到电影,我们会想到张艺谋、冯小刚,而很少会想到幕后的制作人;提起流行乐,我们会想到周杰伦、萧敬腾,而很少会想到背后的作词人。台前台后,一幕之别,知名度往往相差甚远。车界又何尝不是如此,知名车企我们都

高清汽车各零部件构造图,看完你就是汽车专家!

2023世界移动通信大会即将举行,大批中企强势回归!

来源:环球时报 【环球时报记者 倪浩 陶震 环球时报驻德国特约记者 青木】经过3年疫情后,全球最具影响力的通信展今年有望再现往日盛况。2月27日至3月2日,由全球移动通信**协会(GSMA)主办的20

太空新赛道:6G时代的卫星通信,究竟是什么?

近日华为、苹果争相推出手机卫星通信功能,成为一大亮点,不少手机厂商也将目光投到卫星通信。放眼未来,手机直连卫星的卫星通信服务将是大势所趋,也是6G时代的重要标志。华为以“北斗三号”为依托,率先把“卫星

光纤#光纤通信

国内企业在光通信产品的参数测试过程中,通常使用国外的先进测试设备。然而,这些测试仪器之间往往是孤立存在的,需要手动调试仪器并通过旋钮、按钮和人眼观察波形或数据。这不仅*作繁琐易出错,而且测试效率低下。

龙头20cm涨停,7天股价翻倍!一文看懂卫星通信前世今生及产业链

卫星通信概念股华力创通今日再度强势拉升,截至发稿,该股股价20cm涨停,7个交易日累计涨幅近113%,现报23.52元续刷阶段新高,总市值155.9亿元。消息上,有媒体从供应链获悉,Mate 60 P

工信部:目前我国尚不具备实现网络层面的移动通信号码归属地变更的条件

针对网友提出的“电话号码归属地更改”建议,工信部近日给出了官方回复。此前,有网友在人民网留言板向工信部留言称,“现在电话都是实名制,电话号绑定的***及一些主流的软件较多,更换号码后造成一系列问题

AD
更多相关文章