新智元报道  

编辑：编辑部
【新智元导读】多模态Llama 3还未发布，已经用在科幻中存在的AR眼镜上了！不仅能为你搭配衣服，还能打视频、实时翻译，只要你能想到的，它全能实现。
科幻大片中的AR黑科技，竟走进了现实！
就在刚刚，Meta自家的雷朋智能眼镜，已经开始支持多模态版的Llama 3了！要知道，Llama 3的开源版本还没支持多模态呢。
就在最近，小扎还在访谈中承认愿意开源价值100亿美元的模型，不过，如果涉及到产品侧，那就是另一回事了。
诶，产品这不就来了么——
戴上这副智能眼镜，外出旅行坐车感到无聊时，可以让Meta来点音乐。
带着AR眼镜，还可以直接翻译不认识的语言。又或者在路上腾不出手时，Meta可以给好友发语音信息。
走到一座建筑前，呼叫Meta告诉自己关于它更多的信息。
甚至，视频电话、直播，科普等，只要是你能想到的，AR眼镜全可以做的到。
Meta介绍，去年12月便开始在雷朋Meta智能眼镜上，测试了多模态AI。目前，已经在美国和加拿大地区销售的眼镜上推出了这一新功能。
小扎也来炫技了
这款眼镜配备了一个1200万像素的摄像头和五个麦克风，集成Meta AI助手后，意味着带着它可以做更多的事。
你看到的任何东西，它都能描述出来。
只需说一句，「Hey Meta，看看这个，告诉我它是什么？」，语音命令即可控制。
看着厨房柜台上一堆食材，Meta能够迅速制作出相关的食谱。
更有意思的是，小扎本人还在Ins发布一个带上智能眼镜，为自己挑选衣服的视频。
他挑选了一个深色的衬衣，并问Meta我应该搭配个什么样的裤子。Meta给出了牛仔裤、短裤的建议。
他还让智能眼镜给一张萌宠的照片，配上了有趣的描述。
小扎手里拿着一种水果，智能眼镜能告诉他这是面包果。
而对于AR眼镜来说，实时翻译将成为一款杀手级应用。
当你旅行时，正在试着读一份法语菜单。不用查阅手机，智能眼镜就可以完成实时翻译。
它甚至可以阅读不同语言的手势，简直是旅行必备单品。
此外，除了得到多模态Llama 3的加持，Meta还公布了智能眼镜集成了WhatsApp和Messenger的免提视频通话。
与此同时，不同时尚款式的镜框设计，都可以专配处方镜使用。
不过，这款智能眼镜起价为300美元（2100元），并不便宜。
实测外出识物，比手机方便
蹭着更新的热乎劲儿，外媒The Verge发布了提前拿到内测资格的评测。
前段时间，Humane智能设备AI Pin因性能不如人意，全网陷入了非议之中。关键是700美元，根本不值。
作者表示，「我们要对Meta智能眼镜的期望值不要太高，因为它并非无所不能」。
测试中的一半的乐趣，就是找到它的极限在哪。
它能否正确识别街上这辆随机的汽车？（一辆Alfa Romeo Giulia Quadrifoglio和一辆Alfa Romeo Tonale）。
与大多数AI一样，Meta AI有时非常准确，有时又会出现幻觉。
它正确地识别出了Giulia。但Tonale也被识别为Giulia。
但有趣的是，这两款车几乎没有相似之处，Giulia是一款轿车，而Tonale是一款跨界SUV。
作者还让它识别自己种的多肉植物（由于有些是别人送的，自己也并不完全清楚具体品种）。
Meta回答的是，「Echeveria、aloe vera芦荟和Crassula品种」。
但其实，作者用可通过AI照片识别植物的应用程序Planta进行验证，发现植物当中没有一株是Echeveria。
最精彩的是，作者的爱人偶然看到邻居家后院一只大松鼠，戴上智能眼镜去要识别出是什么品种。
作者用手机拍下了照片，并用另一款应用试了一番。
果然，Meta识别错了，而作者使用的APP成功识别出它是土拨鼠。
然而，当再用智能眼镜去识别手机中的照片时，确给出了「土拨鼠」正确的答案。
这个案例中，说明了AR眼镜缺少「变焦」功能，才导致回答错误。
除了多模态识别能力之外，作者测试其与手机配对时，响应速度也是非常地快。同时，智能眼镜将声音功能集成一体，省去了戴眼镜的麻烦，让交互更加自然。
总得来说，Meta智能眼镜在户外活动，AI助手在识别事物上发挥了巨大的作用。
以往，作者外出看到感兴趣的东西时，需要掏出手机拍照在识别。
而现在，智能眼镜也可以很好地延伸手机的能力，前提是不要将想要识别的内容放大很多倍。
参考资料：
https://about.fb.com/news/2024/04/new-ray-ban-meta-smart-glasses-styles-and-meta-ai-updates/
https://www.theverge.com/2024/4/23/24138090/ray-ban-meta-smart-glasses-ai-wearables
继续阅读
阅读原文