机器之能报道
编辑：灰喜鹊
以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式，但绝大部分人依然不知道该如何使用。
因此，我们推出了「AI在用」专栏，通过直观、有趣且简洁的人工智能使用案例，来具体介绍AI使用方法，并激发大家思考。   
我们也欢迎读者投稿亲自实践的创新型用例。
今天，我们分享 X 用户 @gabchuayz 的案例—— 利用 Claude 3 Opus （最贵的一款）视觉推理能力，读懂宜家家具安装说明书！

  • 案例地址：
    https://twitter.com/gabchuayz/status/1766143549794357458

作者透过 Workbech 来接入 Claude 3 Opus
首先，进入 Claude 3 Opus ，输入提示（ Prompt ）：
  • you are a friendly assistant 
这也是 OpenAI 官方认可写好 Prompt 的重要策略之一，让模型充当某个角色，它往往会表现地更专业，回答也更明确。


然后，上传说明书图片并附上简单文字提示：
  •  These are instruction manuals. List out the steps clearly.
这位作者按顺序（步骤 1 — 14 ）上传了七张说明书图片。这是其中一张图片的内容：
来自@gabchuayz
这是 Claude 3 Opus 返回的结果：
来自@gabchuayz
下面是翻译过来的内容。对于不善阅读图片说明的用户来说，这个回答显然大幅降低了安装门槛，它甚至识别出了螺丝的型号。
  1. 使用提供的工具（100092），将2颗螺丝（104521、104522）固定在圆形零件上，如图所示。
  2. 使用4颗螺丝将锤形零件（101339）连接到步骤1中组装的结构上。
  3. 使用4颗螺丝将另一个锤形零件（101339）连接到相反的一侧。
  4. 使用4颗螺丝连接两侧的零件。
  5. 将带箭头标记的零件插入组装结构的开口处，使用4颗螺丝（101339）固定。
  6. 使用提供的工具（101339），将带箭头标记的零件固定在组装的框架结构上。
  7. 使用4颗螺丝进一步固定框架结构的零件。
  8. 框架结构现在已经完全组装好了。
  9. 使用工具（101339）驱动另外四颗螺丝，以加固连接。
10、使用四颗螺丝（101339）固定盒子结构的顶部。
11、插入带箭头标记的零件，关闭盒子的一侧。
12、使用工具（101339）驱动16颗螺丝，将所有零件紧密固定。
13、附加的图示显示了组装框架结构内部创建的细分隔间。
14、最后的图示提供了组装完成的整体尺寸，包括六颗螺丝固定的手柄。
当然，结果绝非完美。例如划线部分所示，什么是“锤形零件”？什么又是“带箭头标记的零件”？前面一个问题源自模型无法清楚区分图片中的螺丝和锤子工具；后面一个问题在于系统搞不清楚箭头其实表示的是这个零部件的插入方向。
有人说宜家最酷的不是家具，而是家具说明书——没有文字，只有图，一些顾客常常在组装过程中陷入沮丧。现在，可以考虑找一个帮手了。
我们透过 Poe  调用  Claude 3 Opus。输入提示 “you are a friendly assistant ”。
然后，直接上传了下面这张图片，没有任何文字提示作为补充，看看大模型能否提供安装说明：
这是我们得到的结果。虽然还是存在明显的问题，比如识别不了 d （不是螺丝，而是会随商品赠送的扭螺丝简易工具），但并不妨碍我们对安装步骤有一个大体了解，并且知道这是一种比较典型的宜家家居安装风格。
如果是乐高安装说明书呢？我们按顺序（步骤 1-5 ）输入了下面五张乐高安装说明书：
这是结果，非常清楚明白：
接着让模型推理一下咱拼的什么东西，结果也靠近答案（玩具小汽车）。
Claude 3  Optus 可以做到，其他领先大模型是否也可以呢 ? 还真未必。下面是 Gemini Pro 的“答卷”，差强人意，已经“臆想”是飞机的搭建了。目前 GPT-4 不接受这么多张图的输入，微软 Copliot 也只允许上传一张。
同样是看图说话， Claude 3  Optus 能否看懂漫画呢？输入提示：“请按顺序解释每幅图片的意思”：
结果确实读懂了这是一幅吐槽宜家家居很难安装的漫画。不过，从第 9 幅图开始，模型就开始出错——正确答案是，用户饮弹自尽后，抢救无效，葬礼上的工人开始安装说明建造棺材和十字架，结果呢，确实不好装，十字架都歪了.......

Claude 3 Opus 也有不灵光的时候。尤其是当输入只有一张说明书时，Opus 并不能稳赢 GPT-4 。比如，这个茶几安装说明。
从返回结果来看，不仅文字识别存在问题（“层板”被识别为“房板”），拧螺丝的简易工具也识别不出来。解读安装步骤也有问题，比如步骤 3、4 其实是在固定腿部，但被识别为固定板子。
相比之下，如果使用 GPT-4 ，结果要好很多：
这是宜家早期的 Tune 椅子说明书：
Claude 3 Opus 返回的结果如下。椅子被识别为桌子，安装步骤也和图片内容不吻合。
同样的提示， GPT-4 的效果要好得多：
我们的新专栏会带来更多不同大模型的案例演示，欢迎大家留言评论并给出改进建议。
© THE END 
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
继续阅读
阅读原文
关键词
GPT-4
大模型
螺丝
结果
零件