「每周一三五更新」
撰文：徐弢、裘欢欣
编辑：吴洋洋
Key Points
OpenAI发布多模态模型GPT-4V
ChatGPT将在10月增加语音与视觉功能
OpenAI创始人与苹果前首席设计官Jony Ive讨论了AI硬件产品
OpenAI寻求以900亿美元估值融资
三星、SK海力士对华投资有望获美国无限期豁免
OpenAI推出多模态模型GPT-4V，基于GPT-4开发
9月25日，OpenAI宣布推出具有视觉功能的多模态模型GPT-4V（V即Vision），它能够分析用户提供的图像输入，还能够用语音对话。

OpenAI表示，GPT-4V基于基础模型GPT-4开发，于2022年完成训练，最早今年3月开始在Be My Eyes公司测试。Be My Eyes是一家为视障人群提供服务的科技公司。
GPT-4V能做什么？
OpenAI在官方文章中给出的应用场景包括：
  • 旅行时，拍摄地标的照片，GPT-4V可以反馈该地标的相关信息；
  • 回到家时，拍下冰箱和食品储藏室的照片，GPT-4V可以提供食谱建议；
  • 晚餐后做作业时，用户也可以把数学问题拍照上传，GPT-4V可以给出相应的解答。
今年3月，OpenAI发布多模态模型GPT-4，该模型可以根据图像和文本等多种形态的信息提示生成内容，而不再仅局限于文本形态的内容输入与输出。
外界原预期GPT-4V在今年11月的OpenAI首届开发者大会上亮相
GPT-4V在9月25日的突然上线令外界意外，OpenAI这么做可能是为了刻意保持在生成式AI领域的领先性。
GPT-4V上线的同一天，消息称亚马逊将向AI初创公司Anthropic投资高达40亿美元。Anthropic是生成式AI初创公司里估值仅次于OpenAI的公司，被视为OpenAI最有力的竞争对手。Anthropic的核心产品是聊天机器人Claude，功能类似于ChatGPT。今年4月，Anthropic已宣称要创建一个名为「Claude-Next」的模型，其功能要比当今最强大的模型还要强10倍。
而9月15日，Google也被爆料已经向小部分公司开放了其多模态模型「Gemini」（双子星）的早期版本。「Gemini」是Google对标GPT-4开发的多模态模型，最早在今年5月Google召开的全球开发者大会上推出。
基于GPT-4V开发的AI应用还有「Be My AI」
今年早些时候，OpenAI与初创公司Be My Eyes合作，将GPT-4V整合入Be My Eyes中，开发出了新产品「Be My AI」。相关测试过程和成果被总结成了论文：

论文显示，今年3月至8月初期间，Be My Eyes团队与近200名盲人和低视力人员测试了「Be My AI」，9月，测试团队已经拓展到了1.6万人。
与GPT-4相同的是，GPT-4V也容易产生「幻觉」，或者以权威的语气编造事实，还会出现忽略数学符号以及无法识别明显物体等问题。测试期间，一位测试者发现，「Be My AI」会告知其菜单中实际不存在的物品。有时，它也难以做出正确推论，例如错将图像中的两个文本字符串组成一个虚构的词语。
Be My Eyes团队警告测试人员，不要依赖「Be My AI」来解决安全和健康问题，例如阅读处方、检查过敏原成分列表或者穿过马路。
今年7月，《纽约时报》报道称，OpenAI担心具备视觉功能的GPT-4可能针对人物的面部说出不该说的话，以及侵犯用户隐私，因而限制用户使用视觉功能。
参考链接：
https://openai.com/research/gpt-4v-system-card
ChatGPT将在10月增加语音与视觉功能
9月25日，OpenAI宣布，未来两周内将向ChatGPT Plus用户和企业客户推出新的语音和视觉功能。其中，视觉功能将登陆全平台，但语音功能仅限手机端用户使用。
语音对话：ChatGPT的语音对话功能使用了两个独立模型，一个是OpenAI此前推出的「语音转文本」模型Whisper ，新的「文本转语音」模型则用于将ChatGPT的文本输出转换为口语。ChatGPT提供了5种合成声音，这些合成声音是OpenAI根据雇佣演员的声音训练模型学会的。
新闻网站Axios测试多模态的ChatGPT显示，语音回复大约有6秒的延迟。
OpenAI正在与包括Spotify在内的数家公司共享新的文本转语音模型。Spotify将之用于翻译名人播客，比如俄裔美国计算机科学家Lex Fridman主持的播客节目、The Daily Show主持人Trevor Noah即将推出的新节目。
图像生成：ChatGPT还计划增加图像生成功能。9月20日，OpenAI宣布，计划在ChatGPT上集成新版文生图产品DALL-E 3功能。该功能将于10月上线。
参考链接：
https://openai.com/blog/chatgpt-can-now-see-hear-and-speak
OpenAI创始人与苹果前首席设计官Jony Ive讨论开发AI硬件产品
科技网站报道称，OpenAI创始人Sam Altman在与苹果公司前首席设计官Jony Ive讨论开发AI硬件产品。目前尚不清楚Sam Altman与Jony Ive讨论的AI硬件设备是什么，也不清楚他们是否会决定制造它，但两人一直在讨论人工智能时代的新硬件会是什么样子。 
Jony Ive在苹果工作20多年，曾领导iMac和iPhone的设计。他2019年离开苹果公司，之后与工业设计师Marc Newson创办了设计公司LoveFrom，客户包括租房平台Airbnb、法拉利母公司Exor等公司。双方曾经在苹果公司共同参与Apple Watch项目。
Sam Altman主要的工作经历都在软件领域，只有在他参与创办的Web3.0加密货币项目Worldcoin（世界币）中，才出现过硬件设备「Orb」——一款虹膜扫描仪。
信源称，软银公司CEO孙正义与双方都讨论过该想法，但无法确定他是否参与其中。旗下子公司Arm上市后，软银被爆料正寻求在人工智能领域投资数百亿美元，其中对象之一是OpenAI。
参考链接：

https://www.theinformation.com/articles/designer-jony-ive-and-open-ais-sam-altman-discuss-ai-hardware-project information
https://www.ft.com/content/61d5b168-1e5e-4837-b830-1e6dd4d6f276
OpenAI寻求以900亿美元估值出售股份，以筹集资金
据报道，OpenAI正在与投资者讨论价值数亿美元的股票出售，以筹集资金，目标估值将在800亿至900亿美元之间。信源消息称，OpenAI将通过出售现有股票，而非发行新股筹集资金，但具体交易条款可能变动。
全球初创公司估值第3高，超过蚂蚁集团
800亿至900亿美元的估值是半年前的3倍。今年4月，科技博客TechCrunch报道称，OpenAI完成了103亿美元融资，当时估值是270亿至290亿美元。
OpenAI的目标估值将使得该公司成为全球估值第3高的初创公司，仅次于字节跳动的2250亿美元、SpaceX的1370亿美元，但高于蚂蚁集团的776亿美元（根据蚂蚁集团7月的回购方案和价格估算）。
新到投资者会进入，不会是微软
眼下，OpenAI正在进行从模型（GPT-4V和Gobi）到产品（多模态ChatGPT）甚至硬件（AI硬件）的多项投资或探索，这使它前所未有地需要资金。
不过，OpenAI也在小心控制其股东结构。创始人Sam Altman曾明确表示，他不打算让OpenAI上市或者出售。OpenAI也有意让微软持有该公司少数股权。目前，微软已持有OpenAI 49%的股份，意味着它可能无法购买任何将其持股比例提高至50%以上的股票。
微软已经在模型本身上减少对OpenAI的依赖
在与OpenAI合作之外，微软也在通过自研模型减少成本开支。
9月26日，科技网站The Information报道称，微软副总裁兼微软研究院院长Peter Lee正在领导一个大约1500名员工的研究团队，着手开发自研的对话式人工智能产品，它性能比不上GPT，但规模更小，运营成本也更低。
报道称，微软计划将该自研模型用于旗下产品，包括必应搜索的Bing Chat聊天功能。在用户提问时，简单的问题由该自研小模型解决，复杂问题再交给OpenAI的GPT。
参考链接：
https://www.wsj.com/tech/ai/openai-seeks-new-valuation-of-up-to-90-billion-in-sale-of-existing-shares-ed6229e0
https://www.theinformation.com/articles/how-microsoft-is-trying-to-lessen-its-addiction-to-openai-as-ai-costs-soar
美国考虑无限期延长对韩国芯片制造商的中国豁免权
9月27日有报道称，美国商务部考虑无限期延长韩国芯片制造商（三星和SK海力士）在中国市场的豁免权，允许它们将美国芯片设备引进中国。
美国「芯片法案」限制原本获得美资金支持的公司在华生产先进制程芯片
2022年10月，美国颁布规定，禁止美国公司向中国半导体生产企业出口部分尖端半导体生产设备。三星电子和SK海力士等在中国设有半导体工厂的韩国企业当时获得了美国商务部的豁免权，可以在一年内不需要许可证来获得在中国工厂使用的芯片生产设备。
今年3月，美国商务部发布《芯片和科学法》（CHIPS and Science Act，简称芯片法案），其中的「护栏条款」禁止获得美国联邦资金的公司在中国大幅增产先进制程芯片（28纳米及以上），期限为10年。
三星和SK 海力士都有工厂在中国。据统计，SK 海力士在中国无锡的工厂承担了SK海力士约一半的DRAM芯片产量，约占全球DRAM芯片产量的15%。2021年12月，SK 海力士还收购了英特尔位于大连的NAND闪存工厂。
而三星在中国西安市的芯片制造工厂生产的NAND 闪存产量约占其全球40%。此外，三星在苏州还经营着一家半导体封装工厂。
电子研究公司TrendForce数据统计，截至今年6月底，三星和SK 海力士控制着全球近70%的DRAM市场，以及50%的NAND闪存市场。
无限期豁免尚未正式发布
今年5月，韩国政府对「护栏条款」提出正式意见，认为条款给在美国投资的企业带来不正当负担。韩联社报道称，美国商务部已与韩国芯片制造商讨论了可在中国使用设备的细节，并补充说美国最早将于本周发布相关公告。一旦美方更新供应白名单，韩国芯片制造商就无需再单独获得出口许可。
美国考虑无限期豁免韩国芯片制造商对华投资的原因不详，不过对于三星和SK 海力士来说，摆脱对中国市场的依赖是一件难度不小的事。今年以来，SK海力士和三星半导体部门的营收因需求低迷都出现了不同程度的下滑。韩联社称，由于半导体公司业绩不佳，韩国今年国家税收将比预期低59万亿韩元（约合人民币3247亿元）。
参考链接：
https://www.reuters.com/technology/us-indefinitely-extend-waiver-skorean-chipmakers-bring-equipment-into-china-2023-09-27/
Bonus
好莱坞编剧罢工结束，人工智能恐难以避免
历时148天，美国编剧工会（WGA）与好莱坞电影公司达成协议，结束了导致该行业瘫痪的长达数月的罢工。好莱坞有望保留「根据编剧作品训练人工智能模型」的权利，而编剧们将获得加薪、更好的福利、防止工作室使用人工智能、流媒体补偿保证、更长期限的雇佣条款和其他福利。
WGA于5月2日正式开始罢工，成为历史上最长的罢工之一。代表1.15万名编剧的美国编剧工会因与影视制片人联盟持续存在的劳资纠纷而宣布罢工。作家们声称，在在线流媒体时代，他们的工资更低，工作也更不稳定，人工智能的出现也对他们的职业稳定造成了威胁。
WGA的编剧对是否接受这项协议有最终决定权，并将于10月2日至9日间表决。
国家网信办发布第一批应用分发平台备案编号，苹果App Store不在其中
9月27日，国家互联网信息办公室发布第一批26家应用程序分发平台名称及备案编号，包括小米、华为、三星、联想、vivo、OPPO等手机厂商的应用商店，也包括百度、支付宝、微信等小程序分发平台，但苹果公司应用商店App Store不在其中。
国家网信办称，备案仅是对应用程序分发平台提供分发服务行为的确认，不代表对该平台服务能力和其在架应用程序的认可。
2022年8月，《移动互联网应用程序信息服务管理规定》正式实施，要求应用程序分发平台应当在上线运营30日内向所在地省、自治区、直辖市网信部门备案，针对对象包括应用商店、快应用中心、互联网小程序平台、浏览器插件平台等类型。

参考链接：
https://news.hangzhou.com.cn/gnxw/content/2023-09/27/content_8623299.htm
-END-
若想了解更多当日资讯，请点击阅读往期智能晚报
智能晚报｜亚马逊投资Anthropic 40亿美元；Meta将推出多个AI聊天机器人；NASA首次从小行星收集样本...
若想了解更多当日头条，请点击阅读往期头条新闻

每周应用｜OpenEvidence要做医疗AI助手，还想比ChatGPT更靠谱
我们是一个诞生于GPT浪潮、由《第一财经》YiMagazine孵化的全新内容IP。 
和每一位关心技术、关注人类命运的读者一样，我们希望在这个充满不确定性的时代，更好地理解快速变化的科技世界，也更好地理解生而为「高级智能」的我们自己。
在这个目标下，我们计划从学术、商业、伦理、监管等多个角度报道和讨论与「智能」相关的议题。请注意，我们说的智能，不只是 AI。
与记者交流，可添加微信（请备注公司名称和姓名）：
王杰夫 微信号: wjfsty
张司钰 微信号: helianthus351
吴洋洋 微信号: qitianjiuye
喜欢就关注我们吧，记得「设为星标」
继续阅读
阅读原文