苹果终于揭露了其在AI中的进步。
与上个月的I/O发布会议不同,AI一词在6月10日(当地时间)中提到了121次,苹果在上一个小时中几乎没有提及AI。尽管这次WWDC新闻发布会一直注定要专注于AI。
直到新闻发布会的一半,苹果才终于提供了这首主菜。尽管它也可以缩写为AI,但苹果终于选择将其命名为AI“苹果智能”。在引言期间,库克特别强调,他们想要创建的是“个人智能”(),它超出了“人工智能”()()。
与其他大型模型的发展概念不同,苹果在创建自己的AI时采用了相对谨慎,更精致的发展模型。各种功能的定义更加清晰,但它们似乎也不太“神奇”。
在新闻发布会上,苹果正式宣布与IT合作。用户将能够通过SIRI直接调用GPT-4O界面进行对话,但他们不会更深入地将GPT与手机功能结合使用。
无论如何,代表了十亿级的移动设备用户,这是最高的频率使用情况。这可能是AI真正“有用”的开始。
什么是 ?
将AI与智能手机相结合不再是新的,苹果采用的想法仍然与许多制造商的想法相似。
简而言之,手机制造商应将AI的输入从用户转换为模型,以便在手机上积极意识到“一切都在发生”。同时,AI的输出从简单的输出信息转换为调用应用程序以实现各种行为功能。
苹果使用5个字来总结AI的特征:强大的性能,易于使用,功能集成,个性化的自定义,隐私和安全性。
在功能方面,主要关注三个模块:文本,图像和交互,创建的智能功能。
文本功能主要围绕两种情况:SMS和电子邮件。用户可以选择文本段落,然后执行各种AI优化,包括语法检查,重写,生成摘要,关键点和列表...用户还可以使用自然语言来描述其重写需求,例如做出更简单的更改,使音调更加友好,休闲或专业。
基于此语言模型,还制作了电话录制,文本转换,生成的摘要以及自动识别的文本消息和电子邮件内容,并将其优先级的内容放在显示器前。苹果会将这种内容标记为“可能很重要”。
使用AI在信息应用程序中生成|图像来源:
图像函数主要是“生成图片”。 可以自动从各种情况中提取文本,并生成图片。例如,在发送短信时,请根据输入文本内容(名称)生成图片;在iPad上,提取关键信息以根据用户或书面文本绘制的草图生成图片。苹果还添加了许多手机制造商已经制作的“照片智能消除”功能,可以在照片中删除无关的路人,并自动生成一些图像以填充空白。
最后,这对于改善相互作用也相对重要。苹果说,人工智能将迎来西里的新时代。 Siri将能够理解更复杂的语言文本并更自然地进行交互,Siri将自动使用设备上的各种信息来“了解上下文”以更好地解释用户需求。
该功能的这一部分更为复杂。例如,如果用户不记得他的ID号,请问Siri,Siri可以从专辑中找到护照照片,提取号码,然后让用户填写。但是,Siri可以感知的信息将包括日历,备忘录,短信,电子邮件等。
将登录到所有终端设备|图片来源:
此外,用户具有他们不知道如何操作的功能,并且还可以用自然语言将其直接描述给Siri。 Siri将帮助找到相应的操作方法,该方法将大大改变用户使用手机的方式。
最后,苹果还将集成到智能系统中。在处理文本和使用Siri的过程中,如果用户想调用性能更强的云模型,他们可以切换到使用GPT-4O来生成信息,或者他们可以将自己的GPT Plus帐户绑定到使用其他模型。
详细说明AI
由于AI需要使用用户最敏感的隐私信息作为输入,因此自然会将隐私保护视为当务之急。
苹果的智能模型在设备上本地运行。 尚未发布有关此端端模型的任何信息,但只有配备了A17 Pro芯片的15个Pro系列,以及带有M1或更高版本的Mac和iPad支持 AI,这表明它对芯片NPU具有高性能要求。
但是 AI仍然无法实现100%的本地操作,并且在需要时,它将使用云计算能力来处理它。苹果说,在处理的这一部分中,将不会保留用户数据,并且在处理用户活动请求时将上传信息,并通过可验证的隐私机制确保安全性。苹果称此系统为“私有云计算”()。
AI也将连接,但是您在使用之前会询问用户|图像来源:
至于调用GPT的部分,将在用户选择致电GPT之前询问和确认,并提示GPT返回的结果不一定正确。
因此, AI可以分为三个系统:的自发端端模型,云模型和GPT。这种体系结构本身并不复杂,但是仍然有许多尚未解决的细节和问题。
例如,最重要的是AI应该如何使用第三方应用程序。苹果已经宣布了第一批AI-a-开发工具,开发人员可以使用接口将其应用程序的功能连接到AI系统。这种开发模型与过去的“快捷命令”有点相似。实际上,开发人员,尤其是那些大型公司,最终可能不是很活跃。
例如,在的AI中搜索聊天记录或图片可能非常方便,并且从AI启动的第一天开始就可以得到很好的支持。但是,如果用户昨天在用户记住日历时在和上与他预约的时间是什么时候与他预约,AI系统可能无法平稳地获得此部分信息。
类似的问题也反映在如何跨设备循环这些“私人信息”中?例如,用户想向Siri询问过去几天在Mac上的运动状况,并存储了锻炼和健康信息。目前,尚未宣布任何跨设备信息流机制,因此可能无法提供此部分信息。
有关WWDC演讲的所有信息在其主要演讲中发表了图片来源:
大型模型的最大革命是它具有“完整的知识库”。
因为这个知识基础几乎是无所不包的,所以它反映在大型模型的能力的出现中,使人们感到无论您问什么或如何问它,它总是可以给出答案。有必要将该系统移至手机,并将所有用户的个人信息集成到“知识库”中,以供用户随时获得,但同时确保隐私和安全性,这将是产品设计和逻辑的巨大挑战。
如果任何产品都想突破使用的瓶颈并变得受欢迎,则必须确保互动的成功率,并且用户可以得到他们想要的东西。就像语音助手过去从未真正流行过的主要原因一样,相互作用的失败率太高了,但是在AI时代,它仍然必须面对同样的问题。
苹果刚刚为AI奠定了基础。
国内用户可以期待什么?
根据发布的信息,第一批次仅支持英语,并且直到秋季才能推动测试版本。开发人员的第一波被推送的新系统版本尚未配备的AI。
苹果说,明年将添加更多功能,语言和平台。在 AI系统中,GPT很有可能最终像搜索引擎一样被替换。以前,据透露,苹果和百度正在大型模型接口上进行合作进行交流,应更换此部分。
由于的真正核心端端模型和云模型都是由自行开发的,只要它可以通过国内合规过程,国内用户仍然非常希望使用它。
使用模型功能来颠覆计算设备和重建个人数据组织结构的交互式界面是自大型模型诞生以来就已经存在的想象力。但是,大多数进行模型和应用程序的公司都很难参与计算设备的核心系统,包括该过程中的隐私和安全问题,这迫使苹果等制造商保持非常谨慎。
但是现在,无论如何,大船已经启航。