苹果在WWDC 2024 发表会上花了将近40 分钟介绍Apple Intelligence,是苹果的生成式AI 功能,那么到底Apple Intelligence 是什么?有哪些用法?又有哪些机型可以使用?今天这篇文章帮大家一次整理。
Apple Intelligence 是什么?
Apple Intelligence 是苹果的生成式AI,内建在iPhone、iPad、Mac 中,帮助使用者快速生成文字或图像、搜寻内容、安排行程、整理重点、执行各种AI 相关功能,你可以想像是iPhone 内建了一个ChatGPT 助理一样。
苹果的生成式AI 会理解、搜寻装置内所有App 的内容与资讯,再透过机器学习、语义索引、情境分析等算法以及系统内的本机LLM 模型,生成适合特定对象、特定情境的内容。
苹果生成式AI(Apple Intelligence)可以怎么用?
苹果在2024 WWDC 发表会上花了将近40 分钟介绍Apple Intelligence,并且实际展示了一些苹果生成式AI 的用法。
写作工具Writing Tools
很多人想到生成式AI 就会觉得应该是可以生成文章,但是苹果在整场发表会上几乎没有什么提到文章「从无到有」生成这件事,反而对于Apple Intelligence 是直接从「改写」这部分切入。
修改语气
当你使用Writing Tools 的时候,可以透过预设的「友善」、「专业」以及「简单明了」这三种选项,让Apple Intelligence 用不同的语气来重新改写原本的内容。
例如写给老板的信就可以用「简单明了的」口气,因为老板可能不想看太冗长的内容;写给之前在旅游时认识的国外朋友就可以用「友善的」口气改写,维持彼此的友谊。
校正语法与用字
Apple Intelligence 还可以帮助修改用字、语法结构上的错误,透过「Proofread」功能,AI 就会告诉你哪些用字需要调整,还会让你知道原因以及正确的用法。这个在写一些不能犯错的专业内容、职场商用文件的时候会很实用。
生成重点摘要
Apple Intelligence 可以帮忙把落落长的文章用不同的方式简化,达到好阅读的效果,透过Writing Tools 内建的「总结Summery」 、「重点Key Points」、「表格化Table」以及「条列式List」就可以达成。
例如选择了「Key Points」功能,就可以把选取的范围用「重点」的方式改写并且并呈现预览,如果觉得OK 就可以直接取代原本的内容,这样对方看起来也不会这么冗长。
在邮件上方也加入了摘要重点的按钮,对于冗长内容的信件可以生成简短的摘要,节省浏览内容的时间。
提供回覆建议
如果你收到了一个需要回覆的邮件,AI 会给你一些回覆的选项,并且从你选择的结果中,再延伸出更完整的回覆内容,让你可以不需要花太多时间在输入文字上。
图像处理工具
Apple Intelligence 的图像处理工具让你可以创建和编辑图片,包括Genmoji、Image Playground 和ImageWand 这三种功能。
Gemoji 表情符号
Gemoji 是Apple Intelligence 而产生的新功能,输入相关的描述就可以生成一组4 个的全新emoji 表情符号;甚至你可以把照片图库中辨识到的人物头像搭配指令做成表情符号。
Image Playground 影像游乐场
在包含Keynotes、无边记、讯息…等多个App 中,可以使用Image Playground 功能透过文字生成图片。在一堆系列选项中,选择一个你要的主题,选好以后就可以看到预览的效果,并提供「动画」、「素描」或「插图」这三种风格可以选择。甚至你突然有自己的灵感了也可以加指令进去,Apple Intelligence 就会依照这些指令生成有趣的图片。
ImageWand 影像魔杖
如果你喜欢画速写、素描,或是你喜欢画但觉得画得不好看,ImageWand 可以都将你的粗略草图转换成精美的图片。使用Apple Pencil 圈出你的草图,ImageWand 会自动分析并依照你的原图创建一个更精致的图像。
甚至你什么都不要画,在一片空白中也可以依照旁边描述的内容帮你生成相关的图片,如果希望文件图问并茂但是并不会画图的人来说相当方便。
理解文字的重要程度
AI 还可以依照你的状况,学习判断邮件、通知的重要程度,并且帮你做分类,甚至是整合摘要节整你浏览的时间。
依据重要程度分类内容
Apple Intelligence 透过机器学习与演算法功能,可以判断你接收到的哪些通知、信件是重要的,然后依照重要程度、内容类别来自动分类,让你可以自行选择要先看哪些内容。
邮件摘要预览
而且信件的预览功能中,也不仅仅是提供前几行的文字,而是透过AI 整理出整封信件的重点并显示在预览上。
进化版Siri + Apple Intelligence
Apple Intelligence 中,Siri 扮演了相当重要的角色,而且也换上了新的风貌,可以做的事情变得超多。
全新改版的Siri 与介面
利用侧边按键呼叫Siri 后,看到的不再是一个圆圈的符号,而是直接变成渐层外框围绕在iPhone 萤幕周围,接收指令时外框会有扰动的效果。
自然语言理解能力
Siri 现在能理解更自然的语言交流,即使你说话不连贯,Siri 也能理解。例如,你可以问「Siri,明天早上在Muir Beach 的天气怎样?」,即使你发现你说错了要改口说「我刚刚是说Muir Woods」,Siri 也能理解并回答。
此外,当你中断了一下,然后再说「帮我建立一个到那里的路线与时间安排」,Siri 也会理解你所说的「那里」是刚才提到的「Meer Woods」。
搜寻各App 内的资讯并整合
现在你可以问Siri 任何更私人的问题,例如你问「Siri,我妈妈的飞机什么时候会到?」,这时Siri 就会找到你和妈妈的邮件中有提到这个部分,并显示给你看。
然后也可以顺便请Siri 告诉你接机后的晚餐计画,Siri 就会从你们过去的对话中找到你安排的晚餐行程,你甚至不用设定行事历Siri 就可以找得到这个行程。
或是你也可以请Siri 帮你找出朋友之前向你推荐的书单、之前拍起来的证件照,这些Siri 都可以在各种不同的App 之间找出来,甚至你不知道他在哪个App 里面都没有关系,反正Siri 会去找。
直接解读萤幕上的内容
简单来说就是Siri 可以看得动你现在画面长怎样,例如有人传了一个地址给你,你可以直接跟Siri 说,把这个地址夹到这个人的联络资料中,而你都不用跟他说地址是哪个,他就可以找到地址,然后将图像转成文字加入到对方的联络资料里。
操作App 内的功能
透过增强版的Siri 搭配Apple Intelligence 功能,就可以直接让Siri 执行App 内的功能,例如原本我要在照片App 内寻找穿着粉红色衣服的朋友,我可以透过搜寻搭配「粉红色」这个关键字来达成,现在可以直接呼叫Siri「找出XXX 穿着粉色衣服的照片」。
或者是跟Siri 说「把它加入到备忘录中关于这位朋友的描述」,Siri 就会在备忘录里面找到相关的段落,然后加入刚才的照片,这大概也意味着之后可能就可以透过呼叫Siri 来传照片。
在照片里的AI 功能
Apple Intelligence 在照片App 中也可以发挥不少的功能,包含把不想要出现的背景P 掉、搜寻照片或影片、打造专属的回忆精选集…等功能。
Clean Up 修图功能
透过Apple Intelligence 功能,只要点击一下照片中的背景物件,就可以把不想要出现的元素P 掉,这样就不用上网求人帮忙P 图了。
准确的照片与影片搜寻
前面有提到透过Siri 就可以用自然语言的方式来搜寻照片,而且不只是Siri,透过照片App 内的搜寻功能用文字的方式也可以搜寻,这个功能甚至是可以搜寻影片的片段;例如下图就是在照片App 中搜寻在草地上单手侧翻的内容,其中就包含了影片的部分。
精选辑
只要输入描述,像是人、事、时、地、物这些线索,Apple Intelligence 就可以找出符合条件的照片,然后按照片的类别、时间…等资讯编排,搭配情境给予合适的背景音乐,这样很快就可以完成一部有故事感的精选辑,例如旅游的回忆精选、家庭庆生的精选…等,俨然是一部微电影。
整合ChatGPT
Apple Intelligence 这次也整合了ChatGPT 提供部分功能,如果你提供的要求是包含在ChatGPT 可以执行的范围内,那么Apple Intelligence 就会询问你是否要用ChatGPT 执行。而且目前使用的是最新的GPT-4o 模型,可以提供快速又准确地回答。
生成文字与图片
虽然Apple Intelligence 并没有直接表明可以生成文字内容,但是你可以透过ChatGPT 来生成整片文章、段落或是文案。
除了文字内容以外,透过ChatGPT 的Dall-E3 模型,也可以直接生成图片,这和Apple Intelligence 的ImageWand 影像魔杖有点类似。
语音问问题
在Siri 中询问问题时,有时候Siri 甚至会建议你听听看ChatGPT 的意见,就会问你要不用使用ChatGPT。至于Apple Intelligence 和ChatGPT 在回答上会不会有什么不同? Siri 的判断标准是什么?这个之后如果有机会再帮大家做测试。
以上介绍的这些都只是目前已知透过Apple Intelligence 可以完成的几个主要的用法,从这些用法当然还可以延伸更多的用途,例如用在iMessage 上修饰要回覆的内容、在Keynotes 上补齐缺少的图片、在彼此有争议的时候找出对话中有共识的部分、按照条件安排行程….等,就看大家如何发挥创意去使用Apple Intelligence。
Apple Intelligence 支援机型
Apple Intelligence 因为需要强大的NPU 神经引擎支援,而且记忆体要求8GB 以上,因为需要保留足够的记忆体给本机上的LLM 模型使用,但又不能压缩到正常系统运作的需要,所以在机型的要求上比较严格,基本上只有M 系列晶片的产品或是相等规格的产品可以使用。
iPhone 15 Pro
iPhone 15 Pro Max
iPad Pro M 系列晶片版
iPad Air M 系列晶片版
iPad mini A17 Pro 晶片版
iMac M 系列晶片版
Mac mini M 系列晶片版
MacBook Air M 系列晶片版
MacBook Pro M 系列晶片版
Mac Studio M 系列晶片版
Mac Pro M 系列晶片版
Apple Intelligence 隐私保护有办法相信吗?
对于强调隐私保护的苹果苹果来说,Apple Intelligence 绝大部分的运算都是在设备本机上的模型来执行,不需要连网,并且透过设备上的安全晶片做隐私保护的控管,所以不用担心资料会有外泄的疑虑,这也是为什么Apple Intelligence 对硬体规格要求较高、必须要M 系列晶片以上原因。
而如果有需要连网的操作,苹果则是透过Private Cloud Compute 这个模型来处理,并在由Apple Silicon 晶片打造的伺服器上运作,所以不仅可以达到高速运算的效果,同时也可以确保资料在云端的隐私。苹果甚至特地写了一篇文章来介绍Private Claud Compute(PCC)是如何保障Apple Intelligence 的安全性,但文章很长,有兴趣的可以点这里去了解,我帮大家节录重点:
数据加密
使用者透过Apple Intelligence 的请求资料在传送过程中是加密的,只有PCC 节点能解密,这确保了资料在传输过程中的安全性。
硬体安全
PCC 节点使用Apple 自家的硬体,这些硬体有很高的安全性,例如Secure Enclave 确保只有授权的软体可以执行,而且在过去用于Mac 也没有被破解的经验上来说算是有一定可靠程度。
无状态计算
PCC 保证使用者资料在处理完成后立即删除,不会在系统中留下任何痕迹,这降低了资料被未经授权存取的风险。
高度透明性
PCC 允许外部第三方独立的安全研究人员检查和验证系统的安全性机制(不是验证资料),确保它随时符合Apple 公开的安全和隐私承诺。
尽管没有任何系统能够宣称100% 完全无法被攻击,但Apple 所采取的多层次安全措施和透明的操作方式,使PCC 成为目前市场上最安全的云端AI 计算系统之一。苹果希望透过这些措施和承诺, 让使用者可以安心的相信PCC 的安全性和隐私保护能力是非常高的。
Apple Intelligence 推出时间
苹果在WWDC 上面只有说在今年夏天会开放美国英语系的使用者测试,并且会作为iOS 18、iPadOS 18 与macOS 15 内建的功能在秋天的时候推出,但推出的时候将会标示为「Beta 」版,有一种免责声明的概念,就像ChatGPT 也有好一阵子都是以Beta 版开放给大家使用一样;至于其他语言、部分功能则要等到明年才会逐渐开放。
而根据报导指出,Apple Intelligence 在美国以外的国家要使用可能也会有Waitlist 的机制,而且即便开放了,初期的执行效果可能会蛮慢的。
我自己预计Apple 口中的「夏天」最快大概在iOS 18 Developer Beta 3 到Beta 5 之间,差不多是七月左右,也是公开测试Public Beta 推出后的时间,Apple Intelligence 就会开放符合条件的机型使用,到时候我们也会带大家实际来体验看看Apple Intelligence + Siri 2.0 的威力。