苹果发布Ferret 7B多模态大语言模型(MLLM)

人工智能

Apple 最近推出了Ferret 7B,这是一种复杂的大型语言模型 (LLM),代表着人工智能领域向前迈出了重要一步。这项新技术证明了苹果公司致力于推进人工智能的发展,并使该公司成为科技行业的强大参与者。Ferret 7B 经过精心设计,可与 iOS 和 macOS 顺利集成,充分利用 Apple 强大的芯片,确保用户享受流畅的体验。

[xyz-ihs snippet=”In-article-ads”]

Ferret 7B 的突出特点是其多模式功能,使其能够解释和创建结合图像和文本的内容。这一突破超出了传统的基于文本的人工智能模型的能力范围。Ferret 7B 的功能在 Google 5.2 编码模型和 MixL 8X 7B 等系统中得到展示,这些系统基于 Apple 的 MLX 平台构建并利用其独特的工具。

  • Ferret 模型 – 混合区域表示 + 空间感知视觉采样器 可在 MLLM 中实现细粒度和开放词汇的引用和基础。
  • GRIT 数据集 (~1.1M) – 大规模、分层、稳健的 基础和参考指令调整数据集。
  • Ferret-Bench – 一种多模式评估基准,共同需要 参考/基础、语义、知识和推理

即将推出的 iOS 18 引起了人们的热议,预计它将更全面地融入人工智能,有可能改变用户与苹果设备的交互方式。人工智能进步与苹果芯片架构之间的合作可能会为 iOS 和 macOS 用户带来更具凝聚力和更强大的生态系统。

苹果雪貂 7B MLLM

 

 

以下是您可能会对多模式大语言模型主题感兴趣的其他一些文章  :

对于那些对 Ferret 7B 的技术性能感兴趣的人,Apple 开发了Ferret Bench,这是专门针对该型号的基准测试工具。该工具将帮助开发人员和研究人员评估模型在各种情况下的效率和灵活性。

[xyz-ihs snippet=”GoogleADresponsive”]

苹果的人工智能方法集中于创建实用的应用程序,为其设备的用户提供切实的好处。该公司对这一战略的奉献精神从其将 Ferret 7B 开源、提供用于研究目的的代码和检查点的决定中可见一斑。此举鼓励人工智能社区内进一步创新和协作。

训练像 Ferret 7B 这样的复杂模型需要大量资源,Apple 通过使用NVIDIA A100 GPU对此进行了投资。这体现了公司对AI研发的深度投入。

Apple 多模态大语言模型 (MLLM)

请务必注意该型号 7B 和较大 13B 版本之间的差异。7B 可能是为 iOS 设备量身定制的,仔细平衡了性能与移动硬件的限制。这一战略决策符合苹果对用户体验的关注,确保人工智能的改进直接惠及用户。

#7B
python3 -m ferret.model.apply_delta \
    --base ./model/vicuna-7b-v1-3 \
    --目标./model/ferret-7b-v1-3 \
    --delta 路径/到/ferret-7b-delta
#13B
python3 -m ferret.model.apply_delta \
    --base ./model/vicuna-13b-v1-3 \
    --目标./model/ferret-13b-v1-3 \
    --delta 路径/到/ferret-13b-delta

使用和许可声明:数据和代码仅供研究使用并获得许可。它们也仅限于遵循 LLaMA、Vicuna 和 GPT-4 许可协议的使用。该数据集为 CC BY NC 4.0(仅允许非商业用途),使用该数据集训练的模型不应在研究目的之外使用。

随着Ferret 7B LLM的发布,苹果在人工智能领域迈出了大胆的一步。此次发布展示了该公司的技术实力及其对创建强大、用户友好的人工智能的承诺。这一开发旨在增强设备功能并丰富用户交互。随着苹果继续投资人工智能,我们预计会看到更多创新,这些创新将显着影响我们与技术的互动方式。

来源:极客小工具

[xyz-ihs snippet=”MoreTechNews”] [xyz-ihs snippet=”multiple-ads”]

 685 views