MediaTek Dimensity プラットフォームは、新しい Llama 3.2 Generative AI LLM をサポートします

本日、Meta は、AI アプリケーション用のオープンソースラージLarge Language Model (LLM) の最新世代である Llama 3.2 を発表しました。このバージョンでは、11B および 90B モデルによる高解像度画像の推論のためのマルチモーダル サポートや、モバイルやその他のエッジ デバイスを含むほぼどこでも Llama を効率的に実行できる軽量の 1B および 3B モデルのサポートなど、新機能がエコシステムに導入されます。 。

MediaTek が Llama 2 および 3 モデル用に確立したフレームワークの拡張を継続し、NPU NPU Hardware Accelerationとソフトウェア ツールの組み合わせを活用して、次期 Dimensity 9400 やその他の生成 AI を含む Dimensity プラットフォームで Llama 3.2 を正式にサポートするよう再度取り組んでいます。対応したプラットフォーム。

Llama 3.2 リリースには、さまざまなサイズと機能にわたって高度に差別化された新しいモデルがいくつか含まれており、画像入力ガードレールなどの堅牢なシステム レベルの安全サポートも含まれています。 1B、3B、および 11B モデルは、知識の検索と要約、命令のフォロー、エッジでローカルに実行されるタスクの書き換えなどのオンデバイスのユースケースをサポートします。 MediaTek がデバイス上で Llama 3.2 を実行できることは、応答時間の短縮、遅延の短縮、消費電力の削減など、開発者とユーザーに多くのメリットをもたらします。小型の Llama モデルは、メモリ使用量が少ないため、オンデバイスの生成 AI ソリューションを促進し、よりスムーズなユーザー エクスペリエンスを実現します。

開発者は、MediaTek の NeuroPilot SDK を通じて Llama 3.2 を利用できるようになります。これは、モバイル プラットフォームやエッジ AI 対応デバイスを含む、当社の多様な製品ポートフォリオ全体でオンデバイス Gen-AI 推論機能を有効にして最適化するツールキットです。