生成型AI（GenAI）が業界に革命をもたらし続ける中、効率的で高性能なコンピューティングプラットフォームへの需要が高まっています。Versal AI Edge VE2302システムオンモジュール（SoM）は、エッジコンピューティング環境とデータセンターの両方で大規模言語モデル（LLM）の処理を高速化する強力なソリューションとして登場しました。AMD Versal Adaptive SoCの適応性を活用したこのSoMは、演算効率、電力最適化、AIアクセラレーションの最適なバランスを実現しており、次世代AIアプリケーションに最適な選択肢となっています。
iWaveは、RaiderChipとの協業によりAIアクセラレーションの革新を推進し、高性能なGenAI LLMアクセラレーションを共同で提供できることを大変嬉しく思います。これにより、ハードウェアとソフトウェアをシームレスに統合し、エッジデバイスにAIインテリジェンスをもたらすことができます。iWaveは、Versal FPGAシステムオンモジュールの設計と製造を専門としています。
RaiderChipsのMeta Llama 3.2 LLMは、 iW-RainboW-G57M Versal VE2302システムオンモジュール上で動作し、毎秒12トークンという驚異的な処理速度を実現し、高速かつ効率的なAIパフォーマンスを提供します。このモデルを真に汎用性の高いものにしているのは、あらゆるエッジデバイスに容易に統合できる点であり、チャットボット、予測分析、リアルタイムAIアシスタントなどのアプリケーションに最適です。
iWaveのデモで、Versal AI Edge VE2302 SoM上で動作するGenAI NPU Edge LLMを実際に体験してください。この効率的なチャットボットは、12秒あたりXNUMXトークンの応答速度で応答し、高速でリアルタイムなインタラクションを実現します。使いやすさを重視して設計されており、AI主導の会話を最小限のレイテンシでシームレスに処理します。カスタマーサポート、自動化、AI研究など、あらゆる用途において、このソリューションはオンデバイスLLMアクセラレーションの威力を発揮します。
iWave の Versal AI Edge VE2302 システムオンモジュールの GenAI NPU Edge LLM デモ
iW-RainboW-G57M Versal システムオンモジュールの主な技術的特徴:
- VE2302/VE2202/VE2102/VE2002と互換性あり
- 最大328Kのロジックセルと150KのLUT
- GTYP トランシーバー x 8 @32Gbps
- 最大8GB LPDDR4、最大128GB eMMC、256MB QSPI
- 2 x 240ピン高速コネクタ
- 接続性: PCIe Gen4、イーサネット、USB 3.0
Versal AI Edgeベースのシステムオンモジュールは、VE2302/VE2202/VE2102/VE2002といった幅広いチップシリーズに対応しています。このシステムオンモジュールには、8GBのLPDDR4 RAM、128GBのEMMC、および256MBのQSPIフラッシュが統合されています。システムオンモジュールには、2つの高速拡張コネクタと122個のユーザー設定可能なI/Oが搭載されており、ユーザーは多様なインターフェースを利用できます。
SOM は、エッジ アプリケーションで必要なすべてのプロトコルをサポートする 28.21 Gbps 高速トランシーバー ブロック、40G マルチレート イーサネット、PCIe、高度な AI アプリケーションに必須のビジョン センサー用のネイティブ MIPI サポートなど、幅広い接続オプションをサポートしています。
Versal AI EdgeがAIアプリケーションに最適な理由
- 高性能、低レイテンシ推論のための最適化された AI エンジン - ML
- ML データ型のネイティブ サポート: INT8、BFLOAT16
- 4 MBのオンチップアクセラレータRAMがメモリ階層を拡張し、AIパフォーマンスを向上
- AI、ビジョン処理、レーダー、LiDAR処理のためのAIエンジンとDSPエンジン
- あらゆるセンサー、あらゆるインターフェースを統合できるプログラム可能なI/O
- センサーフュージョンと前処理のためのプログラマブルロジック
- 組み込みコンピューティングとリアルタイム制御のための処理システム
GenAI 向け Versal AI エッジ SoM 対応ソフトウェア スタック:
- Vitis AI ツールキット: Versal AI Edge SoM 上の AI モデルを高速化するために、事前に最適化された AI ライブラリ、モデル圧縮ツール、開発環境を提供します。
- ONNX ランタイムと TensorFlow Lite: これらのフレームワークにより、Versal プラットフォーム上で AI モデルを簡単に導入できるようになります。
- Pytorch 統合: ディープラーニングおよび生成 AI アプリケーション向けの人気のフレームワーク。開発者は、強力な FPGA ベースの実行を使用して、Transformer ベースのモデルを高速化できます。
RaiderChipのエッジAIソリューションの主な利点:
- 完全なプライバシーとコントロール: 最も複雑な LLM のパワーをローカルで活用し、サードパーティの監視のクラウド サービスに依存しません。
- オフライン機能: インターネット アクセスや継続的なサブスクリプション料金を必要とせず、遠隔地でもシームレスな操作をお楽しみいただけます。
- カスタマイズ可能なモデル: Llama のような商用ライセンスおよびオープンソースの LLM から選択するか、特定のタスク向けにカスタマイズされ微調整されたモデルを展開します。
- 電力効率： NPU 搭載の推論エンジンにより、オフグリッドで機能できる生成 AI システムの導入が可能になります。
生成 AI による高度な可能性:
- スマートアシスタント: 技術サポート、医療診断、教育、顧客サービス、自動車アプリケーションなど、さまざまな分野で無数のタスクを実行できるインテリジェント アシスタントの作成。
- ユニバーサル ユーザー インターフェース: 自然言語を通じて、大型産業機械から小型家電製品に至るまでの電子デバイスとユーザー間のよりスマートなインタラクションを可能にします。
- 高度な予測ツール: 生成AIは予測能力の頂点を極め、従来の機械学習アルゴリズムよりも高い精度でパターンや傾向を特定します。セキュリティ、航空、防衛、産業、金融など、様々な分野に革新的な応用が期待されています。
iW -RainboW-G57Mは、GenAI LLMアクセラレーションを統合したVersal AI Edge System on Moduleで、エッジおよびデータセンターにおける次世代NLP、対話型AI、リアルタイムGenAIワークロードに必要な、比類のないAIパフォーマンス、低遅延、電力効率の高い処理を実現します。iWaveは、開発者がVersal AI Edge System on Moduleの潜在能力を最大限に引き出せるよう、豊富なツール、ライブラリ、ソフトウェアリソースを提供しています。
iWaveは、FPGAシステム・オン・モジュール（SOM）の設計・製造およびODM設計サービスにおけるグローバルリーダーです。FPGA分野における25年以上の多様な経験と、設計から実装までを網羅した強力な専門性を活かし、お客様のアイデアを、信頼性、コスト、性能のバランスを取りながら、迅速な製品化へと繋げます。
さらに詳しい情報をお求めですか？mktg@iwave-global.comまでご連絡ください。Versal AI Edge SoMがお客様のAIソリューションをどのように革新できるかをご説明いたします。
詳細については、www.iwave-global.comをご覧ください。
