ルクセンブルク:2024年6月6日 ― AI、クラウド、ネットワーク、セキュリティのグローバルエッジソリューションプロバイダ Gcore は、本日 Gcore Inference at the Edge を発表しました*。Gcore Inference at the Edge は、AI アプリケーションの超低遅延体験を提供する画期的ソリューションです。事前学習済み ML(Machine Learning;機械学習)モデルのエッジ推論ノードへの分散デプロイを可能にし、シームレスかつリアルタイム推論の実行を実現します。 * 2024年9月1日付けで GA リリースとなりました。
Gcore Inference at the Edgeは、自動車、製造、リテール、テクノロジを含む多種多様な業界の企業組織の AI モデルのデプロイを、コスト、スケーラビリティ、セキュリティの観点で望ましいデプロイを実現します。グローバル規模の活用シーンとしては、生成 AI、オブジェクト認識、リアルタイムビヘイビア分析、ビジュアルアシスタント、プロダクションモニタリング等が挙げられます。
Gcore Inference at the Edge は、低遅延スマートルーティングテクノロジで相互接続された180超エッジノードで構成された Gcore グローバルネットワーク上で稼働します。それぞれのハイパフォーマンスノードは、サーバを戦略的にエンドユーザに近い地点に配備するGcore ネットワークのエッジに配置されています。市場をリードする AI 推論向け設計がなされている NVIDIA L40S GPU をチップとして採用、ユーザリクエスト送信がされると、エッジノードが最低遅延の最至近推論リージョンを選択し、30ms未満の平均レスポンスタイムを実現しつつルートします。
このソリューションではファンダメンタル ML およびカスタムモデルをサポートしています。Gcore ML Model Hub に含まれるオープンソースのファウンデーションモデルは、LLaMA Pro 8B、Mistral 7B、Stable-Diffusion XLです。モデルが選択可能で、また、Gcore Inference at the Edge グローバルノードへの送信前のモデル事前学習は非依存型であるため、様々な活用シーンへの展開が実現します。加え、開発チームがこれまで直面してきた課題、事前学習を実施した同一サーバ上で AI モデルが動作することに起因するパフォーマンス不足に対する解決策をもたらします。
Gcore Inference at the Edge の特長: ● コスト効率に秀でたデプロイメント:柔軟な価格体系で使用したリソース分のみの支払い ● ビルトイン DDoS プロテクション:Gcore インフラストラクチャで ML エンドポイントをDDoS 攻撃から自動プロテクト ● 傑出したデータプライバシーとセキュリティ:GDPR、PCI DSS、ISO/IEC 27001 基準に準拠したソリューション ● モデルオートスケーリング:オートスケーリングでロードスパイクを処置、ピークデマンドと予測外のサージにモデル側で常時対応可能 ● 無制限オブジェクトストレージ:モデル進化に呼応するスケーラブルな S3互換クラウドストレージ
Gcore CEO Andre Reitenbach コメント Gcore Inference at the Edge で目指すのは、顧客の方々に、AI アプリケーションのグローバルデプロイに必要なコスト、スキルやインフラストラクチャではなく、ML モデルを学習済みにするという本来の目的に注力していただくことです。Gcore では、エッジこそが、パフォーマンス体験およびエンドユーザ体験、双方の最大化が可能な領域であると考えており、これまでになかったスケールとパフォーマンスを顧客の方々に享受していただくべく、継続改革を推し進めています。Gcore Inference at the Edge は、障壁なきパワーを具現化し、先進性・効率性・有益性を伴う AI 推論体験を提供するものなのです。