AI半導体スタートアップを分類する: d-Matrix・TetraMem・MangoBoostとGPU後の設計競争

2026年9月25日追記・先に結論：MangoBoostの現行BoostXはFPGA基盤のDPUカードで、RoCE AIはGPU間RDMA、NRTはNVMe/RDMA targetを担当する。CPUオフロードをGPUジョブの高速化と同一視せず、経路ごとに測る必要がある。製品仕様・SDKと理論転送下限の検証で条件を整理した。

AI半導体を調べていると、会社ごとに「GPUの代替」「メモリボトルネックの解消」「データセンターの効率化」と異なる言葉が出てきます。けれども、これらを同じ性能表に並べると、何を置き換えようとしている会社なのかが見えなくなります。

私はEEPROMの車載プロセス開発と量産立ち上げを経験した後、CVCでスタートアップの技術分類を投資判断に使ってきました。AIチップでも、最初に見るべきなのはTOPSの数字ではなく、どのデータ移動を消し、どの処理を専用化し、どのソフトウェアを利用者に要求するかだと思っています。本稿では、d-Matrix、TetraMem、MangoBoostを中心に、競合・隣接企業を同じ地図に置きます。

※本稿は各社の公開情報（発表資料・製品ページ・論文・報道）をもとにした、外部からの個人的な見立てです。

バージョン注記: 企業の製品・出荷状況は2026年7月25日時点で、各社の公式サイト、製品ページ、公式発表を中心に確認しています。性能値は各社の測定条件や主張であり、異なる製品間の直接比較を意味しません。

TL;DR: この記事でわかること

この分類で重要なのは、同じ「AIチップ」でも、MangoBoostは計算そのものよりデータセンター内の経路を、TetraMemは演算と記憶の物理的な距離を、Groqは実行順序とコンパイラを設計している点です。

1. まず「GPUの代替」を分解する

最初に整理したいのは、GPUが一つの問題を解いているわけではないことです。

学習では大規模な行列演算、通信、チェックポイント、再計算が同時に発生します。推論では、モデルの重みを何度も読み、KV cacheを維持し、ユーザーごとの小さなリクエストを低レイテンシで処理します。エッジでは、そもそも冷却・電源・通信帯域が限られています。

そのため、DPU、TPU、NPU、GPUという名称は、性能の上下関係ではなく、どの層を専用化したかを表すラベルとして読むのが安全です。TPUはGoogleのTensor Processing Unitという固有の製品系列に由来する一方、NPUやAIPUは各社がニューラルネットワーク向けプロセッサに使う一般的な呼び方です。

GPUのメモリ帯域だけを増やしても、ネットワークが詰まればGPUは待ちます。逆に、データ移動を減らしても、モデルの演算が専用回路にうまく写らなければ利用率は上がりません。私には、AI半導体競争は「GPUを一枚置き換える競争」より、AIシステムの待ち時間をどこで発生させないかの競争に見えます。

実際の導入前には、ピークTOPSではなく、重みを一秒に何バイト動かすのかを概算すると、分類を間違いにくくなります。

def arithmetic_intensity(params_b, weight_bits, tokens_per_s):
    weight_bytes = params_b * 1_000_000_000 * weight_bits / 8
    moved_per_second = weight_bytes * tokens_per_s
    return moved_per_second / 1e12


def choose_architecture(workload):
    if workload in {"network", "storage", "security"}:
        return "DPU"
    if workload in {"matrix_inference", "low_power_edge"}:
        return "NPU_or_IMC"
    if workload in {"flexible_training", "mixed_models"}:
        return "GPU_or_general_accelerator"
    return "benchmark_before_buying"

このコードはハードウェア性能を予測するものではありません。モデルの重みがキャッシュに収まるのか、外部メモリから繰り返し読むのかを考えるための、最初の会話用の道具です。

2. DPU: MangoBoostとEnfabricaは「計算の外側」を取りにいく

DPU領域で印象的なのは、AIアクセラレータそのものより、GPUを遊ばせない設計へ焦点が移っていることです。

MangoBoost: DPUからフルスタックへ

MangoBoostは、ネットワーク、ストレージ、セキュリティ処理をDPUへオフロードし、GPUをAI処理に集中させる構成を掲げています。GPU-Storage-BoostやLLMBoostのようなソフトウェア・システム側の取り組み、AMD Instinct GPUを使ったMLPerfの提出も含め、単体チップではなく、AIサーバーの利用率を上げる会社として見るのが自然です。

ここでの課題は「GPUの演算が遅い」ではありません。データの読み出し、ノード間通信、ストレージI/O、CPUによる制御がGPUの仕事を待たせ、結果として高価なGPUの時間が空費されることです。MangoBoostの解決策は、DPU、RDMA、ストレージ最適化、推論ソフトをまとめて、GPUの前後の待ち時間を削ることにあります。

Enfabrica: DPUというよりAIネットワーク・メモリファブリック

EnfabricaのACF-Sは、複数GPUをつなぐSuperNICとして、800GbE、PCIe、CXLを一つの経路にまとめようとしています。EMFASYSでは、CXL接続のDDR5をネットワーク越しのメモリファブリックとして扱い、GPUサーバーのローカルメモリだけに依存しない構成を志向しています。

厳密には、EnfabricaをMangoBoostと同じDPUメーカーとして括るより、DPUの隣にあるデータ経路・メモリプール層と呼ぶ方が正確です。この差は投資の際にも重要です。MangoBoostはオフロードとシステム統合、Enfabricaは帯域・経路・メモリの抽象化が主戦場だからです。

DPU領域の将来

今後は、DPU単体の性能よりも、GPU、CPU、CXLメモリ、NVMe、Ethernetを一つのスケジューリング面で扱えるかが問われます。エージェント型ワークロードでは、短い推論が大量に連続し、長いコンテキストやツール実行でデータの出入りも増えます。MangoBoostがDPUからシステム、データセンターへ広げようとしているのは、この変化に対する自然な拡張に見えます。

一方、DPUの価値は利用率や総保有コストに現れやすく、単純なチップベンチマークでは伝わりにくい。顧客の既存ネットワークやストレージを置き換えずに導入できるかが、技術以上に重要な販売条件になります。

3. デジタル / アナログIMC: d-MatrixとTetraMemが狙うメモリの壁

私が最も面白いと思うのは、d-MatrixとTetraMemが同じ「インメモリコンピューティング」を掲げながら、精度と量産に対する答えがかなり違うことです。

d-Matrix: デジタルIMCをデータセンター推論へ

d-MatrixのCorsairは、SRAMベースのデジタル・インメモリ・コンピュートをチップレットに組み込み、生成AI推論のレイテンシと電力を下げる設計です。2026年6月の公式発表では、Corsairがフルプロダクションに入り、優先顧客への量産出荷を始める段階に入ったとしています。JetStreamのネットワークアクセラレータ、Aviatorソフトウェア、ラック構成まで含む点も重要です。

従来のGPUでは、重みをメモリから演算器へ運び、演算結果を戻すデータ移動が大きなコストになります。d-Matrixは、デジタル演算の精度とソフトウェア上の扱いやすさを保ちながら、重みの近くでMACを行う方向を選びました。アナログIMCほどADC/DACの誤差を直接受けない一方、SRAM面積と容量、チップレット間の通信設計が制約になります。

TetraMem: ReRAMとアナログ演算をエッジから拡張

TetraMemは、RRAMベースのアナログ・インメモリ・コンピューティングを中核にしています。公式の技術ロードマップでは、2025年にMLX200 SDKとアナログIMC SoCの量産サンプル、2026年以降にMLX200の量産出荷と12nm、5nm、3nmへの拡張を掲げています。

アナログIMCの魅力は、メモリセルの物理状態を利用してベクトル行列演算を行い、データ移動と乗算を同時に圧縮できることです。特に常時稼働のセンサー、音声、産業機器では、クラウドGPUとTOPSを競う必要がありません。問題は、デバイスばらつき、ADC/DAC、書き込み耐久性、量子化、モデル更新です。私がプロセス開発で何度も見たように、回路図で美しい構造が量産歩留まりで同じ美しさを保つとは限りません。

EnCharge AIとMythic: 競合から見るIMCの分岐

EnCharge AIは、電荷領域のアナログIMCを使い、チップレット、ASIC、PCIeカードへ展開するエッジからクラウドの構成を示しています。Mythicはフラッシュにモデルパラメータを保持するアナログ行列プロセッサで、早くからエッジAIの低電力化に取り組んできた企業です。

この4社を一列に並べるのは危険です。d-Matrixはデータセンター推論、TetraMemとMythicは電力制約の強いエッジ、EnCharge AIはエッジからクラウドまでのスケールを狙っています。同じIMCでも、売る場所、精度の目標、メモリデバイス、ソフトウェアの責任範囲が異なります。

IMCの将来

IMCがGPUを全面的に置き換えるというより、推論スタックの中で、重みの再利用が大きく、演算パターンが安定した層から採用されると私は考えています。デジタルIMCはデータセンターの量産とソフトウェア互換性、アナログIMCはTOPS/Wと常時稼働の価値で勝負するでしょう。

4. GPU代替: Groq・Cerebras・Tenstorrentは専用化の度合いが違う

GPUの強さは、性能だけでなく、CUDA、ライブラリ、開発者、モデル対応の蓄積です。したがって競合スタートアップは、GPUと同じ汎用性を再現するのではなく、別の制約を受け入れて差を作っています。

GroqのLPUは、オンチップSRAMを重みの主要な格納場所に使い、専用コンパイラが実行を静的にスケジュールする設計です。レイテンシが予測しやすい反面、モデル演算子や形状が想定から外れたときに、GPUのように簡単には逃げられません。

Cerebrasは、ウェハーサイズのWSE-3と巨大なオンチップメモリ・帯域を正面に出します。欠陥を冗長コアと経路で回避するという製造思想は、普通のGPUチップを大きくする発想とは違います。TenstorrentはRISC-VとTensixコア、TT-Metaliumや推論ツールチェーンを通じて、ハードウェアの内部を開発者に近づけています。

ここでの業界課題は、ピーク性能の差ではなく、ソフトウェアの移植コストを誰が負担するかです。スタートアップが「GPUより速い」と言っても、実際の顧客が必要とするモデル、量子化、通信、監視、障害復旧まで動かなければ、ラックには入りません。私の仮説では、GPU代替の勝者は単一チップの最高値ではなく、モデル更新のたびにコンパイラとランタイムが追随できる会社です。

5. エッジNPU / AIPU: Axelera AIとHailoは別の経済圏で戦う

エッジAIでは、データセンターの「一秒あたり何トークン」だけを見ても意味がありません。

Axelera AIのMetis AIPUは、公式仕様で214 TOPSを4〜8Wの電力枠に収める製品として紹介されています。Europaは629 TOPSで、同じVoyager SDKを使いながら、重いエッジやエンタープライズ寄りへ拡張しています。Hailo-10Hは、2025年7月に一般提供が発表され、2.5W級でLLMやVLMを端末上で動かす方向を打ち出しました。

この領域の課題は、クラウドへ画像や音声を送り続けるコスト、通信断、個人情報、熱設計です。解決策は、推論をローカルに置き、必要なデータだけを上位システムへ送ること。製造ライン、車載、監視カメラ、ロボットでは、精度が数ポイント高いGPUより、常時稼働できるNPUの方が製品価値に直結する場合があります。

Axelera AIは、Visionから言語モデルまで同じSDKでスケールさせようとしています。Hailoは既存のビジョンAIの開発者基盤に生成AIを足すことで、採用の摩擦を下げています。どちらも「最強のチップ」ではなく、「既存製品に組み込めるチップ」を目指しているように見えます。

将来は、エッジNPUが小さくなり続けるだけではありません。センサー前処理、NPU、ローカルメモリ、セキュリティ、無線を一つのSoCにまとめ、クラウド側のDPUやGPUとモデル状態を協調させる方向へ進みます。エッジとデータセンターを別々の半導体市場として見ると、この接続を見落とします。

6. 共通の将来方向: チップ単体から異種コンピューティングへ

各社の製品を並べてみると、将来のAIサーバーは「GPUか、別のチップか」という二択ではなくなりそうです。

ここから三つの方向が見えます。

第一に、メモリ階層の再設計です。d-MatrixやTetraMemのIMC、EnCharge AIのアナログ演算、EnfabricaのCXLメモリファブリックは方法こそ違いますが、「演算器からメモリまでの距離」を問題にしています。

第二に、DPUとアクセラレータの一体化です。DPUがデータを運び、GPUやLPUが計算するだけでなく、KV cache、ストレージ、暗号化、ネットワークスケジューリングまでが一つの推論パイプラインになります。

第三に、ソフトウェアのポータビリティです。専用チップが広がるほど、PyTorch、ONNX、vLLM、独自コンパイラ、量子化ツールをどうつなぐかが重要になります。ハードウェアの差別化が大きいほど、SDKの良し悪しがボトルネックになるという逆説があります。

私が投資案件で技術シナジーマップを作るときは、会社を「チップ種別」だけで箱に入れません。顧客の既存ラックへ何日で入るのか、誰のソフトウェアを再利用できるのか、失敗時にどの層へ切り戻せるのかまで書きます。AI半導体では、この運用上の可逆性が技術優位性と同じくらい大切です。

7. 落とし穴: TOPS比較と「GPUの何倍」を信じすぎない

AIチップの記事で最も危険なのは、異なるワークロードの数字を同じものとして読むことです。

• TOPSは実効スループットではない: 精度、バッチサイズ、シーケンス長、 sparsity、メモリ転送を揃えないと比較できません。
• 推論と学習を混ぜない: d-MatrixやGroqは低レイテンシ推論の色が強く、CerebrasやGPUは学習も含めた構成を取りやすい。用途が違えば勝者も変わります。
• SDKの成熟度を確認する: 対応演算子、量子化、vLLMやONNXの統合、デバッグ手段、プロファイラを確認します。
• 量産ステータスを分ける: テープアウト、サンプル、評価キット、量産出荷、顧客ラック稼働は別の段階です。
• TCOをラックで見る: チップ価格だけでなく、メモリ、NIC、電源、冷却、サーバー構成、運用人員、クラウドの従量費を含めます。
• 競合の定義を狭くしない: TetraMemの競合は別のアナログIMCだけではなく、低電力NPU、量子化、モデルの小型化そのものでもあります。

特にスタートアップの公式性能値は、最良条件の結果として読むのが基本です。私は投資委員会で、目立つ数字を見つけたら「その数字が崩れる条件」を先に探します。チップでは、その作業が少し厳しすぎるくらいでちょうどよいと思います。

8. まとめ: 勝者を選ぶより、ボトルネックを選ぶ

d-Matrix、TetraMem、MangoBoostは、同じAI半導体スタートアップという箱に入りながら、解いている問題が違います。d-Matrixはデータセンター推論のメモリ移動、TetraMemはエッジからクラウドまでのアナログIMC、MangoBoostはGPU前後のデータ経路とシステム利用率です。

競合を含めると、次のように整理できます。

1. GPU代替は、計算コアの性能より、専用化を受け入れられるワークロードとソフトウェアの対応力で決まる。
2. IMCは、データ移動を削る代わりに、精度・容量・製造ばらつき・モデル更新の難しさを引き受ける。
3. DPUは、AIチップではないように見えて、GPUクラスタの実効性能とTCOを左右する。
4. エッジNPUは、クラウドGPUと競争するのではなく、通信・電力・プライバシーの制約を解く。
5. 最終的な製品価値は、チップ、メモリ、ネットワーク、SDK、運用をまとめたシステムに現れる。

AI半導体への投資や事業開発で、私は「どの会社がNVIDIAを倒すか」という問いをあまり使わなくなりました。代わりに、「この顧客のどの待ち時間が、どの層の専用化で消えるのか」と聞きます。その問いに具体的なデータフローで答えられる企業が、次のコンピューティング階層を作る会社だと思っています。

次号の記事案

• 案1: AIチップを実際に比較するためのベンチマーク設計 — TOPSではなく、モデル、バッチ、シーケンス長、電力、コストを揃えた推論ベンチマークを設計する。
• 案2: CXLメモリとDPUでGPUサーバーを分解する — MangoBoostやEnfabricaの発想を、NVMe、RDMA、CXLのデータフローとして実装レベルで追う。
• 案3: アナログIMCの量産課題をTCAD・歩留まりの視点で読む — ADC/DAC、RRAMばらつき、書き込み耐久性が、製品化のどこで効くのかを検証する。

関連記事

• メモリとアクセラレータの距離を縮める実装基板技術:Elephantech・Absolics・Eliyanに見る次の開発方向性 — 本稿の「一つ外側」、チップ間の実装基板・パッケージングを扱った続編。
• NVIDIA × Groqの取引は何を変えたのか — AIインフラの資本・エコシステム構造を読む記事。
• 半導体スタートアップVCシリーズ1 — 半導体VC投資のテーマと評価軸を整理した記事。
• 半導体スタートアップVCシリーズ2 — 半導体領域の技術・市場・出口を比較した続編。

参考資料

主要な技術・製品情報は、以下の公式資料を中心に確認しました。

• d-Matrix: Corsair AI Inference Platform Enters Full Production
• TetraMem: About and Product Roadmap
• MangoBoost: About, DPU, and AI Infrastructure
• Enfabrica: ACF-S SuperNIC and EMFASYS
• Groq: LPU Architecture
• Axelera AI: AIPU Product Portfolio

この記事は情報提供を目的としたものであり、特定の銘柄・企業・製品・サービスの購入や投資を推奨するものではありません。性能値は各社の公表資料に基づくもので、異なる条件の製品間での比較や将来の成果を保証するものではありません。記事の調査、翻訳、校正の一部には生成AIを利用し、最終的な構成と確認はZYL0が行いました。詳細は免責事項をご覧ください。

Mapping AI Semiconductor Startups: d-Matrix, TetraMem, MangoBoost, and the Post-GPU Design Race

September 25, 2026 update—short answer: MangoBoost's current BoostX line is FPGA-based DPU card hardware. RoCE AI addresses GPU-to-GPU RDMA; NRT is an NVMe/RDMA target. CPU offload should be measured by path before it is credited as a faster GPU job. The product-and-SDK examination with a transfer-floor calculation spells out those limits.

When I research AI semiconductors, one company says it is replacing GPUs, another says it removes the memory bottleneck, and a third says it makes the data center more efficient. Put all of them on one performance chart and the distinction disappears.

I worked on automotive EEPROM process development and volume ramp before moving into CVC, where I have used technology maps to evaluate startups. For AI chips, I do not start with TOPS. I start with three questions: which data movement disappears, which operation is specialized, and what software burden is pushed onto the customer? This article places d-Matrix, TetraMem, MangoBoost, and their adjacent competitors on one map.

Note: this piece is an outside-in read based solely on public information — company releases, product pages, papers, and press coverage.

Version note: Product and shipment status was checked as of July 25, 2026, using company websites, product pages, and official announcements as the primary sources. Performance figures are vendor-reported under stated conditions and should not be read as direct comparisons across products.

TL;DR: What This Article Covers

The key distinction is architectural. MangoBoost focuses on the path around computation; TetraMem focuses on the physical distance between storage and arithmetic; Groq focuses on execution order and compiler control. They are all “AI chip” companies, but they are not solving the same layer.

1. First, Split the Phrase “GPU Replacement”

The first thing to remember is that a GPU is not solving one problem.

Training combines large matrix operations, collective communication, checkpointing, and recomputation. Inference repeatedly reads model weights, maintains KV cache, and serves small requests with low latency. At the edge, cooling, power, and connectivity are constrained from the start.

That is why DPU, TPU, NPU, and GPU should be read as labels for which layer has been specialized, not as a simple ranking. TPU originated as Google’s Tensor Processing Unit product family, while NPU and AIPU are broader labels used by many companies for neural-network processors.

More GPU memory bandwidth does not help if the network is congested. Less data movement does not help if the model cannot map cleanly onto the specialized engine. To me, the AI semiconductor race increasingly looks less like “replace one GPU” and more like eliminate the place where the AI system waits.

Before deployment, I often estimate how many bytes of weights have to move per second instead of looking only at peak TOPS. It is a simple way to avoid classifying the bottleneck incorrectly.

def arithmetic_intensity(params_b, weight_bits, tokens_per_s):
    weight_bytes = params_b * 1_000_000_000 * weight_bits / 8
    moved_per_second = weight_bytes * tokens_per_s
    return moved_per_second / 1e12


def choose_architecture(workload):
    if workload in {"network", "storage", "security"}:
        return "DPU"
    if workload in {"matrix_inference", "low_power_edge"}:
        return "NPU_or_IMC"
    if workload in {"flexible_training", "mixed_models"}:
        return "GPU_or_general_accelerator"
    return "benchmark_before_buying"

This does not predict hardware performance. It is a conversation starter for asking whether weights fit in a cache or must be repeatedly fetched from external memory.

2. DPUs: MangoBoost and Enfabrica Attack the Layer Outside the Compute Core

What stands out in the DPU category is the shift from making the accelerator itself faster to keeping expensive GPUs busy.

MangoBoost: From DPU to a Full Stack

MangoBoost positions its DPU as an offload engine for networking, storage, and security, allowing GPUs to focus on AI computation. Its GPU-Storage-Boost and LLMBoost efforts, together with MLPerf submissions using AMD Instinct GPUs, make it more useful to view MangoBoost as an AI server utilization company rather than as a standalone chip vendor.

The pain point is not necessarily slow GPU arithmetic. Data reads, inter-node communication, storage I/O, and CPU control can all make a GPU wait. MangoBoost’s answer is to combine DPU, RDMA, storage optimization, and inference software to remove waiting around the GPU.

Enfabrica: More AI Fabric Than Conventional DPU

Enfabrica’s ACF-S is positioned as a SuperNIC for multi-GPU systems, combining 800GbE, PCIe, and CXL into a more integrated path. Its EMFASYS concept treats CXL-attached DDR5 as a networked memory fabric, reducing dependence on the local memory of individual GPU servers.

Strictly speaking, it is more accurate to call Enfabrica the data-path and memory-pooling layer next to the DPU than to place it in exactly the same box as MangoBoost. That distinction matters when comparing them: MangoBoost emphasizes offload and system integration, while Enfabrica emphasizes bandwidth, routing, and memory abstraction.

Where DPUs Go Next

The next question will be whether a DPU can expose one scheduling surface across GPUs, CPUs, CXL memory, NVMe, and Ethernet. Agentic workloads generate many short inferences, long contexts, and tool calls, which increases data movement. MangoBoost’s move from DPU to system and data-center infrastructure looks like a natural response to that change.

The commercial challenge is that DPU value appears in utilization and total cost of ownership, not in a simple chip benchmark. Integration with a customer’s existing network and storage may matter more than an extra percentage point of silicon performance.

3. Digital and Analog IMC: d-Matrix and TetraMem Target the Memory Wall

The most interesting contrast for me is that d-Matrix and TetraMem both use the phrase “in-memory computing,” yet they make very different bets on precision and manufacturing.

d-Matrix: Digital IMC for Data-Center Inference

d-Matrix’s Corsair integrates digital in-memory compute based on SRAM into chiplets, targeting lower latency and power for generative-AI inference. In its June 2026 announcement, d-Matrix said Corsair had entered full production and was beginning volume shipments to priority customers. The inclusion of JetStream networking, Aviator software, and rack-scale configurations is just as important as the compute architecture.

In a conventional GPU, weights move from memory to arithmetic units and results move back. d-Matrix keeps digital arithmetic and a more familiar software model while placing compute closer to the weights. Compared with analog IMC, this can reduce direct exposure to ADC/DAC errors, but SRAM area, capacity, and chiplet communication become central constraints.

TetraMem: ReRAM and Analog Compute from Edge to Cloud

TetraMem centers its architecture on ReRAM-based analog in-memory computing. Its public roadmap describes the MLX200 SDK and analog IMC SoC production samples in 2025, followed by MLX200 production shipments and expansion toward 12nm, 5nm, and 3nm in 2026 and beyond.

The appeal of analog IMC is physical: the memory cell’s state participates in vector-matrix multiplication, compressing data movement and multiplication at the same time. For always-on sensors, audio, and industrial equipment, it does not need to beat a cloud GPU on TOPS. The hard parts are device variation, ADC/DAC overhead, endurance, quantization, and model updates. From process development, I know that a clean circuit concept does not automatically remain clean at production yield.

EnCharge AI and Mythic: The Branches Around IMC

EnCharge AI describes charge-domain analog IMC that can be delivered as chiplets, ASICs, or PCIe cards across edge-to-cloud systems. Mythic has focused on analog matrix processing with model parameters stored in flash, targeting low-power edge AI.

Putting all four companies in one row would be misleading. d-Matrix is primarily a data-center inference story; TetraMem and Mythic lean toward power-constrained edge systems; EnCharge AI describes a path from edge to cloud. Their memory devices, precision targets, software responsibilities, and customers differ even when the acronym is the same.

The Future of IMC

I do not expect IMC to replace GPUs wholesale. I expect it to enter layers where weight reuse is high and the compute pattern is stable. Digital IMC will compete on data-center manufacturing and software compatibility; analog IMC will compete on TOPS/W and always-on operation.

4. GPU Alternatives: Groq, Cerebras, and Tenstorrent Accept Different Constraints

The GPU’s moat is not just performance. It is CUDA, libraries, developers, and model support. Startups therefore create differentiation by accepting constraints that a GPU cannot easily accept.

Groq’s LPU uses on-chip SRAM as primary weight storage and relies on a purpose-built compiler for static execution scheduling. That can make latency predictable, but it also means the system has less room to absorb operators and shapes outside its intended path.

Cerebras puts wafer-scale WSE-3 and massive on-chip memory and bandwidth at the center. Its manufacturing approach is different from simply making a conventional GPU larger: redundant cores and routing are used to route around defects. Tenstorrent brings RISC-V control processors, Tensix cores, and a developer-facing software stack closer to the hardware.

The industry problem here is who pays the cost of software migration. A startup can be faster than a GPU in a selected workload and still fail to enter a rack if the customer’s models, quantization, communication, monitoring, and failure recovery do not work. My hypothesis is that the winner will not be the chip with the highest isolated number, but the company whose compiler and runtime keep pace with model change.

5. Edge NPUs and AIPUs: Axelera AI and Hailo Operate in a Different Economy

At the edge, “tokens per second” alone is not a useful decision metric.

Axelera AI’s Metis AIPU is presented in the company’s specifications as delivering 214 TOPS in a 4–8W power envelope. Europa extends the portfolio to 629 TOPS for heavier edge and enterprise use while keeping the Voyager SDK across the range. Hailo announced general availability of Hailo-10H in July 2025, targeting on-device LLM and VLM workloads at around a 2.5W typical power level.

The pain points are cloud bandwidth, connectivity failures, personal data, and thermal design. The answer is to keep inference local and send only the necessary information upstream. In a factory, vehicle, camera, or robot, an always-on NPU can create more product value than a GPU with a few extra points of accuracy.

Axelera AI is trying to scale one SDK from vision to language models. Hailo extends an established vision-AI developer base toward generative AI. Both are selling an accelerator that can be integrated into an existing product, not simply the strongest chip in a laboratory.

The future is not only smaller NPUs. Sensors, preprocessing, NPU, local memory, security, and wireless connectivity will increasingly be combined into one SoC, coordinated with DPU and GPU resources in the cloud. Treating edge and data-center semiconductors as separate markets can hide this connection.

6. Common Direction: From Chips to Heterogeneous Computing

Once these companies are placed on one map, the future AI server looks less like “GPU or another chip” and more like a stack of specialized layers.

Three directions follow.

First, memory hierarchy will be redesigned. d-Matrix and TetraMem’s IMC, EnCharge AI’s analog compute, and Enfabrica’s CXL memory fabric use different mechanisms, but all address the distance between arithmetic and storage.

Second, DPUs and accelerators will become more coordinated. Instead of a DPU merely moving data and an LPU or GPU merely computing, KV cache, storage, encryption, network scheduling, and model execution will become one inference pipeline.

Third, software portability becomes more important as specialized silicon proliferates. Connecting PyTorch, ONNX, vLLM, proprietary compilers, and quantization tools is not a secondary task. The more differentiated the hardware, the more likely the SDK becomes the bottleneck.

When I build a technology synergy map for an investment case, I do not put a company in a box based only on the chip label. I also record how quickly it can enter an existing rack, which software can be reused, and where the system can fall back when the accelerator fails. In AI semiconductors, operational reversibility is almost as important as architectural differentiation.

7. Gotchas: Do Not Overread TOPS or “X Times Faster Than GPU”

The easiest way to make an AI-chip article wrong is to treat numbers from different workloads as if they were the same measurement.

• TOPS is not effective throughput: Precision, batch size, sequence length, sparsity, and memory movement must be aligned.
• Do not mix training and inference: d-Matrix and Groq lean toward low-latency inference, while Cerebras and GPUs can support broader training configurations. The winner changes with the workload.
• Check the SDK: Look for supported operators, quantization, vLLM or ONNX integration, debugging, and profiling.
• Separate manufacturing stages: Tape-out, sample, evaluation kit, production shipment, and a live customer rack are different milestones.
• Measure TCO at rack level: Include memory, NICs, power, cooling, server configuration, operations, and cloud usage—not just chip price.
• Keep the competitor definition broad: TetraMem competes not only with another analog IMC startup, but also with low-power NPUs and model compression itself.

Official performance figures are usually best-case results. In investment committee, when I see a striking number, I look first for the conditions under which it disappears. For chips, that level of skepticism is usually appropriate.

8. Conclusion: Choose the Bottleneck Before Choosing the Winner

d-Matrix, TetraMem, and MangoBoost all fit the label “AI semiconductor startup,” but they solve different problems. d-Matrix targets memory movement in data-center inference, TetraMem targets analog in-memory computing from edge toward cloud, and MangoBoost targets the data path and utilization around GPUs.

Including their competitors produces five practical conclusions:

1. GPU alternatives are decided by workload fit and software follow-through, not only by compute-core performance.
2. IMC reduces data movement while accepting harder trade-offs in precision, capacity, variation, and model updates.
3. DPUs may look like they are outside AI compute, but they influence effective GPU performance and TCO.
4. Edge NPUs do not need to beat cloud GPUs; they solve communication, power, and privacy constraints.
5. Product value appears at the system level: chip, memory, network, SDK, and operations together.

I have stopped asking which startup will defeat NVIDIA. I ask instead: which wait time disappears for this customer, and which specialized layer removes it? The companies that can answer that question with a concrete data flow are the ones most likely to create the next computing layer.

Next Issue Ideas

• Idea 1: Designing a Real AI-Chip Benchmark — Build an inference benchmark that controls model, batch, sequence length, power, and cost instead of comparing TOPS alone.
• Idea 2: Decomposing a GPU Server with CXL Memory and DPUs — Follow MangoBoost and Enfabrica’s ideas through NVMe, RDMA, and CXL data paths at implementation level.
• Idea 3: Reading Analog IMC Through Process Yield — Examine where ADC/DAC design, ReRAM variation, and endurance become productization constraints.

Related Posts

• Closing the Distance Between Memory and Accelerators: What Elephantech, Absolics, and Eliyan Reveal About the Next-Generation Substrate — The follow-up, one layer out: implementation substrates and packaging between chips.
• What Did NVIDIA × Groq Change? — Capital and ecosystem mechanics in AI infrastructure.
• Semiconductor VC Series 1 — Themes and evaluation axes for semiconductor venture investment.
• Semiconductor VC Series 2 — A follow-up comparison of semiconductor technology, markets, and exits.

References

The main technical and product claims were checked against the following official sources.

• d-Matrix: Corsair AI Inference Platform Enters Full Production
• TetraMem: About and Product Roadmap
• MangoBoost: About, DPU, and AI Infrastructure
• Enfabrica: ACF-S SuperNIC and EMFASYS
• Groq: LPU Architecture
• Axelera AI: AIPU Product Portfolio

This article is for informational purposes only and does not constitute investment advice or a recommendation to buy any specific stock, company, product, or service. Performance figures are based on company-published materials and do not guarantee cross-product comparability or future results. Generative AI was used for parts of the research, translation, and proofreading, with final structure and review by ZYL0. See the disclaimer for details.