AI半導体スタートアップを分類する: d-Matrix・TetraMem・MangoBoostとGPU後の設計競争
AI半導体を調べていると、会社ごとに「GPUの代替」「メモリボトルネックの解消」「データセンターの効率化」と異なる言葉が出てきます。けれども、これらを同じ性能表に並べると、何を置き換えようとしている会社なのかが見えなくなります。
私はEEPROMの車載プロセス開発と量産立ち上げを経験した後、CVCでスタートアップの技術分類を投資判断に使ってきました。AIチップでも、最初に見るべきなのはTOPSの数字ではなく、どのデータ移動を消し、どの処理を専用化し、どのソフトウェアを利用者に要求するかだと思っています。本稿では、d-Matrix、TetraMem、MangoBoostを中心に、競合・隣接企業を同じ地図に置きます。
バージョン注記: 企業の製品・出荷状況は2026年7月25日時点で、各社の公式サイト、製品ページ、公式発表を中心に確認しています。性能値は各社の測定条件や主張であり、異なる製品間の直接比較を意味しません。
| 分類 | 主なスタートアップ | 追っているボトルネック | 私の見立て |
|---|
| DPU / データ経路 | MangoBoost、Enfabrica | GPUへ届くネットワーク・ストレージ・メモリ | GPUを速くする「脇役」ではなく、GPUクラスタの利用率を決める基盤層 |
| デジタル / アナログIMC | d-Matrix、TetraMem、EnCharge AI、Mythic | メモリと演算器の間のデータ移動 | 推論の電力とレイテンシには強いが、精度・汎用性・量産が勝負 |
| GPU代替の専用アクセラレータ | Groq、Cerebras、Tenstorrent | GPUの汎用性が生む電力・コスト・制御オーバーヘッド | ベンチマークより、モデル更新に追随できるコンパイラが本丸 |
| エッジNPU / AIPU | Axelera AI、Hailo | クラウド接続、消費電力、プライバシー | 2.5〜8W級の現場では、データセンターGPUとの比較自体が間違い |
この分類で重要なのは、同じ「AIチップ」でも、MangoBoostは計算そのものよりデータセンター内の経路を、TetraMemは演算と記憶の物理的な距離を、Groqは実行順序とコンパイラを設計している点です。
最初に整理したいのは、GPUが一つの問題を解いているわけではないことです。
学習では大規模な行列演算、通信、チェックポイント、再計算が同時に発生します。推論では、モデルの重みを何度も読み、KV cacheを維持し、ユーザーごとの小さなリクエストを低レイテンシで処理します。エッジでは、そもそも冷却・電源・通信帯域が限られています。
そのため、DPU、TPU、NPU、GPUという名称は、性能の上下関係ではなく、どの層を専用化したかを表すラベルとして読むのが安全です。TPUはGoogleのTensor Processing Unitという固有の製品系列に由来する一方、NPUやAIPUは各社がニューラルネットワーク向けプロセッサに使う一般的な呼び方です。
GPUのメモリ帯域だけを増やしても、ネットワークが詰まればGPUは待ちます。逆に、データ移動を減らしても、モデルの演算が専用回路にうまく写らなければ利用率は上がりません。私には、AI半導体競争は「GPUを一枚置き換える競争」より、AIシステムの待ち時間をどこで発生させないかの競争に見えます。
実際の導入前には、ピークTOPSではなく、重みを一秒に何バイト動かすのかを概算すると、分類を間違いにくくなります。
def arithmetic_intensity(params_b, weight_bits, tokens_per_s):
weight_bytes = params_b * 1_000_000_000 * weight_bits / 8
moved_per_second = weight_bytes * tokens_per_s
return moved_per_second / 1e12
def choose_architecture(workload):
if workload in {"network", "storage", "security"}:
return "DPU"
if workload in {"matrix_inference", "low_power_edge"}:
return "NPU_or_IMC"
if workload in {"flexible_training", "mixed_models"}:
return "GPU_or_general_accelerator"
return "benchmark_before_buying"
このコードはハードウェア性能を予測するものではありません。モデルの重みがキャッシュに収まるのか、外部メモリから繰り返し読むのかを考えるための、最初の会話用の道具です。
DPU領域で印象的なのは、AIアクセラレータそのものより、GPUを遊ばせない設計へ焦点が移っていることです。
MangoBoostは、ネットワーク、ストレージ、セキュリティ処理をDPUへオフロードし、GPUをAI処理に集中させる構成を掲げています。GPU-Storage-BoostやLLMBoostのようなソフトウェア・システム側の取り組み、AMD Instinct GPUを使ったMLPerfの提出も含め、単体チップではなく、AIサーバーの利用率を上げる会社として見るのが自然です。
ここでの課題は「GPUの演算が遅い」ではありません。データの読み出し、ノード間通信、ストレージI/O、CPUによる制御がGPUの仕事を待たせ、結果として高価なGPUの時間が空費されることです。MangoBoostの解決策は、DPU、RDMA、ストレージ最適化、推論ソフトをまとめて、GPUの前後の待ち時間を削ることにあります。
EnfabricaのACF-Sは、複数GPUをつなぐSuperNICとして、800GbE、PCIe、CXLを一つの経路にまとめようとしています。EMFASYSでは、CXL接続のDDR5をネットワーク越しのメモリファブリックとして扱い、GPUサーバーのローカルメモリだけに依存しない構成を志向しています。
厳密には、EnfabricaをMangoBoostと同じDPUメーカーとして括るより、DPUの隣にあるデータ経路・メモリプール層と呼ぶ方が正確です。この差は投資の際にも重要です。MangoBoostはオフロードとシステム統合、Enfabricaは帯域・経路・メモリの抽象化が主戦場だからです。
今後は、DPU単体の性能よりも、GPU、CPU、CXLメモリ、NVMe、Ethernetを一つのスケジューリング面で扱えるかが問われます。エージェント型ワークロードでは、短い推論が大量に連続し、長いコンテキストやツール実行でデータの出入りも増えます。MangoBoostがDPUからシステム、データセンターへ広げようとしているのは、この変化に対する自然な拡張に見えます。
一方、DPUの価値は利用率や総保有コストに現れやすく、単純なチップベンチマークでは伝わりにくい。顧客の既存ネットワークやストレージを置き換えずに導入できるかが、技術以上に重要な販売条件になります。
私が最も面白いと思うのは、d-MatrixとTetraMemが同じ「インメモリコンピューティング」を掲げながら、精度と量産に対する答えがかなり違うことです。
d-MatrixのCorsairは、SRAMベースのデジタル・インメモリ・コンピュートをチップレットに組み込み、生成AI推論のレイテンシと電力を下げる設計です。2026年6月の公式発表では、Corsairがフルプロダクションに入り、優先顧客への量産出荷を始める段階に入ったとしています。JetStreamのネットワークアクセラレータ、Aviatorソフトウェア、ラック構成まで含む点も重要です。
従来のGPUでは、重みをメモリから演算器へ運び、演算結果を戻すデータ移動が大きなコストになります。d-Matrixは、デジタル演算の精度とソフトウェア上の扱いやすさを保ちながら、重みの近くでMACを行う方向を選びました。アナログIMCほどADC/DACの誤差を直接受けない一方、SRAM面積と容量、チップレット間の通信設計が制約になります。
TetraMemは、RRAMベースのアナログ・インメモリ・コンピューティングを中核にしています。公式の技術ロードマップでは、2025年にMLX200 SDKとアナログIMC SoCの量産サンプル、2026年以降にMLX200の量産出荷と12nm、5nm、3nmへの拡張を掲げています。
アナログIMCの魅力は、メモリセルの物理状態を利用してベクトル行列演算を行い、データ移動と乗算を同時に圧縮できることです。特に常時稼働のセンサー、音声、産業機器では、クラウドGPUとTOPSを競う必要がありません。問題は、デバイスばらつき、ADC/DAC、書き込み耐久性、量子化、モデル更新です。私がプロセス開発で何度も見たように、回路図で美しい構造が量産歩留まりで同じ美しさを保つとは限りません。
EnCharge AIは、電荷領域のアナログIMCを使い、チップレット、ASIC、PCIeカードへ展開するエッジからクラウドの構成を示しています。Mythicはフラッシュにモデルパラメータを保持するアナログ行列プロセッサで、早くからエッジAIの低電力化に取り組んできた企業です。
この4社を一列に並べるのは危険です。d-Matrixはデータセンター推論、TetraMemとMythicは電力制約の強いエッジ、EnCharge AIはエッジからクラウドまでのスケールを狙っています。同じIMCでも、売る場所、精度の目標、メモリデバイス、ソフトウェアの責任範囲が異なります。
IMCがGPUを全面的に置き換えるというより、推論スタックの中で、重みの再利用が大きく、演算パターンが安定した層から採用されると私は考えています。デジタルIMCはデータセンターの量産とソフトウェア互換性、アナログIMCはTOPS/Wと常時稼働の価値で勝負するでしょう。
GPUの強さは、性能だけでなく、CUDA、ライブラリ、開発者、モデル対応の蓄積です。したがって競合スタートアップは、GPUと同じ汎用性を再現するのではなく、別の制約を受け入れて差を作っています。
| 企業 | 代表的な呼び方 | 専用化の軸 | 向く場面 |
|---|
| Groq | LPU | 静的スケジューリング、オンチップSRAM、コンパイラ | 低レイテンシなLLM推論 |
| Cerebras | Wafer-Scale Engine | ウェハー全体を一つの大規模プロセッサとして扱う | 大規模学習・推論、巨大なオンチップ帯域 |
| Tenstorrent | AI Graph Processor | Tensixコア、RISC-V、データフロー、開発者向けオープン性 | 学習・推論、ハードウェアを自分で掘るチーム |
GroqのLPUは、オンチップSRAMを重みの主要な格納場所に使い、専用コンパイラが実行を静的にスケジュールする設計です。レイテンシが予測しやすい反面、モデル演算子や形状が想定から外れたときに、GPUのように簡単には逃げられません。
Cerebrasは、ウェハーサイズのWSE-3と巨大なオンチップメモリ・帯域を正面に出します。欠陥を冗長コアと経路で回避するという製造思想は、普通のGPUチップを大きくする発想とは違います。TenstorrentはRISC-VとTensixコア、TT-Metaliumや推論ツールチェーンを通じて、ハードウェアの内部を開発者に近づけています。
ここでの業界課題は、ピーク性能の差ではなく、ソフトウェアの移植コストを誰が負担するかです。スタートアップが「GPUより速い」と言っても、実際の顧客が必要とするモデル、量子化、通信、監視、障害復旧まで動かなければ、ラックには入りません。私の仮説では、GPU代替の勝者は単一チップの最高値ではなく、モデル更新のたびにコンパイラとランタイムが追随できる会社です。
エッジAIでは、データセンターの「一秒あたり何トークン」だけを見ても意味がありません。
Axelera AIのMetis AIPUは、公式仕様で214 TOPSを4〜8Wの電力枠に収める製品として紹介されています。Europaは629 TOPSで、同じVoyager SDKを使いながら、重いエッジやエンタープライズ寄りへ拡張しています。Hailo-10Hは、2025年7月に一般提供が発表され、2.5W級でLLMやVLMを端末上で動かす方向を打ち出しました。
この領域の課題は、クラウドへ画像や音声を送り続けるコスト、通信断、個人情報、熱設計です。解決策は、推論をローカルに置き、必要なデータだけを上位システムへ送ること。製造ライン、車載、監視カメラ、ロボットでは、精度が数ポイント高いGPUより、常時稼働できるNPUの方が製品価値に直結する場合があります。
Axelera AIは、Visionから言語モデルまで同じSDKでスケールさせようとしています。Hailoは既存のビジョンAIの開発者基盤に生成AIを足すことで、採用の摩擦を下げています。どちらも「最強のチップ」ではなく、「既存製品に組み込めるチップ」を目指しているように見えます。
将来は、エッジNPUが小さくなり続けるだけではありません。センサー前処理、NPU、ローカルメモリ、セキュリティ、無線を一つのSoCにまとめ、クラウド側のDPUやGPUとモデル状態を協調させる方向へ進みます。エッジとデータセンターを別々の半導体市場として見ると、この接続を見落とします。
各社の製品を並べてみると、将来のAIサーバーは「GPUか、別のチップか」という二択ではなくなりそうです。
| 層 | 役割 | 代表的な設計テーマ |
|---|
| モデル計算 | 行列演算、注意機構、畳み込み | GPU、LPU、AIPU、IMC |
| 重み・キャッシュ | 容量、帯域、再利用 | SRAM、HBM、LPDDR、ReRAM、CXLメモリ |
| データ経路 | ネットワーク、ストレージ、RDMA | DPU、SuperNIC、メモリファブリック |
| ソフトウェア | コンパイル、量子化、配置、監視 | SDK、ランタイム、モデル最適化、オーケストレーション |
ここから三つの方向が見えます。
第一に、メモリ階層の再設計です。d-MatrixやTetraMemのIMC、EnCharge AIのアナログ演算、EnfabricaのCXLメモリファブリックは方法こそ違いますが、「演算器からメモリまでの距離」を問題にしています。
第二に、DPUとアクセラレータの一体化です。DPUがデータを運び、GPUやLPUが計算するだけでなく、KV cache、ストレージ、暗号化、ネットワークスケジューリングまでが一つの推論パイプラインになります。
第三に、ソフトウェアのポータビリティです。専用チップが広がるほど、PyTorch、ONNX、vLLM、独自コンパイラ、量子化ツールをどうつなぐかが重要になります。ハードウェアの差別化が大きいほど、SDKの良し悪しがボトルネックになるという逆説があります。
私が投資案件で技術シナジーマップを作るときは、会社を「チップ種別」だけで箱に入れません。顧客の既存ラックへ何日で入るのか、誰のソフトウェアを再利用できるのか、失敗時にどの層へ切り戻せるのかまで書きます。AI半導体では、この運用上の可逆性が技術優位性と同じくらい大切です。
AIチップの記事で最も危険なのは、異なるワークロードの数字を同じものとして読むことです。
- TOPSは実効スループットではない: 精度、バッチサイズ、シーケンス長、 sparsity、メモリ転送を揃えないと比較できません。
- 推論と学習を混ぜない: d-MatrixやGroqは低レイテンシ推論の色が強く、CerebrasやGPUは学習も含めた構成を取りやすい。用途が違えば勝者も変わります。
- SDKの成熟度を確認する: 対応演算子、量子化、vLLMやONNXの統合、デバッグ手段、プロファイラを確認します。
- 量産ステータスを分ける: テープアウト、サンプル、評価キット、量産出荷、顧客ラック稼働は別の段階です。
- TCOをラックで見る: チップ価格だけでなく、メモリ、NIC、電源、冷却、サーバー構成、運用人員、クラウドの従量費を含めます。
- 競合の定義を狭くしない: TetraMemの競合は別のアナログIMCだけではなく、低電力NPU、量子化、モデルの小型化そのものでもあります。
特にスタートアップの公式性能値は、最良条件の結果として読むのが基本です。私は投資委員会で、目立つ数字を見つけたら「その数字が崩れる条件」を先に探します。チップでは、その作業が少し厳しすぎるくらいでちょうどよいと思います。
d-Matrix、TetraMem、MangoBoostは、同じAI半導体スタートアップという箱に入りながら、解いている問題が違います。d-Matrixはデータセンター推論のメモリ移動、TetraMemはエッジからクラウドまでのアナログIMC、MangoBoostはGPU前後のデータ経路とシステム利用率です。
競合を含めると、次のように整理できます。
- GPU代替は、計算コアの性能より、専用化を受け入れられるワークロードとソフトウェアの対応力で決まる。
- IMCは、データ移動を削る代わりに、精度・容量・製造ばらつき・モデル更新の難しさを引き受ける。
- DPUは、AIチップではないように見えて、GPUクラスタの実効性能とTCOを左右する。
- エッジNPUは、クラウドGPUと競争するのではなく、通信・電力・プライバシーの制約を解く。
- 最終的な製品価値は、チップ、メモリ、ネットワーク、SDK、運用をまとめたシステムに現れる。
AI半導体への投資や事業開発で、私は「どの会社がNVIDIAを倒すか」という問いをあまり使わなくなりました。代わりに、「この顧客のどの待ち時間が、どの層の専用化で消えるのか」と聞きます。その問いに具体的なデータフローで答えられる企業が、次のコンピューティング階層を作る会社だと思っています。
次号の記事案
- 案1: AIチップを実際に比較するためのベンチマーク設計 — TOPSではなく、モデル、バッチ、シーケンス長、電力、コストを揃えた推論ベンチマークを設計する。
- 案2: CXLメモリとDPUでGPUサーバーを分解する — MangoBoostやEnfabricaの発想を、NVMe、RDMA、CXLのデータフローとして実装レベルで追う。
- 案3: アナログIMCの量産課題をTCAD・歩留まりの視点で読む — ADC/DAC、RRAMばらつき、書き込み耐久性が、製品化のどこで効くのかを検証する。
主要な技術・製品情報は、以下の公式資料を中心に確認しました。
この記事は情報提供を目的としたものであり、特定の銘柄・企業・製品・サービスの購入や投資を推奨するものではありません。性能値は各社の公表資料に基づくもので、異なる条件の製品間での比較や将来の成果を保証するものではありません。記事の調査、翻訳、校正の一部には生成AIを利用し、最終的な構成と確認はZYL0が行いました。詳細は免責事項をご覧ください。
Mapping AI Semiconductor Startups: d-Matrix, TetraMem, MangoBoost, and the Post-GPU Design Race
When I research AI semiconductors, one company says it is replacing GPUs, another says it removes the memory bottleneck, and a third says it makes the data center more efficient. Put all of them on one performance chart and the distinction disappears.
I worked on automotive EEPROM process development and volume ramp before moving into CVC, where I have used technology maps to evaluate startups. For AI chips, I do not start with TOPS. I start with three questions: which data movement disappears, which operation is specialized, and what software burden is pushed onto the customer? This article places d-Matrix, TetraMem, MangoBoost, and their adjacent competitors on one map.
Version note: Product and shipment status was checked as of July 25, 2026, using company websites, product pages, and official announcements as the primary sources. Performance figures are vendor-reported under stated conditions and should not be read as direct comparisons across products.
| Category | Startups | Bottleneck being attacked | My reading |
|---|
| DPU / data path | MangoBoost, Enfabrica | Network, storage, and memory traffic around GPUs | Not a sidekick to the GPU; a foundation layer that determines cluster utilization |
| Digital / analog IMC | d-Matrix, TetraMem, EnCharge AI, Mythic | Data movement between memory and compute | Strong for inference power and latency, but precision, flexibility, and manufacturing decide the outcome |
| GPU-replacement accelerators | Groq, Cerebras, Tenstorrent | The power, cost, and control overhead created by GPU generality | The compiler that keeps up with model changes matters more than a peak benchmark |
| Edge NPU / AIPU | Axelera AI, Hailo | Cloud dependency, power, and privacy | At 2.5–8W, comparing against a data-center GPU is often the wrong question |
The key distinction is architectural. MangoBoost focuses on the path around computation; TetraMem focuses on the physical distance between storage and arithmetic; Groq focuses on execution order and compiler control. They are all “AI chip” companies, but they are not solving the same layer.
The first thing to remember is that a GPU is not solving one problem.
Training combines large matrix operations, collective communication, checkpointing, and recomputation. Inference repeatedly reads model weights, maintains KV cache, and serves small requests with low latency. At the edge, cooling, power, and connectivity are constrained from the start.
That is why DPU, TPU, NPU, and GPU should be read as labels for which layer has been specialized, not as a simple ranking. TPU originated as Google’s Tensor Processing Unit product family, while NPU and AIPU are broader labels used by many companies for neural-network processors.
More GPU memory bandwidth does not help if the network is congested. Less data movement does not help if the model cannot map cleanly onto the specialized engine. To me, the AI semiconductor race increasingly looks less like “replace one GPU” and more like eliminate the place where the AI system waits.
Before deployment, I often estimate how many bytes of weights have to move per second instead of looking only at peak TOPS. It is a simple way to avoid classifying the bottleneck incorrectly.
def arithmetic_intensity(params_b, weight_bits, tokens_per_s):
weight_bytes = params_b * 1_000_000_000 * weight_bits / 8
moved_per_second = weight_bytes * tokens_per_s
return moved_per_second / 1e12
def choose_architecture(workload):
if workload in {"network", "storage", "security"}:
return "DPU"
if workload in {"matrix_inference", "low_power_edge"}:
return "NPU_or_IMC"
if workload in {"flexible_training", "mixed_models"}:
return "GPU_or_general_accelerator"
return "benchmark_before_buying"
This does not predict hardware performance. It is a conversation starter for asking whether weights fit in a cache or must be repeatedly fetched from external memory.
What stands out in the DPU category is the shift from making the accelerator itself faster to keeping expensive GPUs busy.
MangoBoost positions its DPU as an offload engine for networking, storage, and security, allowing GPUs to focus on AI computation. Its GPU-Storage-Boost and LLMBoost efforts, together with MLPerf submissions using AMD Instinct GPUs, make it more useful to view MangoBoost as an AI server utilization company rather than as a standalone chip vendor.
The pain point is not necessarily slow GPU arithmetic. Data reads, inter-node communication, storage I/O, and CPU control can all make a GPU wait. MangoBoost’s answer is to combine DPU, RDMA, storage optimization, and inference software to remove waiting around the GPU.
Enfabrica’s ACF-S is positioned as a SuperNIC for multi-GPU systems, combining 800GbE, PCIe, and CXL into a more integrated path. Its EMFASYS concept treats CXL-attached DDR5 as a networked memory fabric, reducing dependence on the local memory of individual GPU servers.
Strictly speaking, it is more accurate to call Enfabrica the data-path and memory-pooling layer next to the DPU than to place it in exactly the same box as MangoBoost. That distinction matters for diligence: MangoBoost emphasizes offload and system integration, while Enfabrica emphasizes bandwidth, routing, and memory abstraction.
The next question will be whether a DPU can expose one scheduling surface across GPUs, CPUs, CXL memory, NVMe, and Ethernet. Agentic workloads generate many short inferences, long contexts, and tool calls, which increases data movement. MangoBoost’s move from DPU to system and data-center infrastructure looks like a natural response to that change.
The commercial challenge is that DPU value appears in utilization and total cost of ownership, not in a simple chip benchmark. Integration with a customer’s existing network and storage may matter more than an extra percentage point of silicon performance.
The most interesting contrast for me is that d-Matrix and TetraMem both use the phrase “in-memory computing,” yet they make very different bets on precision and manufacturing.
d-Matrix’s Corsair integrates digital in-memory compute based on SRAM into chiplets, targeting lower latency and power for generative-AI inference. In its June 2026 announcement, d-Matrix said Corsair had entered full production and was beginning volume shipments to priority customers. The inclusion of JetStream networking, Aviator software, and rack-scale configurations is just as important as the compute architecture.
In a conventional GPU, weights move from memory to arithmetic units and results move back. d-Matrix keeps digital arithmetic and a more familiar software model while placing compute closer to the weights. Compared with analog IMC, this can reduce direct exposure to ADC/DAC errors, but SRAM area, capacity, and chiplet communication become central constraints.
TetraMem centers its architecture on ReRAM-based analog in-memory computing. Its public roadmap describes the MLX200 SDK and analog IMC SoC production samples in 2025, followed by MLX200 production shipments and expansion toward 12nm, 5nm, and 3nm in 2026 and beyond.
The appeal of analog IMC is physical: the memory cell’s state participates in vector-matrix multiplication, compressing data movement and multiplication at the same time. For always-on sensors, audio, and industrial equipment, it does not need to beat a cloud GPU on TOPS. The hard parts are device variation, ADC/DAC overhead, endurance, quantization, and model updates. From process development, I know that a clean circuit concept does not automatically remain clean at production yield.
EnCharge AI describes charge-domain analog IMC that can be delivered as chiplets, ASICs, or PCIe cards across edge-to-cloud systems. Mythic has focused on analog matrix processing with model parameters stored in flash, targeting low-power edge AI.
Putting all four companies in one row would be misleading. d-Matrix is primarily a data-center inference story; TetraMem and Mythic lean toward power-constrained edge systems; EnCharge AI describes a path from edge to cloud. Their memory devices, precision targets, software responsibilities, and customers differ even when the acronym is the same.
I do not expect IMC to replace GPUs wholesale. I expect it to enter layers where weight reuse is high and the compute pattern is stable. Digital IMC will compete on data-center manufacturing and software compatibility; analog IMC will compete on TOPS/W and always-on operation.
The GPU’s moat is not just performance. It is CUDA, libraries, developers, and model support. Startups therefore create differentiation by accepting constraints that a GPU cannot easily accept.
| Company | Product language | Specialization axis | Best fit |
|---|
| Groq | LPU | Static scheduling, on-chip SRAM, compiler control | Low-latency LLM inference |
| Cerebras | Wafer-Scale Engine | Treating a whole wafer as one large processor | Large-scale training and inference with enormous on-chip bandwidth |
| Tenstorrent | AI Graph Processor | Tensix cores, RISC-V, dataflow, developer openness | Training and inference teams willing to work closer to the hardware |
Groq’s LPU uses on-chip SRAM as primary weight storage and relies on a purpose-built compiler for static execution scheduling. That can make latency predictable, but it also means the system has less room to absorb operators and shapes outside its intended path.
Cerebras puts wafer-scale WSE-3 and massive on-chip memory and bandwidth at the center. Its manufacturing approach is different from simply making a conventional GPU larger: redundant cores and routing are used to route around defects. Tenstorrent brings RISC-V control processors, Tensix cores, and a developer-facing software stack closer to the hardware.
The industry problem here is who pays the cost of software migration. A startup can be faster than a GPU in a selected workload and still fail to enter a rack if the customer’s models, quantization, communication, monitoring, and failure recovery do not work. My hypothesis is that the winner will not be the chip with the highest isolated number, but the company whose compiler and runtime keep pace with model change.
At the edge, “tokens per second” alone is not a useful decision metric.
Axelera AI’s Metis AIPU is presented in the company’s specifications as delivering 214 TOPS in a 4–8W power envelope. Europa extends the portfolio to 629 TOPS for heavier edge and enterprise use while keeping the Voyager SDK across the range. Hailo announced general availability of Hailo-10H in July 2025, targeting on-device LLM and VLM workloads at around a 2.5W typical power level.
The pain points are cloud bandwidth, connectivity failures, personal data, and thermal design. The answer is to keep inference local and send only the necessary information upstream. In a factory, vehicle, camera, or robot, an always-on NPU can create more product value than a GPU with a few extra points of accuracy.
Axelera AI is trying to scale one SDK from vision to language models. Hailo extends an established vision-AI developer base toward generative AI. Both are selling an accelerator that can be integrated into an existing product, not simply the strongest chip in a laboratory.
The future is not only smaller NPUs. Sensors, preprocessing, NPU, local memory, security, and wireless connectivity will increasingly be combined into one SoC, coordinated with DPU and GPU resources in the cloud. Treating edge and data-center semiconductors as separate markets can hide this connection.
Once these companies are placed on one map, the future AI server looks less like “GPU or another chip” and more like a stack of specialized layers.
| Layer | Role | Representative design themes |
|---|
| Model compute | Matrix operations, attention, convolution | GPU, LPU, AIPU, IMC |
| Weights and cache | Capacity, bandwidth, reuse | SRAM, HBM, LPDDR, ReRAM, CXL memory |
| Data path | Networking, storage, RDMA | DPU, SuperNIC, memory fabric |
| Software | Compilation, quantization, placement, observability | SDK, runtime, model optimization, orchestration |
Three directions follow.
First, memory hierarchy will be redesigned. d-Matrix and TetraMem’s IMC, EnCharge AI’s analog compute, and Enfabrica’s CXL memory fabric use different mechanisms, but all address the distance between arithmetic and storage.
Second, DPUs and accelerators will become more coordinated. Instead of a DPU merely moving data and an LPU or GPU merely computing, KV cache, storage, encryption, network scheduling, and model execution will become one inference pipeline.
Third, software portability becomes more important as specialized silicon proliferates. Connecting PyTorch, ONNX, vLLM, proprietary compilers, and quantization tools is not a secondary task. The more differentiated the hardware, the more likely the SDK becomes the bottleneck.
When I build a technology synergy map for an investment case, I do not put a company in a box based only on the chip label. I also record how quickly it can enter an existing rack, which software can be reused, and where the system can fall back when the accelerator fails. In AI semiconductors, operational reversibility is almost as important as architectural differentiation.
The easiest way to make an AI-chip article wrong is to treat numbers from different workloads as if they were the same measurement.
- TOPS is not effective throughput: Precision, batch size, sequence length, sparsity, and memory movement must be aligned.
- Do not mix training and inference: d-Matrix and Groq lean toward low-latency inference, while Cerebras and GPUs can support broader training configurations. The winner changes with the workload.
- Check the SDK: Look for supported operators, quantization, vLLM or ONNX integration, debugging, and profiling.
- Separate manufacturing stages: Tape-out, sample, evaluation kit, production shipment, and a live customer rack are different milestones.
- Measure TCO at rack level: Include memory, NICs, power, cooling, server configuration, operations, and cloud usage—not just chip price.
- Keep the competitor definition broad: TetraMem competes not only with another analog IMC startup, but also with low-power NPUs and model compression itself.
Official performance figures are usually best-case results. In investment committee, when I see a striking number, I look first for the conditions under which it disappears. For chips, that level of skepticism is usually appropriate.
d-Matrix, TetraMem, and MangoBoost all fit the label “AI semiconductor startup,” but they solve different problems. d-Matrix targets memory movement in data-center inference, TetraMem targets analog in-memory computing from edge toward cloud, and MangoBoost targets the data path and utilization around GPUs.
Including their competitors produces five practical conclusions:
- GPU alternatives are decided by workload fit and software follow-through, not only by compute-core performance.
- IMC reduces data movement while accepting harder trade-offs in precision, capacity, variation, and model updates.
- DPUs may look like they are outside AI compute, but they influence effective GPU performance and TCO.
- Edge NPUs do not need to beat cloud GPUs; they solve communication, power, and privacy constraints.
- Product value appears at the system level: chip, memory, network, SDK, and operations together.
I have stopped asking which startup will defeat NVIDIA. I ask instead: which wait time disappears for this customer, and which specialized layer removes it? The companies that can answer that question with a concrete data flow are the ones most likely to create the next computing layer.
Next Issue Ideas
- Idea 1: Designing a Real AI-Chip Benchmark — Build an inference benchmark that controls model, batch, sequence length, power, and cost instead of comparing TOPS alone.
- Idea 2: Decomposing a GPU Server with CXL Memory and DPUs — Follow MangoBoost and Enfabrica’s ideas through NVMe, RDMA, and CXL data paths at implementation level.
- Idea 3: Reading Analog IMC Through Process Yield — Examine where ADC/DAC design, ReRAM variation, and endurance become productization constraints.
The main technical and product claims were checked against the following official sources.
This article is for informational purposes only and does not constitute investment advice or a recommendation to buy any specific stock, company, product, or service. Performance figures are based on company-published materials and do not guarantee cross-product comparability or future results. Generative AI was used for parts of the research, translation, and proofreading, with final structure and review by ZYL0. See the disclaimer for details.
