Etched公司宣布推出专为Transformer架构设计的AISC芯片“Sohu”，声称其在AI大语言模型（LLM）推理性能上超越了NVIDIA最新B200 GPU，达到了H100的20倍。Sohu芯片通过直接与台积电4nm工艺合作，实现了高生产效率，并获得了足够的HBM和服务器供应。

Sohu以其卓越的计算利用率著称，FLOPS利用率超过90%，而使用TRT-LLM进行GPU加速仅能达到30%。此外，由于只支持Transformer架构的大模型，加速器可以在芯片上安装更多FLOPS，而无需降低精度或稀疏性。

内存带宽利用也得到了极大的提升。由于输入和输出标记可以被分批处理，大型语言模型连续批处理成为可能，每个批次加载所有模型权重并重复使用它们。此技术使得每个批次需要304 TFLOPs的计算能力，而仅需140 GB用于加载70B params以及72GBKV缓存权重，从而避免了内存带宽瓶颈。

最后，由于Sohu只运行Transformers，软件开发变得简单且不再是噩梦。大多数运行开源或内部模型的公司都使用特定于Transformer的一些推理库，这些框架非常僵化，但对于95%以上的AI公司来说已经足够。对于剩余10%的大规模实验室，他们通常会手动调整GPU内核以挤出更多性能，而Etched公司承诺，其软件将完全开源，以满足自定义需求。