（原标题：模拟内存臆度打算赌真钱老虎机app(中国)官方网站，还好吗？）

若是您但愿不错时时碰面，迎接标星保藏哦~

开端：内容来自semiengineering，谢谢。

内存臆度打算 (In-memory computing，IMC) 的发展之路荆棘，最引东谈主瞩宗旨买卖化尝试以失败告终。尽管一些公司还是转向数字化，而另一些公司则全齐毁灭了这项工夫，但开发东谈主员仍在勤勉让模拟 IMC 取胜利利。

对于 IMC（也称为内存臆度打算，或 CIM）的自制存在不对。有东谈主说，这一切齐是为了减少数据移动，而数据移动是 AI 能耗的环节构成部分。“把 MAC（乘法/累加电路）放下来很容易，” Synopsys ARC AI 处理器产物司理 Gordon Cooper 说。“为它们提供数据并确保数据高效地流过它们要贫瘠得多。”

其他公司则专注于臆度打算才智，每家公司齐信托我方开发的产物不错顾问这两个问题中最环节的一个，甚而两个问题。关联词，既能减少数据移动，又能践诺低功耗 AI 臆度打算，同期兼顾老本和可制造性的优化电路仍然难以杀青。

Rambus的隆起发明家 Steven Woo 示意：“数据移动是关节问题，非论是对于性能照旧功耗而言齐是如斯。全国上并不枯竭数据，尤其是对于这些大型 AI 模子而言，试验集额外众多。”

现在尚不明晰哪种方法才是顾问这一问题的最好阶梯，但 IMC 是一种可能的遴荐。对于那些不知谈正在进行的难懂创业职责的东谈主来说，这个话题似乎还是清偿到计划实验室，哪里正在进行大量职责。“我以为咱们还莫得全齐走出计划阶段，” Cadence产物营销集团总监 Frank Ferro 说。

事实上，IMC 甚而不在大多数想象师的热心范围内。“咱们在客户的网站上莫得看到它，” Quadric连合首创东谈主兼首席工夫官 Nigel Drego 说。

关联词，新的产物和方法正在尝试更正这一近况。

不啻一种含义

“内存臆度打算”一词过甚变体对不同的公司有不同的含义。当其宗旨是将数据移动保抓在最低限制时，它与“内存”或“近内存”臆度打算的宗旨密切干系。在这些情况下，它触及臆度打算发生位置隔邻的小块 SRAM。使用这种内存仍然需要数据移动，但与保存到 DRAM 比较，距离较短。

“内存中”的宗旨将这一宗旨进一步发展，并透顶颠覆了这一宗旨。先前的方法是将内存放在臆度打算隔邻。IMC 则更多地是将臆度打算放在内存所在的地点。不同 IMC 之间的一个主要区别是，臆度打算是在内存阵列里面但在内存单位除外进行，照旧这些单位我方践诺臆度打算。

另一个区别是臆度打算的性质——数字或模拟。数字 IMC 往往是那种在通盘阵列中散布着几个数字门的类型。“你将存储单位与践诺乘法的臆度打算元件和践诺累加的臆度打算元件交错在全部，并在统共这些周围放手大量其他数字逻辑来践诺统共其他操作，”Axelera 首席践诺官 Fabrizio del Maffeo 示意。

数字 IMC 背后的理念并不复杂——它仅仅将数字算术电路从一个地点移动到另一个地点。但这并不料味着它很容易。构建高效的电路和器用仍需要大量职责。仅仅它不像模拟那样垂死。

模拟臆度打算时时通过将存储单位视为具有可变内容来践诺，这些内容不错通过感测流过存储单位的电流来测量。字线接受实值。在最有名的杀青类型中，字线和位线交叉处的每个单位本体上将输入电压乘以单位电导率，该电导率由存储的单位值成立。通过允好多个字线同期处于行动情景，每个相乘电流的总数将成为乘积的驱散总数。位线上的统共单位齐不错并行践诺乘法。

Sagence 政策与业务开发副总裁 Richard Terrill 示意：“（闪存 IMC 顾问决议）基于将数亿个闪存单位放手在一个芯片上，以便咱们能够在现场完成统共职责。”

图 1：经典的基于闪存的 IMC 架构。数字输入转机为字线上的模拟电压。与内存不同，多个字线不错同期处于行动情景。位线上的统共单位提供输入电压乘以闪存单位电导率的乘积，该乘积由存储的权重细目。位线上的每个单位笔据单位电流孝顺电流，感测放大器将统共这些电流相加以提供累积。然后必须将驱散数字化并通过其他电路（举例激活函数）发送，然后将其路由回另一层或当作完整驱荒疏送出去。开端：Bryon Moyer/Semiconductor Engineering

该工夫的一个死心是它需要整数数据。这对于视觉来说很天然，但基于防卫力的积贮（举例大型言语模子 (LLM)）更时时使用浮点数据，这使得此类应用方法超出了该架构的范围。

咱们要顾问什么问题？

IMC 所要顾问的问题尚未明确界说或达成一致。天然统共东谈主齐原意裁汰功耗是最终方针，但存在争议的是主要问题是移动数据的老本照旧臆度打算的老本。

数字方法往往侧重于移动数据的老本，因为非论数字电路是在内存阵列里面照旧外部，臆度打算才智齐大体换取。这试图顾问内存带宽问题。Cadence 的 Ferro 示意：“咱们每天齐被超大范围臆度打算需要更多带宽的问题搞得头疼。”

Expedera首席科学家兼连合首创东谈主 Sharad Chole对此示意原意。“瓶颈不再是臆度打算或内存，而是臆度打算和内存之间的带宽，”他说。

使用数字 IMC，臆度打算容颜不会发生紧要变化。“你领有的基本工夫仍然与数字加快器换取，”Encharge AI 首席践诺官 Naveen Verma 示意。“通过在内存中插入 加法器，你本体上所作念的便是扩大内存，况兼所铺张的能量与你在内存外部践诺时所铺张的能量换取。与法式数字臆度打算比较，其自制是渐进的。”

也可能莫得一个正确的谜底。违抗，它可能取决于正在践诺的模子的性质，尤其是 LLM。Expedera 的 Chole 解释说：“若是你的坎坷文长度很小，比如 256 个 token，那么权重就占主导地位。然而若是你生成了 32,000 个 token，那么激活就启动成为环节的部分。若是你的激行动作东导了力量，那么将权重存储在模拟域中的自制将无法对消这少量。”

争论的另一个方面是，将所需的统共权重全部填充到内存中是否可行，这样就无需进一步移动。基于闪存的方法宣称具有非易失性的上风，因此权重即使在电源轮回后仍会保留在原位。但这意味着征战必须适当最大的模子。另一方面，容量卓越必要会奢华硅，尽管该分析假定想象中只须一个模子。“咱们本体上最终存储了多个模子，”Sagence 的 Terrill 说。

其他东谈主则认为，将通盘模子齐存储起来是不切本体甚而不可取的，而是遴荐在处理历程中更新权重的方法。“IMC 计划还是普通标明，权重弗成永恒存储在内存中，”Verma 指出。“原因是不同位的数据触及的操作数目额外不同，若是每个位齐分派一个内存单位，那么一些内存单位将践诺大量操作，而另一些则大部分时刻处于悠然情景，从而导致硬件哄骗率低。”

若是这种不雅点是正确的，那么 IMC 就无法像东谈主们但愿的那样顾问分量移动问题。它还使非易失性存储器变得不切本体，因为编程时刻比重写 SRAM 所需的时刻约莫长三个数目级。但 SRAM 是一个大而耗电的单位，这进一步加重了量度的复杂性。

直到推出这些芯片的各家公司有契机在现场讲授我方之前，这场争论齐不会驱散。现在，还莫得一个明确的正确谜底。

模拟的挑战

模拟 IMC 并非清新事物。Mythic 曾试图将基于闪存的模拟 IMC 推理引擎推向商场，但最终失败，因此受到密切热心。由于使用闪存进行权重存储，它承诺裁汰臆度打算才智并减少数据移动。现在尚不明晰 Mythic 名堂失败的具体原因，但该工夫带来了一些紧要挑战。而模拟需要繁重的量度。“模拟是功率、速率照旧准确性，”Drego 说。“二选一。”

在经典杀青中，每个闪存单位齐保存通盘权重。INT8 是视觉和卷积神经积贮 (CNN) 中较为流行的数据方法之一，但在单个闪存单位中保存 8 位值是一项辛劳的任务。而且灵验精度仍然会受到影响。“我还莫得传奇过有任何东西能卓越 4 位灵验精度，”Drego 补充谈。“但在一些小众应用中，这些东西不错额外额外高效。”

图 2：减轻多位单位的读取窗口。单位包含的位越多，分别越细密，读取机制必须越智谋。开端：Bryon Moyer/Semiconductor Engineering

商用闪存单位存储三位数据还是存在多年。四位单位现已成为实际，五位单位正在兴起。但莫得东谈主领有八位单位。这需要极其小心，尤其是若是要跨多个单位、芯片、晶圆和批次以及统共环境条目和老化后职责。实际情况是，东谈主们可能不得不接受较低的精度，从而死心该工夫的实用性。

老化问题是潜在客户一直热心的问题。Expedera 营销副总裁 Paul Karazuba 示意：“当我向潜在客户估量模拟产物时，老化是他们不细目怎么处理的问题之一，这往往会吓跑他们。”

令东谈主担忧的是，跟着细胞老化，它们的运作容颜将发生变化，从而导致潜在的幻觉，咱们大意不错称之为“硅老化”。事实上，这种老化的芯片不太可能产生幻觉，即给出可能合理但造作的谜底。东谈主们更有可能得到口不择言，但这仍然是不可接受的。

除了老化除外，还必须以某种容颜摒除制造和环境变化，以便统共芯片齐能正常职责。事实讲授，这极具挑战性，而且这个问题可能是影响已往勤勉的关节问题。即使莫得变化，模拟从界说上来说也没罕有字那样的噪声裕度。“模拟的问题一直是噪声，”Verma 说谈。

另一个挑战是模拟臆度打算仅仅加快器操作的一部分。其他函数，如softmax或非线性激活函数，必须在数字域中发生。这意味着在每一层以模拟容颜臆度打算其矩阵乘积后，必须将驱散转机为数字以生成激活，然后必须将其转机回模拟以供下一层使用。Quadric 首席营销官 Steve Roddy 指出：“最终，激活走动流动，最终会变得一团糟。”

在统共这些转机历程中保抓精度需要精准的 DAC 和 ADC，而这些电路会铺张大量能量，从而对消该架构的主要上风之一。

终末一个挑战可能是老本，尽管这还有待不雅察，况兼取决于所实施的内存工夫。“若是你正在构建一个带有闪存或 DDR 变体的落寞芯片，你的老本将失色光、海力士和三星高得多，而这些公司的产量高达数以亿计，”Drego 说。

尽管存在这些问题，一家名为 Sagence（隐身模拟推理）的新创业公司照旧推出了一款新的模拟 IMC 产物——从外不雅上看，它与 Mythic 的作念法惊东谈主地相似。另一家尚未认真推出的新公司是 EnCharge AI，它领有独有的传感工夫。

再说一次，若是你仔细不雅察 Sagence 的工夫，你会说它与 Mythic 所作念的肖似。闪存阵列？对。校准以处理变化？对。多位闪存单位？对。在感测放大器中进行乞降？对。现在尚不明晰 Mythic 接受了哪种闪存单位，但 Sagence 示意它使用的是已取得 NOR 成立许可的法式闪存单位。统共使闪存阵列顺应推理的电路齐位于阵列外部，因此单位面积着力为4F2。

与之前杀青的主要区别在于，该公司在深亚阈值情景下运行闪存阵列。这不错从简几个数目级的功率，电流以纳安的几分之一来测量。但这也带来了一个挑战，因为数学不再是线性的，因此图 1 所示的欧姆定律方法不再适用。

Sagence 通过对数存储权重来顾问这个问题。这意味着闪存单位中的不同级别并不是均匀散播的。数据值越高，它们就越接近。底部部分可能比线性版块更容易检测，但顶部部分将更难区分。更贫瘠的是，在深亚阈值下操作时，合座读取窗口更小。

图 3：线性和对数“间距”之间的互异。左侧，线性方法创建额外的间距。右侧，跟着值变高，间距变窄。（对数分别不准确。）开端：Bryon Moyer/半导体工程

Sagence 也认为数字和模拟之间的转机必须精准，而且这些转机需要耗能。“若是咱们莫得阿谁 ADC，咱们每次操作的电流铺张将比非 IMC 杀青低三到四个数目级，”Sagence 首创东谈主、总裁兼首席践诺官 Vishal Sarin 示意。“但由于咱们使用精密 ADC，因此亏本了一个数目级。”

关联词，有些应用方法不错以较低的精度职责。“每个单位存储的位数 取决于积贮的要求，”Terrill 解释谈。“咱们不错将存储位数素质到 8。时时更少，因为咱们细目了所需的精度，然后以该量化容颜存储。”

另一个令东谈主讶异的方面是，乘法略有就地性。Sagence 示意，它尽其所能摒除系统过错，但即使它完满地作念到了这少量，小的就地过错仍会存在。就地性本体上使值之间的界限变得依稀，而在尖端，部分额外窄小，一些可能会灵验崩溃。

Sagence 示意，这种方法之是以灵验，是因为本体版块将罕有百甚而数千个单位沿着每条位线。推敲到这些大数字，这样多单位上正负几个百分点的过错将平均达到满盈的精度。“若是你念念要准确地记载某东谈主的银行账户，你就不会作念这种乘法和加法，”Sarin 说。“但对于深度学习来说，这是一个完满的遴荐。”

不外，对于任何 AI 顾问决议来说，器用齐是必不可少的，这样用户就不会被复杂性所困扰。Sagence 的编译器在想象时就推敲到了对数性质，静态地为单位分派权重。

“对于硬件资源识别，一切齐是在编译时完成的，这意味着您无谓进行任何运行时转机，”Sagence 产物营销高等总监 Suhas Nayak 解释谈。“模拟量化器进行硬件感知试验、噪声感知试验，并在运行时需要时生成信息以供进一步校准。”这种静态转机的自制是延长固定且可预计。

该公司有多种方法来处理变化、漂移和老化问题。校准处理制造变化，但 Sagence 还监控单位，若是漂移太大，不错遴荐再行加载权重。“有一种计量电路不错不雅察闪存单位随时刻的变化，若是它们达到咱们无法通过底层电路缓解的进度，咱们不错笔据需要再行加载它们，”Terrill 指出。

笔据架构，这似乎是一个仅使用整数的顾问决议，这会将其打消在基于防卫力的积贮除外，但该公司还有其他策动。“咱们策动使用专有方法在咱们的 Gen AI 顾问决议中杀青防卫力，”Sarin 说。“这是咱们顾问决议的环节构成部分。”

一些探索

EnCharge 在三个主要范围接受了全齐不同的方法——存储单位的类型、每个单位存储的位数以及感测驱散的容颜。后者是一项紧要打破，因为统共之前的电流感测决议齐因制造和环境条目而有很大互异。在从普林斯顿大学分离出来之前，该公司发现电容器不错存储电荷当作感测机制，而不受任何依赖。

“这种电容器最环节的少量是它不受温度影响，”Verma 解释谈。“它不受材料参数影响。它是全齐线性的。它只取决于导线之间的空间。它不错蔓延到最先进的节点，因为它们不错让你更好地限度几何方法。”

该公司已细目，累加需要比乘法更高的精度，而这恰是电容器所提供的。该阵列由 SRAM 单位构成，每个单位存储一位权重。由于 EnCharge 尚未认真推出其工夫，因此仍有好多细节未深入。要点是 SRAM 单位提供乘法，每个驱散限度一个将电荷置于电容器上的开关。

电容器物理上位于 SRAM 单位上方，位于两层金属之间，因此易于构建且不占用寥落空间。单个 MAC 的电容器衔接在团结块板上。然后，违抗的电容器板会平均统共这些电荷，从而灵验地提供加法。它是一个模拟值，因此需要 ADC 转机为数字时局。无需 DAC。

EnCharge 的阵列需要再行加载数据，因为内存是易失性的，而且阵列不够大，无法容纳通盘模子。“为了最大限制地裁汰支出，咱们使用了肖似于造谣内存的造谣化架构，”Verma 说。

尽管这种传感方法似乎很新颖，但该公司示意，它已在 ADC 等高精度电路中得到考证。Verma 指出：“它的可靠性、可蔓延性、准确性和可制造性已通过这些其他超高精度模拟电路得到考证。”

DRAM 或将加入游戏

在终末一个新念念法中，初创公司 Neo Semiconductor 提议了使用其 3D DRAM 的 IMC 决议。“咱们不错在 3D DRAM 阵列中践诺大量臆度打算，而无需将其发送到 SRAM，”Neo 首席践诺官兼连合首创东谈主 Andy Hsu 示意。

Neo 的主要开发重心是使用浮体电荷存储而不是电容器的堆叠 3D DRAM。与 EnCharge 相通，每个 DRAM 单位齐包含一个权重位。这标明乘法工夫与 EnCharge 肖似，但 Neo 尚未涌现其怎么处理多位乘法。

关联词，传感容颜有所不同。垂直位线承载着经过测量和数字化的模拟电流。它还有一个 ADC，但莫得 DAC。该方法只需使用稳当数目的 DRAM 位（时时对于 INT8 为 8 位）即可顺利用于整数数据。该公司示意，浮点单位对于基于防卫力的积贮是必不可少的，但尚未涌现其职责旨趣。

Neo 的方针是将 HBM 分为两个阶段。最初，它不错用 3D DRAM 版块替换 HBM 堆栈中的内存芯片，这不错将容量素质两个数目级。第二阶段将 HBM 基片上的感测放大器电路替换为神经电路。“对于 AI，底部芯片将被替换为 不错 践诺激活功能的芯片，”Hsu 说。

这种工夫的一个可能问题是热量。在 DRAM 中，典型的位线将反应单个单位的值。使用 AI，您不错测量多个单位的电流。HBM 还是面对热挑战。若是不采选进一步的缓解门径，进一步增多电流量似乎是值得怀疑的。

Neo 示意，由于其 DRAM 工夫一鸣惊人，其读取电流约为法式 DRAM 典型值的 10%，因此其肇端电流较小。它一次处理 8 位，因此电流应低于法式 DRAM 电流。8 位并未几，但该公司将合座数据分红 8 位组并按划定处理。这种方法可能会影响延长，但现在尚无具体数字。

这个提议需要更多的考证才能成为实际。Neo 现在的主要重心是其 3D DRAM。东谈主工智能游戏是该公司的另一个念念法，本年刚刚深入。但现在它仍处于宗旨阶段。

模拟 IMC 又活了一天

东谈主们还是紧要期待了多年，好多东谈主证明认为它还未准备好理睬黄金时段。这是一个进修的大学计划课题，好多不知谈行将推出的东谈主还是校服，要让它发达作用，需要进行一些紧要更正。

Sagence 的工夫试图罢职还是走过的谈路，同期幸免先前的罗网。EnCharge AI 专注于用于感测累积的电容器。Neo 的 DRAM 念念法太新，无法细目它是否能取得买卖胜利。来岁应该有契机望望前两者是否能取得进展。若是莫得，就回到计划实验室。

关联词，若是其中一种或两种方法齐能见效，那么将为推理建设一个新的低功耗法式。西门子 EDA 高等详细部门名堂总监 Russ Klein 示意：“无需移动所罕有据和IMC承诺的并行性所带来的节能着力将不仅对东谈主工智能产生巨大影响，而且对任安在大型数据阵列上进行的臆度打算也会产生巨大影响。”

咱们还将提供硬数据来夸耀对于数据移动才智与臆度打算才智的哪种表面是正确的。

https://semiengineering.com/is-in-memory-compute-still-alive/

半导体宏构公众号推选

专注半导体范围更多原创内容

热心巨匠半导体产业动向与趋势

*免责声明：本文由作家原创。著述内容系作家个东谈主不雅点，半导体行业不雅察转载仅为了传达一种不同的不雅点，不代表半导体行业不雅察对该不雅点赞同或维持，若是有任何异议，迎接干系半导体行业不雅察。

今天是《半导体行业不雅察》为您共享的第3976期内容，迎接热心。

『半导体第一垂直媒体』

及时 专科 原创 深度

公众号ID：icbank

可爱咱们的内容就点“在看”共享给小伙伴哦