JP2023527770A5 - - Google Patents
Info
- Publication number
- JP2023527770A5 JP2023527770A5 JP2022570688A JP2022570688A JP2023527770A5 JP 2023527770 A5 JP2023527770 A5 JP 2023527770A5 JP 2022570688 A JP2022570688 A JP 2022570688A JP 2022570688 A JP2022570688 A JP 2022570688A JP 2023527770 A5 JP2023527770 A5 JP 2023527770A5
- Authority
- JP
- Japan
- Prior art keywords
- memory
- subset
- data
- expansion
- memory module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Claims (15)
- 拡張メモリモジュールであって、
計算コアと、
1つまたは複数のデュアルモードメモリ素子と
を備え、
前記拡張メモリモジュールが、
前記1つまたは複数のデュアルモードメモリ素子の中の第1のメモリのサブセットをホスト処理システムアドレス指定可能メモリとして、かつ前記1つまたは複数のデュアルモードメモリ素子の中の第2のメモリのサブセットを計算コアアドレス指定可能メモリとして割り振り、
ホスト処理システムからデータを受信し、
処理されたデータを生成するために前記計算コアを用いて前記データを処理し、
前記第1のメモリのサブセットを介して前記処理されたデータを前記ホスト処理システムに提供する
ように構成される、拡張メモリモジュール。 - 前記拡張メモリモジュールが、
前記第1のメモリのサブセットに前記受信されたデータを記憶し、
前記計算コアを用いて前記データを処理する前に前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記受信されたデータを転送し、
前記計算コアを用いて前記データを処理した後に前記第2のメモリのサブセットから前記第1のメモリのサブセットに前記処理されたデータを転送するようにさらに構成される、請求項1に記載の拡張メモリモジュール。 - 前記第2のメモリのサブセットが、前記計算コアによる使用のために構成される1つまたは複数のシングルモードメモリをさらに備える、請求項1に記載の拡張メモリモジュール。
- 前記第1のメモリのサブセットおよび前記第2のメモリのサブセットを割り振るためのファームウェア命令を備えるフラッシュメモリモジュールをさらに備える、請求項1に記載の拡張メモリモジュール。
- 前記拡張メモリモジュールが、前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記データを転送する前に、データの転送が行われていることを示すように、前記ホスト処理システムのデータバスをビジー状態に設定するようにさらに構成される、請求項1に記載の拡張メモリモジュール。
- 前記拡張メモリモジュールが、前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記データを転送した後に、前記ホスト処理システムの前記データバスを利用可能状態に設定するようにさらに構成される、請求項5に記載の拡張メモリモジュール。
- 前記拡張メモリモジュールが、前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記データを転送する前に、前記拡張メモリモジュールのためのホスト処理システムメモリコマンドのブロックをイネーブルにするようにさらに構成される、請求項1に記載の拡張メモリモジュール。
- 前記拡張メモリモジュールが、前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記データを転送した後に、前記拡張メモリモジュールのためのホスト処理システムメモリコマンドの前記ブロックをディスエーブルにするようにさらに構成される、請求項7に記載の拡張メモリモジュール。
- 前記データが、
機械学習モデルによる処理のためのデータと、
機械学習モデルパラメータと
を備えるか、または
前記拡張メモリモジュールが、デュアルインラインメモリモジュール(DIMM)を備えるか、または
前記拡張メモリモジュールが、
前記第1のメモリのサブセットおよび第2のメモリのサブセットの割り振りを解除し、
前記1つまたは複数のデュアルモードメモリ素子の中の第3のメモリのサブセットをホスト処理システムアドレス指定可能メモリとして、かつ前記1つまたは複数のデュアルモードメモリ素子の中の第4のメモリのサブセットを計算コアアドレス指定可能メモリとして割り振る
ようにさらに構成され、
前記第3のメモリのサブセットが前記第1のサブセットと異なり、
前記第4のメモリのサブセットが前記第2のサブセットと異なる、
請求項1に記載の拡張メモリモジュール。 - 計算コアを備える拡張メモリモジュールを用いてデータを処理するための方法であって、
前記拡張メモリモジュールの第1のメモリのサブセットをホスト処理システムアドレス指定可能メモリとして割り振り、かつ前記拡張メモリモジュールの第2のメモリのサブセットを計算コアアドレス指定可能メモリとして割り振ることによって、前記拡張メモリモジュールを初期化するステップと、
ホスト処理システムから前記拡張メモリモジュールにおいてデータを受信するステップと、
前記拡張メモリモジュール上で前記計算コアを用いて前記データを処理して、処理されたデータを生成するステップと、
前記第1のメモリのサブセットを介して前記処理されたデータを前記ホスト処理システムに提供するステップと
を備える、方法。 - 前記第1のメモリのサブセットに前記受信されたデータを記憶するステップと、
前記計算コアを用いて前記データを処理する前に前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記受信されたデータを転送するステップと、
前記計算コアを用いて前記データを処理した後に前記第2のメモリのサブセットから前記第1のメモリのサブセットに前記処理されたデータを転送するステップと
をさらに備える、請求項10に記載の方法。 - 前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記データを転送する前に、データの転送が行われていることを示すように前記ホスト処理システムのデータバスをビジー状態に設定するステップをさらに備え、好ましくは
前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記データを転送した後に、前記ホスト処理システムの前記データバスを利用可能状態に設定するステップをさらに備える、
請求項11に記載の方法。 - 前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記データを転送する前に、前記拡張メモリモジュールのためのホスト処理システムメモリコマンドのブロックをイネーブルにするステップをさらに備える、好ましくは
前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記データを転送した後に、前記拡張メモリモジュールのためのホスト処理システムメモリコマンドの前記ブロックをディスエーブルにするステップをさらに備える、
請求項11に記載の方法。 - 前記第1のメモリのサブセットおよび前記第2のメモリのサブセットが1つまたは複数のデュアルモードメモリ素子と関連付けられるか、または
前記拡張メモリモジュールを初期化するステップが、前記拡張メモリモジュール上のフラッシュメモリモジュールに記憶されたファームウェア命令を処理するステップを備えるか、または
前記第2のメモリのサブセットがさらに、前記計算コアによる使用のために構成される1つまたは複数のシングルモードメモリ素子と関連付けられるか、または
前記データが、
機械学習モデルによる処理のためのデータと、
機械学習モデルパラメータと
を備えるか、または
前記拡張メモリモジュールが、デュアルインラインメモリモジュール(DIMM)を備えるか、または
前記第1のメモリのサブセットおよび第2のメモリのサブセットの割り振りを解除するステップと、
前記1つまたは複数のデュアルモードメモリ素子の中の第3のメモリのサブセットをホスト処理システムアドレス指定可能メモリとして割り振り、前記1つまたは複数のデュアルモードメモリ素子の中の第4のメモリのサブセットを計算コアアドレス指定可能メモリとして割り振るステップであって、
前記第3のメモリのサブセットが前記第1のサブセットと異なり、
前記第4のメモリのサブセットが前記第2のサブセットと異なる、
ステップをさらに備える、
請求項12に記載の方法。 - ホスト処理システムの1つまたは複数のプロセッサによって実行されると、計算コアを備える拡張メモリモジュールを用いてデータを処理するための請求項10~14のいずれか一項に記載の方法を前記ホスト処理システムに実行させる命令を備える、非一時的コンピュータ可読記録媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/883,869 US12056382B2 (en) | 2020-05-26 | 2020-05-26 | Inference in memory |
| US16/883,869 | 2020-05-26 | ||
| PCT/US2021/033436 WO2021242608A1 (en) | 2020-05-26 | 2021-05-20 | Inference in memory |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2023527770A JP2023527770A (ja) | 2023-06-30 |
| JP2023527770A5 true JP2023527770A5 (ja) | 2024-05-16 |
| JP7660141B2 JP7660141B2 (ja) | 2025-04-10 |
Family
ID=76641760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022570688A Active JP7660141B2 (ja) | 2020-05-26 | 2021-05-20 | メモリにおける推論 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US12056382B2 (ja) |
| EP (1) | EP4158485A1 (ja) |
| JP (1) | JP7660141B2 (ja) |
| KR (1) | KR20230015334A (ja) |
| CN (1) | CN115516436B (ja) |
| BR (1) | BR112022023193A2 (ja) |
| PH (1) | PH12022553472A1 (ja) |
| TW (1) | TWI881126B (ja) |
| WO (1) | WO2021242608A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021232396A1 (en) * | 2020-05-22 | 2021-11-25 | Intel Corporation | Accelerating system boot times via host-managed device memory |
| US12504999B2 (en) * | 2022-06-10 | 2025-12-23 | Dell Products L.P. | LCS workload in-band service management system |
| WO2024058810A1 (en) * | 2022-09-15 | 2024-03-21 | Google Llc | Reducing memory bank conflicts in a hardware accelerator |
| US20240184464A1 (en) * | 2022-12-06 | 2024-06-06 | Macronix International Co., Ltd. | Method for operating memory device and memory device |
| US20240319880A1 (en) * | 2023-03-21 | 2024-09-26 | Micron Technology, Inc. | Compute express link dram + nand system solution |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6185704B1 (en) | 1997-04-11 | 2001-02-06 | Texas Instruments Incorporated | System signaling schemes for processor and memory module |
| JP3507314B2 (ja) * | 1997-11-19 | 2004-03-15 | 株式会社日立製作所 | メモリコントローラおよびコンピュータシステム |
| JP4205743B2 (ja) * | 2006-08-22 | 2009-01-07 | エルピーダメモリ株式会社 | 半導体記憶装置及び半導体装置 |
| JP2011524049A (ja) | 2008-06-04 | 2011-08-25 | エヌイーシー ラボラトリーズ アメリカ インク | 超並列アクセラレータを使用して学習機械の訓練と分類とを並列化し高速化するシステム及び方法 |
| US8713379B2 (en) * | 2011-02-08 | 2014-04-29 | Diablo Technologies Inc. | System and method of interfacing co-processors and input/output devices via a main memory system |
| JP2012234334A (ja) * | 2011-04-28 | 2012-11-29 | Toshiba Corp | メモリ装置 |
| US8495654B2 (en) * | 2011-11-07 | 2013-07-23 | International Business Machines Corporation | Intranode data communications in a parallel computer |
| US8904068B2 (en) | 2012-05-09 | 2014-12-02 | Nvidia Corporation | Virtual memory structure for coprocessors having memory allocation limitations |
| CN103747274B (zh) * | 2013-12-18 | 2016-08-17 | 北京邮电大学 | 一种增设缓存集群的视频数据中心及其缓存资源调度方法 |
| US10025747B2 (en) * | 2015-05-07 | 2018-07-17 | Samsung Electronics Co., Ltd. | I/O channel scrambling/ECC disassociated communication protocol |
| JP6432450B2 (ja) * | 2015-06-04 | 2018-12-05 | 富士通株式会社 | 並列計算装置、コンパイル装置、並列処理方法、コンパイル方法、並列処理プログラムおよびコンパイルプログラム |
| EP4557209A3 (en) * | 2015-06-10 | 2025-08-13 | Mobileye Vision Technologies Ltd. | Image processor and methods for processing an image |
| KR101923661B1 (ko) * | 2016-04-04 | 2018-11-29 | 주식회사 맴레이 | 플래시 기반 가속기 및 이를 포함하는 컴퓨팅 디바이스 |
| US10732866B2 (en) * | 2016-10-27 | 2020-08-04 | Samsung Electronics Co., Ltd. | Scaling out architecture for DRAM-based processing unit (DPU) |
| US10521389B2 (en) * | 2016-12-23 | 2019-12-31 | Ati Technologies Ulc | Method and apparatus for accessing non-volatile memory as byte addressable memory |
| US10268389B2 (en) * | 2017-02-22 | 2019-04-23 | Micron Technology, Inc. | Apparatuses and methods for in-memory operations |
| US10467159B2 (en) * | 2017-07-14 | 2019-11-05 | Arm Limited | Memory node controller |
| JP7080698B2 (ja) * | 2018-03-30 | 2022-06-06 | 株式会社デンソー | 情報処理装置 |
| US11347643B2 (en) * | 2018-06-29 | 2022-05-31 | Intel Corporation | Control logic and methods to map host-managed device memory to a system address space |
| US10649927B2 (en) | 2018-08-20 | 2020-05-12 | Intel Corporation | Dual in-line memory module (DIMM) programmable accelerator card |
-
2020
- 2020-05-26 US US16/883,869 patent/US12056382B2/en active Active
-
2021
- 2021-05-20 JP JP2022570688A patent/JP7660141B2/ja active Active
- 2021-05-20 PH PH1/2022/553472A patent/PH12022553472A1/en unknown
- 2021-05-20 BR BR112022023193A patent/BR112022023193A2/pt unknown
- 2021-05-20 WO PCT/US2021/033436 patent/WO2021242608A1/en not_active Ceased
- 2021-05-20 EP EP21735440.6A patent/EP4158485A1/en active Pending
- 2021-05-20 KR KR1020227039808A patent/KR20230015334A/ko active Pending
- 2021-05-20 CN CN202180033985.6A patent/CN115516436B/zh active Active
- 2021-05-21 TW TW110118438A patent/TWI881126B/zh active
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2023527770A5 (ja) | ||
| EP3982269B1 (en) | Systems, methods, and devices for accelerators with virtualization and tiered memory | |
| US9645829B2 (en) | Techniques to communicate with a controller for a non-volatile dual in-line memory module | |
| US12299548B2 (en) | Data path for GPU machine learning training with key value SSD | |
| CN107636618B (zh) | 在具有嵌入式可编程数据检查的非易失性系统存储器计算系统中的即时重启 | |
| KR102353782B1 (ko) | NVMe 기반 솔리드 스테이트 드라이브에서 읽기 버퍼 사이즈 요구량을 감소하는 방법 | |
| WO2017123327A1 (en) | Techniques to access or operate a dual in-line memory module via multiple data channels | |
| US20200257633A1 (en) | Memory devices and methods which may facilitate tensor memory access with memory maps based on memory operations | |
| US20180203622A1 (en) | Vehicular device | |
| JP2009540431A5 (ja) | ||
| JP2000353382A5 (ja) | ||
| CN111198839A (zh) | 存储装置及操作其的方法、控制器 | |
| US10198374B2 (en) | Configurable on-chip interconnection system and method and apparatus for implementing same, and storage medium | |
| JP2018523876A5 (ja) | ||
| US6782463B2 (en) | Shared memory array | |
| KR20190028609A (ko) | 호스트로부터의 읽기 요청에 대한 짧은 읽기 응답 시간을 제공하기 위해 내부 동작을 일시적으로 중단하는 스토리지 장치 | |
| CN1296830C (zh) | 中央处理单元启动的方法及系统 | |
| US9405477B2 (en) | Method and system for maintaining release consistency in shared memory programming | |
| CN104199699A (zh) | 程序加载方法、芯片启动方法、装置及主控设备 | |
| JP5106147B2 (ja) | マルチプロセッサ処理システム | |
| CN108427584B (zh) | 快速启动的具有并行计算核的芯片及该芯片的配置方法 | |
| JP2009033439A5 (ja) | ||
| CN111966300A (zh) | 一种节省主控sram的存储器数据写入方法及装置 | |
| CN114021715B (zh) | 基于Tensorflow框架的深度学习训练方法 | |
| US20140215200A1 (en) | Data processing device with serial bus that needs initialization before use |