JP2023527770A5 - - Google Patents

Info

Publication number
JP2023527770A5
JP2023527770A5 JP2022570688A JP2022570688A JP2023527770A5 JP 2023527770 A5 JP2023527770 A5 JP 2023527770A5 JP 2022570688 A JP2022570688 A JP 2022570688A JP 2022570688 A JP2022570688 A JP 2022570688A JP 2023527770 A5 JP2023527770 A5 JP 2023527770A5
Authority
JP
Japan
Prior art keywords
memory
subset
data
expansion
memory module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022570688A
Other languages
English (en)
Other versions
JP7660141B2 (ja
JP2023527770A (ja
Filing date
Publication date
Priority claimed from US16/883,869 external-priority patent/US12056382B2/en
Application filed filed Critical
Publication of JP2023527770A publication Critical patent/JP2023527770A/ja
Publication of JP2023527770A5 publication Critical patent/JP2023527770A5/ja
Application granted granted Critical
Publication of JP7660141B2 publication Critical patent/JP7660141B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (15)

  1. 拡張メモリモジュールであって、
    計算コアと、
    1つまたは複数のデュアルモードメモリ素子と
    を備え、
    前記拡張メモリモジュールが、
    前記1つまたは複数のデュアルモードメモリ素子の中の第1のメモリのサブセットをホスト処理システムアドレス指定可能メモリとして、かつ前記1つまたは複数のデュアルモードメモリ素子の中の第2のメモリのサブセットを計算コアアドレス指定可能メモリとして割り振り、
    ホスト処理システムからデータを受信し、
    処理されたデータを生成するために前記計算コアを用いて前記データを処理し、
    前記第1のメモリのサブセットを介して前記処理されたデータを前記ホスト処理システムに提供する
    ように構成される、拡張メモリモジュール。
  2. 前記拡張メモリモジュールが、
    前記第1のメモリのサブセットに前記受信されたデータを記憶し、
    前記計算コアを用いて前記データを処理する前に前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記受信されたデータを転送し、
    前記計算コアを用いて前記データを処理した後に前記第2のメモリのサブセットから前記第1のメモリのサブセットに前記処理されたデータを転送するようにさらに構成される、請求項1に記載の拡張メモリモジュール。
  3. 前記第2のメモリのサブセットが、前記計算コアによる使用のために構成される1つまたは複数のシングルモードメモリをさらに備える、請求項1に記載の拡張メモリモジュール。
  4. 前記第1のメモリのサブセットおよび前記第2のメモリのサブセットを割り振るためのファームウェア命令を備えるフラッシュメモリモジュールをさらに備える、請求項1に記載の拡張メモリモジュール。
  5. 前記拡張メモリモジュールが、前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記データを転送する前に、データの転送が行われていることを示すように、前記ホスト処理システムのデータバスをビジー状態に設定するようにさらに構成される、請求項1に記載の拡張メモリモジュール。
  6. 前記拡張メモリモジュールが、前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記データを転送した後に、前記ホスト処理システムの前記データバスを利用可能状態に設定するようにさらに構成される、請求項5に記載の拡張メモリモジュール。
  7. 前記拡張メモリモジュールが、前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記データを転送する前に、前記拡張メモリモジュールのためのホスト処理システムメモリコマンドのブロックをイネーブルにするようにさらに構成される、請求項1に記載の拡張メモリモジュール。
  8. 前記拡張メモリモジュールが、前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記データを転送した後に、前記拡張メモリモジュールのためのホスト処理システムメモリコマンドの前記ブロックをディスエーブルにするようにさらに構成される、請求項7に記載の拡張メモリモジュール。
  9. 前記データが、
    機械学習モデルによる処理のためのデータと、
    機械学習モデルパラメータと
    を備えるまたは
    前記拡張メモリモジュールが、デュアルインラインメモリモジュール(DIMM)を備えるか、または
    前記拡張メモリモジュールが、
    前記第1のメモリのサブセットおよび第2のメモリのサブセットの割り振りを解除し、
    前記1つまたは複数のデュアルモードメモリ素子の中の第3のメモリのサブセットをホスト処理システムアドレス指定可能メモリとして、かつ前記1つまたは複数のデュアルモードメモリ素子の中の第4のメモリのサブセットを計算コアアドレス指定可能メモリとして割り振る
    ようにさらに構成され、
    前記第3のメモリのサブセットが前記第1のサブセットと異なり、
    前記第4のメモリのサブセットが前記第2のサブセットと異なる、
    請求項1に記載の拡張メモリモジュール。
  10. 計算コアを備える拡張メモリモジュールを用いてデータを処理するための方法であって、
    前記拡張メモリモジュールの第1のメモリのサブセットをホスト処理システムアドレス指定可能メモリとして割り振り、かつ前記拡張メモリモジュールの第2のメモリのサブセットを計算コアアドレス指定可能メモリとして割り振ることによって、前記拡張メモリモジュールを初期化するステップと、
    ホスト処理システムから前記拡張メモリモジュールにおいてデータを受信するステップと、
    前記拡張メモリモジュール上で前記計算コアを用いて前記データを処理して、処理されたデータを生成するステップと、
    前記第1のメモリのサブセットを介して前記処理されたデータを前記ホスト処理システムに提供するステップと
    を備える、方法。
  11. 前記第1のメモリのサブセットに前記受信されたデータを記憶するステップと、
    前記計算コアを用いて前記データを処理する前に前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記受信されたデータを転送するステップと、
    前記計算コアを用いて前記データを処理した後に前記第2のメモリのサブセットから前記第1のメモリのサブセットに前記処理されたデータを転送するステップと
    をさらに備える、請求項10に記載の方法。
  12. 前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記データを転送する前に、データの転送が行われていることを示すように前記ホスト処理システムのデータバスをビジー状態に設定するステップをさらに備え、好ましくは
    前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記データを転送した後に、前記ホスト処理システムの前記データバスを利用可能状態に設定するステップをさらに備える、
    請求項11に記載の方法。
  13. 前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記データを転送する前に、前記拡張メモリモジュールのためのホスト処理システムメモリコマンドのブロックをイネーブルにするステップをさらに備える、好ましくは
    前記第1のメモリのサブセットから前記第2のメモリのサブセットに前記データを転送した後に、前記拡張メモリモジュールのためのホスト処理システムメモリコマンドの前記ブロックをディスエーブルにするステップをさらに備える、
    請求項11に記載の方法。
  14. 前記第1のメモリのサブセットおよび前記第2のメモリのサブセットが1つまたは複数のデュアルモードメモリ素子と関連付けられるまたは
    前記拡張メモリモジュールを初期化するステップが、前記拡張メモリモジュール上のフラッシュメモリモジュールに記憶されたファームウェア命令を処理するステップを備えるか、または
    前記第2のメモリのサブセットがさらに、前記計算コアによる使用のために構成される1つまたは複数のシングルモードメモリ素子と関連付けられるか、または
    前記データが、
    機械学習モデルによる処理のためのデータと、
    機械学習モデルパラメータと
    を備えるか、または
    前記拡張メモリモジュールが、デュアルインラインメモリモジュール(DIMM)を備えるか、または
    前記第1のメモリのサブセットおよび第2のメモリのサブセットの割り振りを解除するステップと、
    前記1つまたは複数のデュアルモードメモリ素子の中の第3のメモリのサブセットをホスト処理システムアドレス指定可能メモリとして割り振り、前記1つまたは複数のデュアルモードメモリ素子の中の第4のメモリのサブセットを計算コアアドレス指定可能メモリとして割り振るステップであって、
    前記第3のメモリのサブセットが前記第1のサブセットと異なり、
    前記第4のメモリのサブセットが前記第2のサブセットと異なる、
    ステップをさらに備える、
    請求項12に記載の方法。
  15. ホスト処理システムの1つまたは複数のプロセッサによって実行されると、計算コアを備える拡張メモリモジュールを用いてデータを処理するための請求項10~14のいずれか一項に記載の方法を前記ホスト処理システムに実行させる命令を備える、非一時的コンピュータ可読記録媒体。
JP2022570688A 2020-05-26 2021-05-20 メモリにおける推論 Active JP7660141B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/883,869 US12056382B2 (en) 2020-05-26 2020-05-26 Inference in memory
US16/883,869 2020-05-26
PCT/US2021/033436 WO2021242608A1 (en) 2020-05-26 2021-05-20 Inference in memory

Publications (3)

Publication Number Publication Date
JP2023527770A JP2023527770A (ja) 2023-06-30
JP2023527770A5 true JP2023527770A5 (ja) 2024-05-16
JP7660141B2 JP7660141B2 (ja) 2025-04-10

Family

ID=76641760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022570688A Active JP7660141B2 (ja) 2020-05-26 2021-05-20 メモリにおける推論

Country Status (9)

Country Link
US (1) US12056382B2 (ja)
EP (1) EP4158485A1 (ja)
JP (1) JP7660141B2 (ja)
KR (1) KR20230015334A (ja)
CN (1) CN115516436B (ja)
BR (1) BR112022023193A2 (ja)
PH (1) PH12022553472A1 (ja)
TW (1) TWI881126B (ja)
WO (1) WO2021242608A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021232396A1 (en) * 2020-05-22 2021-11-25 Intel Corporation Accelerating system boot times via host-managed device memory
US12504999B2 (en) * 2022-06-10 2025-12-23 Dell Products L.P. LCS workload in-band service management system
WO2024058810A1 (en) * 2022-09-15 2024-03-21 Google Llc Reducing memory bank conflicts in a hardware accelerator
US20240184464A1 (en) * 2022-12-06 2024-06-06 Macronix International Co., Ltd. Method for operating memory device and memory device
US20240319880A1 (en) * 2023-03-21 2024-09-26 Micron Technology, Inc. Compute express link dram + nand system solution

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6185704B1 (en) 1997-04-11 2001-02-06 Texas Instruments Incorporated System signaling schemes for processor and memory module
JP3507314B2 (ja) * 1997-11-19 2004-03-15 株式会社日立製作所 メモリコントローラおよびコンピュータシステム
JP4205743B2 (ja) * 2006-08-22 2009-01-07 エルピーダメモリ株式会社 半導体記憶装置及び半導体装置
JP2011524049A (ja) 2008-06-04 2011-08-25 エヌイーシー ラボラトリーズ アメリカ インク 超並列アクセラレータを使用して学習機械の訓練と分類とを並列化し高速化するシステム及び方法
US8713379B2 (en) * 2011-02-08 2014-04-29 Diablo Technologies Inc. System and method of interfacing co-processors and input/output devices via a main memory system
JP2012234334A (ja) * 2011-04-28 2012-11-29 Toshiba Corp メモリ装置
US8495654B2 (en) * 2011-11-07 2013-07-23 International Business Machines Corporation Intranode data communications in a parallel computer
US8904068B2 (en) 2012-05-09 2014-12-02 Nvidia Corporation Virtual memory structure for coprocessors having memory allocation limitations
CN103747274B (zh) * 2013-12-18 2016-08-17 北京邮电大学 一种增设缓存集群的视频数据中心及其缓存资源调度方法
US10025747B2 (en) * 2015-05-07 2018-07-17 Samsung Electronics Co., Ltd. I/O channel scrambling/ECC disassociated communication protocol
JP6432450B2 (ja) * 2015-06-04 2018-12-05 富士通株式会社 並列計算装置、コンパイル装置、並列処理方法、コンパイル方法、並列処理プログラムおよびコンパイルプログラム
EP4557209A3 (en) * 2015-06-10 2025-08-13 Mobileye Vision Technologies Ltd. Image processor and methods for processing an image
KR101923661B1 (ko) * 2016-04-04 2018-11-29 주식회사 맴레이 플래시 기반 가속기 및 이를 포함하는 컴퓨팅 디바이스
US10732866B2 (en) * 2016-10-27 2020-08-04 Samsung Electronics Co., Ltd. Scaling out architecture for DRAM-based processing unit (DPU)
US10521389B2 (en) * 2016-12-23 2019-12-31 Ati Technologies Ulc Method and apparatus for accessing non-volatile memory as byte addressable memory
US10268389B2 (en) * 2017-02-22 2019-04-23 Micron Technology, Inc. Apparatuses and methods for in-memory operations
US10467159B2 (en) * 2017-07-14 2019-11-05 Arm Limited Memory node controller
JP7080698B2 (ja) * 2018-03-30 2022-06-06 株式会社デンソー 情報処理装置
US11347643B2 (en) * 2018-06-29 2022-05-31 Intel Corporation Control logic and methods to map host-managed device memory to a system address space
US10649927B2 (en) 2018-08-20 2020-05-12 Intel Corporation Dual in-line memory module (DIMM) programmable accelerator card

Similar Documents

Publication Publication Date Title
JP2023527770A5 (ja)
EP3982269B1 (en) Systems, methods, and devices for accelerators with virtualization and tiered memory
US9645829B2 (en) Techniques to communicate with a controller for a non-volatile dual in-line memory module
US12299548B2 (en) Data path for GPU machine learning training with key value SSD
CN107636618B (zh) 在具有嵌入式可编程数据检查的非易失性系统存储器计算系统中的即时重启
KR102353782B1 (ko) NVMe 기반 솔리드 스테이트 드라이브에서 읽기 버퍼 사이즈 요구량을 감소하는 방법
WO2017123327A1 (en) Techniques to access or operate a dual in-line memory module via multiple data channels
US20200257633A1 (en) Memory devices and methods which may facilitate tensor memory access with memory maps based on memory operations
US20180203622A1 (en) Vehicular device
JP2009540431A5 (ja)
JP2000353382A5 (ja)
CN111198839A (zh) 存储装置及操作其的方法、控制器
US10198374B2 (en) Configurable on-chip interconnection system and method and apparatus for implementing same, and storage medium
JP2018523876A5 (ja)
US6782463B2 (en) Shared memory array
KR20190028609A (ko) 호스트로부터의 읽기 요청에 대한 짧은 읽기 응답 시간을 제공하기 위해 내부 동작을 일시적으로 중단하는 스토리지 장치
CN1296830C (zh) 中央处理单元启动的方法及系统
US9405477B2 (en) Method and system for maintaining release consistency in shared memory programming
CN104199699A (zh) 程序加载方法、芯片启动方法、装置及主控设备
JP5106147B2 (ja) マルチプロセッサ処理システム
CN108427584B (zh) 快速启动的具有并行计算核的芯片及该芯片的配置方法
JP2009033439A5 (ja)
CN111966300A (zh) 一种节省主控sram的存储器数据写入方法及装置
CN114021715B (zh) 基于Tensorflow框架的深度学习训练方法
US20140215200A1 (en) Data processing device with serial bus that needs initialization before use