この形態でのメモリアクセスはトランザクション処理に対して 安全ではありません 。電源障害やその他のシステム障害が発生した場合、ストレージ内に全てのデータが書き込まれていることを保証できない仕組みであるため、アプリケーション側でそれを保証できる場合にのみ使用してください。

こちらは永続型メモリを高速なディスクプールとして構成する場合に便利な仕組みです。たとえば BTT を指定した PMEM 内にファイルシステムのジャーナルを配置すると、電源やその他の障害が発生した場合に信頼性を向上させることができます (詳しくは 19.5.3項 「BTT を利用した PMEM ネームスペースの作成」 をお読みください) 。

アプリケーション側からは高速な SSD デバイスに見えますので、通常のストレージデバイスと同じように扱うことができます。たとえば永続型メモリ内に LVM を構成したりすることもできます。

また BTT はセクタ単位での書き込みを行いますので、常に一貫性が保たれる利点もあります。アプリケーション側ではデータの信頼性確保に力を注ぐことなく処理することができます。メディアエラーが発生したような場合でも、標準のエラー報告チャンネルを介して通知が行われます。

ndctl list コマンドを実行すると、システム内で利用可能な全ての NVDIMM を表示することができます。

下記の例では、システム内に 3 つの NVDIMM が存在していて、それらは単一で 3 チャンネルのインターリーブセットを構成しています。

# ndctl list --dimms

[
 {
  "dev":"nmem2",
  "id":"8089-00-0000-12325476"
 },
 {
  "dev":"nmem1",
  "id":"8089-00-0000-11325476"
 },
 {
  "dev":"nmem0",
  "id":"8089-00-0000-10325476"
 }
]

ndctl list に異なるパラメータを指定することで、利用可能なリージョンの一覧を表示することもできます。

注記

リージョンは番号順に出力されない場合があります。

下記は 3 つの NVDIMM が搭載されているものの、 4 つのリージョンが設定されていることに注意してください。

# ndctl list --regions

[
 {
  "dev":"region1",
  "size":68182605824,
  "available_size":68182605824,
  "type":"blk"
 },
 {
  "dev":"region3",
  "size":202937204736,
  "available_size":202937204736,
  "type":"pmem",
  "iset_id":5903239628671731251
  },
  {
   "dev":"region0",
   "size":68182605824,
   "available_size":68182605824,
   "type":"blk"
  },
  {
   "dev":"region2",
   "size":68182605824,
   "available_size":68182605824,
   "type":"blk"
  }
]

領域には 2 種類の異なる形式が設定されています。一方は 3 つの BLK 型の 64 GB の領域として、もう一方は 3 つの NVDIMM を単一のボリュームとして利用できる、 PMEM 型の 189 GB 領域です。

なお、上記の例では available_size と size の値が同じになっていますが、これは現時点では領域を何も使用していないことを表します。

最初の例では、 3 つの NVDIMM を単一の PMEM ネームスペースに統合し、これを直接アクセス (DAX) 型として設定します。

最初にやるべきことは、新しいネームスペースを作成することです。

# ndctl create-namespace --type=pmem --mode=fsdax --map=memory
{
 "dev":"namespace3.0",
 "mode":"memory",
 "size":199764213760,
 "uuid":"dc8ebb84-c564-4248-9e8d-e18543c39b69",
 "blockdev":"pmem3"
}

上記を実行すると /dev/pmem3 という DAX に対応したブロックデバイスが作成されます。デバイス名の 3 は親リージョンの番号 (region3) から受け継いだ値になります。

--map=memory オプションを指定すると、 NVDIMM 内の PMEM ストレージの一部を予約して ページ記述子 と呼ばれるカーネル内部データ構造を保存させることができます。これにより、新しい PMEM ネームスペースで O_DIRECT I/O や RDMA のような機能を使用できるようになります。

カーネルのデータ構造を永続型メモリ内に予約することから、生成される PMEM ネームスペースは、親の PMEM リージョンより小さい容量になります。

次に、新しく作成したブロックデバイスがオペレーティングシステム側からアクセスできることを確認します:

# fdisk -l /dev/pmem3
Disk /dev/pmem3: 186 GiB, 199764213760 bytes, 390164480 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

他のドライブと同様に、こちらもフォーマットを行う必要があります。下記の例では、 XFS でフォーマットしています:

# mkfs.xfs /dev/pmem3
meta-data=/dev/pmem3      isize=256    agcount=4, agsize=12192640 blks
         =                sectsz=4096  attr=2, projid32bit=1
         =                crc=0        finobt=0, sparse=0
data     =                bsize=4096   blocks=48770560, imaxpct=25
         =                sunit=0      swidth=0 blks
naming   =version 2       bsize=4096   ascii-ci=0 ftype=1
log      =internal log    bsize=4096   blocks=23813, version=2
         =                sectsz=4096  sunit=1 blks, lazy-count=1
realtime =none            extsz=4096   blocks=0, rtextents=0

次に、新しいドライブをディレクトリにマウントします:

# mount -o dax /dev/pmem3 /mnt/pmem3

あとは DAX に対応したデバイスとしてマウントできていることを確認します:

# mount | grep dax
/dev/pmem3 on /mnt/pmem3 type xfs (rw,relatime,attr2,dax,inode64,noquota)

上記までの作業で、 PMEM ネームスペースを XFS ファイルシステムでフォーマットし、 DAX でマウントすることができます。

このファイルシステム内のファイルに対して mmap() システムコールを使用することで、 NVDIMM 内の永続型メモリに直接辿り着くことのできる仮想アドレスを取得することができます。もちろんページキャッシュは迂回する形になります。

このファイルシステム内のファイルに対して fsync や msync コールを実行すると、 NVDIMM 内に変更されたデータ全てを書き込んでいることが保証されます。これらのコールは、ユーザスペース側で mmap した内容のページを、プロセッサキャッシュからも排除して書き込みを保証します。

# umount /mnt/pmem3

# ndctl disable-namespace namespace3.0
disabled 1 namespace

# ndctl destroy-namespace namespace3.0
destroyed 1 namespace

BTT はセクタ単位での書き込み一貫性を提供する仕組みで、 ext4 や xfs のジャーナルのようにデータ保護を必要とする場合に適切な選択肢です。電源障害が発生したりした場合、ジャーナルは保護され復元可能な状態にならなければなりませんが、下記の例では BTT を利用した PMEM ネームスペースを作成して、ジャーナルをそこに配置する場合の手順を示しています。

# ndctl create-namespace --type=pmem --mode=sector
{
 "dev":"namespace3.0",
 "mode":"sector",
 "uuid":"51ab652d-7f20-44ea-b51d-5670454f8b9b",
 "sector_size":4096,
 "blockdev":"pmem3s"
}

次に新しいデバイスが存在していることを確認します:

# fdisk -l /dev/pmem3s
Disk /dev/pmem3s: 188.8 GiB, 202738135040 bytes, 49496615 sectors
Units: sectors of 1 * 4096 = 4096 bytes
Sector size (logical/physical): 4096 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

上述の手順で作成した DAX 対応の PMEM ネームスペースと同様に、この BTT 対応の PMEM ネームスペースは NVDIMM 内で利用可能な全てのストレージを使用しています。

注記

デバイス名 ( /dev/pmem3s ) の末尾にある s は sector (セクタ) の意味で、 BTT が設定されていることを名前から容易に判別できるようにしています。

作成されたボリュームは、上述の例と同じくフォーマットしてマウントすることができます。

ただし、ここで示した PMEM ネームスペースでは DAX を使用できません。その代わり、 BTT を利用して セクタ単位の書き込み保証 を提供します。それぞれのセクタへの書き込みは PMEM ブロックドライバを介して行われますが、この場合まず BTT は新しいセクタを書き込み用に確保します。 BTT は確保したセクタ内に書き込みが完了したことを確認したのち、内部マッピングを新しいセクタに書き換えて、アプリケーション側からアクセスできるようにします。この仕組みにより、処理中に電源障害が発生したような場合でも、書き込み前の古いデータを参照できるようになります。これにより、 「torn sectors」 と呼ばれる中途半端に書き込まれたデータになることを防いでいます。

このように BTT が有効化された PMEM ネームスペースは、通常の標準ブロックデバイスと同様にファイルシステムを指定してフォーマットすることができます。 DAX は使用できませんが、そのブロックデバイス内のファイルに対して mmap を行うことでページキャッシュを使用することができます。

ファイルシステムのジャーナルを別のデバイスに配置する場合、元のファイルシステムと同じブロックサイズを使用しなければなりません。一般的には 4096 が最も使用されていますが、念のため下記のコマンドで確認してください:

# blockdev --getbsz /dev/sda3

下記の例では、 NVDIMM デバイス内に新しい ext4 ジャーナルを、 SATA デバイス内に新しい ext4 ファイルシステムをそれぞれ作成して、ファイルシステムとジャーナルを結びつけるまでの処理を行っています:

# mke2fs -b 4096 -O journal_dev /dev/pmem3s
# mkfs.ext4 -J device=/dev/pmem3s /dev/sda3

下記の例では SATA ドライブに新しい XFS ファイルシステムを、別の NVDIMM デバイス内にジャーナルを作成しています:

# mkfs.xfs -l logdev=/dev/pmem3s  /dev/sda3

オプションの指定方法に関する詳細は、 man 8 mkfs.ext4 およびman 8 mkfs.ext4 をお読みください。