Redis vs Memcached. In-Memory Data Store

基本的に、インメモリデータストアとは、データを物理ディスクではなくRAM（ランダムアクセスメモリ）に格納する仕組みです。意図しているのは、遅延を極限まで抑えながら読み書きのスループットを高めることです。主にソフトウェアのキャッシュ層として使われることが多く、頻繁に取得されるデータを一時的に保存することで、メインのデータベースへの負荷を軽減します。

インメモリデータストア最大の利点は、高速性にあります。データがメモリ上にあるため、機械的動作が伴うディスクへの読み書きよりはるかに速くアクセスできます。しかしこの利点と引き換えに、メモリの揮発性という弱みがあります。システム障害や停電が生じると、メモリ上のデータはすべて消失します。このリスクを抑えるため、一部のインメモリデータストアには永続化機能が用意され、定期的にメモリの内容をディスクへ書き出しています。

インメモリデータストアの種類

インメモリデータストアは、主にキャッシングプラットフォームとインメモリデータベースという2つの形態に分類されます。

1. キャッシングプラットフォーム: シンプルなキーと値の形式で、頻繁にアクセスされるデータをメモリに残しておきます。多くは読み取り要求を処理してメインデータベースの負荷を減らす目的です。MemcachedやRedisなどが代表例です。
2. インメモリデータベース: すべてのデータをメモリ上に置き、ディスクベースのデータベース同様に複雑なクエリやトランザクションにも対応できます。代表例はSAP HANAやOracle TimesTenが挙げられます。

インメモリデータストアの活用例

インメモリデータストアのメリットを理解するには、従来のディスクベースのデータベースを用いているウェブアプリを想定するとわかりやすいです。ユーザがデータを要求するたびに、アプリ側でディスクを読み込む処理が発生し、処理時間が長くなりがちです。同様のデータを何度もリクエストされると、ディスクI/Oが過剰に発生することがあります。

そこでインメモリデータストアをキャッシュ層として導入すると、頻繁に要求されるデータをメモリ側で持つようになり、ユーザが同じデータを求めてもディスクにアクセスしなくて済むため、応答時間が大幅に短縮されます。

まとめとして、インメモリデータストアはデータ指向のアプリを高速化するうえで有用です。ただし、メモリの揮発性という性質から注意深い管理も欠かせません。引き続き、代表的なインメモリデータストアであるRedisとMemcachedを取り上げて、その特徴や強み、活用に向くケースについて詳しく解説します。

RedisとMemcachedとは：概要

RedisとMemcachedはいずれもオープンソースで、メモリを主に使うソフトウェアとしてデータの格納や操作に高い評価を受けています。類似点がある一方で、両製品が得意とする分野や機能は微妙に異なります。

RedisはRemote Dictionary Serverの略称としても知られ、インメモリで複雑なデータ構造を扱うのが得意です。従来のデータベースだけでなく、キャッシュとしても活用でき、さらにメッセージキューの役割まで担います。Redisがサポートするデータ構造は文字列やリストだけでなく、ハッシュ、ソート済みセット、ビットマップ、ハイパーログログなど多岐にわたります。地理情報（座標）に対する半径検索もサポートしている点で特徴的です。

Redisの優位性は、高速な処理能力と運用しやすさ、多機能ぶりにあります。サポートされるデータ型に関しては原子的な操作を保証しており、高速で複雑なやり取りを可能にします。さらに、ディスクへのデータ書き込みにも対応しているため、万が一の障害からの復旧が容易です。加えて、マスタースレーブ型のレプリケーション構成により、ネットワーク障害後の同期もシンプルに行えます。

 
# PythonでRedisを操作する例
import redis

# Redisクライアントの定義
redisClient = redis.StrictRedis(host='localhost', port=6379, db=0)

# キーと値を設定
redisClient.set('sample_key', 'sample_value')

# 設定した値を取得
print(redisClient.get('sample_key'))

一方のMemcachedは、汎用的な分散メモリキャッシュとして知られています。データやオブジェクトを一時的にメモリに保存することで、動的に生成されるウェブページの処理を高速化し、外部リソース（APIやDBなど）の負荷を大幅に下げます。

シンプルかつ堅牢な設計で、迅速な開発や展開が実現しやすいことがMemcachedの強みです。APIも多くのプログラミング言語と連携しやすいです。ただしRedisと異なり、Memcachedにはデータの永続化機能がなく、扱えるのは文字列のみで、レプリケーションやトランザクションもサポートしていません。

 
# PythonでMemcachedを操作する例
from pymemcache.client import base

# Memcachedクライアントの作成
memClient = base.Client(('localhost', 11211))

# キーと値を設定
memClient.set('sample_key', 'sample_value')

# 保存した値を取得
print(memClient.get('sample_key')

RedisとMemcachedをざっと比較したい方に向けて、以下にまとめています。

結論として、RedisとMemcachedはいずれも使いどころが異なり、どちらか一方が常に上位とは言い切れません。複数のデータ構造に対応する高機能さが必要であればRedis、シンプルかつ使いやすさを重視してキャッシュに特化するならMemcached、といった判断になります。

Redisの詳細

Redisを掘り下げる：高機能なRemote Dictionary Serverの概要

Redisはオープンソースとして開発された強力なインメモリストアで、データの分類も含めて、多彩な構造を管理できます。文字列やリスト、ハッシュ、ソート済みセット、ビットマップ、ハイパーログログ、地理情報の検索など様々な使い方ができ、データベースやキャッシュ、メッセージ仲介などの役割を1つで担います。

Redisの基本構造

Redisはクライアントサーバモデルに基づいて動作します。イベント駆動型でシングルスレッドのプロセスが動き、コマンドの実行や接続管理、I/Oなどを担います。

クライアントはTCP経由でRedisに接続し、サーバへコマンドを送信して応答を受け取ります。サーバが受け取ったコマンドは一つずつ直列で処理・キューイングされます。

Redisの多様なデータ型と操作

Redisを特徴づけるのは、幅広いデータ型に対応している点です。以下に例を挙げます。

1. Strings: Redisの基本的な型で、バイナリやシリアライズ済みオブジェクトにも対応します。GETやSET、APPENDなどの操作が可能です。
2. Lists: 文字列要素のリンクリストです。両端への要素追加・削除が高速で、LPUSHやRPUSH、LPOP、RPOPなどを利用します。
3. Sets: 順序をもたない文字列要素の集合で、重複はありません。SADD、SREM、SISMEMBER、SMEMBERSなどを使います。
4. Hashes: フィールドと値のマッピングで、主にオブジェクトに相当する情報を管理する際に便利です。HSET、HGET、HDEL、HEXISTSなどがあります。
5. Sorted Sets: 各要素にスコアを付与して、スコアの値で順序付けられるコレクションです。ZADD、ZRANGE、ZREMなどを用います。

Redisの永続化

RedisはRDB（Redis DataBase File）とAOF（append-only file）という2種類の手法で永続化に対応します。

RDBは定期的にポイントインタイムでスナップショットを保存する方式で、素早く容量も軽めですが、スナップショット間の変更は失われる可能性があります。

一方AOFは、実行された書き込み操作をすべてログに追記していく方式で、データ損失リスクを減らせますが、ディスク容量や処理速度面ではコストが高くなる可能性があります。

Redisのメッセージ通信

RedisにはPub/Subという仕組みがあり、特定のチャネルを購読したクライアントに対して、チャネルに投稿されたメッセージを即時に配信できます。通知やライブアップデート、チャットなど、即時性が望まれるケースで活用されます。

Redisのトランザクション

Redisのトランザクションでは、複数のコマンドをまとめて順番に実行します。途中で一部のコマンドが失敗してもロールバックはありません。

Redisのセキュリティ

Redisは基本的に信頼できる環境で動かす想定のため、厳重なセキュリティ機構はデフォルトでは用意されていません。ただし、AUTHコマンドによるパスワード保護やSSL/TLS暗号化を有効化することも可能です。

このように、Redisは高速かつ柔軟で多機能なインメモリストアとして多くの場面で活躍します。ただしシングルスレッド特有の制約や標準的なセキュリティ機構の簡素さは理解しておく必要があります。

Memcachedの詳細

Memcachedはデータベースへの負荷削減を目的にウェブアプリを大幅に高速化するための優れた手段です。即時のメモリ領域としてデータやオブジェクトを保存するため、データベースやAPI処理の動作回数を削減し、動的コンテンツの表示を加速します。

Memcachedの設計の概要

Memcachedは分散ハッシュテーブルに近い仕組みをベースにしており、クライアントとサーバのアーキテクチャで動作します。キーと値を管理するテーブルをサーバ側が保持し、クライアントは保存や取得の要求を投げかける形です。サーバ間での直接的な通信はなく、あるサーバでキーに合致しない場合は他を探しても無駄、という単純な仕組みです。

Memcachedのデータ構造

Memcachedは実質的に巨大なハッシュテーブルとして機能します。キーは最大250バイト、値は1MBまで保管できます。単純であることが性能面の強みに繋がっています。

Memcached APIの概要

MemcachedのAPIは短い関数群で構成されており、データの追加・取得・削除など基本操作をサポートします。インクリメントやデクリメントといった限定的な演算機能も備えています。

Memcachedのパフォーマンス

Memcachedの最大の特徴は圧倒的な速度と効率です。ノンブロッキングかつイベント駆動型のアーキテクチャにより、多数のリクエストを同時に捌きながら、メモリ使用量も比較的少なく抑えられます。

Memcachedのスケーラビリティ

Memcachedは分散構成により、水平方向に簡単にスケールを拡大できます。データがどのサーバに格納されるかはハッシュアルゴリズムで決定され、サーバを追加・削除しても影響範囲が限定的です。

Memcachedの弱点

Memcachedは永続化の機能がなく、サーバ障害時にはデータを失います。またバックアップやトランザクションにも非対応です。セキュリティ機能も標準では備わらないため、不正アクセスには注意が必要です。

Memcachedの主な利用シーン

読み取り主体で、多少のデータ消失リスクが許容されるケースで有効です。SNSやオンラインゲーム、メディア共有など高トラフィックなサービスで多く使われています。

以下はPythonからMemcachedを操作する簡単なサンプルです。

 
from pymemcache.client import base

client = base.Client(('localhost', 11211))

# 値を保存
client.set('key', 'value')

# 値を取得
value = client.get('key')

‍総じて、Memcachedは高速かつ簡単に使えるインメモリストレージとして有用ですが、データの永続化や十分なセキュリティ機構がない点は考慮する必要があります。

Redis vs Memcached: 主な特徴と比較

インメモリ型のデータストアとして代表的な2つがRedisとMemcachedです。いずれも高いパフォーマンスを誇り、大量のデータ取り扱いに向いています。しかし、それぞれ固有の機能やアーキテクチャがあり、一長一短と言えます。ここでは主要な特徴を整理し、選択の判断材料にします。

Redisの特徴

1. 豊富なデータ構造: 文字列やリスト、セット、ハッシュなど多様な型を扱えます。キャッシュ用途だけでなく、メッセージブローカーなど幅広い活用が可能です。
2. 永続化への対応: RDBとAOFによって、メモリ上のデータをディスクにスナップショットとして保存したり、すべての書き込み操作をログ化できます。障害時のデータ保護に役立ちます。
3. レプリケーション: マスターから複数のスレーブにデータを複製し、読み込みの負荷分散や可用性強化ができます。
4. トランザクション: 複数のコマンドを一括実行し、データ整合性を高められます。
5. Pub/Sub: 組み込みのPub/Sub機能により、アプリ内の即時データ連携がしやすくなります。

Memcachedの特徴

1. シンプルさ: キーと値のストアという単純なモデルで、学習コストが低いです。
2. キャッシュ専用設計: インメモリキャッシュとして特化した仕組みのため、高価なデータ取得を減らせます。
3. 高いスケーラビリティ: サーバを追加するだけで水平拡張でき、大量リクエストにも対応しやすいです。
4. マルチスレッド設計: 複数スレッドで同時にクライアント接続を処理できるため、高コア数のマシンで有利です。
5. LRUキャッシュ: キャッシュがいっぱいになったとき、Least Recently Used方式で古い項目を優先的に削除します。

Redis & Memcached: 比較表

まとめると、豊富な機能を求めるならRedis、簡易な設計で使いやすいキャッシュを求めるならMemcachedが合っています。どちらが適切かは具体的なユースケースや目的によって異なります。

Redisを選ぶメリット

Redisは先進的なインメモリストアとしてオープンソースで利用でき、その多機能ぶりがMemcachedと比べても顕著です。ここではRedisがMemcachedを上回るポイントを挙げます。

複雑なデータ構造に対応

Memcachedが単純なキーと値だけなのに対し、Redisはさまざまなデータ型を取り扱えます。スコアが必要なランキングや位置情報など、複雑なシナリオでも柔軟に対応できます。Memcachedはあくまでシンプルなキャッシュ用が中心です。

データの耐久性

Redisにはメモリの内容をディスクに書き込む仕組みが備わっているため、サーバを再起動してもデータを保持できます。Memcachedはこの保護機能がなく、長期的にデータが必要な場合には適していません。

優れたデータレプリケーション

Redisにはマスター・スレーブ方式のレプリケーションがあります。メインのRedisサーバ（マスター）で書き込まれたデータは、他のスレーブサーバにコピーされるため、障害時の冗長性やスケールアウトに役立ちます。Memcachedにはこうした仕組みがありません。

トランザクション処理

Redisでは複数のコマンドを単一のトランザクションで実行できます。金融系などデータ整合性が重要な分野では欠かせない機能です。一方Memcachedはそうした機能をサポートしていません。

アプリ内部での連携を強化

RedisはPublish/Subscribeモデルを標準で持ち、サーバレスやマイクロサービスをはじめとする設計でメッセージブローカー的な役割を果たします。MemcachedにはPub/Subはないため、リアルタイム性が必要な場面には向きません。

サーバ側でのロジック処理

RedisではLuaスクリプトを実行できるため、複雑な処理をサーバ側で行い、ネットワーク往復を減らせます。Memcachedはこうした機能がないため、同じ複雑処理をクライアント側で行わなくてはならず、パフォーマンス面での利点は限定的です。

以上の点から、Redisは複雑なシナリオや堅牢な機能を求めるアプリに適した、より柔軟性が高いプラットフォームと言えます。

Memcachedを選ぶメリット

多種多様なインメモリソリューションのなかでも、MemcachedはRedisを上回るような優位性を持つ場合があります。ここではMemcachedならではの強みを解説します。

シンプルかつ導入しやすい設計

Memcachedは単純明快なキーと値のストアに特化しており、余計な機能がありません。習得しやすく導入もスムーズなため、キャッシュ用途にのみ特化するなら最適です。Redisのように多彩なデータ型をあれこれ扱う必要がない場合は、Memcachedの方が楽に導入できます。

マルチスレッド性能に優れる

Memcachedはマルチスレッド構成のため、多数のCPUコアを搭載している環境では高いパフォーマンスを発揮しやすいです。逆にRedisはシングルスレッドなので、同時処理件数に上限が生じるケースもあります。

メモリ効率の良さ

Memcachedはスラブアロケーションによるメモリ管理が特徴で、無駄なくメモリを活用できます。一般的にRedisより少ない容量で同等のデータを保持できる場面があり、大規模規模のキャッシュ用途で有利になることもあります。

高速なネットワーク通信

Memcachedはバイナリプロトコルを採用しており、テキストベースのRedisに比べてネットワーク面のオーバーヘッドが低いです。その結果、高スループットが期待できます。

非常に短い応答時間

Memcachedは動作速度を最優先する設計をしているため、とにかく低レイテンシに特化しています。メモリ管理が軽量で大容量データを扱う場合にも動作が高速になるケースがあります。

機能を絞った集中型サービス

Memcachedはあくまでもキャッシュ用に特化しており、余計な機能を削ぎ落としています。よって、単純なキャッシュ操作を高いスピードで行いたい場面にぴったりです。

まとめると、Memcachedは構造がシンプルで軽量、処理速度重視の場面ではRedisより好条件になる場合があります。キャッシュだけをさっと導入したいといったニーズに合致します。

ユースケース：RedisがMemcachedより優位な例

RedisとMemcachedはいずれも人気の高いオープンソースのメモリ中心データストアですが、特定の場面ではRedisがより適している場合があります。ここでは、Redisを選ぶと良い例を挙げます。

即時分析の必要があるシーン

Redisは文字列、リスト、セット、ソート済みセット、ビットマップ、ハッシュ、ハイパーログログなど、多彩なデータ型に対応します。リアルタイム集計のような複雑な処理を容易に実装できるため、即時分析が求められるシーンに強いです。

たとえばECサイトでのユニーク訪問者数の集計をHyperLogLogで正確かつ効率的に行うようなケースが挙げられます。

 
# PythonでのRedis使用例
import redis
r = redis.Redis(host='localhost', port=6379, db=0)
r.pfadd('visitors', 'User1', 'User2', 'User3')  # ユーザを追加
print(r.pfcount('visitors'))  # ユニーク訪問者数を推定

Memcachedは基本的にキーと値だけのサポートなので、リアルタイム分析には不向きです。

ビルトインのPub/Sub

RedisにはPub/Subメッセージング機能が組み込まれています。自社アプリ内で即時通信が必要な場合やチャット機能などを作りたい場合、RedisのPub/Subは最適です。

例えばチャットアプリを構築し、チャンネルに投稿されたメッセージを即時に購読者へ配信できます。Memcachedでは同等の仕組みがないので、Redisの強みが活きる場面です。

 
# Redisを使ったPub/Subの例
import redis
r = redis.Redis(host='localhost', port=6379, db=0)

# チャンネル'chatroom'にユーザ1がメッセージを送る
r.publish('chatroom', '皆さんこんにちは！')

# ユーザ2がチャンネル'chatroom'を購読してメッセージを受け取る
p = r.pubsub()
p.subscribe('chatroom')
print(p.get_message())

データを補強しながら保持したい場合

Redisには永続化機能があるため、サーバ再起動時にデータを保持できます。データが失われるリスクが低い点が必要なら、Redisを選ぶメリットは大きいです。Memcachedだとサーバを再起動すればデータはすべて消えてしまいます。

順位づけやスコアリング

Redisのソート済みセットを使えば、スコアを付与してランキングのような機能を簡単に実装できます。ゲームのスコアランキングなどは典型例です。

Memcachedではこのような特殊なデータ操作は難しいため、Redisのソート済みセットが活躍する分野ではRedisが選ばれがちです。

 
# PythonからRedisでランキング操作する例
import redis
r = redis.Redis(host='localhost', port=6379, db=0)

# プレイヤーのスコアを登録
r.zadd('scores', {'Player1': 300, 'Player2': 500, 'Player3': 400})

# スコア順に取得
print(r.zrevrange('scores', 0, -1, withscores=True))

このように、多種多様な場面に対応できるのがRedisの強みと言えます。

ユースケース：MemcachedがRedisより優位な例

高効率を実現するMemcachedの得意な使いかた

一方で、Memcachedならではの設計がメリットとなるケースもあります。ここではMemcachedが力を発揮する具体的なシナリオを確認します。

高速かつシンプルなログ保存

Memcachedは余計な機能を省き、キャッシュ用に特化しています。ログのように単純データをとにかく素早く格納したい場合、Memcachedが有利です。Redisにある永続化や複雑なデータ構造は不要なら、Memcachedのほうが動作が軽くシンプルです。

以下のPython例では、ユーザセッションをMemcachedに保管して即座に取り出しています。

 
import memcache

store = memcache.Client(['127.0.0.1:11211'], debug=0)

def log_session(user_id, session_data):
    store.set(user_id, session_data)

def recover_session(user_id):
    return store.get(user_id)

高負荷なウェブサイトへの対応

膨大なリクエストが集中するような高負荷サイトでは、Memcachedによりデータ取得を高速化するメリットが大きいです。シンプルな仕組みとマルチスレッドの組み合わせで、多数の接続を効率よく捌きやすくなります。

メモリの使い方が効率的

Memcachedではシリアライズ形式でデータを格納するため、たとえばRedisのような複雑なメモリ管理よりもシンプルで軽量です。巨大データセットを極力少ないメモリで扱いたい場合に向いています。

実際に、同じ数のキーと値ペアを保持するのに、RedisよりMemcachedのほうが小さいメモリですむ場合があるようです。

即時データ分析にも応用できる

Memcachedは大量の読み書き処理を並行して行うのが得意で、データログをリアルタイムに取り込みつつ簡単な解析を行う際にも役立ちます。たとえばユーザ行動を素早く書き込み、即座に取得してアクセス傾向を分析したいようなケースで重宝します。

簡単にまとめると、Memcachedはシンプルなログ格納、高トラフィックの処理、メモリ節約などの面でAdvantageがあり、機能を最小限かつ高速に提供したい場合に特化した選択肢と言えます。

RedisとMemcachedのパフォーマンス比較

インメモリデータストアであるRedisとMemcachedの性能を理解するうえで、ベンチマーク結果は重要な参考指標です。ここでは、それぞれの主な指標や比較を示します。

パフォーマンス指標

今回注目する指標は以下です。

1. レイテンシ: 1つのリクエストを処理するのに要する時間。値が低いほど即時性が高いことを意味します。
2. スループット: 一定時間内にどれだけのリクエストを処理できるか。大きいほど多くの要求を並行して捌けます。
3. メモリの効率: 一定のメモリでどれほど多くのデータを格納できるか。値が高いほど同じメモリ容量でたくさんのデータを扱えます。

Redisの性能

Redisはシングルスレッドのイベント駆動型で動作し、高いパフォーマンスと低レイテンシが特長です。公式ベンチマークでは、SET操作は1秒あたり最大150万件、GET操作は130万件ほど処理でき、レイテンシは1ミリ秒未満との報告があります。

メモリ効率については、Redisが複雑なデータ構造を扱うぶん、Memcachedよりメモリ消費が大きくなる場合があります。一方で、不要になったキーを削除するための様々なエビクションポリシーが提供されています。

Memcachedの性能

Memcachedはマルチスレッド対応で高い同時接続処理能力を持ち、SET操作で毎秒100万件、GET操作で120万件ほどの処理が可能とされています。レイテンシも1ミリ秒未満と高速です。

メモリ効率に関しては、より単純なデータ構造のため、Redisよりも多くのデータを同じメモリに格納しやすい傾向があります。ただし、エビクションポリシーの柔軟性はRedisほどではありません。

両者の比較

どちらも非常に高速ですが、Redisはスループットにやや優れ、Memcachedはメモリ効率に優れがちです。ただし実際の性能は環境や設定、ユースケースによって変動するため、実運用でのテストが望ましいです。

Redisの内部仕組み

Redisはオープンソースの中でも高速かつ使いやすく、多くのプログラミング言語に対応していることで注目を集めています。しかし、その真価を十分に引き出すには、Redisのコア部分を理解しておくことが大切です。ここではRedisの主要な仕組みや柔軟なデータ型、レプリケーションや永続化機能を詳しく見ていきます。

Redisの基本動作

Redisはクライアントサーバ式のアーキテクチャで動きます。Redisサーバはバックグラウンドで稼働し、データをメモリ上で保持します。クライアント（アプリ）はコマンドをRESP（Redis Serialization Protocol）で送信し、サーバからの応答を受け取ります。

Redisサーバはシングルスレッドで動作するため、複雑な排他制御を行わずにシンプルかつ高速に大量のコマンドをさばけます。

多彩なデータ構造

Redisは文字列やリスト、ハッシュ、セット、ソート済みセットなど多くのデータ型を提供し、それぞれに特化した原子的かつ高パフォーマンスな操作を可能にしています。

 
# Pythonでリスト操作を行う例
import redis

red= redis.Redis()

# リストにアイテムを追加
red.lpush('mylist', 'firstItem')
red.lpush('mylist', 'secondItem')

# リストからアイテムを取得
retrieved_items = red.lpop('mylist')

Redisの永続化

RedisはRDBとAOFの2種類を実装し、メモリ上のデータをディスクに残せるようにしています。RDBでは定期的にスナップショットを作り、AOFでは更新操作をすべて追記します。用途に応じて、どちらかあるいは両方を組み合わせて利用可能です。

Redisのレプリケーション

Redisのレプリケーションはマスター-スレーブ方式です。マスターサーバのデータがスレーブサーバへコピーされるため、読み取り処理の負荷分散や耐障害性を高めることができます。

イベントループ

Redisはイベントループによってクライアントとのやり取りを整理しています。単一スレッドながら多くの接続を扱えるのは、ノンブロッキングI/Oとイベントループが組み合わさっているおかげです。

このように、Redisはシンプルな設計基盤に多機能を巧みに組み合わせた、スピードと柔軟性を兼ねそなえたシステムと言えます。

Memcachedの内部仕組み

Memcachedは分散メモリオブジェクトキャッシュとして広く使われ、高速かつスケーラブルな特性を活かして動的なウェブアプリを支えています。ここではMemcachedのコア部分に注目し、その仕組みを詳しく見ていきます。

Memcachedのアーキテクチャ

Memcachedはクライアントサーバ型で動作し、TCPまたはUDP上のシンプルなテキストプロトコルによって通信します。サーバ側は巨大なハッシュテーブルでキーと値のペアを管理します。

キーのハッシュ値はMurmurHashなどで算出され、格納先となるスラブが決まります。メモリはスラブアロケータで管理され、アイテムサイズごとに事前に固定ブロックを用意することで、フラグメンテーションを抑えつつ効率的にメモリを使います。

Memcachedの動作

クライアントがキーを指定してデータを要求すると、Memcachedサーバは該当するスラブを探し、キャッシュ上にあればすぐに返します。キャッシュにない場合は外部DBなどから取得してキャッシュへ保存し、再度返却します。

キャッシュがいっぱいの際はLeast Recently Used（LRU）に基づいてあまり使われていないデータから順次削除し、新しいデータを入れます。

Memcachedのコマンド

Memcachedのコマンドはテキストベースで、get、set、add、replace、deleteなどを使います。例えばsetコマンドは以下のように呼び出します。

 
set mykey 0 900 5
hello

ここでmykeyがキー、0はフラグ、900は有効期限(秒)、5は値のバイト数、実際の内容はhelloです。

Consistency（整合性）

Memcachedはキャッシュがメインのため、データ整合性を保証する仕組みは持ちません。値が必要なら必ずDBや別の手段で保証する必要があります。

こうしたシンプル設計のおかげで高速化が実現しており、適切なユースケースで大きな効果を発揮します。

Redisのインストールと初期設定

Redisはオープンソースのインメモリストアであり、データベースやメッセージブローカー、キャッシュとしても利用できます。文字列やハッシュ、リスト、セットなど幅広いデータ型を扱えるのが特徴です。

ステップ1: Redisを入手

まずは公式サイトから安定版のRedisを取得します。以下のコマンドで直接ダウンロードもできます。

 
wget http://download.redis.io/redis-stable.tar.gz

ステップ2: 圧縮ファイルを展開

ダウンロードしたファイルを展開し、ディレクトリに移動します。

 
tar xvzf redis-stable.tar.gz
cd redis-stable

ステップ3: Redisをビルド

続いてmakeコマンドでコンパイルします。

 
make

ステップ4: Redisを起動

ビルドが終わったらRedisサーバを起動できます。正常に起動すると、起動ログが表示されます。

Redisの設定変更

インストール後はredis.confファイルで各種設定が行えます。典型的なオプションとしては、

• bind: Redisが監視するネットワークインターフェイスを指定します。
• port: リスンするポート番号を指定します。
• dir: データを保存するディレクトリを指定します。
• appendonly: AOFによる永続化を有効にするかどうかです。

編集後にRedisサーバを再起動すれば、変更が反映されます。

 
src/redis-server redis.conf

Redisには多数の機能やオプションがあるため、公式ドキュメントを参照しながら活用を検討できます。

Memcachedのインストールと初期設定

Memcached導入の手順

Memcachedはデータベース負荷を下げる目的で広く使われるインメモリキャッシュです。続いて、インストールの流れを説明します。

ステップ1: Memcachedをインストール

まずOSを最新化したうえで、Memcachedを導入します。Linuxの場合は以下のように行えます。

 
sudo apt-get update
sudo apt-get upgrade

続いて下記コマンドでMemcachedを導入します。

 
sudo apt-get install memcached

Windowsユーザは公式サイトからバイナリを取得し、手順に沿ってインストールします。

ステップ2: Memcachedの設定

Memcachedの設定ファイルは通常/etc/memcached.confにあります。メモリ容量やリッスンIP、ポート番号などを変更可能です。

例として、使用できるメモリを128MBに設定するには-mオプションの値を編集します。

 
-m 128

また、IPアドレスは-l、ポートは-pで指定できます。

ステップ3: Memcachedを起動して動作確認

設定が済んだらMemcachedを起動します。

 
sudo systemctl start memcached

以下のようにtelnetコマンドでポートに接続できれば、Memcachedが正常に動いていることを確認できます。

 
telnet localhost 11211 

ステップ4: Memcachedの最適化

用途によっては、マルチスレッド数を調整するなどの追加設定を行うと性能が向上します。

 
-t 4 

この例ではスレッド数を4に設定しています。多コア環境であればスレッド数を増やすことで性能向上が見込めます。

以上の手順でMemcachedを導入・初期設定できます。定期的に設定を見直すことでさらなる高速化が目指せます。

Redisの永続化とレプリケーション

オープンソースながら高性能なRedisは、データベースやキャッシュ、メッセージングなど多役割をこなす仕組みを提供します。とりわけデータを保存する方法（永続化）と複製する仕組み（レプリケーション）は、重要なポイントです。

Redisのデータ永続化

Redisはメモリ中心ながら、サーバ再起動などでデータが消えないようにディスクに書き込む機能を備えています。RDB（スナップショット）とAOF（書き込みログ）の2種類があります。

RDB

RDB方式は一定間隔でデータをスナップショットとして保存します。変更回数や時間をトリガーに設定でき、ファイル形式で.rdbを生成します。高速かつファイルが比較的コンパクトですが、スナップショット間のデータは保護されないリスクがあります。

AOF

AOF方式では、すべての書き込み操作をログとして追記します。ログを再生すれば最新状態を復元できますが、ディスクI/O増大の可能性が高まります。設定ファイルでappendonly yesとすることで有効化できます。

Redisのレプリケーション

Redisではマスターとスレーブに分かれてデータを同期させる構成が可能です。マスターで書かれた内容はスレーブに複製され、読み取り負荷を分散しつつ、障害にも備えられます。

スレーブとして設定する場合は、例えば以下のように入力します。

 
SLAVEOF master_hostname master_port

これによりスレーブはマスターのデータを反映し続けます。

RDBとAOFの比較

このようにRedisは、高速性を損なわない範囲でデータをしっかり守るため、RDBとAOF、あるいはレプリケーションとの組み合わせを柔軟に選ぶことができます。

Memcachedにおけるキャッシュと有効期限

Memcachedの強みは、データをメモリに保存してデータベースアクセスを大きく減らす点にあります。ここではMemcachedがどのようにキャッシュを行い、格納したデータをどのように期限管理するかを見ていきます。

Memcachedのキャッシュ動作

キーと値をペアで保持し、頻繁に使われるデータやオブジェクトをメモリに置きます。必要なデータを都度外部から取得するより高速です。値としては文字列から数値、シリアライズしたデータなども保存できます。

Memcachedでデータを保存する際はkey、value、オプションで有効期限を指定します。有効期限を指定しなければ、その項目はメモリが足りなくなるまで保持されます。

たとえば以下のようにPythonからセット・ゲットできます。

 
import memcache

mc = memcache.Client(['127.0.0.1:11211'], debug=0)

mc.set("sample_key", "sample_value")

return_value = mc.get("sample_key")

有効期限（Expiration）の設定

指定した期限を過ぎるとキャッシュから自動的に削除されます。期限は相対的な秒数（30日以下）か、Unixタイムスタンプ（30日超）で指定します。

以下の例では、300秒（5分）後に自動削除されるように設定しています。

 
mc.set("sample_key", "sample_value", time=300)

メモリ割り当ての仕組み

Memcachedのメモリが上限に達した場合、Least Recently Used（LRU）方式にしたがって古いデータが除去され、新しいデータが入れられます。メモリが圧迫されないかぎりは、設定した期限までデータを保持します。

データ整合性について

Memcachedはあくまでもキャッシュであり、データ整合性は保証しません。必ず外部で正確なデータソースを管理しておき、キャッシュヒットしない場合にはそちらから取得しなおす設計が求められます。

このように、Memcachedのキャッシュ管理はシンプルでありながら高速動作に特化しており、大規模アプリのパフォーマンスを向上させるうえで有用です。

RedisとMemcachedを最適化する方法

インメモリストアの高速化

インメモリストアであるRedisやMemcachedの性能は、メモリ管理やデータ構造の選択、ネットワーク設定などの工夫次第で向上します。以下にポイントを整理します。

メモリ管理

RedisとMemcachedのいずれも、限られたメモリで高速なデータアクセスを実現するために特有のアルゴリズムを採用しています。

Redis

Redisにはさまざまなエビクションポリシーがあり、allkeys-lruやvolatile-lruなど、用件に応じて選べます。maxmemory-policyで方針を切り替え、不要キーを適切に削除してメモリを確保します。

Memcached

Memcachedはスラブアロケーション方式を使い、アイテムサイズごとにメモリを確保します。起動時の-fオプションで拡張ファクタなどを調整し、格納アイテムに適したメモリ割り当てにすると効率が上がります。

データ構造の選択

使用するデータ構造次第で、性能とメモリ消費のバランスが変わります。

Redis

用途に応じてリストやセット、ハッシュなどを使い分け、必要最小限のメモリで済ませる配慮が大切です。大量の似たデータをまとめたいならハッシュを活用するなど、状況に合わせるとパフォーマンスが向上します。

Memcached

Memcachedは基本的にキーと値だけです。ロジックはクライアント側で工夫する必要がありますが、そのぶんシンプルで高速です。

ネットワーク設定

RedisもMemcachedもネットワークを介してやり取りするため、設定によってスループットは大きく左右されます。

Redis

シングルスレッド＋イベント駆動で多くの接続を扱います。tcp-backlogなどの設定を最適化すると、多数の同時接続に対応しやすくなります。

Memcached

マルチスレッド型のため、多コアCPUなら-tオプションでスレッド数を増やすとスループット向上が見込めます。ネットワークI/Oを並列化でき、負荷分散が効果的になります。

このように、メモリ割り当てやデータ構造、ネットワーク関連を適切に調整することで、RedisやMemcachedを最大限に活用できます。

RedisとMemcachedで起こりがちな問題と対処法

Redisでよくある課題と解決策

1. メモリ使用量が多い: RedisはすべてのデータをRAMに置くため、大規模データセットだとメモリ不足に陥る可能性があります。
   解決策: Redisのエビクションポリシーを活用し、利用しないデータを自動的に削除します。また、ハッシュを利用して小さなオブジェクトをまとめるとメモリを節約できます。
2. 永続化がらみの問題: RDBはスナップショット間で書き込まれたデータを失うリスクがあり、AOFはディスクI/O負荷が高いです。
   解決策: RDBとAOFを併用することで、安全性とパフォーマンスを両立させます。AOFのfsyncポリシーを調整すると、書き込み頻度と速度のバランスを取れます。
3. シングルスレッドによるスループットの限界: Redisは単一スレッドなので、高トランザクション環境では限界が見えてきます。
   解決策: Redis Clusterを導入すると、データを複数ノードに分散して処理を並行化でき、スループットを向上できます。

Memcachedでよくある課題と解決策

1. データの永続化がない: Memcachedはキャッシュ用であり、サーバを再起動するとデータは消滅します。
   解決策: データの本番保存は必ず別の耐久的ストア（データベースなど）を利用し、Memcachedは再現可能なデータのみを格納するようにします。
2. データ型が限定的: Memcachedは文字列ベースで thôi. 複雑なデータ構造が必要なら不便です。
   解決策: 必要に応じてシリアライズして保存するか、複数のキーに分割するなどの工夫が要ります。データ型が多彩に必要な場合はRedisを選ぶのが無難です。
3. セキュリティ機能の不足: Memcachedは標準で認証や暗号化を備えていないため、第三者が接続するとデータを読み書きできてしまう危険があります。
   解決策: ファイアウォールで保護されたネットワーク内に配置するなど、環境側で安全を確保してください。

このように、RedisとMemcachedにはそれぞれ固有の課題がありますが、正しい対策を講じれば高度かつ安定した環境を築けます。

インメモリデータストアの未来：RedisとMemcached

即時応答が欠かせないアプリやビッグデータを扱うシステム、ハイパフォーマンス環境の増加に伴い、インメモリデータストアの需要は今後も高まりそうです。RedisとMemcachedいずれも、さらなる高速化や拡張性が求められる時代の要請にこたえられる存在です。

Redisの進化

オープンソースのRedisはコミュニティが活発で、機能拡張や性能向上が常に検討されています。

データ構造のさらなる拡充

既に文字列、リスト、セット、ソート済みセットなど豊富ですが、将来的にはさらに複雑な構造や操作をサポートし、ビジネス要件に応じた柔軟性が上がる可能性があります。

永続化・レプリケーションの強化

より高速で信頼性の高い手法が研究され、障害時のデータ損失を最小限に抑えて分散環境でもスピーディーに同期できるようになる見込みです。

セキュリティ機能の強化

現在のRedisはパスワード設定や暗号化に対応できますが、今後はRBACなど、企業ユースに合わせた機能拡張が期待されます。

Memcachedの進化

同様にMemcachedも多くの開発者コミュニティに支えられています。

スケーラビリティのさらなる強化

すでに高い拡張性を持っているMemcachedですが、大規模環境でより効率良く分散キャッシュを運用できる機能が検討されるでしょう。

性能の向上

コードの最適化や新しいメモリ技術の導入により、読み書き速度はますます向上する見込みです。

セキュリティの改善

今後は通信の暗号化やアクセス管理がデフォルトで強化される可能性があります。

Redis vs Memcached: 今後の方向性

この先も、RedisとMemcachedはそれぞれの方向で進化し続けるでしょう。選択は最終的に貴社のアプリケーション要件次第ですが、いずれを選んでも信頼性と高速性能を享受できる可能性が高いです。

総じて、即時性と柔軟さを追求するならRedis、軽量さとシンプルさを維持するならMemcached、という棲み分けは続くと見込まれます。

結論：どちらを選ぶべきか

インメモリデータストアとしてRedisとMemcachedを比較すると、用途や要件によって適する方が変わってきます。

アプリの要件を見極める

シンプルにキャッシュ機能だけを必要とするならMemcachedが有力です。一方、リストやセット、ハッシュといった様々な構造を扱ったり、永続化やレプリケーション、トランザクションが欲しいならRedisが向いています。

技術スキルと拡張計画

Redisは多機能ゆえ、習熟にやや時間がかかる場合がありますが、今後の拡張で必要となる機能を最初から網羅できる強みがあります。対してMemcachedは導入が容易で、最小手間でキャッシュをすぐ取り入れたい場合に適しています。

将来の拡張性

大規模化が見込まれるなら、Redisのレプリケーションやクラスタ機能が役立ちます。そこまで複雑な機能がいらないなら、Memcachedで十分なケースも多いでしょう。

両製品の違いを再確認

結論として、RedisとMemcachedはいずれも強力なインメモリデータストアです。貴社のアプリに必要な機能や将来計画を踏まえ、どちらが最適かを判断するとよいでしょう。