本文へスキップ
Ankole

ディザスタリカバリ

AI Agent 向け: このページの Markdown 版は https://ankole.agentbull.com/ja-JP/docs/disaster-recovery/index.md、ドキュメント索引は https://ankole.agentbull.com/ja-JP/llms.txt にあります。

ディザスタリカバリでは、コントロールプレーンの PostgreSQL データベース、独立した Pod Base シャードデータベース、ファイルストア、永続 Agent Home、ankole-function-runtime、および元のデプロイ用秘密情報を、1 つの整合したデプロイメントとしてまとめて復元します。保全対象のデータと整合バックアップの手順については、バックアップガイドを参照してください。

復旧前に、実際の Base データベース構成を確認してください。BASE_DB_URLS が未設定の場合、dev/test では 4 シャードを自動構成し、FOSS production では DATABASE_URL を共有します。既定値で構成したものも含め、独立したすべてのシャードを復元対象にします。

復旧前

まず、旧環境のコントロールプレーンや Worker が、復元後の Home やデータベースに書き込めない状態であることを確認します。通信が途絶えているだけでは、Worker が確実に停止したとは判断できません。一時停止中のインスタンスや、結果が不明なままの作成リクエストも確認対象に含めてください。状態が未確定の generation とその認証情報は削除せず PostgreSQL に保持しておき、プラットフォームから確定結果が返るまで同じ generation を引き継ぎます。

復旧リハーサルを行う際は、必ず隔離されたプラットフォームリソースへ復元してください。本番用 provider の配置設定が残ったままデータベースのコピーを起動すると、リハーサル環境から本番インスタンスを誤って操作してしまいます。なお、異なる provider 間やストレージ構成間での自動移行は行われません。

復旧手順

  1. コントロールプレーンを停止した状態で代替インフラを準備し、provider の配置、BASE_DB_URLS のシャード ID(ankole_sharding)、および永続ストレージ構成を元の環境と揃えます。あわせて同一リリースのステートレスな ankole-function-runtime サービスを準備し、空の volume が自動作成される前に Docker Home volume を復元しておきます。
  2. バックアップとリストアの順序に従い、コントロールプレーンの PostgreSQL、実際の構成に含まれるすべての独立した Base シャードデータベース、対応するファイルストア、およびすべての永続 Home を復元します。専用 Base シャードをポイントインタイムリカバリ(PITR)で復元する場合は、コントロールプレーン側で記録された物理 Base テーブルがシャード側で欠落しないよう、**すべての Base シャードデータベースの復旧タイムスタンプをコントロールプレーンデータベースの復旧タイムスタンプ以上(>=)**に設定してください。その際、PostgreSQL のロケール・照合順序および public._ankole_shard のシャード ID に加え、Agent UID、volume 名、ファイルの所有者と権限もそのまま維持します。
  3. シークレットマネージャーから元の ANKOLE_SECRET_BASE を復元します。この値は、provider の秘密情報と未確定 generation の認証情報を復号するために不可欠です。紛失していた場合は直ちに作業を止め、別途認証情報の復旧計画を立ててください。新しい provider 認証情報を再入力するだけでは、既存 generation の認証情報は復元できません。
  4. 残りの起動用秘密情報と接続先(DATABASE_URL、専用シャード利用時の BASE_DB_URLS、ANKOLE_FUNCTION_RUNTIME_URL、および共有トークン ANKOLE_FUNCTION_RUNTIME_TOKEN)を設定したうえで、ankole-function-runtime とコントロールプレーンを起動し、通常の調整(reconciliation)処理に実際のプラットフォーム状態を確認させます。見かけ上のステータスを正常に見せるために、generation やインスタンス参照を手動で消去しないでください。結果が未確定のものは starting または deleting に留まり、原因は last_error に記録されます。
  5. 復元した Agent を有効化し、既知の Home ファイル、ドライブまたは Pod ファイル、Pod Base テーブルを読み取れることを確認したうえで、Background Job を再開して実際の Turn を実行します。トラフィックを切り替える前に、旧デプロイメントが停止したままであることを改めて確認してください。

復旧範囲

PostgreSQL と Base シャードデータベースからは永続的な作業状態と Pod Base データが復元され、Home からはワークスペースと Codex スレッドファイルが復元されます。SQLite キャッシュは再構築可能であり、ankole-function-runtime は永続状態を持ちません。一方、バックアップ取得後の書き込み、プロセスメモリ上のデータ、実行中だったモデル要求や関数呼び出しはバックアップに含まれません。

Docker ホスト自体が失われた場合、ローカル volume を復旧するには外部バックアップが必要です。Cloudflare 環境では R2 バックアップとデータベース参照の両方が必要となり、強制停止された場合は最終バックアップ以降の変更が失われることがあります。各環境の制限については、Worker もあわせて確認してください。

計画的なホスト移行では、まず書き込みをすべて停止してから、PostgreSQL、Base シャード、ファイルストア、Agent Home の最終整合バックアップを取得します。復旧演習では、隔離されたリソース上で同じ手順とユーザーフローを一通り検証し、実際の復旧時点と所要時間を記録してください。Base シャード、Home、または ANKOLE_SECRET_BASE のいずれかを省略した演習では、完全復旧できることの証明にはなりません。