RyomaHori

Works

Work 06

画面状態認識オーバーレイ

対象アプリのプロセスに一切触れず、画面ピクセルだけで状態を認識してオーバーレイ表示するデスクトップアプリの設計と PoC

Period
2026-04
Role
個人開発（要件定義・仕様設計・Rust/Tauri 実装・レビュー運用）
Stack
Tauri, Rust, SolidJS, Tailwind CSS 4, Windows.Media.Ocr, PaddleOCR (fallback), rusqlite, Cloudflare Workers, Cloudflare KV, Cloudflare D1, Cloudflare R2 (S3 互換)
Links
No public link (private)
  • プロセスメモリ・DLL インジェクションを一切使わず、DWM 経由の画面キャプチャと最小権限のプロセス検出だけで構成する設計
  • フレーム差分でスキップ判定 → 領域限定 OCR（全画面 OCR 禁止）→ 段階的テンプレート絞り込み、という多段最適化
  • PoC バイナリ 9 本で画面キャプチャ・OCR・プロセス検出・輝度分類・アンカー較正を段階検証してから本実装に入った
  • 設計時の推定座標が実測で大きくズレていたことを発見して修正した記録（lessons.md 9 項目）