内容へスキップ

作品 06

画面状態認識オーバーレイ

対象アプリのプロセスに一切触れず、画面ピクセルだけで状態を認識してオーバーレイ表示するデスクトップアプリの設計と PoC

期間: 2026-04
担当: 個人開発（要件定義・仕様設計・Rust/Tauri 実装・レビュー運用）
スタック: Tauri・Rust・SolidJS・Tailwind CSS 4・Windows.Media.Ocr・PaddleOCR (fallback)・rusqlite・Cloudflare Workers・Cloudflare KV・Cloudflare D1・Cloudflare R2 (S3 互換)
リンク: 公開リンクなし（非公開運用）

プロセスメモリ・DLL インジェクションを一切使わず、DWM 経由の画面キャプチャと最小権限のプロセス検出だけで構成する設計
フレーム差分でスキップ判定 → 領域限定 OCR（全画面 OCR 禁止）→ 段階的テンプレート絞り込み、という多段最適化
PoC バイナリ 9 本で画面キャプチャ・OCR・プロセス検出・輝度分類・アンカー較正を段階検証してから本実装に入った
設計時の推定座標が実測で大きくズレていたことを発見して修正した記録（lessons.md 9 項目）