gaze-cursor

Webカメラの映像から視線を推定して、カーソルを目で動かす

idle

概要

画面の13点を順に注視してもらって、そのときの目の動きと頭の向きから画面座標を推定します。 カーソルはこのページの中だけの仮想カーソルで、OS のカーソルは動かしません。 ページ内に5つの的を置いてあるので、視線で運んで注視したままにすると、そこが押されます。

視線だけだと、頭を動かした瞬間に外れます。そこで478点のランドマーク(z 付き)から 頭部の剛体姿勢を Kabsch/Horn 法で解き、虹彩を「キャリブ時に正面を向いていた姿勢」へ 写してから眼球特徴を測ります。こうすると眼球の特徴が頭の回転に影響されず、頭を振っても 視線の読みが崩れません。両方を特徴量にした回帰なので、 「視線+頭の向き」を統合して判断していることになります。

瞬きの最中は虹彩が当てにならないので、そのフレームは観測を出さずに前の値を保持します (無理に頭だけで推定すると、視線との差でかえってカーソルが跳ねるため)。 また頭の向きと距離は 3 Hz、眼球は 12 Hz と別々に平滑化してから回帰に渡します。 MediaPipe の z は x/y より遥かにノイズが大きく、姿勢を経由して推定を揺らすためです。 統合の具合は MODE で 視線+頭 / 視線のみ / 頭のみ と切り替えて比べられます。

使い方

  1. START を押してカメラを許可(全画面になります)
  2. CALIBRATE を押して、出てくる13点を順に目で追う(最初の中央は正面姿勢の基準を取るので頭をまっすぐに)
  3. START TRACKING でカーソルが視線で動きます。的を注視したままにすると押されます

止めるときは Esc か、画面下の EXIT。Space でも追跡の入/切を切り替えられます。 うまく動かないときは PREVIEW でカメラの写りを確認して、必要なら CAMERA で別のカメラに切り替えてください。

仕組み

要素内容
頭部姿勢 478点のうち顔全体に散った16点を剛体とみなし、キャリブ時に取った正面の基準フレームへ Kabsch/Horn 法で合わせて yaw/pitch/roll とスケール(距離)を出す。固有ベクトルはべき乗法なので行列分解ライブラリが要らない
眼球特徴 虹彩をその剛体変換で基準フレームへ写してから、目頭-目尻・上瞼-下瞼の線分に射影した比率を取る。頭の回転に依存しない
統合 眼球特徴と sin(yaw)/sin(pitch)/スケールを並べた8項で回帰。頭の向き・距離は 3 Hz、眼球は 12 Hz で別々に平滑化してから入れる
キャリブレーション 13点(中央→四隅→辺)で各40フレームの中央値。リッジ回帰を x/y 別に解き、外れ値は leave-one-out で1点まで除外
なめらか化 直近5フレームの中央値で振動とスパイクを落としてから 1€ filter に通す。止まっているときは強く平滑化し、速く動くときは遮断周波数を上げて遅れを出さない
瞬き 目の開き具合が普段の 45% を切ったフレームは観測を出さず、前の値を保持してカーソルを飛ばさない
境界 推定側は「視線の観測」を制御側に渡すだけ。移動・停止の判断は制御側が持つ
制御 推定レートとは別に 100 Hz の固定周期で回す。40 px の不感帯を置いて推定の細かい揺れは追わない(追うとカーソルが震える)。目標の移動速度も制限するので、推定が数フレーム飛んでもカーソルがワープしない
フェイルストップ 観測が 400 ms 途切れたら一時停止、2.5 s 途切れたら要再アームにする
注視クリック 視線が 900 ms 止まったら発火(カーソルの周りに進捗リングが出ます)
計測 HUD に状態、視線、頭の向き(度)、剛体合わせの残差(QUAL)、キャリブ誤差、片道遅延、カメラ設定、fps と取りこぼし率を常時表示

移植について

計算は core.js(推定)と controller.js(制御)に分けてあり、 どちらも DOM もブラウザ API も触りません。Float64Array と明示的な構造体だけで書いてあるので、 C++ なら std::array<double, 8>、Rust なら [f64; 8] にほぼ1対1で写せます (ホットパスでメモリを確保しない、例外を投げない、状態は明示的に持つ、時刻は引数で受け取る、単位を名前に書く、の約束)。

頭部姿勢は SVD を使わず 4x4 の固有ベクトルをべき乗法で出しているので、行列分解のライブラリが要りません。 制御側の出力は position() / move() / click() / release() / recenter() の5つだけで、 MCU に載せるときはこれをモータ制御に置き換えれば controller.js はそのまま動きます。

注意・制約

  • 精度は頭の位置とカメラとの距離に依存します。キャリブレーションのときと同じ位置に座るのが一番効きます
  • 全画面で使う前提です。ウィンドウ表示だと画面座標とページ座標がズレて狙った場所に行きません
  • カメラの解像度を変えると基準フレームが合わなくなるので、CALIBRATE をやり直してください
  • キャリブレーション結果は localStorage に保存します。姿勢を変えたらやり直してください
  • HUD の QUAL は剛体合わせの残差です。0.02 を超えるあたりから怪しいので、明るさや髪・眼鏡の反射を疑ってください
  • 視線が途切れると一時停止します。2.5 秒途切れると要再アームになるので START TRACKING を押し直してください
  • 精度の限界はカメラに映る目の大きさで決まります(目は画像上で数十pxしかなく、ランドマークの1〜2pxの揺れが比率では十数%になる)。1080p にする・少し近づく・SMOOTH を上げる、で改善します
  • まだ実用的な精度ではありません。視線だけで長文を書くのはつらいです
  • カメラの映像はブラウザの中でしか使っていません。どこにも送信しません