gaze-cursor
Webカメラの映像から視線を推定して、カーソルを目で動かす
概要
画面の13点を順に注視してもらって、そのときの目の動きと頭の向きから画面座標を推定します。 カーソルはこのページの中だけの仮想カーソルで、OS のカーソルは動かしません。 ページ内に5つの的を置いてあるので、視線で運んで注視したままにすると、そこが押されます。
視線だけだと、頭を動かした瞬間に外れます。そこで478点のランドマーク(z 付き)から 頭部の剛体姿勢を Kabsch/Horn 法で解き、虹彩を「キャリブ時に正面を向いていた姿勢」へ 写してから眼球特徴を測ります。こうすると眼球の特徴が頭の回転に影響されず、頭を振っても 視線の読みが崩れません。両方を特徴量にした回帰なので、 「視線+頭の向き」を統合して判断していることになります。
瞬きの最中は虹彩が当てにならないので、そのフレームは観測を出さずに前の値を保持します
(無理に頭だけで推定すると、視線との差でかえってカーソルが跳ねるため)。
また頭の向きと距離は 3 Hz、眼球は 12 Hz と別々に平滑化してから回帰に渡します。
MediaPipe の z は x/y より遥かにノイズが大きく、姿勢を経由して推定を揺らすためです。
統合の具合は MODE で 視線+頭 / 視線のみ / 頭のみ と切り替えて比べられます。
使い方
STARTを押してカメラを許可(全画面になります)CALIBRATEを押して、出てくる13点を順に目で追う(最初の中央は正面姿勢の基準を取るので頭をまっすぐに)START TRACKINGでカーソルが視線で動きます。的を注視したままにすると押されます
止めるときは Esc か、画面下の EXIT。Space でも追跡の入/切を切り替えられます。
うまく動かないときは PREVIEW でカメラの写りを確認して、必要なら
CAMERA で別のカメラに切り替えてください。
仕組み
| 要素 | 内容 |
|---|---|
| 頭部姿勢 | 478点のうち顔全体に散った16点を剛体とみなし、キャリブ時に取った正面の基準フレームへ Kabsch/Horn 法で合わせて yaw/pitch/roll とスケール(距離)を出す。固有ベクトルはべき乗法なので行列分解ライブラリが要らない |
| 眼球特徴 | 虹彩をその剛体変換で基準フレームへ写してから、目頭-目尻・上瞼-下瞼の線分に射影した比率を取る。頭の回転に依存しない |
| 統合 | 眼球特徴と sin(yaw)/sin(pitch)/スケールを並べた8項で回帰。頭の向き・距離は 3 Hz、眼球は 12 Hz で別々に平滑化してから入れる |
| キャリブレーション | 13点(中央→四隅→辺)で各40フレームの中央値。リッジ回帰を x/y 別に解き、外れ値は leave-one-out で1点まで除外 |
| なめらか化 | 直近5フレームの中央値で振動とスパイクを落としてから 1€ filter に通す。止まっているときは強く平滑化し、速く動くときは遮断周波数を上げて遅れを出さない |
| 瞬き | 目の開き具合が普段の 45% を切ったフレームは観測を出さず、前の値を保持してカーソルを飛ばさない |
| 境界 | 推定側は「視線の観測」を制御側に渡すだけ。移動・停止の判断は制御側が持つ |
| 制御 | 推定レートとは別に 100 Hz の固定周期で回す。40 px の不感帯を置いて推定の細かい揺れは追わない(追うとカーソルが震える)。目標の移動速度も制限するので、推定が数フレーム飛んでもカーソルがワープしない |
| フェイルストップ | 観測が 400 ms 途切れたら一時停止、2.5 s 途切れたら要再アームにする |
| 注視クリック | 視線が 900 ms 止まったら発火(カーソルの周りに進捗リングが出ます) |
| 計測 | HUD に状態、視線、頭の向き(度)、剛体合わせの残差(QUAL)、キャリブ誤差、片道遅延、カメラ設定、fps と取りこぼし率を常時表示 |
移植について
計算は core.js(推定)と controller.js(制御)に分けてあり、
どちらも DOM もブラウザ API も触りません。Float64Array と明示的な構造体だけで書いてあるので、
C++ なら std::array<double, 8>、Rust なら [f64; 8] にほぼ1対1で写せます
(ホットパスでメモリを確保しない、例外を投げない、状態は明示的に持つ、時刻は引数で受け取る、単位を名前に書く、の約束)。
頭部姿勢は SVD を使わず 4x4 の固有ベクトルをべき乗法で出しているので、行列分解のライブラリが要りません。
制御側の出力は position() / move() / click() / release() / recenter() の5つだけで、
MCU に載せるときはこれをモータ制御に置き換えれば controller.js はそのまま動きます。
注意・制約
- 精度は頭の位置とカメラとの距離に依存します。キャリブレーションのときと同じ位置に座るのが一番効きます
- 全画面で使う前提です。ウィンドウ表示だと画面座標とページ座標がズレて狙った場所に行きません
- カメラの解像度を変えると基準フレームが合わなくなるので、
CALIBRATEをやり直してください - キャリブレーション結果は
localStorageに保存します。姿勢を変えたらやり直してください - HUD の
QUALは剛体合わせの残差です。0.02 を超えるあたりから怪しいので、明るさや髪・眼鏡の反射を疑ってください - 視線が途切れると一時停止します。2.5 秒途切れると要再アームになるので
START TRACKINGを押し直してください - 精度の限界はカメラに映る目の大きさで決まります(目は画像上で数十pxしかなく、ランドマークの1〜2pxの揺れが比率では十数%になる)。1080p にする・少し近づく・
SMOOTHを上げる、で改善します - まだ実用的な精度ではありません。視線だけで長文を書くのはつらいです
- カメラの映像はブラウザの中でしか使っていません。どこにも送信しません