En el caso del video, el juego esta en flash. Osea, debe estar armando una imagen del tablero y despues reconoce los cuadros del tablero 1 a 1.

La data necesaria (X,Y de inicio de lectura del bitmap) se la esta pasando al programa y este debe parsear en ese momento.

Una idea podria ser que para sincronizar el punto 0,0 (y otros) la app diga donde esta el cursor. Cuando se lo coloca en el 0,0, debe capturarse ese punto. Despues usando lo mismo, deberia capturarse el n,n y asi se tendria idea del rectangle a capturar en bitmap.

Despues, el quilombo es parsear los cuadros, pero quizas usando operaciones para pasar la imagen a, por ej, blanco y negro, se puedan parsear sencillamente.

Una vez que esta el rect y los cuadros, es cuestion de capturar 1x1 a fin de determinar las fichas. Lo cual parece complicado pero se podria encarar por el lado de convertir lo capturado a blanco y negro y ver que sale...

En el video, la app en Java es la que parece hacer la magia...