Yo llevo ya un buen tiempo programando en Java en Android Studio y estoy aprendiendo bastante y como consecuencia ye me he habituado a este lenguaje.
Respecto a C#, algo he tocado, no mucho pero si algo...
Entonces tu pregunta queda respondida con tus preferencias, sigue con Java, a menos que te guste mucho más utilizar C# para programar.
Básicamente he creado este tema por mi duda, ya que como he comentado anteriormente, me he encontrado con la sorpresa de que hay desarrolladores que informan de que algunas app para Android están hechas en C#
Claro que si, las hay en C#, y en VB.Net (e incluso escritas en otros lenguajes menores derivados de BASIC también, con basic4android, pero no merece la pena mencionar esa basura de IDE).
Si te gusta la programación con C#, y si le sabes sacar partido a la mejor IDE existente (indiferentemente de los lenguajes soportados), es decir, 
Microsoft Visual Studio, entonces si que deberías considerar darle una opción al desarrollo bajo la plataforma .Net, ya que tienes una excelente herramienta de desarrollo para 
Android  bajo 
C# (y parcialmente 
VB.Net) con integración para 
Visual Studio:
➢ 
Xamarin For Visual StudioTambién tienes la versión standalone, 
Xamarin Studio:
➢ 
Xamarin StudioY también tienes a tu disposición una infinidad de herramientas profesionales como por ejemplo el set de controles 
RAD de 
Telerik para 
Xamarin Studio/Xamarin For Visual Studio.
incluso hay convertidores o "adaptadores" que ingresas el código de tu aplicación hechas en Java y automaticamente te la convierte a C# (algo que a simple vista parece complejo de hacer...)
Por supuesto, pero ese tipo de conversiones encuentran complicaciones en códigos complejos, no esperes que siempre sean capaces de realizar una traducción 100% idéntica y funcional. como tu has dicho es dificil.
Las aplicaciones de 
Tangible son de lo mejorcito que existe para este tipo de conversiones, y aun así no es nada perfecto:
➢ 
Tangible Code Converters
de ahí mi duda de por qué la gente programa apps en C#, si había alguna diferencia o algo...
¿Diferencia entre...?, ¿entre desarrollar una app en C# o en Java?, ¿diferencias de que tipo exactamente?, las diferencias visuales depende del framework que utilices para construir la UI claro está, y sobre las diferencias internas pues...:
Sobre 
Android internamente no se mucho, pero por como trabaja el compilador de 
Xamarin deduzco que apenas debe existir alguna ínfima diferencia de rendimiento, hoy en día la gente dice "
Virtual Machine" y se echan las manos a la cabeza como si fuera algo terrible que se deba evitar, pero bueno, así es como 
creo que trabaja más o menos 
Xamarin:
Compilación:- El compilador que se utiliza es 
Mono.
- El código 
C#/
VB.Net se compila a código máquina (machine code).
Ejecución:- Para la ejecución del código máquina no se utiliza el 
JIT de .
Net, sino 
AOT.
- El runtime y VM de android (
ART) automaticamente genera unas classes de 
Java conocidas como 
Android Callable Wrappers (
ACW) 
   lo que sirve para que el runtime y VM de 
Mono se comunique de ida y vuelta con 
ART, y vice versa, 
   esa es la base de la interoperabilidad entre 
Mono y 
Android:

Aquí tienes algo más de información general:
➢ 
Part 1 – Understanding the Xamarin Mobile Platform - XamarinAquí tienes un ejemplo más claro de lo que sucede internamente en la ejecución del código nativo compilado y empacado en la .app:
➢ 
Android Callable Wrappers. Implementation Details - XamarinAparte de eso, Xamarin tiene algunas limitaciones:
➢ 
Limitations  - Xamarin
Yo jamás utilizaría 
Java para desarrollar una app de 
Android (ni una app de nada), no por que sea malo obviamente sería la opción más natural usar 
Java para una app de 
Android, pero es que mi entorno de desarrollo es otro, es .
Net, y aquí ya existen herramientas maravillosas que sacan todo el beneficio a mi calidad y experiencia de programación, cosa que en 
Java sería todo lo contrario ya que acabaría disminuyendo mi rendimiento de trabajo en todos los aspectos al ser un mundo un poco desconocido en el que empezar desde Cero.
Por eso te digo, que deberías basar tu elección entre 
C# o 
Java según las comodidades que encuentes al usar las IDEs y herramientas que existen para ambos lenguajes, tan simple como eso, no hay que fijarse en nada más, ni si uno es mejor que el otro o blah blah blah, ambos son lenguajes excelentes y con herramientas excelentes, basa tu elección en otros factores, si te gusta java y lo ves cómodo entonces no cambies por que no te hace falta.
Un saludo.