Reconocer la interacción fármaco-objetivo (DTI) es una tarea crucial en el descubrimiento de fármacos in silico, que es costoso y requiere mucho tiempo debido al gran alcance de la búsqueda de posibles fármacos en un amplio espacio de compuestos farmacológicos. Los últimos años han sido testigos de estrategias prometedoras de predicción de DTI basadas en el aprendizaje profundo. Adicionalmente, las tareas de aprendizaje de regresión pueden acercarse a la predicción de afinidad fármaco-objetivo (DTA) ofreciendo más interpretación biológica. Además, la arquitectura Transformer basada en modelos de atención y las técnicas de aprendizaje transferido han despertado interés en la predicción de la DTI. Sin embargo, hasta donde sabemos, hay pocos trabajos implementando Transformer pre-entrenados. Proponemos una arquitectura totalmente basada en Transformers (RobertDTA/DTI) para explorar los efectos de los modelos de atención y transferencia de aprendizaje para la predicción del DTI/DTA. RobertDTA/DTI se evalúa con datos experimentales presentando un rendimiento alto en comparación con modelos de base de última generación, sin perder interpretabilidad molecular en sus resultados. Este trabajo proporciona una nueva línea de base de modelos moleculares basados en Transformer y arquitecturas pre-entrenadas para la predicción de DTI.