使用设置操作:

list(set(user_id)-set(df.user_id))
Out[84]: [40, 50, 45, 15]