Цитата
контакты предыдущего владельца.
Вы сами ответили на свой вопрос. Если предыдущий владелец сохранял контакты на Гугл аккаунт, то есть синхронизировал их, то они так и будут синхронизироваться с вашим устройством и если он так и будет пользоваться данным аккаунтом и сохранять контакты на Гугл, то у вас они будут так же увеличиваться.
Так, например, браузер Гугл Хром, вы можете увидеть все вкладки, историю, которые имелись у старого владельца.
Чтобы такого не было вы можете завести новый Гугл аккаунт, изменить пароль или отключить синхронизацию контактов.