选项A错误，因为HashSet不能保证元素的插入顺序与存储顺序一致；选项B错误，因为TreeSet虽然能保证元素的唯一性和有序性，但不能保证元素的插入顺序与存储顺序一致；选项D错误，因为ArrayList允许存储重复元素，且不保证元素的唯一性。选项C正确，因为LinkedHashSet既能保证元素的唯一性，又能保证元素的插入顺序与存储顺序一致。