是不是以营利为目的就构成非法制造、出售非法制造的用于骗取出口退税、抵扣税款发票罪？

不是的。
本罪在主观方面只能直接故意构成，即明知伪造、擅自制造或者出售伪造、擅自制造的用于出口退税、抵扣税款的其他发票违反发票管理法规，会造成危害社会的结果，而希望和追求这种结果的发生。
因此，只要行为人故意实施了伪造、擅自制造或出售可以用于骗取国家税款的非专用发票的行为，则不论是何种动机和目的，也不论其是否营利，均应构成本罪。

非法制造、出售非法制造的用于骗取出口退税、抵押税款发票罪http://www.scxsls.com/a/20110701/18443.html