在这种情况下，责任可能会取决于具体情况、当地相关法律和保险政策。一般而言，以下是可能的责任情况：

1. 车主责任：如果您把车辆私自停在别人家的车库附近，而车辆被大风刮来的异物砸坏，有可能会归咎于车主的责任。私自停车可能被视为违规行为，而车主可能会因此承担停车导致的损害责任。

2. 房主责任：另一方面，如果车主停车在别人家车库附近，但是房主没有采取适当措施防止异物被风刮入车库，那么有可能归咎于房主的责任。房主可能需要承担因未采取适当预防措施而导致的损害责任。

3. 风灾保险：在某些情况下，车辆被大风刮来的异物砸坏可能被视为风灾造成的损失。这时候，您的车辆保险中的风险保险可能会覆盖这种情况。建议您查看车辆保险合同的具体条款以了解是否被保险覆盖，并与保险公司联系以获得更准确的信息。

请注意，以上是一般情况下的责任分析，具体情况可能因地区、国家法律和保险政策而有所不同。如果发生类似事件，建议及时与相关当事方、保险公司或法律专业人士咨询，以获得针对您具体情况的最准确的建议。