米ノリってすぐ剥がれてしまうように思うのですが…

水が直接かかったりすると、剥がれやすくなります。
しかし、なにもなければ300年はもつといわれております。
お米（でんぷん）と木（セルロース）は化学式が同じで組成もよく似ていますので日本の湿度の差が大きい気候の場合お米も木も伸び縮みが同じように動くからなのです。