この記事はコインチェック株式会社のアドベントカレンダー17日目（シリーズ1）の記事です。
1. はじめに
社内システム部社内システムGの吉田です。普段は社内ネットワークの運用を行っています。一般的に情報システム部門、コーポレートIT部門などと呼ばれるところにあたります。
コインチェック本社は2024年7月に移転をしました。自分はそのプロジェクトにおいて、社内ネットワークの要件まとめから運用開始まですべて携わりました。今回の記事は、社内ネットワークの設計に関する前段階の準備や苦労したことなど記録として共有したいと思います。
2. ネットワーク機器発注前準備
旧本社の環境分析
新本社で使うWAN回線の帯域幅と全体のLAN構成を決める材料として、旧本社のトラフィック量を確認しました。当社の場合は、毎月のWindows Updateの日にピークのトラフィックが流れる傾向があります。結果として、瞬間的に帯域の80％を消費していることがわかりました。そのため、拡張性も考慮し従来の倍以上の帯域を持つ回線を選定する必要があることがわかりました。
旧本社ネットワークでの課題
有線無線の混在した環境
有線と無線が混在する環境は普通にあることですが、一部環境にアクセスするためには有線接続が必要でした。部署移動などで席替えも多かったため、有線環境を準備するなど時間がかかっていました。
手動によるセットアップ
旧本社では無線LANの接続にパスワード認証を行っており、パスワードの入力は社内システム部が行う運用でした。また、ネットワーク接続の運用も手動であったため運用負荷が高かった点と、万が一パスワードが流出した場合に社内ネットワークに侵入されるリスクが高まる課題がありました。
ネットワーク接続の運用
旧本社では社内ネットワークの接続するには、接続機器のMACアドレスで接続の制御をしていました。制御用に専用アプライアンスを導入しており、社内システム部で設定変更をする必要がありました。MACアドレスを調べて入力する手間もありましたし、何よりMACアドレスは偽装が可能でセキュリティ上の課題となっていました。
設定変更、トラブルシュートのタイムラグ
コインチェックでは管理ネットワークにアクセスするためには、出社する必要がありました。そのため、急なWebフィルタリングなどの設定変更依頼や、ネットワークが遅いなどの問合せがあってもすぐに状況の確認を行うことができませんでした。
3. 発注後から現地作業までの準備期間
機器の構築は業者で行うため、自分は移転に伴う各種調整を行いました。
WAN回線の工事調整
回線冗長などを含めて3社分のWAN回線ひくことにし、作業調整を行いました。新本社自体が建築中だったこともあり、ケーブルの配管や電気工事が終わった状態でないと回線の工事が行えませんでした。回線業者だけではなく、工事会社ともスケジュール調整が必要であり、さらには機器設置時の現地試験の日程も迫っていることから、調整スケジュールには注意を払いました。
各部署へのグローバルIP移行依頼
コインチェックではSaaSやWebサービスに対して、送信元IP制限を設定しているものがあります。本プロジェクトでは、WAN回線自体が変更になるため、グローバルIPも変更になります。そのため、新本社で本格的に業務開始する前に、新しいグローバルIPを各サービスに設定していただくよう依頼しました。
証明書認証の準備
証明書認証用の環境設定と検証を行いました。ルート認証区と中間認証局を作ったり、MACアドレスと証明書を組み合わせた認証方法についてベンダーとやりとりしながら検証を行いました。機器メーカーによりMACアドレスの指定方法が違うことなどいくつか課題や注意点はありましたが、製品の理解が進んだと思います。
監視システムの構築
旧本社ではレンタルしている物理サーバのZabbixを使用していました。メンテナンスもできていない状態であったため、新本社では比較的モダンな監視システムとしてPrometheusをクラウド上で稼働させ、トラフィックやCPU使用率などリソース監視することにしました。監視環境へのアクセスはZTNA経由のみとしました。また、Prometheusをクラウド上に構築できたことで、今後拠点が増えた場合でも設定を追加するだけで監視対象にできるため、拡張性を持たせることができるようになりました。
電源回路の割り当て
オフィス内で使用する電源を必要な電力量を割り出して、各部屋へ割り当てを行いました。オフィス全体で割り当てられている電力量は決まっているため、各ラックに搭載されているネットワーク機器が使用する電力を計算して、適切な電力の割り当てをしました。また、電源回路にはAC回路とGC回路と種類があり、停電などのシナリオを考慮して電源回路の選択をしました。
4. 現地作業
機器の設置自体は問題なく完了したのですが、現地試験でいくつかの課題が発生し、対応に追われました。
回線切り替え時にネットワークに接続できない
現地で回線冗長試験で回線切り替えると、認証に失敗し無線LANに接続できない事象が起きました。原因を探ってみると、機器にプロバイダDNSを設定していると、クラウドRadiusの名前解決がうまくいかないことがわかりました。恐らくDNSキャッシュ切れまで時間を置けば接続できるのかもしれませんが、業務に影響が出てしまいます。そこでプロバイダDNSからGoogle DNSに変更することで事象改善することがわかったため、そちらを設定しました。業者での社内試験環境では発生しない事象だったため、現地での確認の重要性を改めて感じました。
機器の稼働音
執務室内のハブボックスに設置した無線AP給電用のPoEスイッチの稼働音が想定よりも大きいことが分かりました。対策として、ハブボックスの防音仕様のものへの入れ替えや別のファンレスのPoEスイッチの購入など、いくつか案を出しました。結果として、別のハブボックスにあるPoEスイッチのLAN配線の割り当てを調整し、新規機器購入など追加費用なく機器入替で対応を完了させることが出来ました。
グローバルIPの登録漏れ
送信元IP制限の対応を事前依頼していましたが、一部サービスでIP登録漏れが見つかり、業務ができないという問い合わせがありました。対応漏れのサービスについて随時対応しました。新旧本社の業務が並行していたため、大きな業務影響はありませんでした。あとになってネットワークに詳しい人から「こういう事態があるから、データセンターでグローバルIPを持たせておく意味がある」という話を聞いて勉強になりました。
5. 移転後の運用
移転に伴い、当初上げていた要件もほぼ達成できました。
社内ネットワークの無線LAN化
重要な情報を扱うネットワークに関しては、プロジェクト途中で要件が変わってしまったため、一部有線での運用が残りました。しかし、ほぼ無線化は達成でき、従業員はオフィス出社した際にどこにいても業務を行うことができるようになりました。
無線LANの認証方式を証明書認証に変更
一部のネットワークを除いてすべて証明書認証へ移行できました。クラウドRadiusとMDMで連携しているため、MDMで証明書配布グループに入れることで、自動的に証明書が配布され無線LANへ接続することができるようになりました。社内システム部の運用軽減とセキュリティレベルも向上させることができました。
社内ネットワーク10G化
要件を盛り込んだRFPを作成し機器の見積もりを行いましたが、プロジェクトが進む過程でオフィスのフロアプランが決まるなど、当初と想定が変わってきた部分がありました。そうした場合でも、将来の拡張性を考慮しつつ、現状の二ーズに最適な機器を選定することが出来ました。具体的には将来的に10G化対応ができるようにSFPの変更だけですむ機器構成にすることが出来ました。
社内ネットワークのフルリモート対応
ファイアウォール以外はメーカー提供のクラウド管理画面で設定変更などを行えるものを選定しました。ファイアウォールに関しては、コインチェックで導入しているZTNAを使用しています。従来のVPNと違い、インバウンド通信が発生せず、VPNのエージェントを立ち上げる必要もなくシームレスに管理画面にアクセスできるため快適です。フルリモートで対応できるようになったことで、席替えによるネットワーク変更やWebフィルタリング追加等にすぐ対応できるようになりました。
6.まとめ
今回の社内ネットワーク移転プロジェクトでは、技術的な挑戦や調整が多くありましたが、最終的に当初の要件をほぼ達成でき、今後の拡張性や運用効率を大きく向上させることができました。
特に、無線LANの証明書認証化や、10Gネットワークの構築、フルリモート対応の実現といった部分では、セキュリティ強化と業務のスムーズな運用に寄与できたと感じています。また、現地作業中に発生したトラブルにも柔軟に対応でき、現場での確認や調整の重要性を改めて認識しました。
このプロジェクトを通じて学んだことは多く、技術的なスキルだけでなく、業務の調整やコミュニケーションの重要性も痛感しました。今後も、より高いパフォーマンスとセキュリティを実現するために、継続的な改善を進めていきたいと思います。
